EP3472656A2 - Verfahren zum digitalen aufnehmen einer probe durch ein mikroskop - Google Patents

Verfahren zum digitalen aufnehmen einer probe durch ein mikroskop

Info

Publication number
EP3472656A2
EP3472656A2 EP17737205.9A EP17737205A EP3472656A2 EP 3472656 A2 EP3472656 A2 EP 3472656A2 EP 17737205 A EP17737205 A EP 17737205A EP 3472656 A2 EP3472656 A2 EP 3472656A2
Authority
EP
European Patent Office
Prior art keywords
sample
route
images
image
viewing section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17737205.9A
Other languages
English (en)
French (fr)
Inventor
Eik SCHUMANN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miltenyi Imaging GmbH
Original Assignee
Sensovation AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensovation AG filed Critical Sensovation AG
Publication of EP3472656A2 publication Critical patent/EP3472656A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0044—Scanning details, e.g. scanning stages moving apertures, e.g. Nipkow disks, rotating lens arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time

Definitions

  • Microscope with several microscope objectives of different magnification factors can be used for rapid acquisition and display of a sample at different magnifications. Depending on the desired resolution or magnification, the appropriate microscope objective is automatically selected, and the sample is recorded in the desired field of view in the desired magnification and displayed on a screen.
  • microscopes with such an interchangeable lens are relatively expensive. In order to use a digital microscope with only a single lens, it must be equipped with a high magnification factor, in order to allow a greatly enlarged shot of the sample in the field of view in the first place. If a lower resolution is desired by the physician, the sample must first be scanned through a variety of high-resolution images, so that they can be assembled picture by picture.
  • a viewing section of the sample is selected, a microscope objective is moved in a scanning route over this viewing section, first a sequence covering the section offset from one another images are digitally taken and displayed, and then the scan route continues with a sequence of images outside the selected field of view.
  • the invention is based on the consideration that a doctor - or, more generally: an operator - may take a while to examine the sample in the field of view before moving the field of view. This time can be used to record the sample also for the images outside the selected field of view. If the operator selects a different field of view, this may at least partially already be recorded, so that the field of view can be displayed on the screen without any time delay. As a result, the sample can be examined relatively quickly with only one microscope objective.
  • a viewing section of the sample is selected.
  • the viewing section may be an area within which an operator may see one or more images of the sample offset from each other after the images have been taken.
  • the viewing section is expediently smaller than the sample.
  • the sample may be a unit that is placed in a test fixture of a digital microscope.
  • the sample may have an examination area and a support area.
  • the examination area is expediently the area which is intended for microscopic examination and in which, for example, biological material to be examined can be arranged.
  • the examination area may be the area covered by a cover glass.
  • the carrier region is usually located outside the sample area and may contain a code area in which, in particular, machine-readable information about the sample is available, such as a sample name, a sample type, a type of examination, a sample origin, a tissue type and / or other information.
  • the viewing section is expediently located in the sample area.
  • the selection of the visible section can be automatic or manual.
  • the viewing section can be automatically selected by a predetermined algorithm on the basis of, for example, a sample surface, a sample outline and / or a sample shape from which a partial region is determined according to the algorithm
  • Viewing section is selected.
  • the viewing section is selected in an automatic selection depending on machine-readable information on the sample, for example a barcode on the carrier area of the sample.
  • abstract operator information can be information which does not directly determine the field of view, that is to say contains no coordinates or the like.
  • the algorithm contains instructions that associate a visual clipping with the abstract operator information.
  • the abstract operator information is, for example, an examination method, wherein the field of view is predefined directly in terms of its position or appearance, depending on the examination method. It is also possible to automatically select the viewing section based on a sample parameter. If the sample parameter determines a type of tissue, such tissue can be generated by automated web recognition are localized. The viewing section can then form a partial area of the sample surface in which the tissue lies.
  • the operator is shown on a display means an overview image of the sample area or of the entire sample.
  • the sample area is also referred to simply as a sample, even if it means only that area which is intended to be picked up by a microscope objective.
  • a scan route can be determined which lies at least partially in the field of view.
  • their beginning is in the field of view.
  • the scan route is determined as a function of the position of the visible section in the sample.
  • a lens in the scan route is moved over this field of view, expediently after the scan route has been determined, wherein the movement is a relative movement to the sample, regardless of which element rests in absolute terms.
  • the objective is expediently a microscope objective, that is to say an objective with m> 1, in particular m> 5.
  • the microscope objective expediently has a larger magnification than the first objective - if this exists at all.
  • the digital microscope for carrying out the method according to the invention has only a single microscope objective, that is to say a magnifying objective with m> 1. It is cost effective if the microscope objective has a pre-set and fixed magnification.
  • the images taken by the microscope objective can be displayed to the operator, who can now view the sample in the field of view at a higher resolution than would be possible using the overview image.
  • the scan route can be continued outside the selected field of view with a sequence of images, even without the viewing section being moved or changed.
  • the recordings can now be used in various ways.
  • the images are not displayed to the operator as long as the operator does not move the clipping by continuing the scan route. Only when the view section is moved over the continued scan route, the images of the continued scan route are now displayed in the field of view.
  • the operator is shown the position of the recorded images of the scanning route which lie outside the current viewing section.
  • that has Display means a region in which the sample is displayed as a whole or a smaller portion of the sample, but which is greater than the field of view, for example, only as a frame of the sample.
  • Each captured image can now be displayed as a point or area according to its location on the sample. The operator can recognize which area of the sample has already been picked up with the microscope objective. If he has the choice, he can now move the field of view specifically in such an area that contains already recorded images.
  • Another possibility is to display the newly acquired images as images, e.g. next to the display field of the visible section.
  • images e.g. next to the display field of the visible section.
  • Each figure is covered by the following figure, so that the figures outside the field of view are only briefly shown. But this may be enough to give the operator the opportunity to recognize interesting images as such. He can then move the field of view targeted on such pictures.
  • the representation of one or more recursive images on a screen is expediently such that it has a lower resolution than the image itself.
  • the recording takes place with a higher optical resolution, as requested by the viewer and / or this is displayed on the screen.
  • it is additionally possible to increase the detailing of the representation ie to zoom in on the representation of the sample until the resolution of the representation reaches the resolution of the image.
  • the field of view of the sample on the screen comprises several images, these are combined to form an overall image that completely fills the viewing area.
  • the operator can now be shown all or part of this composite image.
  • the viewing section is expediently displayed on a display unit.
  • a screen is called simplifying, without any limitation of the invention would be connected.
  • the representation of the field of view on the screen may be composed of one or more images of the sample taken at the location of the field of view of the sample.
  • the field of view of the microscope objective can continue to travel beyond the sample to capture further images outside the field of view, so that the field of view at the time of presentation need not coincide with the field of view of the microscope objective on the sample.
  • the representation of the field of view is therefore usually not a live presentation, but uses one or more stored images back. Nevertheless, the presentation of images on a screen can be done in real time, ie immediately after capture. Thus, there is no need to wait until the entire sample is covered by images, which are then displayed - assembled into an overall image.
  • the display is expediently carried out in real time, so at the moment of the first representation of a figure, a live representation of this image takes place.
  • this image is kept on the screen as the field of view of the microscope objective continues to move and the subsequent ones Illustrations created.
  • the previously recorded image is then no longer live presentation, for their representation is resorted to a non-volatile memory.
  • the scanning route ie the movement of the microscope objective over the sample and thus the position of the sequence of the images of the sample, is expediently determined by a stored algorithm and may depend on one or more parameters which the algorithm incorporates.
  • There are a variety of parameters that may affect the course of a scan route across the sample particularly sample parameters, acquisition parameters, and environmental parameters.
  • the sample parameters primarily determine the initial scan route, ie the route first traveled by the microscope objective.
  • the acquisition parameters and environmental parameters are primarily relevant for a change in an already partially traveled scan route.
  • a sample parameter is taken into account in the calculation of the initial scan route, it is possible to achieve an efficient recording of the sample with regard to the intended examination, so that a rapid examination of the sample is made possible.
  • the above object is also achieved by a method for digitally recording a sample through a microscope, in which a sample parameter is determined according to the invention, a scan route is determined as a function of the sample parameter and a microscope objective is moved along the scan route over the sample.
  • Sample parameters may be determined by the nature of the sample, ie an outer shape of the sample, an arrangement of one or more sample areas on a sample carrier, for example as a micro-array or as a slide in a large area and / or a thickness of the sample through which Number of scan layers lying one above the other in the z-direction is determined. Sample parameters may also be determined by a type of tissue in the sample, by an assay method by which the sample is to be assayed, by a patient ID or patient class from which the sample is derived, by pathological information about the sample, by a color of the sample, and or a color adjustment that can be additive, ie a colored illumination, or subtractive in the form of a color filter in a imaging beam path.
  • Changes in the course of the scan one or more parameters is advantageously processed immediately after the change, ie in real time, the algorithm, expediently in the way that the scan route is changed or recalculated depending on the change. This can already be done while the microscope objective is being moved along the old scan route. The old route can be canceled and continued with the new one.
  • Changing the route in response to a parameter change can significantly speed up a sample examination.
  • the above object is also achieved by a method for digitally recording a sample through a microscope, in which a scanning route for moving a microscope objective is determined and the microscope objective is moved along the scanning route over the sample. It is proposed that, according to the invention, a parameter is changed already during the movement of the microscope objective along the scanning route over the sample, the scanning route is at least partially redetermined and thereby changed as a function of this, the movement of the Microscope lens along the old scan route aborted and continued along the new scan route.
  • the scanning process can be adapted directly to the specifications of an operator, whereby a study of the sample is possible quickly.
  • Parameters which expediently lead to a change of an existing scan route are, for example, acquisition parameters. If a recording parameter is changed, the scan route is expediently aborted and transferred to a new one.
  • a recording parameter can be changed by an operator input.
  • a change in the acquisition parameter can be done by moving the field of view over the sample, changing the detailing of the representation of the sample on the screen, ie changing the zoom level when viewing the sample, changing the depth of focus in the sample, changing the color by filtering or lighting and / or changing the exposure time of the individual images.
  • an operator inactivity leads to a change of an existing scan route. If there is no operator input for a predetermined period of time, the scan route may also be changed, e.g. in longer straight lines without changing direction to reduce a scan sound. With the same advantage scanning can be slowed down.
  • the digital microscope expediently comprises an acceleration sensor, which is signal-technically connected to the control unit for controlling the scanning process.
  • a temperature change above a threshold value, in particular a limit value per time, can also be critical for high-quality images since the material can expand the focus in the sample due to material expansion. Accordingly, it is advantageous if the scan route is changed with a change in temperature above a limit, for example, a new autofocus process is performed and the scan route is then moved to a new autofocus level.
  • the temperature may be a temperature at or about the microscope objective or another component within or on the digital microscope.
  • Also relevant to the scan route is a result of taking one or more images. For this a contrast analysis can be performed during the scan. If the contrast provides sufficient indication that the focus is too inaccurate, an autofocus process may be performed and the scan route may be relocated to a new autofocus level, depending on the result.
  • a test image is taken in a deviating from the current scan plane scan plane and its contrast is evaluated. Depending on the results, a new test image is taken, or the scan route is moved to a level where the test image is located.
  • an autofocus process is carried out during the scanning process, that is to say the scanning of the current scanning route.
  • x and y coordinates of one or more autofocus points can be set, which are then approached by the microscope objective during the scan. Then an autofocus will be done there.
  • the autofocus plane is shifted, ie the plane in which the focus is located during the scan as a result of the autofocus method. It is also advantageous to set the scan route either initially or subsequently so that the autofocus points are approached quickly, so that the calculation of the autofocus can start as early as possible.
  • a recording parameter influencing the scanning route is, for example, the position of the viewing section on the sample. If the viewing section covers the sample only partially, ie beyond the edge of the sample, then the scanning route is expediently limited to the overlap area of the viewing section with the sample.
  • the area of the sample is conveniently the area of a microscopy area, e.g. the area that can contain tissue.
  • a sample carrier such as a glass plate containing the sample, may go beyond that. If a field of view has been selected by an operator, the recorded images partially or completely cover the field of view. Depending on the size of the selected view, it can already be completely covered by a single image.
  • the entire field of view is composed of several juxtaposed images.
  • the images are offset from each other and may partially overlap one another to facilitate stitching the images to a larger overall image, that is, automated composition based on image content comparison of adjacent images in their coverage area.
  • a displacement of the images can also take place in the vertical direction, ie in the z-direction, if, for example, several images lie in different focal planes with one another or one above the other, ie are offset from each other in the z-direction.
  • the images are formed by moving the field of view of the microscope objective relative to the sample and imaging the sample in the positions of the field of view offset by the movement.
  • the microscope objective can be at rest at the time of recording or, in particular, can be continuously moved further, even at very short exposure times, without a disturbing smear occurring in the images.
  • the movement of the microscope objective relative to the sample and thus also the selection of the position of the images is expediently controlled by the algorithm as a function of the size of the selected visual excision in the sample.
  • the field of view is displayed on the screen so that the sample can be viewed by an operator of the digital microscope.
  • the representation of the images lying outside the field of view expediently does not occur at this point in time until the visible section is moved into these already recorded images. If the viewing section is moved into a region of the sample which has not yet been completely or partially recorded, the part of the area of this visible section which has not yet been recorded will be immediately afterwards added to the shift or even during the shift.
  • the course of the scan route depends on the movement of the field of view.
  • an operator may specify the field of view, for example, from a previously acquired overview image of the sample, or the field of view may be determined by an algorithm, for example, depending on the type of sample.
  • an overview image of the sample is initially produced, in which the entire sample area or the entire sample field of the sample is displayed. Based on this overview image, the operator can select the viewing section that he would like to see first. This is done, for example, by the operator marking the region of interest in the overview image of the sample with a marking agent, for example a mouse. The marking can be done by creating a window or by marking a point in the overview image of the sample. The field of view can now be placed in or around the marking, for example in the size of the marked window or in a preset size, in particular symmetrically, around a marked point. The size of the field of view may be conveniently selected by the operator, for example by determining a geometric size, e.g.
  • the size of the view on the screen may depend on the magnification you select.
  • the size of the field of view is greater than the predetermined by the microscope objective size of a single image, so that the field of view is covered with a plurality of images. The scan route is now selected so that the view section is scanned and assembled picture by picture.
  • a time in which the operator finds an area of interest from an overview image and selects it by a marker can be advantageously used by already defining a scan route initially and traversing image by image before the viewing area is selected.
  • the scanning route is advantageously placed in the selected viewing section in such a way that it is guided outwards from the center of the field of view, in particular in a spiral shape.
  • the first image therefore covers the center of the field of view, and the following figures are around the first image.
  • the viewing window of interest to the operator is filled from inside to outside with pictorial content.
  • a mostly quieter and faster variant is a meandering scan route, which is particularly suitable for fast image sequences, eg for short exposure times. Also advantageous is a scan route in response to a movement of the viewing window. If the viewing window has been moved in one direction, filling the new viewing window in this direction is the most ergonomic. For example, if the viewing window was moved to the right, the scan route could fill the viewing window vertically perpendicular to the right.
  • the scan route continues outside the field of view in a spiral around the viewing section expanding outward.
  • the sample is scanned with a plurality of individual images, that is to say with images or route parts, which are each completely surrounded by an image-free region.
  • a larger area can hereby be scanned dot-by-dot, in order, e.g. To find tissue.
  • Priority area may be an area of tissue or other substance to be studied.
  • those areas of the field of view which have not yet been imaged are advantageously initially, in particular exclusively, taken up by the microscope objective.
  • the scan route moves in the direction from the center of the field of view to the edge of the field of view.
  • the route is optimized for the fastest possible scanning of the entire field of view while still partially scanned viewing section.
  • the scan route outside the field of view it is advantageous to increase the scan rate, ie to achieve a larger number of images per time than was the case with the scan route within the field of view. This is usually achieved by long straight scan lines.
  • the course of the scan route can be a compromise between fast scanning of a region, e.g. around the current field of view, and a high scan rate.
  • the operator may change a parameter.
  • a parameter change is a change in the magnification factor.
  • the selected field of view will be in the area of the image of the overview image, whereby the field of view is assigned a higher magnification than the overview image.
  • the sample can now be displayed in the area of the field of view with the resolution of the overview image, this is not the resolution desired by the operator, which is why the overview image is a non-current image.
  • Another parameter change occurs when the focal plane is changed. The different image planes are now in z-direction below or above each other.
  • Yet another parameter change occurs when a spectral region of the images is changed, for example in fluorescence microscopy.
  • An image plane then has a different spectral range of the images than another image plane.
  • a parameter change such that an exposure time or a color channel selection of the images has been changed. For example, in order to save time a sequence of images with a low exposure time has been taken, for example using digital image brightening, and if an image is to be taken in the same local position with a higher exposure time, this also represents a parameter change. because the previously taken picture is not up-to-date regarding its picture quality.
  • a change in the scan route is described below as an image plane change in which the images of the old, inactive scanning route lie in a different image plane, ie the new images of the current scan route.
  • An image plane may here be referred to as a location or an area in a multi-dimensional parameter space, in which each parameter takes on a dimension. If a parameter or, strictly speaking, a parameter value is changed, the image plane shifts in the parameter space.
  • the scan route within or outside the field of view may be guided independently of or otherwise from already recorded images of an inactive image plane. If, for example, the depth of focus in the sample is changed, it may make sense to replace blurry in-focus images with new sharp ones.
  • the new image plane can then be recorded separately and independently of other image layers. In this case, however, images of another image plane can also be displayed so that current images and inaccurate images of the visible section are displayed side by side. As a result, the operator can orientate himself faster on the sample or in his field of view.
  • the inactive recording was recorded in a different spectral range than the sequence of the current images, for example by a spectral filter or another recording mode, such as a bright field recording in comparison to a fluorescence recording.
  • a spectral filter or another recording mode such as a bright field recording in comparison to a fluorescence recording.
  • the in-focus shot was taken with a different focus position in the sample.
  • the representation of the in-focus image is distinguished from the representation of the current image such that a distinction is made between the in-state image and the current image Illustration is possible. This can be done by coloring the unsuitable areas, obscuring or other marking.
  • an algorithm can calculate a probability that a recording parameter will be changed next, especially during the current scan. It is calculated, for example, where the field of view in a fixed time window is moved to the corresponding probability range of the sample.
  • Another possibility is to set the scan route based on constraints that are given.
  • information about the type of sample is obtained from an image of the sample and the scanning route is selected outside the selected field of view as a function of the type of sample.
  • different tasks of the operator or doctor for analyzing the sample can be set, from which a movement of the visual excerpt can be predicted with sufficient probability.
  • Information about, for example, the nature of the sample can be obtained from a label on the sample, conveniently a machine-readable code, such as a barcode.
  • a further advantageous possibility for detecting the type of sample lies in a tissue recognition in an image of the sample.
  • Image recognition allows more meaningful areas of the sample to be distinguished from less meaningful areas, such as areas with more tissue from areas with little or no tissue. In this way, areas can be classified into higher classified areas and lower classified areas. Also from the type of tissue can be closed on more or less interesting areas, ie higher or lower classified areas.
  • a tissue recognition can take place based on an image of the sample, for example a previous image, an in-current image and / or an overview image of the sample. Now the scan route is expediently controlled outside the field of view as a function of tissue recognition results.
  • the scan route first moves to areas of higher classification and then to areas of low classification, for example first areas with recognized tissue and then tissue-free areas.
  • Certain types of specimens may include analysis instructions that require an operator to perform a scan of a specimen.
  • a typical example is a screening in which a doctor looks at the entire sample along a meandering screening route, for example.
  • Such a screening route can be scanned in advance by always covering such areas of the screening route with pictures in which the field of view is not yet.
  • the field of view moves next, and the scan route outside the field of view is guided as a function of the calculation result.
  • an earlier movement of the field of view by an operator can be taken into account.
  • the type of sample is also or alternatively included in the calculation.
  • the type of sample may be entered by an operator or optically determined by a control unit of the digital microscope.
  • a prediction of a future position of the field of view can also be improved by determining a character of the sample in the current field of view and approaching character-like areas of the sample from the scan route in front of dissimilar areas.
  • the character of the sample in the current field of view may be included, and the calculation also incorporates character similarities of regions of the sample from other areas of the sample into the calculation.
  • tissue recognition the sample is searched for given tissues or image contents so that regions with recognized tissue can be distinguished from tissue-free regions. It is even more accurate when different types of tissue or image content types are distinguished and preferably a certain type of tissue is approached.
  • tissue type is used below to refer to a type of sample or structures / image contents in general.
  • the tissue type can be determined by the choice of the position of the visual excision in the sample.
  • a type of tissue can be determined in the field of view, and this type of tissue can determine preferred scanning areas insofar as they contain such a type of tissue, possibly with a predetermined edge area around the tissue type areas found.
  • a field of view is selected by an operator or automatically selected by a control unit of the digital microscope, which is significantly larger than a single image of the microscope objective whose magnification is thus significantly lower than the magnification of the microscope objective, the scanning of the field of view can take a relatively long time, especially if this is repeatedly postponed.
  • a pixel binning of a detector receiving the images takes place, ie merging a plurality of pixels into a common pixel for signal amplification. In this way, the exposure can be shortened and the image Fertilize can be done more quickly in a row.
  • the images in this case have a reduced resolution, this is tolerable in a view section with a low magnification.
  • a pixel binning is expediently carried out automatically, in particular as a function of a ratio of a resolution of the representation of the visual excerpt on a display means (zoom level) for the resolution of the recorded images. For example, if the ratio is less than a threshold, pixel binning may be performed automatically. Especially with a long exposure time, as with fluorescence images, pixel binning is advantageous. But even with a high level of user activity, pixel binning is advantageous if, for example, the user quickly shifts the field of view. However, if the field of view always remains long in several places, it may be possible to do without binning in order to achieve a better image quality.
  • pixel binning can be performed automatically depending on zoom level, imaging channel and / or user activity.
  • Pixel binning should generally also be understood to mean the selective readout of only a part of the total detector elements, even without the merging of detector elements.
  • reduction of the exposure time without pixel binning may also be considered to increase an imaging speed.
  • Subsequent image processing, for example enlargement of the contrast and / or brightening of the image makes it possible to make the otherwise dark images more analyzable. In this respect, it is advantageous if an exposure time of the images is selected as a function of a size of the field of view.
  • a spectral channel selection of the images may increase the imaging speed depending on a size of the field of view. For example, it is only recorded in one spectral channel in order to first give the operator an overview of the viewed area of the sample.
  • an autofocus method can be carried out, with which a suitable autofocusing of the microscope objective for the creation of the images is determined.
  • a suitable autofocusing of the microscope objective for the creation of the images is determined.
  • an autofocus depth or autofocus position is determined at a plurality of locations of the specimen, so that an autofocus plane can be laid through these points.
  • the scan route expediently runs at least initially in the autofocus plane.
  • the depth of focus can be understood as meaning a depth in the z-direction, ie perpendicular to the sample plane in which the focus of the microscope objective lies. The sample is now sharply focused in the depth of focus.
  • An autofocus depth may be a depth of focus in which the focus has been adjusted by an autofocus method.
  • An autofocus depth is expediently located in a material region of the sample which is to be examined.
  • Several autofocus depths that are different in the x and / or y direction can form an autofocus plane, which is expediently parallel to the sample plane.
  • the operator may still manually adjust the focus position at a high magnification selected by the operator to optimize for him or her. le picture of the sample to get.
  • the scan route expediently initially extends in the depth direction around an autofocus depth. This is particularly expedient if the operator selects a zoom factor or an enlargement of the visible section above a limit value, for example over 10x. If, after the operator has changed the focus position of the microscope objective, the scan route is first
  • the scan route runs in the plane of the adjusted focus depth.
  • the operator will scan the sample at that depth of focus, so that a preliminary scan of that focal plane can speed up the examination.
  • the scan route is parallel to an autofocus plane determined in an autofocus method.
  • the scan route can again run horizontally, e.g. in the current focal plane of the microscope objective.
  • the invention is also directed to a digital microscope, in particular for carrying out the method according to the invention.
  • the digital microscope expediently has a sample receiver, a microscope objective, a drive for moving the microscope objective over the sample, a camera for taking the sample through the microscope objective, and a control unit for controlling the drive and for taking pictures of the camera.
  • the control unit is also prepared to display the recordings on a display means, for example a screen. The screen can also be part of the digital microscope.
  • control unit be prepared in accordance with the invention to move the microscope objective over a viewing section in a scan route, to digitally record a sequence of images offset from one another and then to display the scan route with a sequence of images outside continue the selected field of view.
  • future displaced views can be displayed quickly.
  • a movement of the microscope objective over the sample is a relative movement, so that, viewed in absolute terms, the microscope objective moves over the sample or the sample is moved under the absolutely stationary microscope objective.
  • FIG. 1 shows a digital microscope with a microscope objective and an overview lens over a
  • FIG. 2 shows the sample from FIG. 1 in a plan view with a sample field with two tissue regions, two information fields next to the sample field and a visual excision which lies above one of the two tissue regions,
  • FIG. 3 shows the viewing section from FIG. 2 with scanning routes along which images of the sample are taken
  • FIG. 4 shows the view detail from FIG. 2 with a coarse-dissolved outer and colored region and an inner region with higher resolution through four images
  • FIG. 5 shows the sample field of the sample from FIG. 2 with a viewing section which is meandering over the sample along a screening route, FIG.
  • FIG. 6 shows the sample field with a viewing section, which is guided over the sample, depending on the tissue
  • FIG. 7 shows a view detail and an overview of a sample field in which already recorded images are recorded
  • 8 shows a stack of images which were recorded with focal positions varying in the z-direction and a scanning route started at a desired depth of focus.
  • Sample 1 shows a digital microscope 2 with a sample holder 4, in which a sample 6 is inserted.
  • Sample 6 has a sample carrier 8 and a cover glass 10 and biological material arranged between sample carrier 8 and cover glass 10, as indicated in FIG. 2 in the plan view of sample 6.
  • the cover glass completely covers the sample area, ie the area of the sample in which the material to be examined can be arranged.
  • the sample area is also referred to below as sample field 48.
  • a carrier area ie the area of the entire sample around the sample area.
  • two information fields 40, 42 are arranged, which contain sample information.
  • the sample holder 4 is movable within a housing 14 of the digital microscope 2, so that the sample 6 can be inserted outside the housing 14 in the sample holder and the sample holder 4 is moved by the drive 12 into the housing 14 and under a microscope 16 ,
  • the microscope 16 comprises a microscope objective 1 8, which is shown only schematically in FIG. 1, and with which the sample 6 is imaged onto a matrix detector 20 of a camera 22.
  • the microscope objective 18 is attached to a lens carrier 24 and can be moved two-dimensionally by means of a drive 26, as indicated by the two arrows in FIG.
  • the image acquisition by the microscope objective 18 is controlled by a control unit 28 which also controls the drive 26 for moving the microscope objective 18 over the sample 6.
  • the sample 6 can be moved under the fixed microscope objective 18, so that the drive 26 can be dispensed with.
  • the digital microscope 2 is equipped with an overview camera 30, which has a detector 32 and an overview objective 34 for imaging the sample 6 on the detector 32.
  • the overview camera 30 can likewise be fastened to the objective carrier 24 and moved into a suitable position over the sample 6, so that the sample 6 is taken in total by the overview camera 30.
  • the overview camera 30 may be firmly fixed relative to the housing 14 in such a position that it can completely receive the sample 6 when the sample 6 has been brought by the drive 12 into its examination position within the housing 14.
  • the images recorded by the overview camera 30 and the microscope camera 22 are displayed to an operator.
  • an input unit 38 for example a keyboard and a mouse
  • the operator can enter inputs and commands which are processed by the control unit 28, which controls the position of the microscope camera 22, for example.
  • the information field 40 carries a machine-readable code, for example a bar code, which contains information about the sample 6, for example about the type of sample.
  • the information Field 42 contains information in ASCII format, that is, with letters, numbers, and characters, from which the operator can obtain important information about Sample 6 for him / her.
  • the digital microscope 2 is suitable for light and dark field analysis in reflected light and transmitted light and also for fluorescence analysis of the sample 6 and this prepared by appropriate lighting units, the representation of the sake of clarity in FIG 1 was omitted.
  • the following section first describes bright field examination methods and then fluorescence examination methods.
  • the sample 6 is inserted by an operator in the sample holder 4, which is located outside of the housing 14 of the digital microscope 2.
  • the sample holder 4 is drawn into the housing 14 and moved by the drive 12 in the examination position.
  • the operator can decide based on an input on the input unit 38, according to which method he would like to examine the sample 6.
  • an overview image of the entire sample 6 including the information fields 40, 42 can optionally be recorded.
  • the overview image is displayed on the screen 36 to the operator. Even with a fluorescence examination, it makes sense that an overview image is recorded in bright field or dark field.
  • the sample holder 4 can accommodate a plurality of samples 6 side by side or with each other, so that multiple samples 6 can be examined in one operation with the digital microscope 2. It is also possible for a sample 6 to be divided into a plurality of sample regions arranged separately from one another, for example if it comprises a microarray with a plurality of small sample containers.
  • the overview image can be an image of all samples 6 on the sample holder 4, or a separate overview image of each sample 6 is created, which is then displayed individually or together on the screen 36.
  • the operator can then select in what order he wants to examine the samples 6.
  • the operator selects a sample 6 for examination, for example, the sample 6 shown in FIG. 2.
  • the control unit 28 determines, for example, a type of sample and an examination method, possibly patient data and / or pathological information. These sample parameters are used to calculate a scan route.
  • the operator selects a region of interest by clicking on or marking it with the input unit 38.
  • a viewing cutout 44 is produced.
  • the viewing section 44 can also be preset, that is to say be selected automatically.
  • An automatic selection is made by an algorithm which is executed in the control unit 28 on the basis of data provided for this purpose, for example the predetermined examination mode, which is explicitly or implicitly indicated on an information field 40, 42, for example.
  • the viewing section 44 can be selected on an information field 40, 42 in the case of automatic selection as a function of machine-readable information. It is also possible to automatically select the viewing area based on a sample parameter.
  • the algorithm includes instructions that associate a vision area 44 with such abstract operator information.
  • General selection data may be the sample surface, the sample outline and / or a sample shape, ie the area, the outline and / or the shape of the sample field 48.
  • the initial view section 44 always in the upper left corner of the sample field 48 or in its center.
  • the viewing section 44 is displayed enlarged on the screen 36. Depending on the magnification of the visible section 44, the display section 44 is displayed with image data of the overview image or with images taken by the microscope objective 18.
  • the microscope objective 18 Before taking the images through the microscope objective 18, it makes sense to set a suitable focus position of the microscope objective 18 in the sample 6. This can be done, for example, using an autofocus method.
  • the autofocus method is performed autonomously, for example, after the overview image is taken and displayed on the screen 36 to the operator.
  • the microscope objective 18 moves over the sample 6 and moves in the z-direction 46, ie in the depth direction of the sample 6 and perpendicular to the sample plane of the sample 6.
  • the distance of the biological material to the microscope objective 18 or a focus position of the microscope 16 in the biological material are determined.
  • This focus position is expediently carried out in the middle of the sample field 48, as indicated by a small cross in the center of the sample field 48 in FIG.
  • the microscope objective 18 is moved in the x and y directions and the appropriate autofocus position is measured at several other locations of the sample field 48, as indicated for example by the four outer crosses in the sample field 48 of FIG. From the multiple autofocus positions an autofocus plane is calculated, which lies in the biological material.
  • the autofocus plane is used as the starting plane for the first images of the sample material.
  • a scan route 50 (FIG. 3) is calculated by the control unit 28.
  • the selected field of view 44 of the sample 6 is displayed on the screen 36 with.
  • the magnification of the visible section 44 may be predetermined, or the operator determines with the selection of the visible section 44 also the size of the visual excision or the optical magnification with which he wants to view the sample 6 through the viewing section 44.
  • the resolution of the overview image it may be that the resolution of the overview image is sufficient to display the sample 6 in the preset or selected field of view 44 on the screen 36. Irrespective of this, the microscope objective 18 starts to travel over the sample 6 along the calculated scan route 50 and to record images 52 of the sample 6. If the resolution of the overview image is sufficient, the representation of the images 52 can be dispensed with. If the resolution is insufficient, the images 52 are displayed on the screen 36.
  • An optional case distinction is shown in FIGS. 3 and 4.
  • FIG. 3 shows the viewing detail 44 displayed on the screen 36.
  • the image content comes from a previously recorded image of the sample 6, for example the overview image, and generally does not coincide with the current position of the microscope objective 18 above the sample 6.
  • the overview image which, depending on the resolution, shows the sample 6 sharply resolved, as shown in FIG. 3, or shows a blurred image, as in the outer regions of the visible section 44 in FIG indicated by the thick lines.
  • the control unit 28 controls the microscope objective 18 in a scanning route 50 over the sample and controls the taking of a sequence of images 52 through the microscope objective 18.
  • the images 52 are shown in FIG This sequence is offset from each other within the viewing section 44, so that the sample 6 is taken within the field of view 44 Figure 52 for Figure 52 in the resolution or magnification of the microscope objective 18.
  • the scan route 50 begins in the middle of the field of view 44.
  • the first image symmetrically or asymmetrically covers the center of the field of view 44.
  • the scan route 50 which is shown in FIG. 3 with dash-dotted lines or arrows, runs outward from the center in a spiral shape towards the edge of the viewing section 44.
  • the microscope objective 18 travels over the sample 6 along the scan route 50 and picks up image 52 for illustration 52, as shown in FIG.
  • the first image 52 is shown in solid lines, the second image 52 is dashed, and the third image 52 is dotted. Further illustrations are not shown for the sake of clarity. However, it can be seen that, over time, the entire field of view 44 is covered with images 52 in the order of the scan route 50, so that high-resolution image data of the sample are available in the entire field of view 44.
  • the procedure is basically the same.
  • the microscope objective 18 moves along the identical scan route 52 for image 52 over the sample 6.
  • the in-focus image area of the field of view 44 shows blurred image details, while the sections of the images 52 of the field of view 44 are displayed sharply because they are from the image data of Figures 52. Accordingly, the sharp image area grows from the inside to the outside, as indicated in FIG.
  • the inactive image sections are colored, for example with a gray tone. This is particularly advantageous if the resolution of the inactive image areas is still quite good, so that the image quality differences from the current to the inactive image sections are not immediately recognizable.
  • the entire field of view 44 is covered with images 52 so that the image representation within the entire field of view 44 can be fed with actual images 52 or sharp image data.
  • the scan can now be stopped and serviced until the viewing section 44 is moved by the operator to another area of the sample 6. Then also this view section 44 would be scanned image 52 for Figure 52, so that the image of the field of view 44 piece by piece composed in the current representation.
  • this takes a certain amount of time in each shifting field of view 44 by the operator, it is advantageous if the current image data of a displaced field of view already exist at the time of the movement. For this purpose, an anticipatory scan is also required outside of the field of view 44.
  • the scanning route 50 runs outside the field of view in a spiral around the viewing cutout 44 and expands radially outward, web-by-web, until the
  • Limits of a region of interest or the sample field 48 are reached. If such a limit is reached, the scanning route 50 reverses and moves the next outer imaging row in the opposite spiral. If the viewing section 44 is now shifted a bit by the operator, current image data can be used and the viewing section 44 can be displayed currently. If the viewing cutout 44 has been displaced and placed over already taken pictures 52, these are displayed directly in the new view cutout 44. If the new field of view 44 is only partially occupied by existing images 52 and part of the field of view 44 is not yet occupied by images 52, the continuation of the new scan route depends on which part of the field of view 44 already exists with images and which does not.
  • the scan route 50 continues in the middle of the visible section 44 so that it is filled outward from the center. If the center is already covered, then the new scan route 50 connects meander-shaped from the inside outwards to the existing images 52. This is true even if the center is not covered, but the existing images 52 reach the center to a predetermined distance, for example, down to less than 20% of a line-of-sight edge length. If all images 52 of the new visible section 44 are already taken after the movement, it is possible to dispense with a change in the scanning route so that it is not changed outside of the visible section 44.
  • An actual display does not necessarily mean that a momentary view of the sample 6 is displayed. It is always resorted to stored images 52, even if the sample 6, for example, moved or taken out of the digital microscope 2. Currently, in this sense, it should be understood that the images 52 have been made in the way that the operator - or the control unit 28 in a default setting - has adjusted.
  • the operator may change a variety of parameters such that a representation of the field of view 44 on the screen is changed. If the operator changes a parameter, this is registered by the control unit 28 and included in the calculation of the scan route 50. As a rule, the scan route 50 is influenced and changed hereby. This has the consequence that the departure of the current scan route 50 is stopped, and the microscope objective 18 now travels along the recalculated scan route 50 and picks up new images 52. If a parameter is changed, e.g. a capture parameter, the image plane changes and the previously acquired images 52 become inactive.
  • the parameters may include the resolution or magnification, the depth of focus, an exposure, a pixel binning of the matrix detector 20, in the fluorescence analysis in particular the spectral range, and further parameters.
  • the representation can be marked accordingly on the screen 36, for example by coloring.
  • An exception may be a change in the magnification recording value when shooting at the same or greater magnification. For example, if you change from 10x to 20x, ie from 10x to 20x, and there are already 40x images, these images will remain current and they will only be displayed larger.
  • the control unit 28 expediently selects one as a function of a future parameter.
  • the future parameter may indicate with which probability the viewing section 44 is displaced at which location within the sample by the operator.
  • the control unit 28 can carry out a calculation as to where the viewing section 44 next migrates and then control the scanning route 50 outside the visible section 44 as a function of the calculation result or the future parameter obtained therewith.
  • one or more sample properties or one or more operator inputs may be used.
  • Information about the type of sample 6 can be taken, for example, from an information field 40, 42, for example the barcode of the information field 40. give an examination of the type of examination with which sample 6 is to be examined.
  • a screening route 54 may be connected to the sample type, as shown by way of example in FIG.
  • FIG. 5 shows the sample field 48 of the sample 6 with tissue regions 56 and tissue-free regions around the tissue regions 56. If, for example, a complete screening of the sample field 48 is specified, the visual segment 44 automatically jumps to the beginning of the screening route 54 after a corresponding input by the operator systematically, for example meandering, is guided over the entire sample field 48. This is indicated in FIG 5 using the meandering dashed arrow.
  • the operator moves the field of view, for example, with an operator, such as a mouse, along the screening route 54.
  • the controller 28 controls the scan route 50 to extend outside the field of view 44 along the screening route 54. If the visible section 44 comprises only one image 52, the scan route 50 can run identically to the screening route 54.
  • the scan route 50 may, for example, meander along the screening route 54, as indicated in FIG.
  • the scan route 50 generally advantageously leads the movement of the viewing section 44 along the screening route 54, so that the viewing section 44 always moves into already existing images 52. In this way, it is possible to proceed until the viewing cutout 44 has moved over the entire sample field 48.
  • the screening route 54 also passes through tissue-free areas that are not of great interest to the operator. Accordingly, it can be assumed that he will guide the viewing section 44 relatively quickly through tissue-free areas.
  • tissue regions 56 there may be 6 regions of interest, such as the tissue regions 56, and non-interest or less interesting regions, such as the tissue-free regions in FIG. 5.
  • a capture mode for controlling acquisition of the images 52 is dependent of the course of the screening route 54 and / or the scan route 50 through differently categorized areas such as a region of interest and a region of no interest. Illustrations 52 are performed faster in a lower categorized area than in a higher categorized area.
  • the scan route 50 can remain the same here, ie be placed independently of the area categories, if appropriate, as for example in the case of a defined screening route 54. Otherwise, the scan route 50 can also be made dependent on area categories.
  • the area categories can be created using image processing methods of a previously captured image of the sample 6, for example, based on an overview image. For example, tissue regions 56 are recognized as higher rated categorized regions and distinguished from low categorized regions, such as regions with no or other tissue.
  • Acceleration of the acquisition of the images 52 can be achieved by one or more of the following measures.
  • Channels or elements of the matrix detector 20 are combined by pixel binning so that sufficient exposure is achieved after a shorter exposure time.
  • the exposure time can also be reduced without pixelbinning
  • the brightness of the images 52 may be subsequently increased by image processing, such as by increasing image brightness, contrast, and / or other means.
  • image processing such as by increasing image brightness, contrast, and / or other means.
  • mappings 52 along the scan route 50. If, with sufficient probability, no region of interest or higher categorization lies in the corresponding image 52 or in its image field, then the corresponding image 52 can be dispensed with. In the case of a fluorescence image, the images 52 can be recorded in only one fluorescence channel, and the recording in other spectral channels is omitted.
  • one or more of these imaging accelerating measures can be used even if the selected resolution or image magnification of the viewing section 44 is relatively low, or more precisely: at least to a preset level lower than the resolution or magnification of the microscope objective 18. In this case the magnification of the microscope objective 18 is not fully utilized anyway, so that one or more measures that impair the sharpness of the image can be made at the desired magnification without significant loss of quality in the representation of the images 52.
  • an acceleration measure such as pixel binning, can be carried out automatically, ie triggered automatically, without the operator prescribing the measure. The measure is triggered in particular as a function of the zoom level of the current view section 44 on the screen 36. For example, if the zoom level is less than a threshold, the action can be triggered automatically.
  • a user activity can also use a trigger parameter for an acceleration measure, such as pixel binning, for example the dwell time of the field of view 44 in one location.
  • FIG. 1 Another possibility of an intelligent guidance of the scan route 50 via the sample 6 or its sample field 48 is shown in FIG. 1
  • FIG. 6 shows the visible section 44 within the sample field 48, as selected by the operator or preset by the control unit 28.
  • the control unit 28 performs a tissue recognition of this
  • the tissue recognition can take place on the basis of the overview image, in which the tissue 56 is already shown.
  • the scan route 50 outside the current field of view 44 is now performed prioritized within the higher-categorized areas 56.
  • the scan route 50 will first pass across all higher-categorized areas before passing into a lower-categorized area.
  • the scanning route 50 extends outward in a spiral around the viewing section 44 for reversing the spiral direction in the next outermost imaging path at range boundaries of the higher categorized region 56. This finally leads in a meandering path over the entire fabric area 56 until it is completely scanned.
  • the scan route 50 jumps to the next tissue region 56 and rasterizes it in a meandering manner. If the field of view 44 is displaced by the operator, then it may be that it comes to rest over an area that has not yet been scanned.
  • a scan route 50 within the viewing section 44 in dependence on a movement of the viewing section 44 is advantageous. If the operator drives the viewing window 44, for example, continuously or multiply in one direction, a meander-shaped scanning route 50 is selected instead of the spiral scan route 50, the propagation direction of which - analogous to the screening route 54 - is selected in the direction of displacement of the viewing section 44. In this way, a direction of propagation of the scan route 50, which may confuse the operator and which precludes the direction of displacement of the viewing section 44, is avoided.
  • tissue recognition is not performed on the basis of an overview image, it is possible to run a random rapid scan over the sample field 48, in which individual images, ie images 52 spaced apart from one another, are produced. These island-like images 52 are now being examined for tissue 56. If tissue 56 has been found in a figure 52, additional images can now be appended to this "find" image 52 in order to image the tissue area, either immediately or only after the completed quick scan.
  • a type of image such as a type of tissue
  • the viewing cutout 44 not only lies in a tissue region 56 but also covers a special type of tissue, which is indicated in FIG. 6 by lines lying inside one another.
  • the control unit 28 can select similar image categories or tissue categories from, for example, the overview image or another earlier image. Such areas now receive an even higher range category.
  • the scan route 50 now passes hierarchically through the area categories. First, areas with the highest category are scanned. Then areas with the next lower area category are scanned and so on.
  • the tissue region 56 covers the already scanned highest categorized region and only at the end the tissue-free region, in the event that the visual excision also partially covers it.
  • the control unit controls the scan route 50 so that a field having at least the size and shape of the current view section 44 is scanned around the most categorized area, for example, 1.5 times the area size, as shown by a dotted line in FIG is represented by a possibly future viewing section 44. If the operator moves the viewing section 44 to the next highly categorized area, he can immediately display the entire field of view 44 without delay. Another future parameter is that earlier movements of the field of view 44 by an operator are taken into account. Previous movements may be directional or sectoral movements. Directional movements are, for example, screening directions. Area related moves are movements from one area to the next. For example, in earlier examinations of other samples, if the operator has preferred certain areas found by the control unit 28 in the current sample 6, those areas may be categorized higher than other areas so that the area categories can be used as future parameters.
  • the scanning route 50 has been further scanned outside the visible cutout 44, ie a plurality of images 52 have been recorded outside the visible cutout 44. Instead of leaving the operator unaware of where these mappings 52 lie within the sample field 48, this may be indicated to the operator, as shown in FIG.
  • FIG. 7 shows the view of the viewing section 44 on the screen 36.
  • the sample field 48 is displayed in the form of a rectangle, in which the viewing section 44 is also reduced in size and displayed in its position within the sample field 48.
  • the already recorded images 52 are displayed in their position within the sample field 48, so that the operator can recognize which areas of the sample field 48 have already been scanned. He can now preferably place the viewing section 44 over such areas so that it can be displayed completely or partially from already recorded pictures 52. With automatic recognition of prioritized areas, such as tissue areas 56, the images 52 will be laid over such areas, so that the operator additionally gets an indication of where the prioritized areas are located. As a result, he can shift the viewing section 44 in a more targeted manner and examine the sample 6 efficiently.
  • the operator is thus the location of the recorded images 52 of the scan route 50 displayed, which are outside the current view section 40.
  • Each recorded image 52 is displayed as a surface corresponding to its position on the sample 6 or the sample field 48. It is likewise shown in FIG. 7 that the respectively last recorded image 52 is displayed, for example next to the display field of the field of view 44.
  • Each image 52 is covered by the following image 52 so that the images 52 recorded outside the field of view 44 are only briefly shown become. However, this is sufficient to give the operator the opportunity to know interesting images 52 as such.
  • he has the option of stopping the sequence of illustrations in Figure 52 in order to be able to view the current Figure 52 for a longer time. However, the scanning continues unchanged, except that the recorded images 52 are no longer displayed until the operator cancels the display stop again.
  • an autofocus method that may be performed provides an autofocus plane, it may be that the autofocus plane is not optimal with respect to the examination to be performed by the operator or the operator manually moves the focus position out of the autofocus plane for other reasons.
  • Images 52 from the old focal plane then become in-picture mappings 52. They are expediently identified as such, for example colored, and the scan route 50 is newly defined in the current focal plane.
  • the current focal plane expediently runs parallel to the autofocus plane.
  • the scan route 50 is guided vertically by the control unit 28.
  • a stack of overlapping images 52 is recorded, which are thus superimposed in the x and y directions and are spaced from one another by a predetermined distance in the z direction only.
  • the height of the stack is determined by the control unit 28 and is for example a fixed number of images 52 on both sides of the autofocus plane.
  • Other parameters, such as the position of the cover glass 10 or of a sample carrier 8 can also be taken into account so that the focus positions remain within the material to be analyzed. This process is shown by way of example in FIG.
  • FIG. 8 shows a stack of images 52 superimposed in the z-direction, of which the bold-framed image 52 lies in the autofocus plane.
  • the control unit 28 controls the recording of the images 52 above and below the focal plane, for example, three planes above the focal plane and four planes below the focal plane, as shown in FIG. All images 52 are conveniently located centrally in the current field of view 44. If the operator attempts to manually adjust the focus, he can focus through the previously recorded image stack and select the optimal focus plane without the central image 52 moving as the focus is moved must be recreated. This leads to a very pleasant adjustment of the focus. Only when the image stack has been completely recorded, a focus plane is searched out and the scanning route 50 in this focal plane running horizontally through.
  • the scan route 50 extends spirally outward around the central image 52 as described for FIG. Illustrations 52 of the inactive focal plane can be shown here, but are expediently marked as inactive, as described in the example of FIG. 4.
  • the scan is completed in the visible section 44 in the selected focal plane, for example the dashed plane of FIG. 8, it can be continued in an adjacent focal plane so that the scan route 50 thus jumps into an adjacent focal plane.
  • the adjacent focal planes are indicated in dotted lines in FIG. If the focus is readjusted by the operator, it is possible to resort directly to already taken pictures and the viewing section 44 can be displayed immediately.
  • the scan route 50 leaves the current image plane, for example to record one or more images 52 in an adjacent focal plane, the scan route in the sense of the invention leads out of the viewing section 44 since the current view section 44 is a two-dimensional view section 44 in the current image plane.
  • Each image plane change of the scan route 50 ie focal plane change,
  • the completion of the scan in a focal plane need not relate to the complete sample field 48. It is sufficient if the viewing section 44 is completely scanned so that it then jumps into the adjacent focal plane and the viewing section 44 is further scanned in this plane. Instead of the field of view 44, highly categorized areas may also be scanned first, jumping to a different focal plane when all the most categorized areas have been scanned. In the event that the operator has chosen a high magnification and consequently the image stack, as exemplified in FIG. 8, was created, but the operator has not actually moved the focal plane out of the autofocus plane within a predetermined time, then a scanning process or the Scan route 50 in a plane outside the focal plane can be aborted, and the scanning can be continued in the autofocus plane.
  • the autofocus plane is to be preferred over other planes in the selection of the scan route 50.
  • the following parameters can be taken into account or changed, wherein - if necessary, except for the changes caused by the fluorescence analysis - can be fully recourse to the above method steps from the bright field method.
  • the digital microscope 2 contains one or more spectral filters 58, which can be introduced into the beam path 60 and limit the radiation to the desired spectrum.
  • the beam path of the illumination or excitation expediently takes place at least between microscope objective 18 and sample 6 in imaging beam path 60.
  • a beam path which is coupled into the imaging beam path via a semitransparent mirror is expedient. possibly also in front of the microscope objective.
  • the spectral filter or filters 58 are advantageously introduced into the illumination beam path 60 in front of the sample 6, so that the sample 6 is illuminated as gently as possible.
  • Each spectral channel can be seen as an image plane, analogous to the focal planes, so that the number of possible image planes results from a multiplication of the number of spectral channels by the number of focal planes.
  • an overview image in the transmitted light and / or bright field is expediently created in order to give the operator a first overview of the sample 6.
  • an overview image can be produced in the fluorescence spectrum, wherein the scanning process is expediently initially limited to one spectral channel, in particular the channel of the most stable staining, e.g. the most stable DAPI staining.
  • the scan route 50 can be selected both horizontally and vertically analogous to the bright field method.
  • the selection of the visible section 44 can then take place, as described for the bright field method, by the operator, wherein the magnification can be preset, for example to 10x.
  • the fluorescence analysis then presumably leads to a manual focus adjustment by the operator, so that initially the imaging stack is created in the z-direction, preferably in several fluorescence channels, in particular in all fluorescence channels.
  • the operator can set an exposure time, in particular for all fluorescence channels, wherein the exposure time can be displayed in the field of view 44 for easier orientation, for example under the central image 52 in the field of view 44.
  • the anticipatory scan can take place, for example as described above, wherein also several fluorescence channels the range categories can be used.
  • the fluorescence channels can be categorized.
  • all fluorescence channels can be scanned for range category by area category, ie the scan route 50 only changes the range or range category when the range has been traversed in all fluorescence channels.
  • scan route 50 first pivots in the vertical z-direction and picks up the image stacks in all fluorescence channels before resuming the horizontal scan at a desired focal plane. Since area categorization may be more difficult in fluorescence mode than in bright field mode, it may be useful to perform the leading scan using a scan speed acceleration parameter such as shorter exposure time with or without pixel binning and / or skipping mappings along the scan route 50.
  • the anticipatory scan can take place in all fluorescence channels, in each case using at least one acceleration parameter.
  • the operator can look over the sample 6 relatively quickly and find the range of interest for him, for example an area with a particularly good coloration.
  • the use of an acceleration parameter should, however, only take place at a magnification below a limit magnification, for example only up to 10x. If the operator adjusts the magnification, eg 20x, the continuous scan without acceleration parameter will be executed to provide the best image quality.
  • parameter changes may occur that make a change to the scan route 50 meaningful. For example, if we shake the digital microscope, there is a clear risk that the images taken during the shake will be "blurred” and out of focus.
  • the shock is registered by the control unit 28, which is connected to an acceleration sensor 62 For example, if a threshold is detected, the period of that high acceleration is detected, and all the shots taken during that period are repeated, so the scan route 50 is interrupted and resumed at an earlier route point.
  • temperature fluctuations in the area around the microscope objective 18 are detected by the control unit 20 by means of a temperature sensor. If a temperature fluctuation rises above a predetermined threshold value, this triggers a check of the autofocus.
  • the threshold value can refer to the temperature at which the autofocus was last performed. For example, in the winter we open a window in a laboratory where the digital microscope 2 is located and it quickly cools down, or sunlight suddenly falls directly onto the digital microscope 2 as a result of the solar movement, so that it suddenly heats up significantly, a critical temperature change can occur easily occur.
  • the autofocus process may result in a new autofocus plane being selected, which will alter the depth of focus in the specimen. Again, this is a change in a shot parameter and results in an image plane change of the shots, so the scan route 50 is recalculated, aborted, and resumed.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum digitalen Aufnehmen einer Probe (6) durch ein Mikroskop (16). Um eine zügige Analyse der Probe (6) durch einen Arzt zu erreichen ist es vorteilhaft, wenn die Probe (6) bereits in Bereichen aufgenommen wurde, die der Arzt noch nicht angeschaut hat. Dies kann erreicht werden, wenn ein Sichtausschnitt (44) der Probe (6) ausgewählt wird, ein Mikroskopobjektiv (18) in einer Scanroute (50) über diesen Sichtausschnitt (44) bewegt wird, zunächst eine den Sichtausschnitt (44) bedeckende Abfolge von zueinander versetzt liegenden Abbildungen (52) digital aufgenommen wird und diese dargestellt werden und dann die Scanroute (50) mit einer Abfolge von Abbildungen (52) außerhalb des gewählten Sichtausschnitts (44) fortgesetzt wird.

Description

Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop
In der Pathologie werden biologische Proben unter einem Mikroskop von einem Arzt dahingehend unter- sucht, ob sich in dem biologischen Material Auffälligkeiten finden lassen. Der Arzt durchsucht hierbei die Probe mit einer relativ kleinen Vergrößerung, indem er einen Sichtausschnitt des Mikroskops über die Probe bewegt. Fällt ihm ein interessierender Probebereich auf, so wählt er eine größere Vergrößerung, um diesen Bereich genauer zu untersuchen.
Sowohl aus Gründen der Dokumentation und globalen Verfügbarkeit einer Probe als auch um eine Probe großflächiger und damit angenehmer auf einem großen Bildschirm sichtbar zu machen, besteht der
Wunsch, dieses Durchsuchen der Probe zu digitalisieren und die Probe in hoher Auflösung abzubilden, sodass die Probe auf einem Bildschirm dargestellt und interessierende Bereiche herangezoomt werden können.
Zur zügigen Aufnahme und Darstellung einer Probe in verschiedenen Vergrößerungen können Mikrosko- pe mit mehreren Mikroskopobjektiven verschiedener Vergrößerungsfaktoren verwendet werden. Je nach gewünschter Auflösung beziehungsweise Vergrößerung wird das passende Mikroskopobjektiv automatisiert gewählt, und die Probe wird im gewünschten Sichtausschnitt in der gewünschten Vergrößerung aufgenommen und auf einem Bildschirm dargestellt. Mikroskope mit einem solchen Wechselobjektiv sind jedoch verhältnismäßig teuer. Um ein Digitalmikroskop mit nur einem einzigen Objektiv verwenden zu können, muss dieses mit einem hohen Vergrößerungsfaktor ausgestattet sein, um eine stark vergrößerte Aufnahme der Probe im Sichtausschnitt überhaupt erst zu ermöglichen. Wird nun eine geringere Auflösung durch den Arzt gewünscht, so muss die Probe zunächst durch eine Vielzahl von hochaufgelösten Aufnahmen abgescannt werden, sodass sie Abbildung für Abbildung zusammengesetzt werden kann. Der Arzt muss so lange warten, bis der Scan abgeschlossen ist und auf ein Gesamtbild, das aus den abgespeicherten Abbildungen zusammengesetzt ist, zurückgegriffen werden kann. Zudem muss der Arzt jedes Mal, wenn er den Sichtausschnitt verschiebt, erneut warten, bis alle Abbildungen innerhalb des Sichtausschnitts aufgenommen wurden und der Sichtausschnitt vollständig auf dem Bildschirm angezeigt werden kann. Dies macht die Untersuchung einer Probe langwierig. Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop anzugeben, mit dem eine zügige Untersuchung der Probe mithilfe eines einfachen Mikroskops durchgeführt werden kann.
Diese Aufgabe wird durch ein Verfahren der eingangs genannten Art gelöst, bei dem erfindungsgemäß ein Sichtausschnitt der Probe ausgewählt wird, ein Mikroskopobjektiv in einer Scanroute über diesen Sichtausschnitt bewegt wird, zunächst eine den Ausschnitt bedeckende Abfolge von zueinander versetzt liegenden Abbildungen digital aufgenommen wird und diese dargestellt werden und dann die Scanroute mit einer Abfolge von Abbildungen außerhalb des gewählten Sichtausschnitts fortgesetzt wird.
Die Erfindung geht von der Überlegung aus, dass ein Arzt - oder allgemeiner: ein Bediener - unter Umständen eine Weile Zeit benötigt, um die Probe im Sichtausschnitt zu untersuchen, bevor er den Sicht- ausschnitt verschiebt. Diese Zeit kann genutzt werden, um die Probe auch außerhalb des gewählten Sichtausschnitts Abbildung für Abbildungen aufzunehmen. Wählt der Bediener einen anderer Sichtausschnitt, so ist dieser unter Umständen zumindest teilweise bereits aufgenommen, sodass der Sichtausschnitt ohne Zeitverzögerung auf dem Bildschirm angezeigt werden kann. Hierdurch kann die Probe auch mit nur einem Mikroskopobjektiv verhältnismäßig schnell untersucht werden. Gemäß der Erfindung wird ein Sichtausschnitt der Probe ausgewählt. Der Sichtausschnitt kann ein Bereich sein, innerhalb dessen einem Bediener eine oder mehrere zueinander versetzt liegende Abbildungen der Probe angezeigt werden nachdem die Abbildungen aufgenommen wurden. Der Sichtausschnitt ist zweckmäßigerweise kleiner als die Probe.
Die Probe kann eine Einheit sein, die in eine Probeaufnahme eines Digitalmikroskops eingebracht wird. Die Probe kann einen Untersuchungsbereich und einen Trägerbereich aufweisen. Der Untersuchungsbereich ist zweckmäßigerweise der Bereich, der zur mikroskopischen Untersuchung vorgesehen ist, und in dem beispielsweise zu untersuchendes biologisches Material angeordnet sein kann. Der Untersuchungsbereich kann der Bereich sein, der durch ein Deckglas abgedeckt ist. Der Trägerbereich liegt üblicherweise außerhalb des Probenbereichs und kann eine Codefläche enthalten, in der insbesondere maschi- nenlesbare Information zur Probe ist, wie eine Probenbezeichnung, eine Probenart, eine Untersuchungsart, eine Probenherkunft, eine Gewebeart und/oder andere Informationen.
Der Sichtausschnitt liegt zweckmäßigerweise im Probenbereich. Die Auswahl des Sichtausschnitts kann automatisch oder manuell erfolgen. Zur automatischen Auswahl kann der Sichtausschnitt von einem vorgegebenen Algorithmus automatisiert ausgewählt werden anhand von beispielsweise einer Probenfläche, einem Probenumriss und/oder einer Probenform, aus der nach dem Algorithmus ein Teilbereich als
Sichtausschnitt gewählt wird. Zweckmäßigerweise wird der Sichtausschnitt bei einer automatischen Auswahl in Abhängigkeit von maschinenlesbarer Information auf der Probe ausgewählt, beispielweise einem Barcode auf dem Trägerbereich der Probe. Ebenfalls ist es möglich, den Sichtausschnitt unter Verwendung von abstrakter Bedienerinformation automatisiert zu wählen. Abstrakte Bedienerinformation kann hierbei solche Information sein, die den Sichtausschnitt nicht direkt bestimmt, also keine Koordinaten oder dergleichen enthält. Der Algorithmus enthält Anweisungen, die der abstrakten Bedienerinformation einen Sichtausschnitt zuordnet. Die abstrakte Bedienerinformation ist z.B. eine Untersuchungsmethode, wobei der Sichtausschnitt in Abhängigkeit von der Untersuchungsmethode direkt in seiner Lage oder seinem Aussehen vorbestimmt ist. Auch möglich ist es, den Sichtausschnitt anhand von einem Probenparameter automatisiert auszuwählen. Legt der Probenparameter eine Gewebeart fest, so kann solches Gewebe durch automatisierte Ge- webeerkennung lokalisiert werden. Der Sichtausschnitt kann dann einen Teilbereich der Probenfläche bilden, in dem das Gewebe liegt.
Bei einer manuellen Auswahl des Sichtausschnitts durch einen Bediener ist es vorteilhaft, wenn dem Bediener auf einem Anzeigemittel ein Überblickbild des Probenbereichs oder der gesamten Probe ange- zeigt wird. Im Folgenden wird der Probenbereich vereinfacht auch als Probe bezeichnet auch wenn damit nur diejenige Fläche gemeint ist, die zur Aufnahme durch ein Mikroskopobjektiv vorgesehen ist.
Zum Erstellen des Überblickbilds kann die Probe in einem oder mehreren Bildern aufgenommen werden. Mehrere Bilder können zum Überblickbild zusammengesetzt werden. Um eine zügige Erstellung des Überblickbilds zu erreichen, ist es vorteilhaft, wenn die Aufnahme des Überblickbilds durch ein erstes Objektiv durchgeführt, das eine Vergrößerung von m < 1 aufweist. Auch m > 1 ist möglich, z.B. m = 1 ,25. Aus dem angezeigten Überblickbild kann nun der Bediener den Sichtausschnitt auswählen, z.B. indem er eine Lage und insbesondere eine Größe des Sichtausschnitts vorgibt, z.B. durch eine Mausbewegung oder eine Berührung eines Touchscreens.
Nach der Auswahl des Sichtausschnitts kann eine Scanroute bestimmt werden, die zumindest teilweise im Sichtausschnitt liegt. Vorteilhafterweise liegt deren Beginn im Sichtausschnitt. Die Scanroute wird in Abhängigkeit von der Lage des Sichtausschnitts in der Probe bestimmt. Dann wird ein Objektiv in der Scanroute über diesen Sichtausschnitt bewegt, zweckmäßigerweise nachdem die Scanroute bestimmt wurde, wobei die Bewegung eine Relativbewegung zur Probe ist, unabhängig davon, welches Element absolut gesehen ruht. Das Objektiv ist zweckmäßigerweise ein Mikroskopobjektiv, also ein Objektiv mit m > 1 , insbesondere m > 5. Das Mikroskopobjektiv hat zweckmäßigerweise eine größere Vergrößerung als das erste Objektiv - wenn dies überhaupt vorhanden ist.
Zweckmäßigerweise verfügt das Digitalmikroskop zum Durchführen des erfindungsgemäßen Verfahrens über nur ein einziges Mikroskopobjektiv, also ein vergrößerndes Objektiv mit m > 1 . Kostengünstig ist es, wenn das Mikroskopobjektiv eine voreingestellte und festgelegte Vergrößerung aufweist. Die durch das Mikroskopobjektiv aufgenommenen Bilder können dem Bediener angezeigt werden, der die Probe im Sichtausschnitt nun mit einer höheren Auflösung betrachten kann, als es mittels des Überblicksbilds möglich wäre.
Die Scanroute kann außerhalb des gewählten Sichtausschnitts mit einer Abfolge von Abbildungen fortgesetzt werden, auch ohne dass der Sichtausschnitt bewegt beziehungsweise verändert wird. Mit den Auf- nahmen kann nun in verschiedener Weise verfahren werden.
In der einfachsten Verfahrensweise werden die Bilder dem Bediener nicht angezeigt solange der Bediener den Ausschnitt nicht über die Fortsetzung der Scanroute verschiebt. Erst wenn der Sichtausschnitt über die fortgesetzte Scanroute verschoben wird, werden die nun im Sichtausschnitt liegenden Abbildungen der fortgesetzten Scanroute dargestellt.
In einer komfortableren Variante wird dem Bediener die Lage der aufgenommenen Abbildungen der Scanroute angezeigt, die außerhalb des momentanen Sichtausschnitts liegen. Beispielsweise hat das Anzeigemittel einen Bereich, in dem die Probe insgesamt oder ein kleinerer Bereich der Probe, der jedoch größer als der Sichtausschnitt ist, angezeigt ist, z.B. nur als ein Rahmen der Probe. Jede aufgenommene Abbildung kann nun als Punkt oder Fläche entsprechend ihrer Lage auf der Probe angezeigt werden. Der Bediener kann erkennen, welcher Bereich der Probe bereits mit dem Mikroskopobjektiv auf- genommen wurde. Wenn er die Wahl hat, kann er nun den Sichtausschnitt gezielt in einen solchen Bereich verschieben, der bereits aufgenommene Abbildungen enthält.
Eine andere Möglichkeit besteht darin, die neu aufgenommenen Abbildungen als Abbildungen anzuzeigen, z.B. neben dem Anzeigefeld des Sichtausschnitts. Jede Abbildung wird von der nachfolgenden Abbildung überdeckt, sodass die außerhalb des Sichtausschnitts liegenden Abbildungen nur kurz dargestellt werden. Dies kann aber ausreichen, um dem Bediener die Gelegenheit zu geben, interessante Abbildungen als solche zu erkennen. Er kann dann den Sichtausschnitt gezielt über solche Abbildungen verschieben.
Die Darstellung einer oder mehrerer im Sichtausschnitt liegender Abbildungen auf einem Bildschirm erfolgt zweckmäßigerweise so, dass sie eine niedrigere Auflösung hat als die Abbildung an sich. Die Auf- nähme erfolgt also mit einer höheren optischen Auflösung, als vom Betrachter angefordert und/oder diesem auf dem Bildschirm dargestellt wird. Selbstverständlich ist es zusätzlich möglich, die Detaillierung der Darstellung zu erhöhen, also in die Darstellung der Probe hineinzuzoomen, bis die Auflösung der Darstellung die Auflösung der Abbildung erreicht.
Umfasst der Sichtausschnitt der Probe auf dem Bildschirm mehrere Abbildungen, so werden diese zu einem Gesamtbild zusammengesetzt, das den Sichtausschnitt vollständig ausfüllt. Dem Bediener kann nun dieses zusammengesetzte Bild insgesamt oder ein Teil davon angezeigt werden. Der Sichtausschnitt wird zweckmäßigerweise auf einer Anzeigeeinheit angezeigt. Im Folgenden wird vereinfachend ein Bildschirm genannt, ohne dass damit eine Einschränkung der Erfindung verbunden wäre.
Die Darstellung des Sichtausschnitts auf dem Bildschirm kann sich zusammensetzen aus einer oder mehreren Abbildungen der Probe, die an der Stelle des Sichtausschnitts von der Probe aufgenommen wurden. Während der Darstellung kann das Blickfeld des Mikroskopobjektivs zur Aufnahme weiterer Abbildungen außerhalb des Sichtausschnitts weiter über die Probe wandern, sodass der Sichtausschnitt zum Zeitpunkt der Darstellung nicht mit dem Blickfeld des Mikroskopobjektivs auf die Probe zusammenfallen muss. Die Darstellung des Sichtausschnitts ist daher in der Regel keine Live-Darstellung, sondern greift auf eine oder mehrere gespeicherte Abbildungen zurück. Nichtsdestotrotz kann die Darstellung der Abbildungen auf einem Bildschirm in Echtzeit erfolgen, also unmittelbar nach der Aufnahme. Es muss somit nicht darauf gewartet werden, bis die gesamte Probe durch Abbildungen überdeckt ist, die dann - zusammengesetzt zu einem Gesamtbild - dargestellt werden. Wird also die Probe im Sichtausschnitt aufgenommen, so erfolgt die Anzeige zweckmäßigerweise in Echtzeit, im Moment der ersten Darstellung einer Abbildung findet mithin eine Live-Darstellung dieser Abbildung statt. Diese Abbildung wird jedoch auf dem Bildschirm gehalten, während das Blickfeld des Mikroskopobjektivs weiterwandert und die nachfolgenden Abbildungen erstellt. Die zuvor aufgenommene Abbildung ist dann keine Live-Darstellung mehr, zu ihrer Darstellung wird auf einen Permanentspeicher zurückgegriffen.
Die Scanroute, also die Bewegung des Mikroskopobjektivs über die Probe und damit die Lage der Abfolge der Abbildungen von der Probe, wird zweckmäßigerweise von einem gespeicherten Algorithmus fest- gelegt und kann von einem oder mehreren Parametern abhängig sein, die der Algorithmus einbezieht. Es gibt eine Vielzahl von Parametern, die auf den Verlauf einer Scanroute über die Probe einen Einfluss haben können, insbesondere Probenparameter, Aufnahmeparameter und Umgebungsparameter. Hierbei bestimmen die Probenparameter in erster Linie die initiale Scanroute, also die zuerst vom Mikroskopobjektiv durchfahrene Route. Die Aufnahmeparameter und Umgebungsparameter sind in erster Linie rele- vant für eine Änderung einer bereits teilweise abgefahrenen Scanroute.
Wird bei der Berechnung der initialen Scanroute der Probenparameter berücksichtigt, so kann ein hinsichtlich der beabsichtigten Untersuchung effizientes Aufnehmen der Probe erreicht werden, sodass eine zügige Untersuchung der Probe ermöglicht wird. Die oben genannte Aufgabe wird insofern auch durch ein Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop gelöst, bei dem erfindungsge- mäß ein Probenparameter bestimmt wird, eine Scanroute als Funktion des Probenparameters bestimmt wird und ein Mikroskopobjektiv entlang der Scanroute über die Probe bewegt wird.
Probenparameter können durch die Art der Probe bestimmt sein, also eine äußere Formgebung der Probe, eine Anordnung von einem oder mehreren Probenbereichen auf einem Probenträger, beispielsweise als Micro Array oder als Slide in einer großen Fläche und/oder einer Dicke der Probe, durch die die An- zahl von in z-Richtung übereinander liegenden Scanschichten bestimmt wird. Probenparameter können auch durch eine Gewebeart in der Probe bestimmt sein, durch eine Untersuchungsmethode, nach der die Probe untersucht werden soll, durch eine Patienten-ID oder Patientenklasse, von der die Probe stammt, von pathologischen Angaben zur Probe, von einer Farbe der Probe und/oder einer Farbeinstellung, die additiv sein kann, also eine farbige Beleuchtung, oder subtraktiv in Form eines Farbfilters in einem Abbil- dungsstrahlengang.
Ändert sich im Laufe des Scanvorgangs einer oder mehrere Parameter, so wird dies vorteilhafterweise unmittelbar nach der Änderung, also in Echtzeit, vom Algorithmus verarbeitet, zweckmäßigerweise in der Art, dass die Scanroute in Abhängigkeit von der Änderung geändert bzw. neuberechnet wird. Dies kann bereits geschehen, während das Mikroskopobjektiv entlang der alten Scanroute bewegt wird. Die alte Route kann abgebrochen und mit der neuen fortgesetzt werden.
Durch eine Routenänderung in Reaktion auf eine Parameteränderung kann eine Untersuchung der Probe erheblich beschleunigt werden. Insofern wird die oben genannte Aufgabe auch durch ein Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop gelöst, bei dem eine Scanroute zum Bewegen eines Mikroskopobjektivs bestimmt wird und das Mikroskopobjektiv entlang der Scanroute über die Probe bewegt wird. Es wird vorgeschlagen, dass erfindungsgemäß bereits während des Bewegens des Mikroskopobjektivs entlang der Scanroute über die Probe ein Parameter verändert wird, die Scanroute in Abhängigkeit hiervon zumindest teilweise neu bestimmt und hierdurch verändert wird, das Bewegen des Mikroskopobjektivs entlang der alten Scanroute abgebrochen und entlang der neuen Scanroute fortgesetzt wird. Der Scanvorgang kann unmittelbar an die Vorgaben eines Bedieners angepasst werden, wodurch eine Untersuchung der Probe zügig möglich wird.
Parameter, die zweckmäßigerweise zu einer Änderung einer bestehenden Scanroute führen, sind bei- spielsweise Aufnahmeparameter. Bei einer Änderung eines Aufnahmeparameters wird insofern zweckmäßigerweise die Scanroute abgebrochen und in eine neue überführt. Ein Aufnahmeparameter kann durch eine Bedienereingabe geändert werden. Eine Änderung des Aufnahmeparameters kann durch eine Verschiebung des Sichtausschnitts über die Probe erfolgen, eine Änderung der Detaillierung der Darstellung der Probe auf dem Bildschirm, also ein Ändern der Zoomstufe bei der Betrachtung der Probe, eine Änderung der Fokustiefe in der Probe, eine Änderung der Farbe durch Filter oder Beleuchtung und/oder eine Änderung der Belichtungszeit der einzelnen Abbildungen.
Ebenfalls ist es zweckmäßig, wenn eine Bedieneruntätigkeit zu einer Änderung einer bestehenden Scanroute führt. Erfolgt über einen vorgegeben langen Zeitraum keine Bedienereingabe, so kann die Scanroute ebenfalls verändert werden, z.B. in längeren geraden Linien ohne Richtungswechsel geführt werden, um ein Scangeräusch zu verringern. Mit gleichem Vorteil kann das Scannen verlangsamt werden.
Auch bei einer Veränderung eines Umgebungsparameters könnte eine Scanroutenänderung vorteilhaft sein. Erfährt das Digitalmikroskop beispielsweise eine Beschleunigung über einem Grenzwert, z.B. durch ein Anstoßen einer Person an einen Tisch, auf dem das Digitalmikroskop steht, so kann es sein, dass die während der Beschleunigung aufgenommenen Abbildungen fehlerhaft sind. Der Scan kann somit unter- brochen werden, und die betreffenden Abbildungen werden erneut aufgenommen, wenn die Beschleunigung wieder unter den Grenzwert gefallen ist. Hierfür umfasst das Digitalmikroskop zweckmäßigerweise einen Beschleunigungssensor, der mit der Steuereinheit zum Steuern des Scanvorgangs signaltechnisch verbunden ist.
Auch eine Temperaturänderung über einem Grenzwert, insbesondere einem Grenzwert pro Zeit, kann kritisch für hochqualitative Abbildungen sein, da durch Materialausdehnungen der Fokus in der Probe wandern kann. Entsprechend ist es vorteilhaft, wenn die Scanroute bei einer Temperaturänderung über einem Grenzwert verändert wird, z.B. ein neuer Autofokusprozess durchgeführt wird und die Scanroute dann auf eine neue Autofokusebene verlegt wird. Die Temperatur kann eine Temperatur an oder um das Mikroskopobjektiv oder ein anderes Bauteil innerhalb oder am Digitalmikroskop sein. Ebenfalls relevant für die Scanroute ist ein Aufnahmeergebnis einer oder mehrerer Abbildungen. Hierfür kann während des Scans eine Kontrastanalyse durchgeführt werden. Liefert der Kontrast ein ausreichendes Indiz, dass die Fokussierung zu ungenau ist, kann ein Autofokusprozess durchgeführt werden, und die Scanroute kann in Abhängigkeit vom Ergebnis auf eine neue Autofokusebene verlegt werden. Hierfür wird beispielsweise zunächst eine Testabbildung in einer von der aktuellen Scanebene abweichenden Scanebene aufgenommen und dessen Kontrast wird ausgewertet. In Abhängigkeit von den Ergebnissen wird eine neue Testabbildung vorgenommen, oder die Scanroute wird in eine Ebene verlegt, in der die Testabbildung liegt. Generell kann es vorteilhaft sein, wenn während des Scanvorgangs, also des Abfahrens der aktuellen Scanroute, ein Autofokusprozess durchgeführt wird. Hierfür können x- und y-Koordinaten von einem oder mehreren Autofokuspunkten festgelegt werden, die dann während des Scans vom Mikroskopobjektiv angefahren werden. Dann wird dort ein Autofokus durchgeführt. Je nach Ergebnis wird die Autofokuse- bene verlegt, also diejenige Ebene, in der als Ergebnis des Autofokusverfahrens der Fokus während des Scans liegt. Auch ist es vorteilhaft, die Scanroute entweder initial oder nachträglich so zu legen, dass die Autofokuspunkte zügig angefahren werden, sodass die Berechnung der Autofokuseben möglichst früh beginnen kann.
Ein die Scanroute beeinflussender Aufnahmeparameter ist beispielsweise die Lage des Sichtausschnitts auf der Probe. Überdeckt der Sichtausschnitt die Probe nur teilweise, geht also über den Rand der Probe hinaus, so beschränkt sich die Scanroute zweckmäßigerweise nur auf den Überdeckungsbereich des Sichtausschnitts mit der Probe. Die Fläche der Probe ist zweckmäßigerweise die Fläche eines Mikroskopiebereichs, also z.B. der Bereich, der Gewebe enthalten kann. Ein Probenträger, wie eine Glasplatte, auf der die Probe enthalten ist, kann darüber hinausgehen. Wurde ein Sichtausschnitt von einem Bediener gewählt, so bedecken die aufgenommenen Abbildungen den Sichtausschnitt teilweise oder vollständig. Je nach Größe des gewählten Sichtausschnitts kann er bereits von einer einzigen Abbildung vollständig überdeckt werden. In der Regel jedoch wird er von einer Abbildung nur teilweise überdeckt, sodass sich der gesamte Sichtausschnitt aus mehreren nebeneinander liegenden Abbildungen zusammensetzt. Die Abbildungen sind zueinander versetzt und können ei- nander teilweise überlappen, um ein Stitching der Abbildungen zu einem größeren Gesamtbild, also ein automatisiertes Zusammensetzen anhand eines Bildinhaltsvergleichs von benachbarten Bildern in ihrem Überdeckungsbereich, zu erleichtern. Eine Versetzung der Abbildungen kann auch in senkrechter Richtung, also z-Richtung, erfolgen, wenn beispielsweise mehrere Abbildungen in unterschiedlichen Fokusebenen untereinander beziehungsweise übereinander liegen, also in z-Richtung zueinander versetzt sind. Die Abbildungen entstehen, indem sich das Sichtfeld des Mikroskopobjektivs relativ zur Probe bewegt und die Probe in den durch die Bewegung versetzten Positionen des Sichtfelds abgebildet wird. Je nach Belichtungsdauer kann das Mikroskopobjektiv zum Zeitpunkt der Aufnahme ruhen oder insbesondere bei sehr kleinen Belichtungsdauern kontinuierlich weiterbewegt werden, ohne dass ein störendes Verschmieren in den Abbildungen auftritt. Die Bewegung des Mikroskopobjektivs relativ zur Probe und damit auch die Auswahl der Lage der Abbildungen wird vom Algorithmus zweckmäßigerweise in Abhängigkeit der Größe des gewählten Sichtausschnitts in der Probe gesteuert.
Der Sichtausschnitt wird auf dem Bildschirm angezeigt, sodass die Probe auf diese Weise durch einen Bediener des Digitalmikroskops betrachtet werden kann. Die Darstellung der außerhalb des Sichtausschnitts liegenden Abbildungen unterbleibt zweckmäßigerweise zu diesem Zeitpunkt, bis der Sichtaus- schnitt in diese bereits aufgenommenen Abbildungen hinein verschoben wird. Wird der Sichtausschnitt in einen Bereich der Probe hinein verschoben, der ganz oder teilweise noch nicht aufgenommen wurde, so wird der noch nicht aufgenommene Teil des Bereichs dieses Sichtausschnitts unmittelbar im Anschluss an die Verschiebung oder bereits noch während der Verschiebung aufgenommen. Der Verlauf der Scanroute hängt insofern von der Bewegung des Sichtausschnitts ab.
Zu Beginn des Verfahrens kann ein Bediener den Sichtausschnitt festlegen, beispielsweise anhand eines zuvor aufgenommenen Überblickbilds der Probe, oder der Sichtausschnitt wird durch einen Algorithmus festgelegt, beispielsweise in Abhängigkeit von der Art der Probe.
In einer vorteilhaften Ausführungsform der Erfindung wird zunächst ein Überblickbild der Probe erstellt, in dem der gesamte Probenbereich bzw. das gesamte Probenfeld der Probe abgebildet ist. Anhand dieses Überblickbilds kann der Bediener den Sichtausschnitt wählen, den er als erstes anschauen möchte. Dies geschieht beispielsweise, indem der Bediener den interessierenden Bereich im Überblickbild der Probe mit einem Markierungsmittel, beispielsweise einer Maus, markiert. Die Markierung kann durch das Erstellen eines Fensters oder das Markieren eines Punkts im Überblickbild der Probe erfolgen. Der Sichtausschnitt kann nun in bzw. um die Markierung gelegt werden, beispielsweise in der Größe des markierten Fensters oder in einer voreingestellten Größe, insbesondere symmetrisch, um einen markierten Punkt herum. Die Größe des Sichtausschnitts kann zweckmäßigerweise vom Bediener gewählt werden, beispielweise durch das Bestimmen einer geometrischen Größe, z.B. durch Markierung eines Bereichs der Probe auf einem Bildschirm, oder durch das Festlegen einer Detaillierung bzw. simulierten optischen Vergrößerung. Bei einer Wahl des Bereichs bzw. dessen Größe kann die Größe des Sichtausschnitts auf dem Bildschirm von der gewählten Vergrößerung abhängen. Zweckmäßigerweise ist die Größe des Sichtausschnitts größer als die durch das Mikroskopobjektiv vorgegebene Größe einer einzigen Abbildung, sodass der Sichtausschnitt mit einer Mehrzahl von Abbildungen abgedeckt wird. Die Scanroute wird nun so gewählt, dass der Sichtausschnitt abgescannt und Abbildung für Abbildung zusammengesetzt wird.
Eine Zeit, in der der Bediener ausgehend von einem Überblickbild einen interessierenden Bereich findet und diesen durch eine Markierung auswählt, kann vorteilhafterweise genutzt werden, indem eine Scanroute bereits anfänglich festgelegt und Abbildung für Abbildung durchfahren wird, bevor der Sichtausschnitt ausgewählt wird. Hierdurch besteht die Möglichkeit, dass der dann später gewählte Sichtausschnitt bereits ohne das Erstellen neuer Abbildungen teilweise oder vollständig auf dem Anzeigemittel dargestellt werden kann, sodass die Darstellung dieses Sichtausschnitts beschleunigt wird. Die Scanroute wird vorteilhafterweise so in den ausgewählten Sichtausschnitt gelegt, dass sie vom Zentrum des Sichtausschnitts nach außen geführt wird, insbesondere spiralförmig. Die erste Abbildung deckt daher das Zentrum des Sichtausschnitts ab, und die nachfolgenden Abbildungen liegen um die erste Abbildung herum. Das den Bediener interessierende Sichtfenster wird von innen nach außen mit bildhaftem Inhalt gefüllt. Eine meist leisere und schnellere Variante ist eine mäanderförmige Scanroute, die sich insbesondere bei schneller Bildfolge anbietet, also z.B. bei kurzen Belichtungszeiten. Ebenfalls vorteilhaft ist eine Scanroute in Abhängigkeit von einer Bewegung des Sichtfensters. Wurde das Sichtfenster in eine Richtung verschoben, ist das Auffüllen des neuen Sichtfensters in diese Richtung am ergonomischsten. Wurde das Sichtfenster beispielsweise nach rechts verschoben, so könnte die Scanroute senkrecht mä- anderförmig nach rechts das Sichtfenster auffüllen.
Weiter ist es vorteilhaft, wenn die Scanroute außerhalb des Sichtausschnitts spiralförmig um den Sichtausschnitt sich nach außen ausdehnend fortgesetzt wird. Bei einem Verschieben des Sichtausschnitts fallen bereits aufgenommene Abbildungen in den verschobenen Sichtausschnitt, sodass dieser zügig dargestellt werden kann.
Auch hier können jedoch auch andere Muster vorteilhaft sein, beispielsweise in Abhängigkeit von einem Probenparameter oder einer Lage von Gewebe in der Probe. Auch Einzelbilder oder eine mehrfach unterbrochene Scanroute, also voneinander beabstandete Bilder beziehungsweise zusammenhangslose Routenteile sind vorteilhaft. Beispielsweise wird die Probe mit mehreren Einzelbildern abgerastert, also mit Abbildungen oder Routenteilen, die jeweils von einem abbildungsfreien Bereich vollständig umgeben sind. Eine größere Fläche kann hierdurch stichpunktartig abgerastert werden, um z.B. Gewebe zu finden. Wurde Gewebe in einer Abbildung gefunden, können nun weitere Abbildungen an diese„fündige" Abbildung angehängt werden, um den Gewebebereich immer weiter abzubilden. Wurden bereits vorrangige Bereiche identifiziert, z.B. aus einem Überblickbild, kann die Scanroute von einem zum nächsten vorrangigen Bereich springen. Ein vorrangiger Bereich kann ein Bereich mit Gewebe oder einer anderen Substanz sein, die untersucht werden soll.
Liegen zu einem verschobenen Sichtausschnitt bereits teilweise gespeicherte Abbildungen vor, so werden durch das Mikroskopobjektiv vorteilhafterweise zunächst, insbesondere ausschließlich, diejenigen Bereiche des Sichtausschnitts aufgenommen, die noch nicht abgebildet wurden. Die Scanroute bewegt sich jeweils beispielsweise in Richtung von der Mitte des Sichtausschnitts zum Rand des Sichtausschnitts.
Bei einer Scanroute innerhalb des Sichtausschnitts ist es vorteilhaft, wenn bei noch - teilweise - un- gescanntem Sichtausschnitt die Route auf das schnellstmögliche Scannen des gesamten Sichtaus- Schnitts optimiert wird. Bei der Scanroute außerhalb des Sichtausschnitts ist es hingegen vorteilhaft, die Scanrate zu erhöhen, also eine größere Anzahl von Abbildungen pro Zeit zu erreichen, als dies bei der Scanroute innerhalb des Sichtausschnitts der Fall war. Dies wird in der Regel durch lange gerade Scanlinien erreicht. Generell gesprochen kann der Verlauf der Scanroute ein Kompromiss sein zwischen dem schnellen Abscannen eines Bereichs, z.B. um den aktuellen Sichtausschnitt herum, und einer hohen Scan rate.
Bei der Untersuchung einer Probe durch einen Bediener kann es sein, dass der Bediener einen Parameter verändert. Ein Beispiel für eine solche Parameterveränderung ist eine Veränderung des Vergrößerungsfaktors. Bei Vorhandensein eines Überblickbilds wird der gewählte Sichtausschnitt im Bereich der Abbildung des Übersichtsbilds liegen, wobei dem Sichtausschnitt eine höhere Vergrößerung zugeordnet ist, als dem Überblickbild. Die Probe kann nun zwar im Bereich des Sichtausschnitts mit der Auflösung des Überblickbilds angezeigt werden, dies ist jedoch nicht die vom Bediener gewünschte Auflösung, weshalb das Überblickbild ein nicht aktuelles Bild ist. Eine andere Parameteränderung liegt dann vor, wenn die Fokusebene verändert wird. Die verschiedenen Bildebenen liegen nun in z-Richtung unter- beziehungsweise übereinander.
Noch eine andere Parameteränderung liegt vor, wenn ein Spektralbereich der Abbildungen gewechselt wird, beispielsweise bei der Fluoreszenzmikroskopie. Eine Bildebene hat dann einen anderen Spektralbe- reich der Abbildungen als eine andere Bildebene.
Ebenfalls möglich ist eine Parameteränderung derart, dass eine Belichtungszeit oder eine Farbkanalwahl der Abbildungen verändert wurde. Wurde beispielsweise um Zeit zu sparen eine Abfolge von Abbildungen mit einer niedrigen Belichtungszeit aufgenommen, beispielsweise unter Verwendung einer digitalen Bildaufhellung, und soll nun eine Abbildung in der gleichen örtlichen Lage mit einer höheren Belichtungs- zeit aufgenommen werden, so stellt dies auch eine Parameteränderung dar, da die zuvor aufgenommene Abbildung hinsichtlich ihrer Bildqualität nicht aktuell ist.
Eine Änderung der Scanroute wird im Folgenden als Bildebenenwechsel beschrieben, in der die Abbildungen der alten, inaktuellen Scanroute in einer anderen Bildebene liegen, also die neuen Abbildungen der aktuellen Scanroute. Eine Bildebene kann hierbei als ein Ort oder ein Bereich in einem mehrdimensi- onalen Parameterraum bezeichnet werden, in dem jeder Parameter eine Dimension einnimmt. Wird ein Parameter, bzw. genaugenommen ein Parameterwert, verändert, so verschiebt sich die Bildebene im Parameterraum.
Je nach Art der Parameteränderung kann die Scanroute innerhalb oder außerhalb des Sichtausschnitts abhängig oder unabhängig von bereits aufgenommenen Abbildungen einer inaktuellen Bildebene geführt werden. Wird beispielsweise die Fokustiefe in der Probe verändert, so kann es sinnvoll sein, unscharfe inaktuelle Abbildungen durch neue scharfe zu ersetzen. Die neue Bildebene kann dann separat und unabhängig von anderen Bildebenen aufgenommen werden. Hierbei können jedoch Bilder einer anderen Bildebene mit angezeigt werden, sodass aktuelle Abbildungen und inaktuelle Abbildungen des Sichtausschnitts nebeneinander dargestellt werden. Hierdurch kann sich der Bediener schneller auf der Probe beziehungsweise in seinem Sichtausschnitt orientieren.
Es ist insofern zur Darstellung der Probe im Sichtausschnitt vorteilhaft, wenn zunächst auf eine oder mehrere zu aktuellen Mikroskopeinstellungen unpassende Abbildungen beziehungsweise deren Aufnahmen zurückgegriffen wird. Die unpassenden beziehungsweise inaktuellen Abbildungen können nun Abbildung für Abbildung durch die aktuelle Abfolge überdeckt werden. Die inaktuelle Aufnahme kann insofern eine Gesamtaufnahme beziehungsweise ein Überblickbild der
Probe sein beziehungsweise ein Teil davon. Ebenfalls möglich ist, dass die inaktuelle Aufnahme in einem anderen Spektralbereich als die Abfolge der aktuellen Abbildungen aufgenommen wurde, beispielsweise durch einen Spektralfilter oder einen anderen Aufnahmemodus, wie eine Hellfeldaufnahme im Vergleich zu einer Fluoreszenzaufnahme. Eine weitere Möglichkeit besteht darin, dass die inaktuelle Aufnahme mit einer anderen Fokusposition in der Probe aufgenommen wurde. Um dem Bediener die Übersicht zu erleichtern, welche der Abbildungen aktuelle und welche inaktuelle Abbildungen sind, ist es vorteilhaft, wenn die Darstellung der inaktuellen Aufnahme von der Darstellung der aktuellen Abbildung in der Weise unterschieden wird, dass eine Unterscheidung zwischen der inaktuellen Aufnahme und der aktuellen Abbildung ermöglicht wird. Dies kann durch ein Einfärben der unpas- senden Bereiche, ein Verschleiern oder eine andere Kennzeichnung erfolgen.
Um bei einem Verschieben des Sichtausschnitts einen möglichst großen Bereich des neuen Sichtausschnitts ohne die Aufnahme neuer Abbildungen anzeigen zu können, ist es vorteilhaft, wenn die Scanroute so gelegt wird, dass sie vor einem Verschieben des Sichtausschnitts in den dann später verschobenen Sichtausschnitt hineinverläuft. Um dies zu erreichen, kann ein Algorithmus eine Wahrscheinlichkeit be- rechnen, mit der ein Aufnahmeparameter als nächstes verändert wird, insbesondere während des aktuellen Scans. Es wird beispielsweise berechnet, wohin der Sichtausschnitt in einem festgelegten Zeitfenster in den entsprechend mit der Wahrscheinlichkeit berechneten Bereich der Probe verschoben wird.
Eine andere Möglichkeit besteht darin, dass die Scanroute anhand von Randbedingungen festgelegt wird, die vorgegeben sind. So ist es beispielsweise vorteilhaft, wenn aus einer Abbildung der Probe In- formation über die Art der Probe gewonnen wird und die Scanroute außerhalb des gewählten Sichtausschnitts in Abhängigkeit von der Probenart gewählt wird. Je nach Probenart können unterschiedliche Aufgaben des Bedieners beziehungsweise Arztes zur Analyse der Probe gestellt sein, aus der eine Bewegung des Sichtausschnitts mit einer ausreichenden Wahrscheinlichkeit vorhergesagt werden kann.
Information über beispielsweise die Art der Probe kann aus einer Kennzeichnung auf der Probe gewon- nen werden, zweckmäßigerweise einem maschinell lesbaren Code, beispielsweise einem Barcode. Eine weitere vorteilhafte Möglichkeit zur Erkennung der Art der Probe liegt in einer Gewebeerkennung in einer Abbildung der Probe.
Durch eine Bilderkennung können aussagekräftigere Bereiche der Probe von weniger aussagekräftigen Bereichen unterschieden werden, beispielsweise Bereiche mit mehr Gewebe von Bereichen mit weniger oder keinem Gewebe. Auf diese Weise können Bereiche klassifiziert werden in höher klassifizierte Bereiche und niederer klassifizierte Bereiche. Auch aus der Art von Gewebe kann auf mehr oder weniger interessierende Bereiche, also höher oder niederer klassifizierte Bereiche, geschlossen werden. Um eine Scanroute außerhalb des Sichtausschnitts vorherzusagen, kann daher eine Gewebeerkennung anhand einer Abbildung der Probe erfolgen, zum Beispiel einer früheren Abbildung, einer inaktuellen Abbildung und/oder einem Übersichtsbild der Probe. Nun wird die Scanroute zweckmäßigerweise außerhalb des Sichtausschnitts in Abhängigkeit von Ergebnissen der Gewebeerkennung gesteuert.
Vorteilhafterweise fährt die Scanroute zuerst Bereiche mit höherer Klassifizierung und danach Bereiche mit niederer Klassifizierung an, beispielsweise zuerst Bereiche mit erkanntem Gewebe und anschließend gewebefreie Bereiche. Zu bestimmten Probenarten können Analysevorschriften gehören, nach denen ein Bediener einen Scan einer Probe durchführen soll. Ein typisches Beispiel ist ein Screening, bei dem ein Arzt die gesamte Probe entlang einer beispielsweise mäanderförmigen Screeningroute anschaut. Eine solche Screeningroute kann vorauseilend gescannt werden, indem immer solche Bereiche der Screeningroute mit Abbildungen abgedeckt werden, in denen der Sichtausschnitt noch nicht ist. Allgemein gesprochen ist es vorteilhaft, wenn die Scanroute entlang einer vorgegebenen Screeningroute des Sichtausschnitts verläuft, wobei insbesondere die Abbildungen außerhalb des Sichtausschnitts erstellt werden, bevor der entlang der Screeningroute wandernde Sichtausschnitt diese Bereiche erfasst bzw. überdeckt.
Noch allgemeiner gesprochen ist es vorteilhaft, wenn eine Berechnung ausgeführt wird, wohin der Sichtausschnitt als nächstes wandert, und die Scanroute außerhalb des Sichtausschnitts in Abhängigkeit des Berechnungsergebnisses geführt wird. Bei einer solchen Berechnung kann eine frühere Bewegung des Sichtausschnitts durch einen Bediener berücksichtigt werden. Zweckmäßigerweise geht auch oder alter- nativ die Art der Probe in die Berechnung ein. Die Probenart kann durch einen Bediener eingegeben oder optisch durch eine Steuereinheit des Digitalmikroskops ermittelt werden.
Eine Voraussage einer zukünftigen Position des Sichtausschnitts kann auch dadurch verbessert werden, dass ein Charakter der Probe im momentanen Sichtausschnitt bestimmt wird und im Charakter ähnliche Bereiche der Probe von der Scanroute vor unähnlichen Bereichen angefahren werden. Es kann insofern in eine Berechnung, wohin der Sichtausschnitt als nächstes wandert, der Charakter der Probe im momentanen Sichtausschnitt einbezogen werden, wobei die Berechnung ferner Charakterähnlichkeiten von Bereichen der Probe von anderen Bereichen der Probe in die Berechnung einbezieht.
Diese Methode kann mit der Methode der Gewebeerkennung kombiniert werden. Bei der Gewebeerkennung wird in der Probe nach vorgegebenen Geweben bzw. Bildinhalten gesucht, sodass Bereiche mit erkanntem Gewebe von gewebefreien Bereichen unterschieden werden können. Noch genauer ist es, wenn verschiedene Gewebearten bzw. Bildinhaltsarten unterschieden werden und bevorzugt eine bestimmte Gewebeart angefahren wird. Ohne Beschränkung der Allgemeinheit wird im Folgenden von Gewebeart gesprochen und soll generell eine Art der Probe oder Strukturen/Bildinhalte umfassen.
Es kann anstelle, dass die Gewebeart oder eine Art der Probe aus einer generellen Gewebeerkennung oder aus einem gewebefreien Bereich gewonnen wird, wie einem Barcode o.ä., die Gewebeart durch die Wahl der Lage des Sichtausschnitts in der Probe festgelegt werden. Es kann eine Gewebeart im Sichtausschnitt bestimmt werden, und diese Gewebeart kann bevorzugte Scanbereiche insofern bestimmen, als dass diese eine solche Gewebeart enthalten, ggf. mit einem vorgegebenen Randbereich um die gefundenen Gewebeartbereiche. Wenn ein Sichtausschnitt von einem Bediener gewählt oder von einer Steuereinheit des Digitalmikroskops automatisiert gewählt wird, der deutlich größer ist als eine einzelne Abbildung des Mikroskopobjektivs, dessen Vergrößerung also deutlich niedriger als die Vergrößerung des Mikroskopobjektivs ist, so kann das Abrastern des Sichtausschnitts verhältnismäßig lange dauern, insbesondere wenn dieser immer wieder verschoben wird. Um die Aufnahmezeit der einzelnen Abbildungen zu verkürzen, ist es vor- teilhaft, wenn in Abhängigkeit von einer Größe des Sichtausschnitts ein Pixelbinning eines die Abbildungen aufnehmenden Detektors erfolgt, also ein Zusammenführen von mehreren Pixeln zu einem gemeinsamen Pixel zur Signalverstärkung. Auf diese Weise kann die Belichtung verkürzt werden, und die Abbil- düngen können zügiger hintereinander erfolgen. Die Abbildungen haben in diesem Fall zwar eine verringerte Auflösung, dies ist jedoch bei einem Sichtausschnitt mit einer geringen Vergrößerung tolerierbar.
Ein Pixelbinning wird zweckmäßigerweise automatisch durchgeführt, insbesondere in Abhängigkeit von einem Verhältnis einer Auflösung der Darstellung des Sichtausschnitts auf einem Anzeigemittel (Zoom- stufe) zur Auflösung der aufgenommenen Abbildungen. Ist das Verhältnis beispielsweise kleiner als ein Grenzwert, so kann das Pixelbinning automatisch durchgeführt werden. Insbesondere bei langer Belichtungszeit, wie bei Fluoreszenzaufnahmen, ist ein Pixelbinning vorteilhaft. Aber auch bei einer hohen Benutzeraktivität ist ein Pixelbinning vorteilhaft, wenn der Benutzer beispielsweise den Sichtausschnitt schnell hintereinander verschiebt. Verbleibt der Sichtausschnitt jedoch jeweils lange an mehreren Orten, so kann auf ein Binning eventuell verzichtet werden, um eine bessere Abbildungsqualität zu erreichen.
Generell kann das Pixelbinning automatisch in Abhängigkeit von Zoomstufe, Abbildungskanal und/oder Benutzeraktivität durchgeführt werden. Unter Pixelbinning soll allgemein auch das selektive Auslesen von nur einem Teil der insgesamten Detektorelemente verstanden werden, auch ohne das Zusammenlegen von Detektorelementen. Wie bereits angedeutet kann auch eine Verringerung der Belichtungszeit ohne Pixelbinning in Betracht gezogen werden, um eine Abbildungsgeschwindigkeit zu erhöhen. Durch eine nachträgliche Bildverarbeitung, beispielsweise eine Vergrößerung des Kontrasts und/oder eine Bildaufhellung, können die ansonsten dunklen Abbildungen auswertbarer gestaltet werden. Insofern ist es vorteilhaft, wenn eine Belichtungszeit der Abbildungen in Abhängigkeit von einer Größe des Sichtausschnitts gewählt wird. Werden Fluoreszenzabbildungen der Probe erstellt, so kann eine Spektralkanalwahl der Abbildungen in Abhängigkeit von einer Größe des Sichtausschnitts die Abbildungsgeschwindigkeit erhöhen. Beispielsweise wird nur in einem Spektralkanal aufgenommen, um dem Bediener zunächst einen Überblick über den angeschauten Bereich der Probe zu geben.
Vor der Erstellung eines Mikroskopbilds der Probe ist es vorteilhaft, wenn eine geeignete Fokusposition des Mikroskopbilds ermittelt wird. Hierfür kann ein Autofokusverfahren durchgeführt werden, mit dem eine geeignete Autofokusposition des Mikroskopobjektivs zur Erstellung der Abbildungen festgelegt wird. Zweckmäßigerweise wird eine solche Autofokustiefe beziehungsweise Autofokusposition an mehreren Orten der Probe festgelegt, sodass eine Autofokusebene durch diese Punkte gelegt werden kann. Die Scanroute verläuft zweckmäßigerweise zumindest zunächst in der Autofokusebene. Als Fokustiefe kann eine Tiefe in z-Richtung verstanden werden, also senkrecht zur Probenebene, in der der Fokus des Mikroskopobjektivs liegt. Die Probe wird nun in der Fokustiefe scharf abgebildet. Eine Autofokustiefe kann eine Fokustiefe sein, in der der Fokus durch ein Autofokusverfahren eingestellt wurde. Eine Autofokustiefe liegt zweckmäßigerweise in einem Materialbereich der Probe, der untersucht werden soll. Mehrere in x- und/oder y-Richtung verschiedene Autofokustiefen können eine Autofokusebene bilden, die zweckmä- ßigerweise parallel zur Probenebene liegt.
Auch bei sehr zuverlässigen Autofokusverfahren kann es sein, dass bei einer hohen vom Bediener gewählten Vergrößerung der Bediener doch noch die Fokusposition manuell justiert, um eine für ihn optima- le Abbildung der Probe zu erhalten. Um ein manuelles Fokussieren möglichst zügig zu ermöglichen, verläuft die Scanroute zweckmäßigerweise zunächst in Tiefenrichtung um eine Autofokustiefe herum. Dies ist insbesondere dann zweckmäßig, wenn der Bediener einen Zoomfaktor beziehungsweise eine Vergrößerung des Sichtausschnitts über einem Grenzwert wählt beispielsweise über 10x. Wird die Scanroute nach einem Verändern der Fokusposition des Mikroskopobjektivs durch den Bediener zuerst in z-
Richtung geführt, so liegt dann sehr zügig ein Stapel von Abbildungen in z-Richtung vor, anhand derer der Bediener eine für ihn optimale Fokusposition einstellen kann.
Nach einem Einstellen der Fokustiefe, insbesondere nach einem manuellen Einstellen der Fokustiefe, ist es vorteilhaft, wenn die Scanroute in der Ebene der eingestellten Fokustiefe verläuft. Es ist bei einem Einstellen der Fokustiefe davon auszugehen, dass der Bediener die Probe in dieser Fokustiefe absuchen wird, sodass ein vorauseilender Scan dieser Fokusebene die Untersuchung beschleunigen kann. Hierbei ist es vorteilhaft, wenn die Scanroute parallel zu einer in einem Autofokusverfahren ermittelten Autofokusebene erfolgt.
Nach dem Erstellen des Abbildungsstapels in z-Richtung kann die Scanroute wieder waagerecht verlau- fen, z.B. in der momentanen Fokusebene des Mikroskopobjektivs.
Die Erfindung ist außerdem gerichtet auf ein Digitalmikroskop insbesondere zur Durchführung des erfindungsgemäßen Verfahrens. Das Digitalmikroskop hat zweckmäßigerweise eine Probenaufnahme, ein Mikroskopobjektiv, einen Antrieb zum Bewegen des Mikroskopobjektivs über die Probe, eine Kamera zum Aufnehmen der Probe durch das Mikroskopobjektiv und eine Steuereinheit zum Steuern des An- triebs und zur Aufnahme von Abbildungen der Kamera. Zweckmäßigerweise ist die Steuereinheit ebenso dazu vorbereitet, die Aufnahmen auf einem Anzeigemittel darzustellen, beispielsweise einem Bildschirm. Der Bildschirm kann ebenfalls Teil des Digitalmikroskops sein.
Zur Beschleunigung eines Abbildungsverfahrens wird vorgeschlagen, dass die Steuereinheit erfindungsgemäß dazu vorbereitet ist, das Mikroskopobjektiv in einer Scanroute über einen Sichtausschnitt zu be- wegen, eine dem Sichtausschnitt bedeckende Abfolge von zueinander versetzt liegenden Abbildungen digital aufzunehmen und dann die Scanroute mit einer Abfolge von Abbildungen außerhalb des gewählten Sichtausschnitts fortzusetzen. In der Art eines vorauseilenden Scans können zukünftig verschobene Sichtausschnitte zügig dargestellt werden.
Generell ist eine Bewegung des Mikroskopobjektivs über die Probe eine Relativbewegung, sodass abso- lut gesehen das Mikroskopobjektiv über die Probe bewegt oder die Probe unter dem absolut gesehen ruhenden Mikroskopobjektiv bewegt wird.
Die bisher gegebene Beschreibung vorteilhafter Ausgestaltungen der Erfindung enthält zahlreiche Merkmale, die in einigen abhängigen Ansprüchen zu mehreren zusammengefasst wiedergegeben sind. Diese Merkmale können jedoch zweckmäßigerweise auch einzeln betrachtet und zu sinnvollen weiteren Kom- binationen zusammenfasst werden, insbesondere bei Rückbezügen von Ansprüchen, sodass ein einzelnes Merkmal eines abhängigen Anspruchs mit einem einzelnen, mehreren oder allen Merkmalen eines anderen abhängigen Anspruchs kombinierbar ist. Außerdem sind diese Merkmale jeweils einzeln und in beliebiger geeigneter Kombination sowohl mit dem erfindungsgemäßen Verfahren als auch mit der erfindungsgemäßen Vorrichtung gemäß den unabhängigen Ansprüchen kombinierbar. So sind Verfahrensmerkmale auch als Eigenschaft der entsprechenden Vorrichtungseinheit gegenständlich formuliert zu sehen und funktionale Vorrichtungsmerkmale auch als entsprechende Verfahrensmerkmale. Die oben erwähnten selbständigen Ausprägungen der Erfindung, das Berechnen der Scanroute anhand von Parametern, das Verändern der aktuellen Scanroute in Abhängigkeit einer oder mehrerer Parameteränderungen und das Weiterscannen au ßerhalb des aktuellen Sichtausschnitts sind in beliebiger weise miteinander kombinierbar. Zudem sind auch Details zu einer der Ausprägungen - unabhängig von ihrer Ausführung in einem der Unteransprüche - mit einer oder beiden der anderen Ausprägungen kombinier- bar.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung, sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Die Ausführungsbeispiele dienen der Erläuterung der Erfindung und beschränken die Erfindung nicht auf die darin angegebene Kombination von Merkmalen, auch nicht in Bezug auf funktionale Merkmale. Au ßerdem können dazu geeignete Merkmale eines jeden Ausführungsbeispiels auch explizit isoliert betrachtet, aus einem Ausführungsbeispiel entfernt, in ein anderes Ausführungsbeispiel zu dessen Ergänzung eingebracht und/oder mit einem beliebigen der Ansprüche kombiniert werden.
Es zeigen :
FIG 1 ein Digitalmikroskop mit einem Mikroskopobjektiv und einem Übersichtsobjektiv über einer
Probe in einer Probenaufnahme,
FIG 2 die Probe aus FIG 1 in einer Draufsicht mit einem Probenfeld mit zwei Gewebebereichen, zwei Informationsfeldern neben dem Probenfeld und einem Sichtausschnitt, der über einem der beiden Gewebebereiche liegt,
FIG 3 den Sichtausschnitt aus FIG 2 mit Scanrouten, entlang derer Abbildungen der Probe aufgenommen werden,
FIG 4 der Sichtausschnitt aus FIG 2 mit einem grob aufgelöstem äu ßeren und eingefärbt dargestellten Bereich und einem inneren durch vier Abbildungen höher aufgelösten Bereich,
FIG 5 das Probenfeld der Probe aus FIG 2 mit einem Sichtausschnitt, der entlang einer Scree- ningroute mäandernd über die Probe geführt wird,
FIG 6 das Probenfeld mit einem Sichtausschnitt, der gewebeabhängig über die Probe geführt wird,
FIG 7 einen Sichtausschnitt und einen Überblick über ein Probenfeld, in dem bereits aufgenommene Abbildungen verzeichnet sind, und FIG 8 einen Stapel von Abbildungen, die mit in z-Richtung variierenden Fokuspositionen aufgenommen wurden und einer in einer gewünschten Fokustiefe begonnenen Scanroute.
FIG 1 zeigt ein Digitalmikroskop 2 mit einer Probenaufnahme 4, in die eine Probe 6 eingelegt ist. Die Probe 6 hat einen Probenträger 8 und ein Deckglas 10 und zwischen Probenträger 8 und Deckglas 10 angeordnetes biologisches Material, wie in FIG 2 in der Draufsicht auf die Probe 6 angedeutet ist. Das Deckglas deckt den Probenbereich vollständig ab, also den Bereich des Probe, in dem zu untersuchendes Material angeordnet sein kann. Der Probenbereich wird im Folgenden auch als Probenfeld 48 bezeichnet. Rings um den Probenbereich liegt ein Trägerbereich, also der Bereich der gesamten Probe um den Probenbereich. Im Trägerbereich sind zwei Informationsfelder 40, 42 angeordnet, die Probeninforma- tionen enthalten.
Mithilfe eines Antriebs 12 ist die Probenaufnahme 4 innerhalb eines Gehäuses 14 des Digitalmikroskops 2 verfahrbar, sodass die Probe 6 außerhalb des Gehäuses 14 in die Probenaufnahme eingelegt werden kann und die Probenaufnahme 4 durch den Antrieb 12 in das Gehäuse 14 und unter ein Mikroskop 16 verfahren wird. Das Mikroskop 16 umfasst ein Mikroskopobjektiv 1 8, das in FIG 1 lediglich schematisch dargestellt ist, und mit dem die Probe 6 auf einen Matrixdetektor 20 einer Kamera 22 abgebildet wird. Das Mikroskopobjektiv 18 ist an einem Objektivträger 24 befestigt und kann mit Hilfe eines Antriebs 26 zweidimensional verfahren werden, wie durch die beiden Pfeile in FIG 1 angedeutet ist. Die Bildaufnahme durch das Mikroskopobjektiv 18 wird durch eine Steuereinheit 28 gesteuert, die auch den Antrieb 26 zum Bewegen des Mikroskopobjektivs 18 über die Probe 6 steuert. Alternativ kann die Probe 6 unter dem fixierten Mikroskopobjektiv 18 verfahren werden, sodass auf den Antrieb 26 verzichtet werden kann.
Weiter ist das Digitalmikroskop 2 mit einer Übersichtskamera 30 ausgestattet, die einen Detektor 32 und ein Übersichtsobjektiv 34 zum Abbilden der Probe 6 auf dem Detektor 32 aufweist. Die Übersichtskamera 30 kann ebenfalls an dem Objektivträger 24 befestigt sein und in eine geeignete Position über die Probe 6 gefahren werden, sodass die Probe 6 insgesamt durch die Übersichtskamera 30 aufgenommen wird. Alternativ kann die Übersichtskamera 30 relativ zum Gehäuse 14 fest fixiert sein in einer solchen Stellung, dass es die Probe 6 vollständig aufnehmen kann, wenn die Probe 6 vom Antrieb 12 in ihre Untersuchungsposition innerhalb des Gehäuses 14 gebracht wurde.
Auf einem Bildschirm 36 werden einem Bediener die von der Übersichtskamera 30 und der Mikroskop- kamera 22 aufgenommenen Abbildungen angezeigt. Über eine Eingabeeinheit 38, beispielsweise eine Tastatur und eine Maus, kann der Bediener Eingaben und Befehle eingeben, die von der Steuereinheit 28 verarbeitet werden, die beispielsweise die Position der Mikroskopkamera 22 entsprechend steuert.
FIG 2 zeigt die Probe 6 in einer Draufsicht von oben. Zu sehen ist der Probenträger 8 und das Deckglas 10 sowie zwei Informationsfelder 40 und 42, die beispielsweise als Aufkleber auf dem Probenträger 8 realisiert sind. Das Informationsfeld 40 trägt einen maschinenlesbaren Code, beispielsweise einen Barcode, der Informationen über die Probe 6 enthält, beispielsweise über die Art der Probe. Das Informa- tionsfeld 42 enthält Informationen im ASCII-Format, also mit Buchstaben, Zahlen und Zeichen, anhand derer der Bediener für ihn wichtige Informationen über die Probe 6 entnehmen kann.
Das Digitalmikroskop 2 ist zur Hell- und Dunkelfeldanalyse im Auflicht und Durchlicht und auch zur Fluoreszenz-Analyse der Probe 6 geeignet und hierzu durch entsprechende Beleuchtungseinheiten vorberei- tet, auf deren Darstellung der Übersichtlichkeit halber in FIG 1 verzichtet wurde. Im Folgenden sind zunächst Hellfeld-Untersuchungsverfahren und anschließend Fluoreszenz-Untersuchungsverfahren beschrieben.
Zunächst wird die Probe 6 durch einen Bediener in die Probenaufnahme 4 eingelegt, die sich außerhalb des Gehäuses 14 des Digitalmikroskops 2 befindet. Die Probenaufnahme 4 wird in das Gehäuse 14 ein- gezogen und durch den Antrieb 12 in die Untersuchungsposition bewegt.
Der Bediener kann anhand einer Eingabe auf der Eingabeeinheit 38 entscheiden, nach welcher Methode er die Probe 6 untersuchen möchte. Mit Hilfe der Übersichtskamera 30 kann optional ein Übersichtsbild der gesamten Probe 6 mitsamt den Informationsfeldern 40, 42 aufgenommen werden. Das Übersichtsbild wird auf dem Bildschirm 36 dem Bediener angezeigt. Auch bei einer Fluoreszenz-Untersuchung ist es sinnvoll, dass ein Übersichtsbild im Hellfeld oder Dunkelfeld aufgenommen wird.
Es ist möglich, dass die Probenaufnahme 4 mehrere Proben 6 nebeneinander beziehungsweise untereinander aufnehmen kann, sodass mehrere Proben 6 in einem Arbeitsgang mit dem Digitalmikroskop 2 untersucht werden können. Ebenfalls ist es möglich, dass eine Probe 6 in mehrere getrennt voneinander angeordnete Probenbereiche aufgeteilt ist, beispielsweise wenn sie ein Micro Array mit einer Vielzahl von kleinen Probengefäßen umfasst.
Das Übersichtsbild kann ein Bild über alle Proben 6 auf der Probenaufnahme 4 sein, oder es wird von jeder Probe 6 ein separates Übersichtsbild erstellt, das dann einzeln oder gemeinsam auf dem Bildschirm 36 angezeigt wird. Der Bediener kann dann auswählen, in welcher Reihenfolge er die Proben 6 untersuchen will. Der Bediener wählt eine Probe 6 zur Untersuchung aus, beispielsweise die in FIG 2 dargestellte Probe 6. Anhand eines oder beider Informationsbereiche 40, 42 ermittelt die Steuereinheit 28 beispielsweise eine Art der Probe sowie eine Untersuchungsmethode, ggf. Patientendaten und/oder pathologische Angaben. Diese Probenparameter werden zur Berechnung einer Scanroute verwendet.
Anhand des Übersichtsbilds, das in FIG 2 dargestellt ist, wählt der Bediener einen interessierenden Be- reich aus, indem er diesen mit der Eingabeeinheit 38 anklickt oder markiert. Es wird hierdurch ein Sichtausschnitt 44 erzeugt. Je nach Untersuchungsmodus kann der Sichtausschnitt 44 auch vorgegeben werden, also automatisch gewählt werden. Eine automatische Auswahl erfolgt durch einen Algorithmus, der in der Steuereinheit 28 anhand von dazu vorgesehenen Daten ausgeführt wird, z.B. dem vorgegebenen Untersuchungsmodus, der z.B. auf einem Informationsfeld 40, 42 explizit oder implizit angegeben ist. Allgemein kann der Sichtausschnitt 44 bei einer automatischen Auswahl in Abhängigkeit von maschinenlesbarer Information auf einem Informationsfeld 40, 42 ausgewählt werden. Auch ist es möglich, den Sichtbereich anhand von einem Probenparameter automatisiert auszuwählen. Dieser kann auf einem Informationsfeld 40, 42 angegeben sein, oder von einem Bediener eingegeben werden, z.B. indem er eingibt, um welche Art von Probe 6 es sich handelt, von welchem Patienten Gewebe auf der Probe 6 stammt oder von welcher Praxis oder welchem Labor die Probe 6 kommt. Legt der Probenparameter eine Gewebeart fest, so kann solches Gewebe durch automatisierte Gewebeerkennung lokalisiert werden, beispielsweise durch ein Überblickbild. Der Sichtbereich 44 kann dann einen Teilbereich der Probenfläche bilden, in dem das Gewebe liegt. Der Algorithmus enthält Anweisungen, die zu solchen abstrakten Bedienerinformationen einen Sichtbereich 44 zuordnet.
Allgemeine Auswahldaten, in Abhängigkeit derer die automatische Auswahl des Sichtausschnitts 44 er- folgt, können die Probenfläche, der Probenumriss und/oder einer Probenform sein, also die Fläche, der Umriss und/oder die Form des Probenfelds 48. Beispielsweise liegt der anfängliche Sichtausschnitt 44 immer in der linken oberen Ecke des Probenfelds 48 oder in dessen Mitte.
Der Sichtausschnitt 44 wird auf dem Bildschirm 36 vergrößert angezeigt. Je nach Vergrößerung des Sichtausschnitts 44 erfolgt die Anzeige des Sichtausschnitts 44 mit Bilddaten des Überblickbilds oder mit Abbildungen, die durch das Mikroskopobjektiv 18 aufgenommen wurden.
Vor den Aufnahmen der Abbildungen durch das Mikroskopobjektiv 18 ist es sinnvoll eine geeignete Fokusposition des Mikroskopobjektivs 18 in der Probe 6 einzustellen. Dies kann beispielsweise mithilfe eines Autofokusverfahrens erfolgen. Bei dem dargestellten Digitalmikroskop 2 wird das Autofokusverfahren selbstständig durchgeführt, beispielsweise nachdem das Übersichtsbild aufgenommen und dem Bediener auf dem Bildschirm 36 angezeigt wird. Hierfür fährt das Mikroskopobjektiv 18 über die Probe 6 und verfährt in z-Richtung 46, also in Tiefenrichtung der Probe 6 und senkrecht zur Probenebene der Probe 6. Anhand beispielsweise eines Helligkeitsverlaufs einer Auflichtreflexion am Probenträger 8 und dem Deckglas 10 kann der Abstand des biologischen Materials zum Mikroskopobjektiv 18 beziehungsweise eine Fokusposition des Mikroskops 16 im biologischen Material bestimmt werden. Diese Fokusposition wird zweckmäßigerweise in der Mitte des Probenfelds 48 vorgenommen, wie durch ein kleines Kreuz in der Mitte des Probenfelds 48 in FIG 2 angedeutet ist. Nun wird das Mikroskopobjektiv 18 in x- und y-Richtung verfahren und die geeignete Autofokusposition wird an mehreren anderen Stellen des Probenfelds 48 vermessen, wie beispielsweise durch die vier äußeren Kreuze im Probenfeld 48 aus FIG 2 angedeutet ist. Aus den mehreren Autofokuspositionen wird eine Autofokusebene errechnet, die im biologischen Material liegt. Die Autofokusebene wird als Ausgangsebene für die ersten Abbildungen des Probenmaterials verwendet.
Nachdem Sichtausschnitt 44 festgelegt wurde, wird eine Scanroute 50 (FIG 3) von der Steuereinheit 28 berechnet. Außerdem wird der gewählte Sichtausschnitt 44 der Probe 6 auf dem Bildschirm 36 mit angezeigt. Die Vergrößerung des Sichtausschnitts 44 kann vorbestimmt sein, oder der Bediener legt mit der Auswahl des Sichtausschnitts 44 auch die Größe des Sichtausschnitts beziehungsweise die optische Vergrößerung, mit der er die Probe 6 durch den Sichtausschnitt 44 anschauen möchte, fest. Je nach Auflösung des Überblickbilds kann es sein, dass die Auflösung des Überblickbilds ausreichend ist, um die Probe 6 im voreingestellten oder ausgewählten Sichtausschnitt 44 auf dem Bildschirm 36 anzuzeigen. Unabhängig hiervon beginnt das Mikroskopobjektiv 18 entlang der berechneten Scanroute 50 über die Probe 6 zu fahren und Abbildungen 52 der Probe 6 aufzunehmen. Wenn die Auflösung des Überblickbilds ausreichend ist, kann auf die Darstellung der Abbildungen 52 verzichtet werden. Wenn die Auflösung nicht ausreichend ist, werden die Abbildungen 52 auf dem Bildschirm 36 angezeigt. Eine wahlweise Fallunterscheidung ist in den Figuren 3 und 4 dargestellt.
FIG 3 zeigt den auf dem Bildschirm 36 angezeigten Sichtausschnitt 44. Der Bildinhalt stammt aus einer zuvor aufgenommenen Aufnahme der Probe 6, beispielsweise dem Überblickbild, und stimmt in der Re- gel nicht mit der aktuellen Lage des Mikroskopobjektivs 18 über der Probe 6 überein. Zur Darstellung der Probe 6 im Sichtausschnitt 44 kann beispielsweise auf das Überblickbild zurückgegriffen werden, das je nach Auflösung die Probe 6 scharf aufgelöst zeigt, wie in FIG 3 dargestellt ist, oder ein unscharfes Bild zeigt, wie in den Außenbereichen des Sichtausschnitts 44 in FIG 4 durch die dicken Linien angedeutet ist.
Auch wenn die Auflösung des unpassenden beziehungsweise inaktuellen Bilds, beispielsweise des Überblickbilds, ausreichend ist, steuert die Steuereinheit 28 das Mikroskopobjektiv 18 in einer Scanroute 50 über die Probe und steuert die Aufnahme einer Abfolge von Abbildungen 52 durch das Mikroskopobjektiv 18. Die Abbildungen 52 liegen in dieser Abfolge zueinander versetzt innerhalb des Sichtausschnitts 44, sodass die Probe 6 innerhalb des Sichtausschnitts 44 Abbildung 52 für Abbildung 52 in der Auflösung beziehungsweise Vergrößerung des Mikroskopobjektivs 18 aufgenommen wird. Die Scanroute 50 beginnt hierbei in der Mitte des Sichtausschnitts 44. Die erste Abbildung bedeckt insofern symmetrisch oder unsymmetrisch den Mittelpunkt des Sichtausschnitts 44. Die Scanroute 50, die in FIG 3 mit strichpunktierten Linien beziehungsweise Pfeilen dargestellt ist, verläuft ausgehend von der Mitte spiralförmig nach außen in Richtung zum Rand des Sichtausschnitts 44. Das Mikroskopobjektiv 18 verfährt über der Probe 6 entlang der Scanroute 50 und nimmt Abbildung 52 für Abbildung 52 auf, wie in FIG 3 dargestellt ist.
In FIG 3 ist die erste Abbildung 52 durchgezogen dargestellt, die zweite Abbildung 52 gestrichelt und die dritte Abbildung 52 punktiert. Weitere Abbildungen sind der Übersichtlichkeit halber nicht dargestellt. Es ist jedoch zu sehen, dass im Laufe der Zeit der gesamte Sichtausschnitt 44 mit Abbildungen 52 in der Reihenfolge der Scanroute 50 abgedeckt wird, sodass hochaufgelöste Bilddaten der Probe im gesamten Sichtausschnitt 44 zur Verfügung stehen.
Ist, wie in FIG 4 durch die dicken Linien angedeutet ist, ist die inaktuelle Abbildung der Probe 6 unscharf, da ihre Auflösung nicht ausreicht, um die gewünschte voreingestellte Vergrößerung auf dem Bildschirm 36 anzuzeigen, so wird im Prinzip in der gleichen Weise verfahren. Auch hier bewegt sich das Mikroskopobjektiv 18 entlang der identischen Scanroute Abbildung 52 für Abbildung 52 über die Probe 6. Die inaktuelle Bildfläche des Sichtausschnitts 44 zeigt hierbei unscharfe Bilddetails, während die Abschnitte der Abbildungen 52 des Sichtausschnitts 44 scharf angezeigt werden, weil sie aus den Bilddaten der Abbildungen 52 erzeugt werden. Entsprechend wächst der scharfe Bildbereich von innen nach außen, wie in FIG 4 angedeutet ist. Um dem Bediener eine leichtere Unterscheidung zwischen aktuellen und inaktuellen Bildabschnitten zu ermöglichen, sind die inaktuellen Bildabschnitte eingefärbt, beispielsweise mit einem Grauton. Dies ist insbesondere dann vorteilhaft, wenn die Auflösung der inaktuellen Bildbereiche immer noch recht gut ist, sodass die Bildqualitätsunterschiede von den aktuellen zu den inaktuellen Bildabschnitten nicht sofort zu erkennen sind.
Nach einer Weile ist der gesamte Sichtausschnitt 44 mit Abbildungen 52 überdeckt, sodass die Bilddarstellung innerhalb des gesamten Sichtausschnitts 44 mit aktuellen Abbildungen 52 beziehungsweise scharfen Bilddaten gespeist werden kann. Im Prinzip kann nun der Scan gestoppt werden und gewartet werden, bis der Sichtausschnitt 44 vom Bediener auf einen anderen Bereich der Probe 6 verschoben wird. Dann würde auch dieser Sichtausschnitt 44 Abbildung 52 für Abbildung 52 abgescannt werden, sodass sich das Bild des Sichtausschnitts 44 Stück für Stück in der aktuellen Darstellung zusammensetzt. Da dies bei einem jeden verschiebenden Sichtausschnitt 44 durch den Bediener jedoch eine gewisse Zeitspanne in Anspruch nimmt, ist es vorteilhaft, wenn auch die aktuellen Bilddaten eines verschobenen Sichtausschnitts bereits zum Zeitpunkt des Verschiebens vorliegen. Hierfür ist ein vorauseilender Scan auch außerhalb des Sichtausschnitts 44 erforderlich.
Ein solcher vorauseilender Scan ist in FIG 3 angedeutet. Sobald der gesamte Sichtausschnitt mit aktuellen Abbildungen 52 überdeckt ist, wird der Scan beziehungsweise die Scanroute 50 außerhalb des Sichtausschnitts 44 fortgesetzt, wie in FIG 3 durch den äußerten strichpunktierten Pfeil angedeutet ist.
Eine Möglichkeit besteht darin, dass die Scanroute 50 außerhalb des Sichtausschnitts spiralförmig um den Sichtausschnitt 44 verläuft und sich Bahn für Bahn nach radial außen aufweitet, so lange bis die
Grenzen eines interessierenden Bereichs oder des Probenfelds 48 erreicht sind. Ist eine solche Grenze erreicht, so kehrt die Scanroute 50 um und fährt die nächstäußere Abbildungsreihe in umgekehrter Spiralform ab. Wird nun der Sichtausschnitt 44 vom Bediener ein Stück weit verschoben, so kann auf aktuelle Abbildungsdaten zurückgegriffen und der Sichtausschnitt 44 aktuell angezeigt werden. Wurde der Sichtausschnitt 44 verschoben und über bereits aufgenommene Abbildungen 52 gelegt, so werden diese im neuen Sichtausschnitt 44 direkt angezeigt. Ist der neue Sichtausschnitt 44 nur teilweise mit vorhandenen Abbildungen 52 belegt und ein Teil des Sichtausschnitts 44 ist noch nicht durch Abbildungen 52 belegt, so hängt die Fortsetzung der neuen Scanroute davon ab, welcher Teil des Sichtausschnitts 44 schon mit Abbildungen vorhanden ist und welcher nicht. Ist nur ein Randabschnitt des Sicht- ausschnitts 44 bereits abgebildet, so setzt sich die Scanroute 50 in der Mitte des Sichtausschnitts 44 fort, sodass dieser von der Mitte ausgehend nach außen gefüllt wird. Ist die Mitte bereits abgedeckt, so schließt die neue Scanroute 50 mäanderförmig von innen nach außen an die vorhandenen Abbildungen 52 an. Dies gilt auch, wenn die Mitte zwar nicht abgedeckt ist, die vorhandenen Abbildungen 52 jedoch bis zu einer vorgegebenen Entfernung an die Mitte heranreichen, z.B. bis auf weniger als 20% einer Sichtausschnittskantenlänge. Sind alle Abbildungen 52 des neuen Sichtausschnitts 44 bereits nach dem Verschieben aufgenommen, kann auf eine Änderung der Scanroute verzichtet werden, sodass diese außerhalb des Sichtausschnitts 44 nicht verändert wird.
Eine aktuelle Anzeige bedeutet nicht zwingend, dass eine momentane Sicht auf die Probe 6 angezeigt wird. Es wird stets auf abgespeicherte Abbildungen 52 zurückgegriffen, auch wenn die Probe 6 beispielsweise verschoben oder aus dem Digitalmikroskop 2 herausgenommen wird. Aktuell ist in diesem Sinne so zu verstehen, dass die Abbildungen 52 in der Weise erstellt wurden, wie es der Bediener - oder die Steuereinheit 28 in einer Voreinstellung - eingestellt hat.
Der Bediener kann eine Vielzahl an Parametern ändern, sodass eine Darstellung des Sichtausschnitts 44 auf dem Bildschirm verändert wird. Verändert der Bediener einen Parameter, so wird dies von der Steuereinheit 28 registriert und in der Berechnung der Scanroute 50 einbezogen. In der Regel wird die Scanroute 50 hiervon beeinflusst und geändert. Das hat zur Folge, dass das Abfahren der aktuellen Scanroute 50 gestoppt wird, und das Mikroskopobjektiv 18 nun entlang der neuberechneten Scanroute 50 entlang fährt und neue Abbildungen 52 aufnimmt. Wird ein Parameter geändert, z.B. ein Aufnahmeparameter, so ändert sich die Bildebene und die zuvor aufgenommenen Abbildungen 52 werden inaktuell. Die Parameter können die Auflösung beziehungsweise Vergrößerung, die Fokustiefe, eine Belichtung, ein Pixelbinning des Matrixdetektors 20, bei der Fluoreszenz-Analyse insbesondere der Spektralbereich, und weitere Parameter umfassen.
Wird zumindest einer dieser Parameter vom Bediener verändert, so sind die Abbildungen 52 die mit der inaktuellen Parametereinstellung aufgenommen wurden, inaktuell beziehungsweise unpassend. Die Darstellung kann auf dem Bildschirm 36 entsprechend markiert erfolgen, beispielsweise durch eine Einfär- bung. Eine Ausnahme kann bei einer Veränderung des Aufnahmeparameters Vergrößerung bestehen, wenn Aufnahmen einer gleichen oder größeren Vergrößerung vorhanden sind. Wird beispielsweise von 10x auf 20x gewechselt, also von 10-facher auf 20-fache Vergrößerung, und es liegen bereits Abbildun- gen mit 40x vor, so bleiben diese Abbildungen aktuell und sie werden lediglich größer angezeigt.
Für die Wahl der Scanroute 50 außerhalb des Sichtausschnitts 44 bestehen mehrere Möglichkeiten, aus denen die Steuereinheit 28 zweckmäßigerweise eine in Abhängigkeit eines Zukunftsparameters auswählt. Der Zukunftsparameter kann angeben, mit welcher Wahrscheinlichkeit der Sichtausschnitt 44 an welchen Ort innerhalb der Probe vom Bediener verschoben wird. Zur Bestimmung des Zukunftsparame- ters kann die Steuereinheit 28 eine Berechnung ausführen, wohin der Sichtausschnitt 44 als nächstes wandert und dann die Scanroute 50 außerhalb des Sichtausschnitts 44 in Abhängigkeit des Berechnungsergebnisses bzw. des damit erhaltenen Zukunftsparameters steuern. Anstelle oder zusätzlich zur Berechnung können eine oder mehrere Probeneigenschaften oder ein oder mehrere Bedienereingaben verwendet werden. Information über die Art der Probe 6 kann beispielsweise aus einem Informationsfeld 40, 42 entnommen werden, beispielsweise dem Barcode des Informationsfelds 40. Die Probenart kann beispielsweise Aus- kunft geben über eine Untersuchungsart, mit der die Probe 6 zu untersuchen ist. Beispielsweise kann mit der Probenart eine Screeningroute 54 verbunden sein, wie sie beispielhaft in FIG 5 dargestellt ist.
FIG 5 zeigt das Probenfeld 48 der Probe 6 mit Gewebebereichen 56 und gewebefreien Bereichen um die Gewebebereiche 56. Ist beispielsweise ein vollständiges Screening des Probenfelds 48 vorgegeben, so springt der Sichtausschnitt 44 nach einer entsprechenden Eingabe des Bedieners automatisch an den Beginn der Screeningroute 54, die systematisch, beispielsweise mäanderförmig, über das gesamte Probenfeld 48 geführt ist. Dies ist in FIG 5 anhand des mäanderförmigen gestrichelten Pfeils angedeutet. Der Bediener bewegt den Sichtausschnitt, beispielsweise mit einem Bedienmittel, wie einer Maus, entlang der Screeningroute 54. Hierbei steuert die Steuereinheit 28 die Scanroute 50 so, dass sie außerhalb des Sichtausschnitts 44 entlang der Screeningroute 54 verläuft. Umfasst der Sichtausschnitt 44 nur eine Abbildung 52, so kann die Scanroute 50 identisch zur Screeningroute 54 verlaufen. Umfasst der Sichtausschnitt 44 mehrere Abbildungen 52, so kann die Scanroute 50, nachdem der Sichtausschnitt 44 vollständig mit Abbildungen 52 überdeckt ist, beispielsweise mäanderförmig entlang der Screeningroute 54 verlaufen, wie in FIG 5 angedeutet ist. Die Scanroute 50 eilt generell vorteilhafterweise der Bewegung des Sichtausschnitts 44 entlang der Screeningroute 54 voraus, sodass der Sichtausschnitt 44 sich stets in bereits vorhandene Abbildungen 52 hineinbewegt. Auf diese Weise kann verfahren werden, bis sich der Sichtausschnitt 44 über das gesamte Probenfeld 48 bewegt hat.
Bei dem Beispiel aus FIG 5 verläuft die Screeningroute 54 auch durch gewebefreie Bereiche, die für den Bediener nicht von großem Interesse sind. Entsprechend ist davon auszugehen, dass er den Sichtaus- schnitt 44 verhältnismäßig schnell durch gewebefreie Bereiche führen wird. Ganz allgemein gesprochen kann es in der Probe 6 interessierende Bereiche, wie die Gewebebereiche 56, geben und nicht interessierende oder weniger interessierende Bereiche, wie die gewebefreien Bereiche in FIG 5. Es ist vorteilhaft, wenn ein Aufnahmemodus zur Steuerung der Aufnahme der Abbildungen 52 in Abhängigkeit vom Verlauf der Screeningroute 54 und/oder der Scanroute 50 durch verschieden kategorisierte Bereiche, wie einen interessierenden und einen nicht interessierenden Bereich, ist. Hierbei werden Abbildungen 52 in einem niederer kategorisierten Bereich schneller durchgeführt als in einem höher kategorisierten Bereich. Die Scanroute 50 kann hierbei gleich bleiben, also unabhängig von den Bereichskategorien gelegt werden, wenn dies zweckmäßig erscheint, wie beispielsweise bei einer festgelegten Screeningroute 54. Andernfalls kann auch die Scanroute 50 von Bereichskategorien abhängig gemacht werden. Die Bereichskategorien können anhand bildverarbeitender Methoden eines vorangehend aufgenommenen Bilds der Probe 6 erstellt werden, beispielsweise anhand eines Überblickbilds. Es werden beispielsweise Gewebebereiche 56 als höher bewertete kategorisierte Bereiche erkannt und unterschieden von niederkategorisierten Bereichen, beispielsweise Bereichen mit keinem oder anderem Gewebe.
Eine Beschleunigung der Aufnahme der Abbildungen 52 kann durch eine oder mehrere der folgenden Maßnahmen erreicht werden. Kanäle beziehungsweise Elemente des Matrixdetektors 20 werden durch Pixelbinning zusammengefasst, sodass eine ausreichende Belichtung schon nach einer kürzeren Belichtungszeit erreicht wird. Zwar leidet hierbei die Auflösung der Abbildungen 52, dies kann jedoch in niederkategorisierten Bereichen toleriert werden. Die Belichtungszeit kann auch ohne Pixelbinning verringert werden, und die Helligkeit der Abbildungen 52 kann beispielsweise durch Bildverarbeitung nachträglich erhöht werden, wie durch eine Erhöhung der Bildhelligkeit, des Kontrasts und/oder einer anderen Maßnahme. Ebenfalls möglich ist die Bildaufnahme während einer Bewegung des Mikroskopobjektivs 18, das somit bei einem Verfahren entlang seiner Scanroute 50 kontinuierlich bewegt wird und nicht von Abbil- dung 52 zu Abbildung 52 stoppt. Hierdurch leidet zwar - in Abhängigkeit von der Belichtungszeit - die Bildschärfe, dies kann jedoch in niederkategorisierten Bereichen toleriert werden.
Eine weitere Möglichkeit besteht im Auslassen von Abbildungen 52 entlang des Scanroute 50. Wenn mit ausreichender Wahrscheinlichkeit kein interessierender beziehungsweise höher kategorisierter Bereich in der entsprechenden Abbildung 52 liegt beziehungsweise in ihrem Abbildungsfeld, so kann auf die Auf- nähme der entsprechenden Abbildung 52 verzichtet werden. Im Falle einer Fluoreszenzaufnahme können die Abbildungen 52 in nur einem Fluoreszenz-Kanal aufgenommen werden, und auf die Aufnahme in anderen Spektralkanälen wird verzichtet.
Ganz allgemein kann ein oder mehrere dieser abbildungsbeschleunigenden Maßnahmen auch dann angewendet werden, wenn die gewählte Auflösung beziehungsweise Bildvergrößerung des Sichtausschnitts 44 relativ gering ist, oder genauer: zumindest in einem voreingestellten Maß geringer als die Auflösung bzw. Vergrößerung des Mikroskopobjektivs 18. In diesem Fall wird die Vergrößerung des Mikroskopobjektivs 18 sowieso nicht voll ausgeschöpft, sodass eine oder mehrere der Bildschärfe beeinträchtigenden Maßnahmen ohne deutlichen Qualitätsverlust der Darstellung der Abbildungen 52 in der gewünschten Vergrößerung vorgenommen werden kann. Generell kann eine Beschleunigungsmaßnahme, wie das Pixelbinning, automatisch durchgeführt werden, also automatisch ausgelöst werden, ohne dass der Bediener die Maßnahme vorgibt. Die Maßnahme wird insbesondere in Abhängigkeit von der Zoomstufe des aktuellen Sichtausschnitts 44 auf dem Bildschirm 36 ausgelöst. Ist die Zoomstufe beispielsweise kleiner als ein Grenzwert, so kann die Maßnahme automatisch ausgelöst werden. Auch eine Benutzeraktivität kann ein Auslöseparameter für eine Beschleuni- gungsmaßnahme, wie das Pixelbinning, verwendet werden, beispielsweise die Verweildauer des Sichtausschnitts 44 an einem Ort.
Eine weitere Möglichkeit einer intelligenten Führung der Scanroute 50 über die Probe 6 beziehungsweise deren Probefeld 48 ist in FIG 6 dargestellt.
FIG 6 zeigt den Sichtausschnitt 44 innerhalb des Probenfelds 48, wie er vom Bediener gewählt oder von der Steuereinheit 28 voreingestellt wurde. Die Steuereinheit 28 führt hierfür eine Gewebeerkennung der
Probe 6 durch und erkennt Gewebebereiche 56, bzw. allgemein gesprochen: unterscheidet Bereiche einer höheren Kategorie von Bereichen einer niedrigeren Kategorie. Die Gewebeerkennung kann anhand des Übersichtsbilds erfolgen, in dem das Gewebe 56 bereits abgebildet ist.
Die Scanroute 50 außerhalb des aktuellen Sichtausschnitts 44 wird nun priorisiert innerhalb der höher kategorisierten Bereiche 56 geführt. Die Scanroute 50 wird beispielsweise erst alle höher kategorisierten Bereiche überdeckend geführt, bevor sie in einen nieder kategorisierten Bereich geführt wird. Bei dem Beispiel aus FIG 6 verläuft die Scanroute 50 nach außen erweiternd spiralförmig um den Sichtausschnitt 44, um an Bereichsgrenzen des höher kategorisierten Bereichs 56 die Spiralrichtung in der nächstaußen liegenden Abbildungsbahn umzudrehen. Dies mündet schließlich in einer mäanderförmigen Bahn über den gesamten Gewebebereich 56, bis dieser vollständig abgescannt ist. Nun springt die Scanroute 50 zum nächsten Gewebebereich 56 und rastert diesen mäanderförmig ab. Wird der Sichtausschnitt 44 vom Bediener verschoben, so kann es sein, dass er über einem noch nicht abgerasterten Bereich zu liegen kommt. Nun ist eine Scanroute 50 innerhalb des Sichtausschnitts 44 in Abhängigkeit von einer Bewegung des Sichtausschnitts 44 vorteilhaft. Fährt der Bediener das Sichtfenster 44 beispielweise kontinuierlich oder mehrfach in eine Richtung, so wird anstelle der spiralförmigen Scanroute 50 im Sichtausschnitt 44 eine mäanderförmige Scanroute 50 gewählt, deren Ausbreitungsrich- tung - analog zur Screeningroute 54 - in Verschieberichtung des Sichtausschnitts 44 gewählt ist. Auf diese Weise wird eine den Bediener vielleicht verwirrende Ausbreitungsrichtung der Scanroute 50, die der Verschieberichtung des Sichtausschnitts 44 entgegensteht, vermieden.
Wird die Gewebeerkennung nicht anhand eines Überblickbilds durchgeführt, so besteht die Möglichkeit, einen stichprobenartigen Schnellscan über das Probenfeld 48 zu fahren, bei dem Einzelbilder, also von- einander beabstandete Abbildungen 52, erstellt werden. Diese inselhaften Abbildungen 52 werden nun auf Gewebe 56 untersucht. Wurde Gewebe 56 in einer Abbildung 52 gefunden, können nun weitere Abbildungen an diese„fündige" Abbildung 52 angehängt werden, um den Gewebebereich immer weiter abzubilden, entweder sofort, oder erst nach vollendetem Schnellscan.
Alternativ oder zusätzlich zu den Bereichskategorien kann eine Bildart, wie eine Gewebeart, innerhalb des momentanen Sichtausschnitts 44 als weiterer Zukunftsparameter herangezogen werden. Dies ist ebenfalls beispielhaft in FIG 6 angedeutet. Der Sichtausschnitt 44 liegt nicht nur in einem Gewebebereich 56 sondern überdeckt eine spezielle Art Gewebe, die in FIG 6 durch ineinander liegende Linien angedeutet ist. Mittels bildverarbeitender Methoden kann die Steuereinheit 28 aus beispielsweise dem Überblick- bild oder einer anderen früheren Aufnahme gleiche Bildkategorien beziehungsweise Gewebekategorien heraussuchen. Solche Bereiche erhalten nun eine noch höhere Bereichskategorie. Die Scanroute 50 verläuft nun hierarchisch durch die Bereichskategorien. Zunächst werden Bereiche mit der höchsten Bereichskategorie abgescannt. Dann werden Bereiche mit der nächst niedrigeren Bereichskategorie abgescannt und so weiter.
Bei dem Beispiel aus FIG 6 bedeutet dies, dass die Scanroute 50 von höchstkategorisiertem Bereich zu höchstkategorisiertem Bereich springt, wie durch die dick strichpunktierte Linie in FIG 6 angedeutet ist. Wird der Sichtausschnitt 44 auf einen anderen höchstkategorisierten Bereich verschoben, so ist dieser bereits abgebildet, sodass auf gespeicherte Abbildungen 52 zurückgegriffen werden kann und der Sichtausschnitt zumindest in diesem Bereich ohne das Aufnehmen einer weiteren Abbildung 52 dargestellt werden kann. Bewegt der Bediener den Sichtausschnitt beispielsweise über einen anderen höchstkate- gorisierten Bereich, wird dieser sofort dargestellt. Die Scanroute 50 springt nun aus ihrer momentanen
Scanposition zurück in den Sichtausschnitt 44 und füllt diesen um den höchstkategorisierten Bereich aus. Hierbei werden niederkategorisierte Bereiche zweckmäßigerweise berücksichtigt, sodass die Scanroute 50 zweckmäßigerweise auch innerhalb des Sichtausschnitts absteigend von Bereichskategorie zu Be- reichskategorie verläuft, also zunächst - beispielhaft in FIG 6 bleibend - den Gewebebereich 56 um den bereits abgescannten höchstkategorisierten Bereich abdeckt und erst zum Schluss den gewebefreien Bereich, für den Fall dass der Sichtausschnitt auch diesen teilweise überdeckt.
Steht Scanzeit zur Verfügung, steuert die Steuereinheit die Scanroute 50 so, dass ein Feld mit zumindest der Größe und Form des aktuellen Sichtausschnitts 44 um den höchstkategorisierten Bereich gescannt wird, beispielsweise mit 1 ,5-facher Flächengröße, wie in FIG 6 durch eine gepunktete Linie um einen eventuell zukünftigen Sichtausschnitt 44 dargestellt ist. Verfährt der Bediener den Sichtausschnitt 44 zum nächsten höchst kategorisierten Bereich, kann ihm sofort der gesamte Sichtausschnitt 44 ohne Verzögerung angezeigt werden. Ein weiterer Zukunftsparameter besteht darin, dass frühere Bewegungen des Sichtausschnitts 44 durch einen Bediener berücksichtigt werden. Frühere Bewegungen können richtungsbezogene Bewegungen oder bereichsbezogene Bewegungen sein. Richtungsbezogenen Bewegungen sind beispielsweise Screeningrichtungen. Bereichsbezogene Bewegungen sind Bewegungen von einem bestimmten Bereich zum nächsten bestimmten Bereich. Hat der Bediener beispielsweise in früheren Untersuchungen anderer Proben bestimmte Bereiche bevorzugt, die von der Steuereinheit 28 in der aktuellen Probe 6 gefunden wurden, so können diese Bereiche höher kategorisiert werden als andere Bereiche, sodass die Bereichskategorien als Zukunftsparameter verwendet werden können.
Während der Bediener den Sichtausschnitt 44 beziehungsweise die den Sichtausschnitt 44 bedeckenden Abbildungen 52 anschaut, wurde die Scanroute 50 au ßerhalb des Sichtausschnitts 44 weiter abgescannt, es wurden also eine Mehrzahl von Abbildungen 52 au ßerhalb des Sichtausschnitts 44 aufgenommen. Anstatt den Bediener in Unkenntnis darüber zu lassen, wo diese Abbildungen 52 innerhalb des Probenfelds 48 liegen, kann dies dem Bediener angezeigt werden, wie in FIG 7 dargestellt ist.
FIG 7 zeigt die Ansicht auf den Sichtausschnitt 44 auf dem Bildschirm 36. Daneben ist das Probenfeld 48 in Form eines Rechtecks angezeigt, in dem auch der Sichtausschnitt 44 verkleinert und in seiner Lage innerhalb des Probenfelds 48 angezeigt ist. Des Weiteren sind die bereits aufgenommenen Abbildungen 52 in ihrer Lage innerhalb des Probenfelds 48 angezeigt, sodass der Bediener erkennen kann, welche Bereiche des Probenfelds 48 bereits gescannt wurden. Über solche Bereiche kann er nun bevorzugt den Sichtausschnitt 44 legen, sodass dieser vollständig oder teilweise aus bereits aufgenommenen Abbildungen 52 angezeigt werden kann. Bei einer automatischen Erkennung von priorisierten Bereichen, wie Gewebebereichen 56, werden die Abbildungen 52 über solche Bereiche gelegt sein, sodass der Bediener zusätzlich einen Hinweis bekommt, wo die priorisierten Bereiche liegen. Hierdurch kann er noch gezielter den Sichtausschnitt 44 verschieben und die Probe 6 effizient untersuchen.
Dem Bediener wird also die Lage der aufgenommenen Abbildungen 52 der Scanroute 50 angezeigt, die außerhalb des momentanen Sichtausschnitts 40 liegen. Jede aufgenommene Abbildung 52 ist als Fläche entsprechend ihrer Lage auf der Probe 6 beziehungsweise dem Probenfeld 48 angezeigt. Ebenfalls in FIG 7 dargestellt ist, dass die jeweils zuletzt aufgenommene Abbildung 52 angezeigt wird, z.B. neben dem An-zeigefeld des Sichtbereichs 44. Jede Abbildung 52 wird von der nachfolgenden Abbildung 52 überdeckt, sodass die außerhalb des Sichtbereichs 44 aufgenommenen Abbildungen 52 nur kurz dargestellt werden. Dies reicht aber aus, um dem Bediener Gelegenheit zu geben, interessante Ab- bildungen 52 als solche zu er-kennen. Hierfür hat er die Möglichkeit, die Abfolge der Darstellungen der Abbildungen 52 zu stoppen, um die momentane Abbildung 52 länger betrachten zu können. Das Scannen erfolgt hierbei jedoch unverändert weiter, nur dass die aufgenommenen Abbildungen 52 nicht mehr angezeigt werden, so lange, bis der Bediener den Anzeigestopp wieder aufhebt.
Ein eventuell durchgeführtes Autofokusverfahren liefert zwar eine Autofokusebene, es kann jedoch sein, dass die Autofokusebene bezüglich der vom Bediener durchzuführenden Untersuchung nicht optimal liegt oder der Bediener aus anderen Gründen die Fokusposition aus der Autofokusebene manuell herausbewegt. Abbildungen 52 aus der alten Fokusebene werden dann inaktuelle Abbildungen 52. Sie werden zweckmäßigerweise als solche kenntlich gemacht, beispielsweise eingefärbt, und die Scanroute 50 wird in der aktuellen Fokusebene neu festgelegt. Die aktuelle Fokusebene verläuft zweckmäßigerweise paral- lel zur Autofokusebene.
Zwei mögliche Anlässe führen zu einem Verändern der Fokusebene. Ein naheliegender Anlass ist, dass der Bediener die Fokusebene manuell verändert. Ein weiterer Anlass ist die Wahl einer hohen Auflösung durch den Bediener, die also höher als eine vorbestimmte Auflösung liegt, beispielsweise ab 10x oder 20x. Bei einer so hohen Vergrößerung ist es nicht unwahrscheinlich, dass der Bediener später den Fokus nachjustiert und somit aus der Autofokusebene herausführt.
Liegt einer dieser Anlässe vor, so wird die Scanroute 50 von der Steuereinheit 28 vertikal geführt. Es wird ein Stapel von übereinander liegenden Abbildungen 52 aufgenommen, die also in x- und y-Richtung übereinander liegen und nur in z-Richtung voneinander um einen vorgegebenen Tiefenabstand beabstandet sind. Die Höhe des Stapels wird von der Steuereinheit 28 festgelegt und beträgt beispielsweise eine festgelegte Anzahl von Abbildungen 52 beidseitig der Autofokusebene. Auch andere Parameter, wie die Lage des Deckglases 1 0 oder eines Probenträgers 8 können berücksichtigt werden, sodass die Fokuspositionen innerhalb des zu analysierenden Materials verbleiben. Dieser Vorgang ist beispielhaft in FIG 8 dargestellt.
FIG 8 zeigt einen Stapel von in z-Richtung übereinander liegenden Abbildungen 52, von denen die fett umrandete Abbildung 52 in der Autofokusebene liegt. Bei einem der oben beschriebenen Anlässe oder einem anderen Anlass steuert die Steuereinheit 28 die Aufnahme der Abbildungen 52 über und unter der Fokusebene, beispielsweise drei Ebenen über der Fokusebene und vier Ebenen unter der Fokusebene, wie in FIG 8 dargestellt ist. Alle Abbildungen 52 liegen zweckmäßigerweise zentral im momentanen Sichtausschnitt 44. Versucht der Bediener den Fokus manuell zu justieren, so kann er den Fokus durch den bereits vorab aufgenommenen Abbildungsstapel führen und die optimale Fokusebene aussuchen, ohne dass die zentrale Abbildung 52 bei einem Bewegen des Fokus stets neu erstellt werden muss. Dies führt zu einem sehr angenehm durchzuführenden Justieren des Fokus. Erst wenn der Abbildungsstapel vollständig aufgenommen wurde, wird eine Fokusebene herausgesucht und die Scanroute 50 in dieser Fokusebene horizontal verlaufend durchfahren. Hierfür wird die wahrscheinlichste Fokusebene bestimmt, die der Bediener wählen wird. Hat er beispielsweise den Fokus manuell nach unten justiert, wird eine Fokusebene abgescannt, die unterhalb der Autofokusebene liegt. Es ist auch möglich, dass die Steuereinheit 28 zunächst wartet, bis der Bediener die Justierung des Fokus abgeschlossen hat und dann die Scanroute 50 in der gewählten Ebene horizontal fortführt. Dies ist in FIG 8 durch die gestrichelten Abbildungen 52 dargestellt. Die Scanroute 50 verläuft spiralförmig nach außen sich aufweitend um die zentrale Abbildung 52 herum, wie zu FIG 3 beschrieben. Abbildungen 52 der inaktuellen Fokusebene können hierbei dargestellt bleiben, werden jedoch zweckmäßigerweise als inaktu- eil markiert, wie in dem Beispiel aus FIG 4 beschrieben ist.
Ist der Scan im Sichtausschnitt 44 in der ausgewählten Fokusebene abgeschlossen, beispielsweise der gestrichelten Ebene aus FIG 8, so kann er in einer benachbarten Fokusebene weitergeführt werden, sodass die Scanroute 50 also in eine benachbarte Fokusebene springt. Die benachbarten Fokusebenen sind in FIG 8 punktiert angedeutet. Wird der Fokus vom Bediener nachjustiert, so kann direkt auf bereits aufgenommene Abbildungen zurückgegriffen werden und der Sichtausschnitt 44 kann sofort dargestellt werden.
Verlässt die Scanroute 50 die aktuelle Bildebene, beispielsweise um eine oder mehrere Abbildungen 52 in einer benachbarten Fokusebene aufzunehmen, so führt die Scanroute im Sinne der Erfindung aus dem Sichtausschnitt 44 heraus, da der aktuelle Sichtausschnitt 44 ein zweidimensionaler Sichtausschnitt 44 in der aktuellen Bildebene ist. Jeder Bildebenenwechsel der Scanroute 50, also Fokusebenenwechsel,
Spektralwechsel und/oder Belichtungswechsel usw. aus der aktuellen Bildebene des momentanen Sichtausschnitts 44 heraus führt die Scanroute 50 im Sinne der Erfindung aus dem aktuellen Sichtausschnitt 44 heraus, auch wenn die Scanroute 50 noch im x-y-Bereich des Sichtausschnitts 44 verbleiben sollte.
Die Vervollständigung des Scans in einer Fokusebene muss sich nicht auf das komplette Probenfeld 48 beziehen. Es ist ausreichend, wenn der Sichtausschnitt 44 vollständig gescannt ist, sodass dann in die benachbarte Fokusebene gesprungen wird und der Sichtausschnitt 44 in dieser Ebene weiter gescannt wird. Anstelle des Sichtausschnitts 44 können auch höchstkategorisierte Bereiche zuerst gescannt werden, wobei in eine andere Fokusebene gesprungen wird, wenn alle höchstkategorisierten Bereiche gescannt sind. Für den Fall, dass der Bediener eine hohe Vergrößerung gewählt hat und infolgedessen der Abbildungsstapel, wie in FIG 8 beispielhaft angeführt, erstellt wurde, der Bediener jedoch nicht innerhalb einer vorgegebenen Zeit tatsächlich die Fokusebene aus der Autofokusebene herausbewegt hat, so kann ein Scanvorgang beziehungsweise die Scanroute 50 in einer Ebene außerhalb der Fokusebene abgebrochen werden, und der Scanvorgang kann in der Autofokusebene fortgesetzt werden. Generell ist die Au- tofokusebene bei unklarer Lage, ob der Bediener die Fokusebene verändern wird, gegenüber anderen Ebenen bei der Auswahl der Scanroute 50 zu bevorzugen. Im Falle einer Fluoreszenzanalyse der Probe 6 können folgende Parameter berücksichtigt bzw. verändert werden, wobei - ggf. bis auf die durch die Fluoreszenzanalyse bedingten Veränderungen - vollumfänglich auf die obigen Verfahrensschritte aus dem Hellfeldverfahren zurückgegriffen werden kann.
Bei der Fluoreszenzanalyse können mehrere Spektralkanäle zum Einsatz kommen, sodass die Probe 6 mit unterschiedlichen Spektren beleuchtet wird. Hierzu enthält das Digitalmikroskop 2 einen oder mehrere Spektralfilter 58, die in den Strahlengang 60 eingeführt werden können und die Strahlung auf das gewünschte Spektrum begrenzen. Der Strahlengang der Beleuchtung bzw. Anregung, deren Quelle in FIG 1 der Übersichtlichkeit halber nicht dargestellt ist, erfolgt hierbei zweckmäßigerweise zumindest zwischen Mikroskopobjektiv 18 und Probe 6 im Abbildungsstrahlengang 60. Zweckmäßig ist ein Strahlengang, der über einen halbdurchlässigen Spiegel in den Abbildungsstrahlengang eingekoppelt ist, möglicherweise auch vor dem Mikroskopobjektiv. Der bzw. die Spektralfilter 58 werden vorteilhafterweise in den Beleuchtungsstrahlengang 60 vor der Probe 6 eingeführt, sodass die Probe 6 möglichst schonend beleuchtet wird.
Jeder Spektralkanal kann als eine Bildebene gesehen werden, analog zu den Fokusebenen, sodass sich die Anzahl der möglichen Bildebenen aus einer Multiplikation der Anzahl der Spektralkanäle mit der Anzahl der Fokusebenen ergibt.
Auch bei einer Fluoreszenzanalyse wird zweckmäßigerweise ein Übersichtsbild im Durchlicht und/oder Hellfeld erstellt, um dem Bediener einen ersten Überblick über die Probe 6 zu geben. Alternativ oder zusätzlich kann ein Übersichtsbild im Fluoreszenzspektrum erstellt werden, wobei sich der Scanvorgang zweckmäßigerweise zunächst auf einen Spektralkanal beschränkt, insbesondere den Kanal der stabilsten Färbung, z.B. der stabilsten DAPI-Färbung. Die Scanroute 50 kann sowohl horizontal als auch vertikal analog zum Hellfeldverfahren gewählt werden.
Die Wahl des Sichtausschnitts 44 kann dann, wie zum Hellfeldverfahren beschrieben, durch den Bediener erfolgen, wobei die Vergrößerung voreingestellt sein kann, z.B. auf 10x. Bei der Fluoreszenzanalyse wird es dann vermutlich zu einer manuellen Fokuseinstellung durch den Bediener kommen, sodass zunächst der Abbildungsstapel in z-Richtung erstellt wird, vorzugsweise in mehreren Fluoreszenzkanälen, insbesondere in allen Fluoreszenzkanälen. Der Bediener kann eine Belichtungszeit einstellen, insbesondere für alle Fluoreszenzkanäle, wobei die Belichtungszeit zur leichteren Orientierung im Sichtausschnitt 44 angezeigt werden kann, beispielsweise unter der zentralen Abbildung 52 im Sichtausschnitt 44. Nun kann der vorauseilende Scan erfolgen, beispielsweise wie oben beschrieben, wobei auch bei mehreren Fluoreszenzkanälen die Bereichskategorien verwendet werden können. Zusätzlich können die Fluoreszenzkanäle kategorisiert werden. Ausgehend vom höchstkategorisierten Kanal, z.B. dem aktuellen Fluoreszenzkanal, können alle Fluoreszenzkanäle Bereichskategorie für Bereichskategorie abgescannt werden, wobei also die Scanroute 50 erst dann den Bereich bzw. die Bereichskategorie wechselt, wenn der Bereich in allen Fluoreszenzkanälen durchlaufen wurde. Wird manuell nachfokussiert, schwenkt die Scanroute 50 zuerst in die vertikale z-Richtung und nimmt die Abbildungsstapel in allen Fluoreszenzkanälen auf, bevor der horizontale Scan in einer gewünschten Fokusebene wieder aufgenommen wird. Da im Fluoreszenzmodus eine Bereichskategorisierung unter Umständen schwieriger ist als im Hellfeldmodus, kann es sinnvoll sein, den vorauseilenden Scan unter Verwendung eines Parameters zur Beschleunigung der Scangeschwindigkeit auszuführen, wie einer kürzeren Belichtungszeit mit oder ohne Pixelbinning und/oder dem Auslassen von Abbildungen im Verlauf der Scanroute 50. Hierbei kann der vorauseilende Scan in allen Fluoreszenzkanälen erfolgen, jeweils unter Verwendung zumindest eines Beschleunigungsparameters. Der Bediener kann auf diese Weise verhältnismäßig schnell über die Probe 6 schauen und den für ihn interessantesten Bereich finden, beispielsweise einen Bereich mit einer besonders guten Färbung. Die Verwendung eines Beschleunigungsparameters sollte jedoch nur bei einer Vergrößerung unter einer Grenzvergrößerung erfolgen, beispielsweise nur bis 10x. Stellt der Bediener die Vergrößerung darüber ein, z.B. 20x, so wird der kontinuierliche Scan ohne Beschleunigungsparameter ausgeführt, um die optimale Bildqualität zur Verfügung zu stellen.
Ganz unabhängig von Parameteränderungen, die von einem Bediener willentlich veranlasst werden, können Parameteränderungen auftreten, die eine Änderung der Scanroute 50 sinnvoll machen. Wir das Digitalmikroskop beispielsweise erschüttert, so besteht ein deutliches Risiko, dass die während der Er- schütterung aufgenommenen Abbildungen„verwackelt" und unscharf sind. Die Erschütterung wird von der Steuereinheit 28, die mit einem Beschleunigungssensor 62 verbunden ist, registriert. Bei einer Beschleunigung oberhalb eines Grenzwerts wird der Zeitraum dieser starken Beschleunigung erfasst, und alle Aufnahmen, die innerhalb dieses Zeitraums erfolgten, werden wiederholt. Die Scanroute 50 wird also unterbrochen und an einem früheren Routenpunkt wieder aufgenommen.
Auch Temperaturschwankungen im Bereich um das Mikroskopobjektiv 18 werden von der Steuereinheit 20 mithilfe eines Temperatursensors erfasst. Steigt eine Temperaturschwankung über einen vorgegebenen Schwellwert, so löst dies eine Überprüfung des Autofokus aus. Der Schwellwert kann sich hierbei auf die Temperatur beziehen, bei der der Autofokus zuletzt durchgeführt wurde. Wir beispielsweise im Winter ein Fenster in einem Labor geöffnet, in dem das Digitalmikroskop 2 steht und dieses kühlt infolge schnell deutlich ab, oder fällt durch die Sonnenbewegung plötzlich Sonnenlicht direkt auf das Digitalmikroskop 2, sodass sich dieses plötzlich deutlich erwärmt, so kann eine kritische Temperaturänderung ohne weiteres vorkommen.
Der Autofokusprozess kann zur Folge haben, dass eine neue Autofokusebene gewählt wird, sodass die Tiefe des Fokus in der Probe verändert wird. Auch dies ist eine Änderung eines Aufnahmeparameters und führt zu einer Bildebenenänderung der Aufnahmen, sodass die Scanroute 50 neuberechnet, abgebrochen und neu fortgesetzt wird.
Unabhängig von Erschütterung und Temperatur ist es sinnvoll, in vorgegebenen Zeitintervallen den Autofokus zu überprüfen. Ergibt diese Prüfung eine Änderung des Autofokus, so führt auch dies zu einer Bildebenenänderung der Aufnahmen, sodass die Scanroute 50 neuberechnet, abgebrochen und neu fortge- setzt wird.
Während eines Scans kommt es häufig vor, dass der Bediener keine Eingaben macht, sei es, weil er einen Sichtausschnitt 44 intensiv studiert, oder sei es, dass er sich einer anderen Tätigkeit widmet. Dau- ert eine eingabenfreie Zeit länger als ein Grenzwert, so führt dies zu einem Scanmoduswechsel, der ebenfalls dazu führen kann, dass die Scanroute 50 neuberechnet, abgebrochen und neu fortgesetzt wird. Im neuen Scanmodus wird eine geringe Geräuschentwicklung höher gewichtet und ein schnelles Scannen niedriger gewichtet. Infolge dessen wird die Scanroute 50 mehr gerade Strecken und weniger Rich- tungswechsel aufweisen, da ein Richtungswechsel des Mikroskopobjektivs 18 von einer Abbildung 52 zur nächsten mehr Geräusch verursacht als eine gerade liegende Abfolge von Abbildern 52. Auch eine Scangeschwindigkeit kann verringert werden, wobei dies durch eine geringere Beschleunigung des Mikroskopobjektivs 18 von einer Aufnahme zur nächsten erreicht werden kann.
Bezugszeichenliste
2 Digitalmikroskop
4 Probenaufnahme
6 Probe
8 Probenträger
10 Deckglas
12 Antrieb
14 Gehäuse
16 Mikroskop
18 Mikroskopobjektiv
20 Matrixdetektor
22 Kamera
24 Objektivträger
26 Antrieb
28 Steuereinheit
30 Übersichtskamera
32 Detektor
34 Übersichtsobjektiv
36 Bildschirm
38 Eingabeeinheit
40 Informationsfeld
42 Informationsfeld
44 Sichtausschnitt
46 z-Richtung
48 Probenfeld
50 Scanroute
52 Abbildung
54 Screeningroute
56 Gewebebereich
58 Spektralfilter
60 Strahlengang
62 Beschleunigungssensor

Claims

Patentansprüche
Verfahren zum digitalen Aufnehmen einer Probe (6) durch ein Mikroskop (16), bei dem ein Sichtausschnitt (44) der Probe (6) ausgewählt wird, ein Mikroskopobjektiv (18) in einer Scanroute (50) über diesen Sichtausschnitt (44) bewegt wird, zunächst eine den Sichtausschnitt (44) bedeckende Abfolge von zueinander versetzt liegenden Abbildungen (52) digital aufgenommen wird und diese dargestellt werden und dann die Scanroute (50) mit einer Abfolge von Abbildungen (52) außerhalb des gewählten Sichtausschnitts (44) fortgesetzt wird.
Verfahren nach Anspruch 1 ,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Scanroute (50) innerhalb des Sichtausschnitts (44) vom Zentrum des Sichtausschnitts (44) aus nach außen geführt wird.
Verfahren nach Anspruch 1 oder 2,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Scanroute (50) außerhalb des Sichtausschnitts (44) spiralförmig um den Sichtausschnitt (44) sich nach außen ausdehnend fortgesetzt wird.
Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass nach einem Verschieben des Sichtausschnitts (44) eventuell vorhandene bereits abgebildete Bereiche dargestellt werden und durch das Mikroskopobjektiv (18) zunächst diejenigen Bereiche des Sichtausschnitts (44) aufgenommen werden, die noch nicht abgebildet wurden.
Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass zur Darstellung der Probe (6) im Sichtausschnitt (44) zunächst auf eine oder mehrere zu aktuellen Mikroskopeinstellungen inaktuelle Aufnahmen zurückgegriffen wird, die Abbildung (52) für Abbildung (52) durch die aktuelle Abfolge überdeckt werden.
Verfahren nach Anspruch 5,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Darstellung der inaktuellen Aufnahme von der Darstellung einer aktuellen Abbildung in der Weise unterschieden wird, dass eine Unterscheidung zwischen der inaktuellen Aufnahme und einer aktuellen Abbildung (52) ermöglicht wird.
Verfahren nach Anspruch 5 oder 6,
d a d u r c h g e k e n n z e i c h n e t ,
dass die inaktuelle Aufnahme zumindest ein Teil einer Gesamtaufnahme der Probe (6) ist.
Verfahren nach einem der Ansprüche 5 bis 7,
d a d u r c h g e k e n n z e i c h n e t , dass die inaktuelle Aufnahme in einem anderen Spektralbereich als die Abfolge der Abbildungen (52) aufgenommen wurde.
9. Verfahren nach einem der Ansprüche 5 bis 8,
d a d u r c h g e k e n n z e i c h n e t ,
dass die inaktuelle Aufnahme mit einer anderen Fokusposition in der Probe (6) aufgenommen wurde.
10. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass aus einer Abbildung (52) der Probe (6) Information über die Art der Probe (6) gewonnen wird und die Scanroute (50) außerhalb des gewählten Sichtausschnitts in Abhängigkeit von der Probenart gewählt wird.
11. Verfahren nach Anspruch 10,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Information über die Art der Probe (6) aus einem Barcode (40) auf der Probe (6) gewon- nen wird.
12. Verfahren nach Anspruch 10 oder 11 ,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Information über die Art der Probe (6) aus einer Gewebeerkennung einer Abbildung der Probe (6) gewonnen wird.
13. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Scanroute (50) außerhalb des Sichtausschnitts (44) in Abhängigkeit von Ergebnissen einer Gewebeerkennung einer Abbildung der Probe (6) erfolgt.
14. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Scanroute (50) zuerst Bereiche (56) mit erkanntem Gewebe anfährt und erst anschließend gewebefreie Bereiche um die Gewebebereiche (56).
15. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Scanroute (50) entlang einer vorgegebenen Screeningroute (54) des Sichtausschnitts (44) verläuft, wobei die Abbildungen (52) außerhalb des Sichtausschnitts (44) erstellt werden, bevor der entlang der Screeningroute (54) wandernde Sichtausschnitt (44) diese Bereiche erfasst.
16. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t dass eine Berechnung ausgeführt wird, wie ein Aufnahmeparameter als nächstes verändert wird, insbesondere wohin der Sichtausschnitt (44) als nächstes wandert, und die Scanroute (50) außerhalb des Sichtausschnitts (44) in Abhängigkeit des Berechnungsergebnisses geführt wird.
17. Verfahren nach Anspruch 16,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Berechnung frühere Bewegungen des Sichtausschnitts (44) durch einen Bediener berücksichtigt.
18. Verfahren nach Anspruch 16 oder 17,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Berechnung die Art der Probe (6) berücksichtigt.
19. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass ein Charakter der Probe (6) im momentanen Sichtausschnitt (44) bestimmt wird und die Berechnung Charakterähnlichkeiten von Bereichen der Probe (6) in die Berechnung einbezieht.
20. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass in Abhängigkeit von einer Größe des Sichtausschnitts (44) ein Pixelbinning eines die Abbildungen (52) aufnehmenden Detektors (20) erfolgt.
21. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass eine Belichtungszeit der Abbildungen (52) in Abhängigkeit von einer Größe des Sichtausschnitts (40) gewählt wird.
22. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass eine Spektralkanalwahl der Abbildungen (52) in Abhängigkeit von einer Größe des Sichtausschnitts (44) erfolgt.
23. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass eine Fokusposition des Mikroskopobjektivs (18) mittels eines Autofokusverfahrens eingestellt wird.
24. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass bei einer Veränderung des Sichtausschnitts (44) durch einen Bediener dahingehend, dass ein größerer Zoomfaktor gewählt wird, die Scanroute (50) zunächst in Tiefenrichtung um eine Autofo- kustiefe erfolgt.
25. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Scanroute (50) nach dem manuellen Einstellen einer Fokustiefe in der Ebene der eingestellten Fokustiefe verläuft.
26. Verfahren nach Anspruch 25,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Scanroute (50) parallel zu einer in einem Autofokusverfahren ermittelten Autofokusebene erfolgt.
27. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Scanroute (50) zunächst in Tiefenrichtung um eine Autofokustiefe herum erfolgt und die Scanroute (50) dann - nach Aufnahme aller Abbildungen in Tiefenrichtung innerhalb eines vorbestimmten Abstands um eine Autofokustiefe - innerhalb des Sichtausschnitts (44) und in einer anderen Fokusebene als derjenigen der momentanen Darstellung fortgesetzt wird.
28. Verfahren nach Anspruch 27,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Scanroute (50) in der momentanen Fokusebene des Mikroskopobjektivs (18) fortgesetzt wird.
29. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass ein Probenparameter bestimmt wird, eine Scanroute (50) als Funktion des Probenparameters bestimmt wird und ein Mikroskopobjektiv (18) entlang der Scanroute (50) über die Probe (6) bewegt wird.
30. Verfahren nach einem der vorhergehenden Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass während des Bewegens des Mikroskopobjektivs (18) entlang der Scanroute (50) über die Probe (6) ein Parameter verändert wird, die Scanroute (50) in Abhängigkeit hiervon zumindest teilweise neu bestimmt und hierdurch verändert wird, das Bewegen des Mikroskopobjektivs (18) entlang der alten Scanroute (50) abgebrochen und entlang der neuen Scanroute (50) fortgesetzt wird.
31. Verfahren nach Anspruch 30,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Veränderung des Parameters durch einen Bedienereingriff bewirkt wird.
32. Verfahren nach Anspruch 30 oder 31 ,
d a d u r c h g e k e n n z e i c h n e t ,
dass die neue Scanroute (50) horizontal identisch zur alten ist, jedoch in einer anderen Fokusebene liegt.
33. Verfahren nach einem der Ansprüche 30 bis 32,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Parameteränderung eine Veränderung der Größe des Sichtausschnitts (44) auf der Probe (6) ist.
34. Verfahren nach einem der Ansprüche 30 bis 33,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Parameteränderung eine Veränderung des Spektralbereichs einer Fluoreszenzaufnahme und/oder einer Belichtungszeit der Aufnahmen ist.
35. Verfahren nach einem der Ansprüche 30 bis 34,
d a d u r c h g e k e n n z e i c h n e t ,
dass der Parameter ein Umgebungsparameter in Form einer Temperatur im Bereich um das Mikroskopobjektiv (18) oder eine Beschleunigung des Mikroskopobjektivs (18) ist.
36. Verfahren nach einem der Ansprüche 30 bis 35,
d a d u r c h g e k e n n z e i c h n e t ,
dass während des Bewegens des Mikroskopobjektivs (18) entlang der Scanroute (50) über die
Probe (6) eine Bildauswertung erfolgt, und die Scanroute (50) in Abhängigkeit vom Ergebnis der Auswertung zumindest teilweise neu bestimmt und hierdurch verändert wird, das Bewegen des Mikroskopobjektivs (18) entlang der alten Scanroute (50) abgebrochen und entlang der neuen Scanroute (50) fortgesetzt wird.
37. Digitalmikroskop (2) mit einer Probenaufnahme (4), einem Mikroskopobjektiv (18), einem Antrieb (12, 26) zum Bewegen des Mikroskopobjektivs (18) relativ zur Probe (6), einer Kamera (22) zum Aufnehmen der Probe (6) durch das Mikroskopobjektiv (18), einer Steuereinheit (28) zum Steuern des Antriebs (12, 26) und der Aufnahme und insbesondere einem Anzeigemittel (36) zum Anzeigen der Aufnahme,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Steuereinheit (28) dazu vorbereitet ist, das Mikroskopobjektiv (18) in einer Scanroute (50) über einen Sichtausschnitt (44) zu bewegen, eine den Sichtausschnitt (44) bedeckende Abfolge von zueinander versetzt liegenden Abbildungen (52) digital aufzunehmen und dann die Scanroute (50) mit einer Abfolge von Abbildungen (52) außerhalb des aktuellen Sichtausschnitts (44) fortzu- setzen.
EP17737205.9A 2016-06-15 2017-06-12 Verfahren zum digitalen aufnehmen einer probe durch ein mikroskop Withdrawn EP3472656A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016110988.6A DE102016110988A1 (de) 2016-06-15 2016-06-15 Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop
PCT/DE2017/100493 WO2017215707A2 (de) 2016-06-15 2017-06-12 Verfahren zum digitalen aufnehmen einer probe durch ein mikroskop

Publications (1)

Publication Number Publication Date
EP3472656A2 true EP3472656A2 (de) 2019-04-24

Family

ID=59298152

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17737205.9A Withdrawn EP3472656A2 (de) 2016-06-15 2017-06-12 Verfahren zum digitalen aufnehmen einer probe durch ein mikroskop

Country Status (5)

Country Link
US (1) US20190137743A1 (de)
EP (1) EP3472656A2 (de)
JP (1) JP2019527375A (de)
DE (1) DE102016110988A1 (de)
WO (1) WO2017215707A2 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US11032494B2 (en) * 2016-09-28 2021-06-08 Versitech Limited Recovery of pixel resolution in scanning imaging
DE102017101188B4 (de) * 2017-01-23 2021-09-30 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Mikroskopieren einer Probe
US11280990B2 (en) 2018-02-26 2022-03-22 Caliber Imaging & Diagnostics, Inc. System and method for macroscopic and microscopic imaging ex-vivo tissue
CA3112071A1 (en) 2018-11-02 2020-05-07 Hologic, Inc. Digital imaging system and method
GB2583369B (en) * 2019-04-25 2021-09-15 Andor Tech Limited Microscope with focusing system
EP3757648B1 (de) * 2019-06-28 2023-08-30 Associação Fraunhofer Portugal An einer mobilen vorrichtung befestigbares optisches system zum scannen biologischer probenträger und betriebsverfahren dafür
EP4092469A1 (de) 2019-11-15 2022-11-23 PreciPoint GmbH Verfahren zur bereitstellung eines zusammengesetzten bildes unter verwendung eines digitalmikroskops, digitalmikroskopsystem und programm zur bereitstellung eines zusammengesetzten bildes unter verwendung eines digitalmikroskops
DE102020101572A1 (de) 2020-01-23 2021-07-29 Carl Zeiss Meditec Ag Mikroskop
CN111443475B (zh) * 2020-05-20 2022-10-28 广州市汇研微电子技术有限公司 一种物镜自动定位扫描玻片的方法及装置
KR102554224B1 (ko) * 2020-12-31 2023-07-12 파크시스템스 주식회사 원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치
DE112021008418T5 (de) * 2021-11-02 2024-08-22 Leica Microsystems Cms Gmbh Verfahren zur Bereitstellung von Positionsinformationen zum Auffinden einer Zielposition in einer mikroskopischen Probe, Verfahren zur Untersuchung und/oder Verarbeitung einer solchen Zielposition und Mittel zur Durchführung dieser Verfahren
WO2023248853A1 (ja) * 2022-06-20 2023-12-28 ソニーグループ株式会社 情報処理方法、情報処理装置、及び顕微鏡システム
DE102023200784A1 (de) 2023-01-31 2024-08-01 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung eines Übersichtsbildes eines Objekts
DE102023119496B3 (de) 2023-07-24 2024-09-26 Leica Microsystems Cms Gmbh Verfahren zum Einstellen eines optischen Fokus und medizinisches Gerät

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5161052B2 (ja) * 2008-12-04 2013-03-13 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
US6466690C1 (en) * 2000-12-19 2008-11-18 Bacus Res Lab Inc Method and apparatus for processing an image of a tissue sample microarray
JP2004101871A (ja) * 2002-09-10 2004-04-02 Olympus Corp 顕微鏡画像撮影装置
US20040202357A1 (en) * 2003-04-11 2004-10-14 Perz Cynthia B. Silhouette image acquisition
US20050089208A1 (en) * 2003-07-22 2005-04-28 Rui-Tao Dong System and method for generating digital images of a microscope slide
CN101194263B (zh) * 2005-06-13 2012-02-22 三路影像公司 利用显微镜成像装置再定位载片上样品中的目标的系统和方法
JP4917331B2 (ja) * 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
DE102007033793A1 (de) * 2007-07-19 2009-01-22 Carl Zeiss Imaging Solutions Gmbh Verfahren und Vorrichtung zum mikroskopischen Untersuchen einer Probe, Computerprogramm und Computerprogrammprodukt
EP2279268A4 (de) * 2008-04-04 2011-12-07 Life Technologies Corp Scanning-system und verfahren zur bildgebung und sequenzierung
DE102009054704A1 (de) * 2009-12-15 2011-06-16 Carl Zeiss Imaging Solutions Gmbh Mikroskop zur Aufnahme eines Mosaikbildes sowie Aufnahmeverfahren für ein solches Mikroskop
US20110261175A1 (en) * 2010-04-22 2011-10-27 General Electric Company Multiple channel imaging system and method for fluorescence guided surgery
CN102262151B (zh) * 2010-05-27 2013-12-04 麦克奥迪实业集团有限公司 一种显微镜切片的快速扫描方法
JP6102749B2 (ja) * 2012-01-11 2017-03-29 ソニー株式会社 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
JP2014048325A (ja) * 2012-08-29 2014-03-17 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
JP6147080B2 (ja) * 2013-05-14 2017-06-14 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
DE102013214318A1 (de) * 2013-07-22 2015-01-22 Olympus Soft Imaging Solutions Gmbh Verfahren zum Erstellen eines Mikroskopbildes
JP6448996B2 (ja) * 2014-11-25 2019-01-09 オリンパス株式会社 顕微鏡システム
EP3350578B1 (de) * 2015-09-02 2022-03-09 Inscopix, Inc. Systeme und verfahren zur farbbildgebung
US9717405B2 (en) * 2015-09-18 2017-08-01 Novartis Ag Vitreoretinal membrane characterization using optical coherence tomography

Also Published As

Publication number Publication date
US20190137743A1 (en) 2019-05-09
JP2019527375A (ja) 2019-09-26
WO2017215707A2 (de) 2017-12-21
DE102016110988A1 (de) 2017-12-21
WO2017215707A3 (de) 2018-04-26

Similar Documents

Publication Publication Date Title
EP3472656A2 (de) Verfahren zum digitalen aufnehmen einer probe durch ein mikroskop
DE60312754T2 (de) Mikroskopischen Abbildungssystem und Methode zur Datenerfassung
DE69232413T2 (de) Verfahren und Vorrichtung zum automatischen Test biologischer Proben
DE202011110651U1 (de) Digitalmikroskop
DE102010038164A1 (de) System und Verfahren zur Bildgebung mit verbesserter Tiefenschärfe
EP2870500B1 (de) Verfahren zur vorbereitung und durchführung der aufnahme von bildstapeln einer probe aus verschiedenen orientierungswinkeln
EP2130087B1 (de) Verfahren und vorrichtung zum mikroskopischen untersuchen einer probe, computerprogramm und computerprogrammprodukt
EP2920577B1 (de) Vorrichtung und verfahren zur mikroskopie einer vielzahl von proben
DE102010038162A1 (de) System und Verfahren zur Bildgebung mit verbesserter Tiefenschärfe
EP2766765B1 (de) Mikroskop und verfahren zur spim mikroskopie
DE102010038167A1 (de) System und Verfahren zur Bildgebung mit verbesserter Tiefenschärfe
DE102012020240A1 (de) Mikroskop und Verfahren zur SPIM Mikroskopie
DE102012021726A1 (de) Mikroskopsystem und Verfahren zur Datenerfassung
EP4229398A1 (de) Verfahren und vorrichtung zur lichtmikroskopischen multiskalenaufnahme biologischer proben
WO2008028745A1 (de) Verfahren zur untersuchung eines objekts mit einem mikroskop und ein mikroskop
DE10361150A1 (de) Mikroskopsystem und Verfahren zum Betreiben eines Mikroskopsystems
WO2014191383A1 (de) Verfahren zur lasermikrodissektion und lasermikrodissektionssystem
EP3988989B1 (de) Verfahren und mikroskop mit einer einrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
DE102020102476B4 (de) Methode zum Kennzeichnen eines Bereiches eines Tumors
DE102021104871A1 (de) Verfahren und Vorrichtung zur lichtblattmikroskopischen Untersuchung einer Probe
DE10359780B4 (de) Verfahren zur optischen Bilderfassung
DE102017009804A1 (de) Verfahren zur Bewertung von mikroskopischen Proben und Vorrichtung zur Ausführung dieses Verfahrens
DE102016111938A1 (de) Lasermikrodissektionsverfahren und Lasermikrodissektionssysteme
DE10244619A1 (de) Einrichtung und Verfahren zur optischen Objektuntersuchung
DE102008038467A1 (de) Verfahren zur Bildauswertung und/oder Manipulation einer Probe

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190110

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220330

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220810