EP3803495A1 - Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera - Google Patents

Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera

Info

Publication number
EP3803495A1
EP3803495A1 EP19728133.0A EP19728133A EP3803495A1 EP 3803495 A1 EP3803495 A1 EP 3803495A1 EP 19728133 A EP19728133 A EP 19728133A EP 3803495 A1 EP3803495 A1 EP 3803495A1
Authority
EP
European Patent Office
Prior art keywords
cell
microscope
camera
sample
analyzer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19728133.0A
Other languages
English (en)
French (fr)
Inventor
Thomas Engel
Gaby MARQUARDT
Gabriele Hörnig
Lukas RICHTER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of EP3803495A1 publication Critical patent/EP3803495A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the invention is in the field of automatic analyzers and relates to a hematology analyzer for analyzing cells in a sample using a microscope apparatus having a light field camera.
  • automated cell counters For automated analysis of cells, so-called “automated cell counters” are used with increasing success. Examples include the Advia 2120, Sysmex XE-2100, CellaVision DM96 and CellaVision DM1200 device. These automated devices, apart from their high throughput, provide some advantages, such as high objectivity (no variability depending on the observer), elimination of statistical variations, which are usually associated with manual counting (counting high cell counts), as well as the determination of numerous parameters that would be unavailable on a manual count and, as mentioned, more efficient and cost-effective handling. Some of these devices can handle 120 to 150 patient samples per hour.
  • automatic Einzelzellzäh ment usually based either on an impedance (resistance) measurement or on an optical system (scattered light or absorption measurement). Further, imaging systems are established, e.g. Automatically make and evaluate cells of a blood smear.
  • cell counting and sizing are based on detection and measurement of changes in electrical conductivity (Resistance) caused by a particle moving through a small opening.
  • Particles such as blood cells, are themselves non-conductive, but are suspended in an electrically conductive diluent.
  • the impedance (resistance) of the electrical path between the two electrodes located on either side of the aperture temporarily increases.
  • the optical method involves passing a laser light beam or an LED light beam through a dilute blood sample that is in continuous flow from the laser beam or the LED
  • Light beam is detected.
  • the corresponding light beam may be e.g. be conducted to the flow cell by means of an optical waveguide.
  • Each cell that passes through the detection zone of the flow cell scatters the focused light.
  • the scattered light is then detected by a photo detector and converted into an electrical impulse.
  • the number of pulses generated here is directly proportional to the number of cells passing through the detection zone in a particular period of time.
  • the light scattering of an individual cell passing through the detection zone is measured at different angles.
  • the Streuver hold the respective cell for the optical radiation he summarizes that allows conclusions about eg the cell structure, shape and reflectivity.
  • This scattering behavior can be used to differentiate different types of blood cells and to use the derived parameters to diagnose deviations of the blood cells of this sample from a standard obtained, for example, from a variety of normal classified reference samples.
  • today's analyzers use microscopes with a high numerical aperture and with immersion between the slide and the objective to achieve a high resolution.
  • the usual cameras have pixel numbers of max. 0.3 to 1 million pixels. As a result, the field of view in the object is only a few 100 gm.
  • the surface of the area of the smear to be analyzed must then be scanned with a displacement unit in a meander scan procedure.
  • a first area scan with low magnification eg 10 times with a correspondingly 10 times larger field of view is performed and after a first image analysis to find the cells to be measured then only the regions of interest (Rol) with the Cells with the higher magnification subsequently targeted targeted.
  • the blood smears are stained in an upstream step. Several dyeing protocols have been established worldwide, some of which differ globally from region to region. Thus, the comparability of the analysis of blood smears is regionally limited, since only images of cells which have been stained according to the same protocol can be compared well.
  • An object of the invention is thus to provide an automatic analyzer for analyzing cells in a sample and a method for determining a two-dimensional or three-dimensional information of a cell, wherein, for example, chemical pretreatment of the cell should be avoided as far as possible before image acquisition and so that the analysis takes place around the cell in one to investigate the situation as originally and least or not at all changed.
  • the invention particularly comprises an analyzer for analyzing cells in a sample, the analyzer comprising an optical microscope for imaging a light field in an object area and / or an object plane for imaging cells of the sample, the microscope comprising a
  • the digital recording device preferably comprises a detection device for the light beams and allows a conversion of the detection signals of the detection device into digital data.
  • An analyzer according to the invention has the advantage that the hitherto necessary staining of the samples for the subsequent microscopy can be completely or partially dispensed with.
  • the analyzer according to the invention enables image data of the highest quality with correspondingly high information content, which can be used, for example, for automatic evaluation and classification.
  • the recorded image data have such high quality, so that a follow-up examination of the sample by renewed microscopic examination is no longer necessary.
  • a complete digitizing station of the cell is provided with a high resolution for lateral structures and also over the entire depth extent of the respective cell. In particular, a coloring and / or marking of the blood cells for the image acquisition is not necessary.
  • the analyzer according to the invention is preferably an automatic analyzer, particularly preferably a semi-automatic or fully automatic analyzer.
  • the microscope preferably comprises the light field camera.
  • the digital recording device Before given to the light field camera includes the digital recording device, which is designed to receive the imaged in the microscope light field.
  • the digital recording device comprises a charge-coupled device (CCD) chip or a plurality of CCD chips.
  • the digital recording device is based on a complementary metal-oxide semiconductor (CMOS) technique and / or comprises a CMOS chip.
  • CMOS complementary metal-oxide semiconductor
  • the sample is transported within the automatic analyzer fully automatically, e.g. by ent speaking flow systems and / or experience of sample carriers within the analyzer, preferably by means of appropriately controlled actuators or robot systems.
  • the light field camera comprises a microlens array with lenses of different focal lengths, the microlin senarray an intermediate image of the imaged in the microscope
  • the microlens array is at least one focal distance from the intermediate image removed and there is a real Abbil tion.
  • the picture information becomes then projected back through the optics until the rays of corresponding pixels from different sub-images meet. In the present case, therefore, no images of the images are taken but small object images.
  • the invention is based on an optical microscope, which is equipped with game contrast with devices for differential interference contrast.
  • Such microscopes can be adapted to the requirements of hematology in reference to the splitting. This adaptation takes place essentially by a specific choice of the beam offset on the beam away through the measurement object.
  • the measurement object is, for example, a crossed out blood sample.
  • the beam offset is determined by the thickness of the DIC prisms in the illumination module and in the analyzer module.
  • the optical thickness of the two prisms and the direction of the beam offset must be coordinated with each other, so that the analy satormodul the beam offset from the lighting module can completely reverse and thus compensate. Due to different magnifications, the physical thicknesses of the prisms can deviate from each other. For microscopes, there may be several pairs of DIC prisms for one lens, allowing for different splitting.
  • a light field camera also called a plenical camera, is provided on the microscope, which records the light field formed in the microscope from the object plane.
  • the light field camera has an effective aperture number (working f #) in the range of 10 to 30, particularly preferably it is 26.
  • working f # effective aperture number
  • a suitable magnification is selected for this purpose, the sorelement the size relationship of the real Sen, that in the range of typically 1 to 10 pm and the scanning of the object, which is in the range of 0.05 to 0.5 gm, which is preferably because of the high resolution requirements in the measurement of the range of 0.05 gm to 0.15 pm is taken into account.
  • the light field camera is preferably a light field camera with the designation Raytrix R12 Micro Series from Raytrix GmbH, Kiel.
  • the image of the object can be reconstructed for different depths, which corresponds to different focus settings of the microscope. This purely digital refocusing can be done retrospectively on the recorded data sets.
  • the analyzer according to the invention has the advantage that, in addition to the color information RGB, depth information D (depth) which is available in a downstream computer-based Evaluation as a further feature analogous to a color channel ver can be used.
  • the cells may e.g. segmented more easily, so recognized for further analysis and cut out of the picture.
  • contrasting color transitions then arise in the height profile at the edges of the cell transitions that are well and accurately detectable.
  • the captured image e.g. the blood smear or the cells
  • This can, on the one hand, be used to segment the cells and identify them for classification
  • volume data or 3D point clouds can also be used. This allows the segmentation and Klassifika tion done with higher accuracy. If the images, eg of the cells, have been taken with the light field camera, it is possible subsequently to focus the images purely digitally through, ie offline. This would allow for unclear classifications or evaluations of cells by the computer, the doctor the ability to look at the cells directly in the digital image and not just the slide again under a microscope to le gene, to search the cell and then on the variation a more accurate rating and classification.
  • the doctor can now position the cell to be examined only with an approximate location in the microscope and then has to search the cell in the final microscope. This is time consuming and must be successful in the laboratory.
  • the digital image of the light field camera according to the present invention is present, the physician can directly focus the cell or structure in question in the digital image.
  • This evaluation and classification is then also in the sense of telemedicine in an existing data connection of the doctor to the image or the image database possible so that he no longer has to come to the slide in the laboratory.
  • a consultation with a colleague can be made, who receives the image for analysis or, for example, makes it available via electronic networks, which can be done virtually in real time with digital data transmission.
  • the respective physician only needs a corresponding analysis software on his digital terminal or in the sense of a cloud solution, both the image of the light field camera can be stored in the cloud and the evaluation, for example via a web - Browser Interface suc in a cloud-based application.
  • the magnification is determined from the requirement of the optical resolution for the scanning of the measurement object, wherein with the choice of magnification in general, the Benö required effective f-number or the numerical aperture is a related party.
  • the lateral resolution is preferably 100 nm in the object level.
  • the magnification then results together with the lateral dimension of a sensor element
  • V lateral dimension sensor element / 100 nm.
  • This magnification is e.g. particularly advantageous for the formation of blood cells.
  • nm is the typical resolution limit of light microscopy in the case of water, oil or glycerin immersion.
  • a known pixel size of the camera e.g. 4.5 gm would be the required magnification 45x.
  • the f-number of the camera is preferably 2.4, 2.8, 5.6, 7.0 or 26.0. More preferably, the f-number of the camera is f # 26 and the magnification is 63 times.
  • the analyzer is preferably a hematology analyzer, particularly preferably an automatic hematology analyzer.
  • the medical sample comprises a cell and / or a medical preparation.
  • the medical preparation is preferably a tissue section, sediments of body secretions and / or body fluids and / or microcrystals.
  • the sample is a blood sample and / or the cell is a blood cell.
  • the sample may preferably be any type of human, animal or plant cell. This has the advantage that various types of probes, including various cell types, can be examined and characterized.
  • the microscope is preferably an amplitude contrast, and / or a phase contrast, and / or a differential interference contrast (DIC) microscope.
  • DIC differential interference contrast
  • the microscope is a differential digital holographic microscope.
  • the extended contrasting methods make it possible to visualize phase differences of the light paths through the sample, in this case, for example, the cells.
  • Different phase values in particular during phase contrast then, for example, with different colors be displayed and measured with a color camera who the. This makes it possible to dispense with a dyeing of the samples and still depict the cells well contrasted.
  • Previous systems for automated cell classification use exclusively the amplitude contrast, which results from the staining of the cells and the different paths of the light in the cell or alternatively the surrounding medium.
  • the combination according to the invention of a microscope and a light field camera gives additional 3D information about the cell, which can be used for a classification of the cell.
  • the classification may e.g. performed by healthcare professionals and / or computer-based systems.
  • amplitude contrast conventional image information and additional 3D information are present in the cell.
  • phase contrast a phase image and additional 3D information of the cell is obtained.
  • DIC a DIC image is obtained on differential phase images as well as additional 3D information of the cell.
  • the resulting 3D information of the cell may advantageously be e.g. be represented differently as follows.
  • the 3D information of the cell is displayed as a RGB image.
  • RGB image as so-called total focus image over the entire TiefenJrfebe empire of the light field camera is sharply displayed. Due to the increased depth of field compared to conventional 2D cameras, more depth information is captured.
  • a blood cell has - depending on the type and orientation - a thickness of about 1 to 2 gm, to about 20 gm.
  • the depth of field increases by at least the factor four on the plenoptic effect from the light field camera.
  • cells in particular, for example, red blood cells (RGB) are fully focused.
  • larger cells such as white blood cells (WBC), are imaged sharply to a considerably larger portion of the cell volume.
  • the 3D in formation of the cell is displayed as RGB D information.
  • Each pixel contains a depth information called D.
  • D is e.g. the thickness of the blood cell. This information complements the color information and is also referred to as a 3D point cloud.
  • the 3D in formation of the cell as volumetric 3D information Darge is. Analogous to an image of a computer tomograph (CT) ent spatial information thus in the form of voxels. Since the cells, e.g. Blood cells for which radiation is at least partially transparent, so different Stel len the cell generate stray radiation, which is recorded by the camera and assigned to different depths.
  • CT computer tomograph
  • an image stack can be calculated from the data set of the light field camera who the, which is calculated on different focal planes and thus contains the volumetric information.
  • the so-called virtual depth is the distance measure- ment.
  • the focal planes can also be calculated with other distance values, which are selected equidistantly, for example, and one level with the max. Cross-section of the cell falls together.
  • the image of the light field camera based only on the intensity modulations generated by the phase effect, since the amplitude or intensity modulation are filtered out of the object itself in the phase ring. This image is as colorfast as possible to the image with pure amplitude contrast.
  • the image of the light field camera is based on an image of the cells, which contains information about the different paths of the light as it passes through the cell and thus the phase change of the light as a color-coded information via the differential interference contrast.
  • This has the advantage that the color representation of the cell superimposes a fine structure, which is very helpful for the evaluation algorithms of the light field camera for a high lateral resolution in the calculation of the depth information.
  • the spectrum of illumination includes the visible range and / or near IR wavelengths.
  • a color balance of the light source to a camera such as the light field camera.
  • an adjustment of the exposure time and the gain for the 3-chip RGB color camera for the 2D images preferably takes place.
  • the light source comprises a 4 LED light source with RGB and W and a common brightness control.
  • a further camera for recording an image in an object plane in the object area is provided in the analyzer on the microscope, wherein the further camera has a lateral resolution which is equal to or preferably higher than the lateral resolution of the light field camera, wherein the resolution of the further camera is twice, preferably three times, particularly preferably four times the resolution of the light field camera.
  • the further camera preferably has a larger field of view, also referred to as field of view, as the light field camera. This allows a better and faster Probenabde ckung.
  • the focal plane of the further camera, before given to a 2D camera is coupled to an excellent plane of the light field camera. This can be measured, for example, in vir tual depth. So it can be advantageously enough that both cameras deliver good pictures at the same time.
  • the further camera is a color camera, preferably a color camera
  • Multi-chip color camera particularly preferably a 3-chip Farbka mera.
  • the high-resolution color camera such as a high-resolution RBG camera
  • a high resolution is guaranteed.
  • This is of particular advantage since, in principle, a factor of two is lost laterally in the light field camera, and a factor of four in terms of resolution is lost in order to obtain information for calculating the depth resolution.
  • This loss of resolution can be fully compensated before geous enough.
  • the use of a multi-chip color camera, such as a 3-chip color camera has the advantage that then a better color measurement and in particular pixel-by-pixel color determination without interpolation with more dynamics is possible, which brings more before parts for the classification of cells.
  • an adjustment of color channels takes place for an optimized S / N ratio.
  • the compensation is preferably carried out separately for each staining protocol.
  • the 3-chip color camera is a 3-chip CMOS camera with 3.2 megapixels per chip.
  • a 3-chip color camera is compared with e.g. a 1-chip color camera preferred because a 1-chip color camera usually use a Bayer pattern. Since, in the analysis of e.g. Blood cells in a hematology analyzer e.g. Particularly good color resolution and color fastness and good lateral resolution of the structure are the preferred features of the 3-chip camera.
  • the high resolution color camera provides e.g. a high resolution RGB image with typically better, i. more accurate color and less noise by separately optimizing the exposure for each of the color channels. In the case of the 3-chip color camera, the color values are determined directly and without interpolation for each pixel separately.
  • the color values of a color camera are subsequently transferred from the RBG representation to, for example, an HSV representation for color value (Hue), saturation (Saturation) and brightness (Value), then, for example, red blood cells, where the red Dye is homogeneously distributed in the cell, also well above the color value as a further or complementary method to segment.
  • This approach works well for all cells and structures that have the same color value (Hue) or are colored with the same color.
  • This segmentation can advantageously with the over the Depth values (D) are combined in order to have as precise a criterion as possible to excise the cell.
  • the images of the two cameras are advantageously registered via scaling and / or pixel interpolation to each other, if the effective pixel sizes in the images do not match or are commensurate with integer factor of e.g. 1, 2, 3, etc.
  • lateral displacements, distortions, tilting, distortion and / or distortion in the images and / or a defocus are in principle advantageously to be corrected. If the images are then registered to the required extent, new image data is calculated which combines the higher latent color resolution with the depth information from the image of the light field camera.
  • the image of Farbka mera can be set to the assigned focus position in the evaluated Tie fensent the light field camera and from there via the known from the recording of the light field camera Propa gation of the light field and the color representations and Lateral len resolutions transmitted to adjacent focal planes who the.
  • the transmission can take place, for example, laterally via interpolation, for the colors e.g. via correspondence tables.
  • a more elaborate transmission is also possible via a true propagation calculation based on the data measured by the light field camera together with e.g. a phase retrieval possible.
  • evaluated image planes of the light field camera serve as support points and the additional additional points are supported by the neighboring points.
  • this more accurate solution which is typically very computationally intensive, is used for fine diagnostics, eg on conspicuous image areas, cells with unclear findings and / or pathological cells, where less or no real-time capability is required.
  • the fine diagnostics can then also be done, for example, on the complete image or even only on image sections, for example, on individual segmented cells possibly extended by certain margins around there.
  • the two cameras can be used and operated simultaneously on the microscope. In living or moving cells or samples or examinations using microfluidic cells, it may be advantageous if the two cameras also record the images synchronously in time.
  • microscope tubes which mechanically enable the parallel operation of two cameras on a microscope.
  • beam splitting e.g. the splitting ratio, the splitting method such as spectral separation, polar separation, etc., which can be chosen to be advantageous.
  • the division of the light field on the imaging side is already taken into account in the orientation of the polarization before the splitting in the illumination module in such a way that after the DIC prism and DIC analyzer the two polarization components satisfy the desired intensity ratio, e.g. 1: 1 for maximum contrast. In this way, light losses can be minimized in order to optimize the efficiency of the overall setup and to minimize the required exposure times for a quick measurement.
  • the separation of the beam path takes place in the case of the cameras between the imaging lens and the DIC analyzer with a polarization-neutral beam splitter.
  • a polarizer is still to be arranged so that it blocks the one polarization direction of the DIC beam path as completely as possible and let the other pass with the least possible attenuation to the camera.
  • This polarizer can either work in transmission or in reflection or lead to a spatial separation of the differently polarized beams. This offers the advantage that the structure is less Comp complex in the design and no special polarization-dependent adjustment needed, however, go principle, about 25% of the amount of light lost.
  • the images of the light field camera and the color camera are mutually aligned and scaled so that, for example, in a topography image, the 3D or Height information of the light field camera can be used and at the same time the color information can be used and used by the color camera.
  • the recording takes place by means of the light field camera and the color camera at the same time.
  • This can e.g. be achieved by ent speaking triggering.
  • the triggering can be implemented via hardware or via software.
  • the triggering can also take place from a selected first camera to the second camera, which is also referred to as master-slave coupling. Functionally it must be ensured that the pictures are taken with a given temporal reference, ideally at the same time.
  • the trigger signals may themselves have a time interval.
  • the same time exposure is of particular advantage for the uptake of moving cells, e.g. in a flow cell, and / or living cells or measurement objects.
  • only one polarization tion direction is used for the color image and the separation of the beam paths for color camera and light field camera is still done in front of the DIC analyzer or in front of an objective-side DIC prism.
  • the division of the light field can be advantageously considered in the direction from the polarization prior to the splitting in the lighting module so that after the DIC prism and DIC analyzer, the two polarisati onsanteile the desired intensity ratio, such as 1: 1 for maximum contrast, have. This is especially advantageous if stained cells are to be imaged and analyzed.
  • the color camera for high-resolution DIC and the plenary optics for an extended depth measurement range for unambiguous unwrapping the color ranges for measuring thicker cells or Zellclus tern is used.
  • a high-resolution relative thickness measurement therefore, it follows by means of DIC in that the differential Kontrastin formations, for example. be integrated and a more spacious assignment is done by plenipotentics.
  • the amplitude contrast barely contains no information and the color image is advantageously used only for phase or DIC contrast, but then has a high lateral resolution with a true color separation per pixel.
  • the light field camera and the high-resolution camera which advantageously comprises a color camera, are aligned relative to one another with respect to the axial directions of the sensor array and advantageously also the subpixel accurate shift along the axis directions of the array and / or a directional scaling factor for e.g. the x and / or y axis.
  • the position of the focus of the high-resolution camera on the average measuring range of Light field camera set is advantageously improved.
  • f # the achievable depth resolution of the light field camera increases.
  • a f-number of 7 can be significantly more advantageous than a Blen denress 26.
  • the object with the full imaging aperture is already illuminated on the microscope in order to illuminate on the image side the full aperture of the working f # so that the light field camera works well and can provide a high lateral scan.
  • the incoherent illumination Sigma is greater than 0.8, preferably greater than 0.9, be particularly preferably 1.0, where sigma is given as the Quoti ent from the numerical aperture of the illumination at the microscope the sample and the numerical aperture of the objective, and wherein the microscope is preferably a differential interference contrast (DIC) microscope.
  • DIC differential interference contrast
  • the analyzer comprises a Probenzu arrangementseinrich device for slides by means of the analyzer samples can be supplied to a slide.
  • the analyzer comprises a flow cell for the supply of the sample, wherein preferably the object level of the Mik roskops is located in the flow cell.
  • the flow cell is a microfluidic flow cell.
  • the usable layer is typically several microns thick in a flow cell, sometimes even some 10 gm thick, it is difficult for the cells to precisely position in the object plane of the microscope used for the examination. In this regard, there is a conflicting requirement tion of the desire for high resolution on the one hand and the not so precise position of the cell in the direction of the optical axis on the other.
  • the depth measurement of the light field camera can preferably be used here for optimizing the activation parameters of the microfluidics, in order, for example, to adjust the focus appropriately so that the 2D high-resolution images are also sharp.
  • An exposure and 3D images is also an added value without interferometry, as in DHM, which is complex and complex and currently. Interference by effects with temporally and / or spatially coherent radiation has.
  • the depth measuring range ie the area where sharp images are recorded
  • the lateral resolution of the light field camera decreases by a factor of 2.
  • magnification and the aperture can be selected largely independently of one another in the selection of the optics used, however, this effect can be well compensated. If one chooses e.g. a larger magnification and a higher aperture, so the effect can be correspondingly positive ver.
  • NA 0.7
  • d 0.36 gm
  • depth of field d 1.05 pm.
  • the depth working range can thus be greatly increased, which then makes it possible to use a flow cell accordingly.
  • a more complete or complete detection of the expansion of a cell via the height extension of the flow through the flow cell is possible. This allows in particular precise investigations on typically unstained cells. For certain studies, however, it may also be advantageous or necessary for the cells to be stained in the medium of microfluidics.
  • a further advantage is that the parameters of the flow cell with regard to focusing and / or position of the cell can lie in a further parameter range and e.g. can be dispensed with a corresponding special optimization.
  • the field of view of the microscope includes the full width of the flow cell through which cells can flow.
  • This area advantageously has a width of a few 1/10 mm to a few mm.
  • the analyzer comprises both means for viewing slides with cells and / or for viewing cells in the flow cell.
  • the dimensions of the flow cell on the dimensions of the object are carriers, in particular their thickness and thus the optical effects We matched.
  • Flow cell advantageously also have optically the same effect, e.g. with regard to optical path length, dispersion and / or refractive index, so that the same optics can be used and the same best possible imaging quality is maintained.
  • transfusion may be performed to obtain e.g. to adapt to manufacturing tolerances.
  • Typical cover glass thicknesses are in the range below 0.2 mm, typically 0.15 to 0.17 mm.
  • the lateral dimensions of slides are, for example, 76 mm by 26 mm or 75 mm by 25 mm according to DIN ISO 8037-1 at one
  • Thickness in the range of 1 mm to 1.5 mm. The dimensions of the flow cell then arise advantageously accordingly.
  • the speed of movement of the cells in the flow cell in the imaging region of the microscope is adapted to the exposure time of the image acquisition systems used.
  • the movement is typically smaller than U pixels (pxl), preferably smaller than 1/5 px, particularly preferably smaller than 1/10 pxl. This has the advantage that motion blurring effects can be reduced or completely avoided.
  • the analyzer comprises a sample feeding device for slides. This may be particularly advantageous when e.g. Tissue sections or other medicinal preparations should be examined.
  • Another object of the invention is a method for determining a two-dimensional or three-dimensional Information of a cell by means of an analyzer according to the invention, the method comprising the steps
  • step d) determination of a two-dimensional or three-dimensional and / or volumetric information of the cell from information recorded in step b) of the light beams and / or information of the light field imaged in step c).
  • steps b) and c) may also be combined into one step, the step then comprising
  • step b) the light beams emanating from the cell in the illuminated sample are preferably first focused and then drawn by means of the digital recording device.
  • a conversion of the photons into electrical charge with subsequent determination of a charge quantity and digitization of the charge quantity is preferably carried out.
  • a two-dimensional or three-dimensional information can preferably also be determined correspondingly from a medical preparation.
  • the sample is preferably supplied to the analyzer in step a) by means of a flow cell, the object plane of the microscope lying in the flow cell.
  • the flow cell comprises means making it possible, by appropriate control of the flow cell, to enrich the cells in an excellent plane in the flow cell.
  • the object plane is set to the excellent plane, so that the object plane and the plane drawn out advantageously coincide.
  • the sample is supplied in step a) by means of a sample feeding device for slides to the analyzer on a slide.
  • the method further comprises a step in which an image is provided in an object plane in the object region by means of a further camera for taking an image in the object plane in the object region, wherein the further camera has a lateral resolution which is higher than the lateral resolution of Light field camera is, wherein the resolution of the wei direct camera is preferably twice, particularly preferably four times the resolution of the light field camera and wherein be preferably the other camera has a larger field of view than the light field camera.
  • the further camera is a color camera, preferably a 3-chip color camera.
  • the cells and / or the medical preparation are preferably not stained.
  • the extended contrasting methods such as, for example, phase contrast and / or differential interference contrast, in particular for imaging cells, are particularly advantageous.
  • amplitude contrast may also be advantageous.
  • the method further comprises the step
  • step d) digital refocusing or focus variation by means of the determined in step d) two-dimensional or dreidi dimensional and / or volumetric information of the cell along the optical axis of the microscope, wherein preferably the digital refocusing is computer-aided and / or nume risch.
  • the corresponding object carrier with the questionable cells has been physically brought out of eg a magazine, a storage box or an archive out and then placed under a microscope and the image ever Weil focused on the respective cell. Based on relatively inaccurate location information with respect to the position of the respec gene cells on the slide was then tried to find each respective cells again. If the cells were found again, the diagnosis is made. To determine this, the doctor analyzes the optical image of the cells and usually focuses through the cell. Therefore, the previously known systems and methods for de waisted Nachbefundung are not or only very suitably appro net, as the doctors no longer taken once the cell image be able to focus and thus an important for the diagnosis depth information is not accessible.
  • the cell image can be recorded as a three-dimensional image in order to allow the doctor on the digitally stored image a freely adjustable and at any time, also subsequently selectable, focus on different focal planes.
  • the doctor no longer has to sit on a microscope himself, but the process can be performed spatially and temporally independent of the sample. Since the image is purely digital, occurs over the time since the image was taken no deterioration of the data, in contrast to the hitherto customary procedures in which the archived samples age over time and deteriorate in their state. For each follow-up, the sample would be returned to the microscope and immersed in immersion oil. After diagnosis, the sample is then cleaned again, which can also lead to damage and overall represents a certain time-consuming effort.
  • Another advantage is that when multiple cells are on an image, the focus can be adjusted and varied sequentially with respect to each one of the respective imaged cells.
  • the method further comprises the step
  • a further subject of the invention is a method for assigning a cell to a cell type, comprising a method according to the invention for determining a two-dimensional len and / or three-dimensional and / or volumetric Infor mation of the cell, wherein at a first location, the steps a) to d ), and wherein the information determined in step d) is transmitted digitally to a second location via a data and / or network connection, and wherein steps e) and f) are performed at the second location.
  • the invention also relates to a corresponding method for assigning a cell to a cell type, wherein, however, ever determining a two-dimensional or dreidimensio nal or volumetric information of the cell using any other suitable method for determining a saudi dimensional or three-dimensional and / or volumetric information Cell is done.
  • a worldwide learning system is etab lated. This makes it possible for larger data sets to be collected as quickly as possible, even for very rare disease pictures. These data sets can then be used advantageously also for automatic computer learning algorithms, so that ultimately also for the automated evaluation and / or assignment of the cells a broader and more secure basis is available.
  • the patient data are kept in a database.
  • This has the advantage that even later onset of disease can be analyzed earlier records on blood images and can be examined for abnormalities, such. in the case of hematology, to detect or recognize very early stages of development or signs of leukemia. If these data are learned by a system, this analysis can be automated on the images and run without additional effort, since the cell images are advantageously pre-evaluated by computers.
  • the presentation of the cells and / or samples preferably takes place by means of a 3D display device, preferably e.g. an autostereoscopic 3D display.
  • a 3D display device preferably e.g. an autostereoscopic 3D display. This allows the physician to give a novel 3D visual impression of the cells and / or samples to be examined. In particular, this advantage is also achieved in telemedicine according to the invention.
  • a compact data format for the image data from the light field camera is used.
  • who compresses the image data is used. This makes it possible to keep the required storage space as small as possible, which is only the Storage of many patient records allows, which can then be used as a ground truth, for example, for a computer-learning system in terms of automated medicine and / or as a valuable assistance system for doctors.
  • cloud solutions and / or server solutions for image storage and data of the diagnosis and advantageously also for the backup of extended data, which person, e.g. Doctor, when and on which system with which configuration or software version the cell in question has been diagnosed or also when and where the sample in question was taken from the patient and information about the transport to the laboratory.
  • this information may preferably also be provided via a link to another storage system.
  • the time of Befun training is stored accordingly.
  • Another object of the invention is a method for digital staining a cell, the method comprising a method according to the invention for determining a saudimensio dimensional or three-dimensional information of a cell by means of an analyzer according to the invention and additionally the following steps
  • the two-dimensional or three-dimensional and / or volumetric information of the cell is geometric information of the structure of the cell or medical preparation.
  • pixels under two-dimensional information, e.g. understood an image information that maps an object area in a planar image with the lateral coordinates in the X and Y direction, which describe the area and spans nen.
  • image information that maps an object area in a planar image with the lateral coordinates in the X and Y direction, which describe the area and spans nen.
  • the individual pixels of a two-dimensional image are also referred to as pixels.
  • three-dimensional image information e.g. ver stood that the image in addition to the areal Schminforma tion additionally at least for one pixel also contains a fen fen information in the axial direction of the Schmstrahlengan ges, so for example. in the Z direction, which is linearly independent of the X and Y directions.
  • An example of three-dimensional image information could be e.g. be a contour image that in the z-direction, the topography of the object as derelle.
  • volumetric information is used if the image also contains information over a large area in the X and Y directions, also in the Z direction for different Z values.
  • the X, Y and Z axes may each be divided with increments of equal size to produce small volume elements, also referred to as voxels.
  • Image information described via voxels is a form of volumetric information.
  • Volumetric image data are used eg in tomography. If the voxel information is present only for a few pixels or voxels, the information can also be represented in the form of so-called point clouds, where each of the points is, for example, over its X, Y and Z coordinates are represented.
  • the volumetric information is an extended representation for three-dimensional image information, which is particularly advantageous in the case of complex structured objects.
  • the two-dimensional or three-dimensional and / or volumetric information is information relating to intracellular structures such as e.g. Cell organelles and / or geometrical structures of a tissue section.
  • Information about optical path lengths generally does not readily conform to geometric information, and therefore optical path lengths are not geometric information in this regard.
  • the dyeing protocol is preferably the dyeing protocol May-Grünwald-Giemsa, Modified-Wright dyeing, Wright-Gimsa dyeing and / or Romanowsky dyeing.
  • the digital coloration of the cell it is preferable to use a color distribution according to one of the above-mentioned dyeing protocols.
  • images of the technical contrast of black and white and / or according to extended contrasting methods are preferably recolored by means of dyeing properties determined by computer learning.
  • 3D and / or volumetric information are preferably used, since this is advantageous over the use of a pure 2D color mapping.
  • the methods according to the invention for the digital staining of a cell have the advantage that the digital staining of the cells can be carried out subsequently in the digital image. This eliminates the additional steps of dyeing the south in the sample preparation. This leads to considerable time and cost savings. Furthermore, this avoids differences between different laboratories or regions.
  • Another advantage is that switching between different staining models is possible, e.g. to be more specific for certain pathologies.
  • the staining protocol is an artificial color model, e.g. emphasizes certain critical features in order to simplify the diagnosis for physicians, or in the first instance to enable the diagnosis of inexperienced doctors.
  • the artificial color model can be designed similarly to a false color representation for technical images, e.g. similar to thermal or IR images, which are displayed as a color image.
  • the staining models can be ge changed, which would not be possible with a classical chemical staining.
  • cells assigned to different classes are colored differently digitally.
  • all cells in the image that are currently not to be considered are hidden. Preferred is alternatively only a selected set of different cell groups are shown.
  • the 3D information of the cells possibly also in combination with the advanced contrasting methods such as phase contrast or DIC, used to replace the omitted Far binformation of attributable immediate staining by the 3D information.
  • the advanced contrasting methods such as phase contrast or DIC
  • the predetermined association between the two-dimensional or three-dimensional or volumetric information of the cell and staining of a corresponding cell and / or structure within the cell is determined by a staining protocol as follows in a learning phase.
  • the cell or the cells without staining in a first image is displayed. Subsequently, the cells are stained in accordance with the respective desired staining protocol. Then the stained cell or cells are stained in a second image. In the first and second images, the cell (or cells) is then recognized and segmented, and the unstained and stained cells are assigned accordingly.
  • the cells are grouped by cell type, e.g. red blood cells (RBC), white blood cells (WBC) (optionally inclusive 5 part diff.) and / or classified, e.g. by means of computer learning and / or neural networks.
  • cell type e.g. red blood cells (RBC), white blood cells (WBC) (optionally inclusive 5 part diff.)
  • WBC white blood cells
  • / or classified e.g. by means of computer learning and / or neural networks.
  • the color deviations can also be evaluated against an external reference standard, as described, for example, in US Pat. in DICOM for displays and display devices is described. Since the standard is not written for this application, evaluations may only be transferred and applied analogously.
  • the staining model is accordingly set, checked and stored for each staining protocol and each cell grouping individually or specifically.
  • the procedure is preferably as follows. First, the desired staining protocol is selected and the unstained cells are displayed in a first image. The cell or cells are segmented in the first image. Then an assignment of the cells to cell grouping and / or a determination of the cell type for the selection of a cell-specific staining model. In the next step, the cell or cells are stained. Subsequently, the display of a digitally colored image, e.g. a blood smear, on a dispenser.
  • a digitally colored image e.g. a blood smear
  • the same uncolored image in the pas send dyed each regionally common color. This allows the common evaluation of a sample by experts who are used to different colorations.
  • the digital staining of a cell according to the invention is preferably an image of a preferably uncolored cell taken digitally in an analyzer according to the invention. This image of the cell is then colored in a post-processing, as it is used to the doctor of the stained according to the different conventional staining protocols cells.
  • different staining protocols can also be selected according to the invention with the new digital staining for different cell types, because, for example, their specifics for the particular cell type are particularly suitable.
  • a doctor or hematologist or pathologist could create personal staining schemes where he assigns a specific type of staining to a cell type and completely breaks through and abolishes the previous restriction of just one staining for a slide.
  • generic digital staining protocols can advantageously also be created, which continue to use the technical color space for better recognizability of features and structures
  • Chemical dyeing works, in each dyeing step typically, essentially a dye which accumulates in un ferent amounts of suitable bindable cell structures.
  • the more dye attaches the more light is absorbed from the spectrum of the illumination light according to the absorption spectrum of the respective dye out biert.
  • the transmission image thus contains a higher color saturation (S) for the color value (s) of the dye (V).
  • S color saturation
  • V color value of the dye
  • the dye in addition to the pure color effect, the dye also has the desired side effect that the RNA still available in the cell clumps and only then can be imaged and contrasted in the micrososcope.
  • the undigested RNA is smaller in dimension than it would be resolvable with conventional optical microscopes.
  • the object of the invention is based on an optical micro-microscope, which is advantageously equipped for image acquisition with th th extender optical contrasting methods.
  • This Advanced contrasting methods may include, for example, phase contrast (PC), differential interference contrast (DIC), polarization contrast (POL), interferometry (preferred as a digital holographic microscope (DHM)), hyperspectral imaging (pure color contrast in an extended spectral range, eg UV, VIS, NIR, MIR and / or FIR or selected sub-areas thereof), and / or structured turator lighting (eg, with predetermined intensity distributions and / or phase distributions, preferably in the Pu pillenebene set).
  • PC phase contrast
  • DIC differential interference contrast
  • POL polarization contrast
  • interferometry preferred as a digital holographic microscope (DHM)
  • hyperspectral imaging pure color contrast in an extended spectral range, eg UV, VIS, NIR, MIR and / or FIR or selected sub-areas thereof
  • Different contrasting methods are preferably present in parallel on a microscope system, in particular if these are used, for example. mutually free of interaction usable. Otherwise, the different contrasting methods are preferably carried out in chronological succession. If the different contrasting methods are carried out in chronological succession, according to the invention a particel image velocimetry (PIF) is preferably provided for tracking the respective trajectories, since the cells move in a combination with a microfluidic system between the images Modalita obtained color information then again bring together for each cell correctly.
  • the PIV also includes the rotation of the cell and advantageously also the defocusing.
  • the samples are given e.g. a color contrast of interference, such as DIC or polarization, which then provides in the digital image for a good resolution of the structures in the cell and / o which allows a good contrasting for the cell.
  • a color contrast of interference such as DIC or polarization
  • a color information in addition to a 3D information is present.
  • the images of the light field camera for the 3D image can also be present as volumetric and / or tomographic data.
  • this 3D information also permits a subsequent purely digital focussing on the image taken. This is of particular advantage for the review of automatic classification by the physician and for the specific and reliable assessment of pathological or conspicuous cells in this context.
  • new dyeing modes are also provided in digital dyeing, where the color currently displayed depends only on the area of the cell which is e.g. is located below the focal plane.
  • the 3D depth perception of the doctor can be further improved.
  • only areas above the current focal plane can be used or the areas in a certain adjustable
  • a picture taken microscopically with one of the systems according to the invention is then postprocessed so that it looks as it would have looked like if it had been taken with a classical microscope of stained cells.
  • a certain number of unstained samples with a plurality of cells are taken up in the new system.
  • the cells can be detected and segmented manually or automatically in the image for comparison. Thereafter, the same samples are stained with the desired staining protocol and then resumed with a microscope the same cells.
  • the microscope has a good color fidelity and a color camera, particularly preferably a color camera optimized for the most color-fast image capture, which may also be equipped with special samples or Calibration procedures was calibrated, eg according to the DICOM standard in medicine.
  • Typical color cameras have a Bayer pattern in which 50 percent of the pixels are predominantly green, 25 percent of the pixels are predominantly blue, and the remaining 25 percent of the pixels are predominantly red.
  • interpolate the color values from the neighboring pixel in the corresponding color If necessary, continuity information from the pixels of other color values is also considered and used.
  • Preferred color cameras are e.g. 3-chip color cameras that directly measure an intensity value for red, green and blue for each pixel. These preferred color cameras should therefore be cameras which directly measure the color values required for each pixel.
  • the color information can be linked, preferably, for example via methods of computer learning, between the two samples.
  • this linking takes place separately for each class of cells in order to capture specific staining behavior as well as possible.
  • the 5 main groups who differentiated in the 5 Part differential diagnosis who train together. It may then be advantageous to still be within such a group in a second step to learn the colorations of specific features in order to obtain as good and comprehensive color contrasting as possible.
  • the 3D information e.g. in the form of topographic information or as volumetric or tomographic information.
  • this 3D information and information advantageously derived therefrom e.g. an effective 3D profile, both for the uncolored image and preferably for the colored image.
  • all methods known from computer learning are in principle applicable, such as e.g. PLS, PLSDA, PCA or neural networks (CNN) or deep CNNs.
  • each class of cells to be learned and / or group of cells learned together the classification takes place in at least as many color values as on the original sample under divisible and / or can be displayed on the display device.
  • color spaces are common for color representation, where for each pixel per color e.g. 256 color values, ie 8 bits or 1 byte color depth, or 65536 color values, ie 16 bits or 2 bytes or 1 double byte can be used.
  • a great advantage of digital dyeing according to the invention is that samples can now be vergli chen between regions, which typically with other coloring Tocolepro and thus other color effect of the cells work ar. If an undyed sample to be examined has been taken up, this can optionally be dyed according to the invention with different dyed color structures which correspond to the respective regional dyeing protocol. On the one hand, this offers the advantage that it is now possible to use the preferred or advantageous staining protocol for different pathologies. On the other hand, a doctor may ask another doctor for a explicatatory opinion, as he can now show him the picture in the familiar color. Digital staining can circumvent the hurdles created by the staining protocols, because now the doctor can choose his customary staining to carry out the diagnosis. So then also, e.g. Doctors from Europe and the USA work better together for the benefit of the patient. This allows for a worldwide collaboration of doctors and / or hematologists in terms of telemedicine.
  • every doctor worldwide can contribute to a secure diagnosis.
  • a database in particular for rare pathological cases of observed and / or measured cells over the world wide networking with telemedicine advantageously one
  • a well-grounded "ground truth" dataset which is a combination of image and / or 3D information and the findings backed up by at least two physicians, is an important component of this procedure, as well in the possibility according to the invention in the digital dataset for each cell taken Separate and adapted to be able to change the focus of the images without the doctor finding himself sitting on a microscope.
  • This data set which is independently diagnosed by several physicians, can then, assuming a match in the findings, e.g. be used to further train computer models, which can then be played back on the globally installed devices, in order to further develop each device in the recognition quality for certain cells, or in the ability to safely identify special pathologies automatically.
  • the analyzer may also be advantageous for the analyzer according to the invention to take pictures and then store them, e.g. in a cloud-based application, or more generally to another computing unit, where then the recognition of the cells, their segmentation and an automated evaluation, e.g. in the sense of an association with a class of cell type or of a diagnosis as a recognition of certain disease images and / or the determination of a suspicion on a specific clinical picture takes place.
  • the color representation is so adjusted that the doctor can assume a color-fast color rendering. This is particularly important in hematology because small color differences and structural differences in the image of the cell can give an indication of conspicuousness, especially in the case of pathological or suspicious cells.
  • the color reproduction in particular special with respect to the stable color reproduction such as the DICOM standard for medical devices (dicom.nema.org/).
  • the user and / or user can then focus on the software through the cell images and / or the flat image from the slide or from the flowcell by operation on a software.
  • a software for a correspondingly secure, or possibly pre given, data connection to the data on a local data memory, a superordinate data memory, e.g. in a hospital, and / or a cloud. Preference may be given to e.g. a consultation, the data will be made directly accessible to a doctor.
  • a 3D-capable display is used, which can be viewed either with or more preferably without further optical Hilfsmit tel and generated for the user a 3D He heintik.
  • the 3D capable display is part of a computer and / or a mobile terminal, e.g. a tray.
  • the 3D effect can be switched on and off.
  • Data glasses also referred to as smart glasses or VR glasses, are preferably used for the 3D representation of the data set.
  • a working mode master-slave is preferably provided for a remote diagnosis in telemedicine, if simultaneous diagnosis of the images by several Doctors, for example, in a medical conference, as a Mas ter navigation over the images of the cells and / or from the slide and / or the flow cell (Flowcell) leads and the other doctors then this can follow without own controlling the system.
  • each of the doctors can also focus on his image independently of the others and / or color the image according to his usual staining protocol.
  • 1 shows an automatic analyzer for analyzing cells in a sample.
  • the automatic analyzer shown in FIG. 1 for analyzing cells in a sample comprises an optical microscope (1) comprising a light source (4) for illuminating a sample (2) and a converging lens for collecting and focusing light rays (6) generated by go out of the illuminated sample (2).
  • the sample (2) is a blood sample containing blood cells (3).
  • the sample (2) is located in a microfluidic flow cell (10).
  • the microscope (1) comprises a light field camera (8) comprising a digita les recording device, the recording device comprising egg nen CCD chip or a CMOS chip, for receiving the micro-scope (1) imaged light field.
  • the microscope (1) comprises another camera for taking an image in the object plane, which is designed as a high-resolution 3-chip color camera (9).
  • the lateral resolution of the color camera (9) be four times the effective lateral resolution of the light field camera (8).
  • the focus of the color camera (9) is on one Set the central range of the measuring range of the light field camera (8), for example to a virtual depth in the range of 3 to 5.
  • the incoherent illumination sigma on the microscope (1) is 1.0.
  • the microscope (1) is a micro-scope that can also be operated as a differential interference contrast (DIC) microscope (1).
  • DIC differential interference contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

Die Erfindung betrifft einen Analyzer zum Analysieren einer medizinischen Probe, der Analyzer umfassend ein optisches Mikroskop zum Abbilden eines Lichtfelds in einem Objektbereich zur Abbildung der Probe, das Mikroskop umfassend eine Lichtquelle zum Beleuchten der Probe und ein Objektiv umfassend eine Sammellinse zum Sammeln und Fokussieren von Lichtstrahlen ausgehend von der beleuchteten Probe sowie ein digitales Aufzeichnungsgerät zum Aufzeichnen der Lichtstrahlen, wobei an dem Mikroskop eine Lichtfeldkamera zum Aufnehmen des im Mikroskop abgebildeten Lichtfelds aus dem Objektbereich vorgesehen ist.

Description

Beschreibung
Analyzer zur dreidimensionalen Analyse einer medizinischen Probe mittels einer Lichtfeldkamera
Die Erfindung liegt auf dem Gebiet der automatischen Analyzer und betrifft einen Hämatologie-Analyzer zum Analysieren von Zellen in einer Probe unter Verwendung einer Mikroskopiervor richtung mit einer Lichtfeldkamera .
Zur automatisierten Analyse von Zellen werden so genannte "automated cell counters" (Automatisierte Zellzählgeräte) mit zunehmendem Erfolg angewendet. Beispiele hierfür sind das Ad- via 2120, Sysmex XE-2100, CellaVision DM96 sowie CellaVision DM1200 Gerät. Diese automatisierten Geräte stellen, abgesehen von ihrer hohen Durchsatzzahl, einige Vorteile bereit, wie beispielsweise hohe Objektivität (keine Variabilität abhängig vom Beobachter) , Elimination statistischer Variationen, die üblicherweise mit einer manuellen Zählung verbunden sind (Zählung hoher Zellzahlen), sowie die Bestimmung zahlreicher Parameter, die bei einer manuellen Auszählung nicht verfügbar wären und, wie angesprochen eine effizientere und kostenef fektivere Handhabung. Einige dieser Geräte können 120 bis 150 Patientenproben pro Stunde bearbeiten.
Die technischen Prinzipien der automatischen Einzelzellzäh lung beruhen meist entweder auf einer Impedanz- (Widerstands- ) Messung oder auf einem optischen System (Streulicht- bzw. Absorptionsmessung) . Weiter sind bildgebende Systeme etab liert, die z.B. Zellen eines Blutausstrichs automatisiert ab bilden und bewerten.
Beim Impedanzverfahren erfolgt die Zellzählung sowie deren Größenbestimmung auf Grundlage des Nachweises und der Messung von Veränderungen in der elektrischen Leitfähigkeit (Widerstand) , die durch ein Teilchen verursacht werden, das sich durch eine kleine Öffnung hindurchbewegt. Teilchen, wie beispielsweise Blutzellen, sind selbst nicht leitend, werden jedoch in einem elektrisch leitenden Verdünnungsmittel sus pendiert. Wenn eine derartige Suspension von Zellen durch eine Öffnung hindurchgeleitet wird, nimmt bei Durchgang einer einzelnen individuellen Zelle die Impedanz (Widerstand) des elektrischen Weges zwischen den beiden Elektroden, die sich auf jeder Seite der Öffnung befinden, vorübergehend zu.
Im Gegensatz zum Impedanzverfahren umfasst das optische Ver fahren das Durchleiten eines Laserlichtstrahles oder eines LED Lichtstrahls durch eine verdünnte Blutprobe, die in einem kontinuierlichen Strom von dem Laserstrahl oder dem LED
Lichtstrahl erfasst wird. Der entsprechende Lichtstrahl kann dabei z.B. mittels eines Lichtwellenleiters zur Durchfluss zelle geleitet werden. Jede Zelle, die durch die Erfassungs zone der Durchflusszelle hindurchtritt, streut das fokus sierte Licht. Das gestreute Licht wird dann durch einen Fo todetektor nachgewiesen und in einen elektrischen Impuls um gewandelt. Die hier erzeugte Anzahl von Impulsen ist direkt zur Zellanzahl proportional, die durch die Erfassungszone in einer speziellen Zeitspanne hindurchtritt.
Bei den optischen Verfahren wird die Lichtstreuung der ein zelnen Zelle, die durch die Erfassungszone hindurchtritt, in verschiedenen Winkeln gemessen. Hierdurch wird das Streuver halten der jeweiligen Zelle für die optische Strahlung er fasst, das Rückschlüsse auf z.B. die Zellstruktur, Form und Reflexionsvermögen erlaubt. Dieses Streuverhalten kann dazu verwendet werden, verschiedene Arten von Blutzellen zu diffe renzieren und die abgeleiteten Parameter zur Diagnose von Ab weichungen der Blutzellen dieser Probe von einer Norm, die z.B. aus einer Vielzahl von als normal klassifizierten Refe renzproben gewonnen wurde, zu verwenden. Bei der automatisierten Bewertung von Zellen in Blutausstri chen arbeiten die heutigen Analysatoren mit Mikroskopen mit einer hohen numerischen Apertur und mit Immersion zwischen dem Objektträger und dem Objektiv, um eine hohe Auflösung er reichen zu können. Dadurch ergibt sich jedoch eine ver gleichsweise geringe Tiefenschärfe, die deutlich geringer ist als die Dicke der Zellen senkrecht zur Fläche des Objektträ gers mit dem Blutausstrich. Entsprechend kann mit einer zwei dimensionalen Abbildung in nur einer Fokuseinstellung nicht die gesamte Tiefeninformation der Zelle scharf abgebildet werden .
Häufig kommt es daher zu unklar klassifizierten Blutzellen, die Fachpersonal, z.B. ein Laborarzt, manuell nachklassifi zieren muss. Dazu wird der Objektträger mit dem Blutausstrich erneut unter ein Mikroskop gelegt, die entsprechende Zelle aufwändig gesucht und dann von dem Laborarzt inspiziert. Zur sicheren Klassifizierung fokussiert dabei der Laborarzt meist auch durch die Zelle hindurch, um die Struktur der Zelle ent lang der Fokusrichtung besser erkennen und bewerten zu kön nen .
WO 2007/044725 A2 , Bahram J., et al . : „Three-dimensional Identification of biological microorganism using integral im- aging" in Optics Express, Bd. 14, Nr. 25, Seiten 12096 - 566, Kim J. et al . : „A single-shot 2D/3D simultaneous imgaging mi- croscope based on light field microscopy", in Visual Communi cations and image Processing, Bd. 9655, Seiten 9655101 - 9655104 und WO 2010/121637 Al beschreiben optische Abbild ungsvorrichtungen .
Die momentan gebräuchlichen Messgeräte in der Hämatologie um fassen bezüglich des optischen Systems ein Mikroskop mit etwa 100-facher Vergrößerung mit effektiven lateralen Auflösungen eines Sensorelements auf der Objektebene von 100 nm = 0,1 mpi. Die gebräuchlichen Kameras haben Pixelzahlen von max . 0,3 bis 1 Millionen Pixeln. Dadurch ist das Gesichtsfeld im Objekt nur wenige 100 gm groß. Um den gefärbten Ausstrich einer Blutprobe, der einige mm breit und mehrere 10 mm lang sein kann, aufnehmen und analysieren zu können, muss dann die Flä che des zu analysierenden Bereichs des Ausstriches mit einer Verschiebeeinheit in einem Mäanderscanverfahren abgetastet werden. Um den Prozess etwas zu beschleunigen wird ein erster flächenhafter Scan mit geringer Vergrößerung, z.B. 10-fach mit entsprechend 10-fach größerem Gesichtsfeld durchgeführt und nach einer ersten Bildauswertung zum Auffinden der zu vermessenden Zellen werden dann nur die Regions of Interest (Rol) mit den Zellen mit der höheren Vergrößerung anschlie ßend gezielt angefahren. Das bedeutet, dass eine vollständige flächenhafte Analyse der Probe mit der hohen Vergrößerung nicht erfolgt. Um die Zellen hinreichend gut sichtbar zu ma chen, um sie mit der hochauflösenden optischen Mikroskopie analysieren zu können, werden die Blutausstriche in einem vorgelagerten Schritt angefärbt. Es haben sich mehrere Färbe protokolle weltweit etabliert, die sich global gesehen teil weise von Region zu Region unterscheiden. Somit ist die Ver gleichbarkeit der Analyse von Blutausstrichen regional be grenzt, da nur Bilder von Zellen gut miteinander verglichen werden können, die nach demselben Protokoll angefärbt worden sind .
Eine der Erfindung zugrundeliegende Aufgabe ist somit das Be reitstellen eines automatischen Analyzers zum Analysieren von Zellen in einer Probe und eines Verfahrens zum Ermitteln ei ner zweidimensionalen oder dreidimensionalen Information ei ner Zelle, wobei eine z.B. chemische Vorbehandlung der Zelle weitest möglichst unterbleiben soll, bevor die Bildaufnahme und damit die Analyse stattfindet um die Zelle in einem möglichst ursprünglichen und wenig oder überhaupt nicht ver änderten Zustand untersuchen zu können.
Die Aufgabe wird von einem erfindungsgemäßen Analyzer und den erfindungsgemäßen Verfahren gemäß den unabhängigen Patentan sprüchen gelöst. Vorteilhafte Weiterbildungen der Erfindung sind insbesondere auch durch die Unteransprüche gegeben.
Gegenstand der Erfindung umfasst insbesondere einen Analyzer zum Analysieren von Zellen in einer Probe, der Analyzer um fassend ein optisches Mikroskop zum Abbilden eines Lichtfelds in einem Objektbereich und/oder einer Objektebene zur Abbil dung von Zellen der Probe, das Mikroskop umfassend eine
Lichtquelle zum Beleuchten der Probe und eine Sammellinse zum Sammeln und Fokussieren von Lichtstrahlen ausgehend von der beleuchteten Probe, sowie ein digitales Aufzeichnungsgerät zum Aufzeichnen der Lichtstrahlen, wobei an dem Mikroskop eine Lichtfeldkamera zum Aufnehmen des im Mikroskop abgebil deten Lichtfelds aus dem Objektbereich vorgesehen ist und wo bei die Lichtfeldkamera das digitale Aufzeichnungsgerät um fasst.
Das digitale Aufzeichnungsgerät umfasst bevorzugt eine Detek tionseinrichtung für die Lichtstrahlen und ermöglicht eine Wandlung der Detektionssignale der Detektionseinrichtung in digitale Daten.
Ein erfindungsgemäßer Analyzer hat den Vorteil, dass auf die bisher notwendige Färbung der Proben für die anschließende Mikroskopie vollständig oder teilweise verzichtet werden kann. Der erfindungsgemäße Analyzer ermöglicht Bilddaten in höchster Güte mit entsprechend hohem Informationsgehalt zur Verfügung, die z.B. für eine automatische Auswertung und Klassifizierung genutzt werden können. Die aufgenommenen Bilddaten weisen dabei solch hohe Qualität auf, so dass eine Nachuntersuchung der Probe durch erneute mikroskopische Be trachtung nicht länger nötig ist. Somit wird erfindungsgemäß eine vollständige Digitalisierungsstation der Zelle mit einer hohen Auflösung für laterale Strukturen und auch über die ge samte Tiefenausdehnung der jeweiligen Zelle zur Verfügung ge stellt, wobei insbesondere auch eine Färbung und/oder Markie rung der Blutzellen für die Bildaufnahme nicht notwendig ist.
Bevorzugt handelt es sich bei dem erfindungsgemäßen Analysa tor um einen automatischen Analysator, besonders bevorzugt um einen teilautomatischen oder vollautomatischen Analysator. Bevorzugt umfasst das Mikroskop die Lichtfeldkamera . Bevor zugt umfasst die Lichtfeldkamera das digitale Aufzeichnungs gerät, das zum Aufnehmen des im Mikroskop abgebildeten Licht felds ausgebildet ist. Bevorzugt umfasst das digitale Auf zeichnungsgerät einen charge-coupled device (CCD) Chip oder mehrere CCD Chips. Besonders bevorzugt basiert das digitale Aufzeichnungsgerät auf einer Complementary Metal-Oxide-Semi- conductor (CMOS) Technik und/oder umfasst einen CMOS Chip.
Bevorzugt erfolgt die Verbringung der Probe innerhalb des au tomatischen Analyzers dabei vollautomatisch, z.B. durch ent sprechende Durchflusssysteme und/oder Verfahrung von Proben trägern innerhalb des Analyzers, bevorzugt mittels entspre chend gesteuerten Aktuatoren oder Robotersystemen.
Bevorzugt umfasst die Lichtfeldkamera ein Mikrolinsenarray mit Linsen unterschiedlicher Brennweite, wobei das Mikrolin senarray ein Zwischenbild des im Mikroskop abgebildeten
Lichtfelds auf das digitale Aufzeichnungsgerät abbilden kann. Das Mikrolinsenarray ist dabei mindestens eine Brennweite von dem Zwischenbild entfernt und es erfolgt eine reelle Abbil dung. Es entstehen also erfindungsgemäß keine Aperturbilder, sondern reale, kleine Bildausschnitte im Sinne kleiner Teil bilder vom Objekt bzw. der Probe. Die Bildinformation wird dann durch die Optik zurück projiziert, bis sich die Strahlen von sich entsprechenden Bildpunkten aus unterschiedlichen Teilbildern treffen. Es werden also vorliegend keine Rich tungsbilder, sondern kleine Objektbilder aufgenommen.
Die Erfindung basiert auf einem optischen Mikroskop, das bei spielweise mit Vorrichtungen für Differential Interferenzkon trast ausgestattet ist. Solche Mikroskope können dabei in Be zug auf die Aufspaltung auf die Anforderungen der Hämatologie angepasst werden. Diese Anpassung erfolgt im Wesentlichen durch eine gezielte Wahl des Strahlversatzes auf dem Strahl weg durch das Messobjekt. Bei dem Messobjekt handelt es sich beispielsweise um eine ausgestrichene Blutprobe.
Der Strahlversatz wird durch die Dicke der DIC-Prismen im Be leuchtungsmodul und im Analysatormodul bestimmt. Hierbei muss die optische Dicke der beiden Prismen und die Richtung des Strahlversatzes zueinander abgestimmt sein, damit das Analy satormodul den Strahlversatz aus dem Beleuchtungsmodul wieder vollständig umkehren und damit kompensieren kann. Aufgrund unterschiedlicher Abbildungsmaßstäbe können so die physikali schen Dicken der Prismen voneinander abweichen. Bei Mikrosko pen kann es für ein Objektiv mehrere Paare von DIC Prismen geben, die unterschiedliche Aufspaltung ermöglichen.
Ferner wird an dem Mikroskop eine Lichtfeldkamera, auch plen- optische Kamera genannt, vorgesehen, die das im Mikroskop ab gebildete Lichtfeld aus der Objektebene aufnimmt.
Bevorzugt weist die Lichtfeldkamera eine effektive Blenden zahl (working f#) im Bereich von 10 bis 30 auf, besonders be vorzugt beträgt sie 26. Je nach angestrebter Abtastung des Messobjektes mit Sensorelementen wird dazu eine geeignete Vergrößerung gewählt, die die Größenbeziehung vom realen Sen sorelement, das im Bereich von typischerweise 1 bis 10 pm liegt und der Abtastung des Objektes, die im Bereich von 0,05 bis 0,5 gm liegt, wobei bevorzugt wegen der hohen Auflösungs anforderungen bei der Messung der Bereich von 0,05 gm bis 0,15 pm ist, berücksichtigt. Damit ergeben sich dann effek tive Systemvergrößerungen vom Objekt bis zur Detektionsein richtung im Bereich von 10-fach bis 100-fach, bevorzugt im Bereich von 20-fach bis 65-fach und besonders bevorzugt im Bereich von 40-fach bis 65-fach. Verwendet man für die benö tigte hohe Auflösung eine Immersionsflüssigkeit, kann die nu merische Apertur Werte im Bereich von 1,4 annehmen. Wird die Probe von Luft umgeben, ist die numerische Apertur auf Wert von max . 1, technisch bis 0,95 oder 0,9 begrenzt.
Die bildseitige NA ergibt sich aus der obj ektseitigen NA über die Vergrößerung NA_Bild = NA_Obj/V.
Die numerische Apertur NA und die f-Zahl (f#) der Optik sind verknüpft über f# = 1/ (2 * NA) .
Damit ergeben sich für Vergrößerungen von 40 bzw. 63 und nu merischen Aperturen von 0,95 bzw. 1,4, wobei dann entspre chend f# im Bereich von 14 bis 33 liegt.
Bevorzugt handelt es sich beispielsweise bei der Lichtfeldka mera um eine Lichtfeldkamera mit der Bezeichnung Raytrix R12 Micro Series der Raytrix GmbH, Kiel.
Aus dem Lichtfeld lässt sich das Bild des Objektes für unter schiedliche Tiefen rekonstruieren, was unterschiedlichen Fo kuseinstellungen des Mikroskops entspricht. Dieses rein digi tale Umfokussieren kann an den aufgenommenen Datensätzen im Nachhinein erfolgen.
Der erfindungsgemäße Analysator hat den Vorteil, dass neben den Farbinformationen RGB auch Tiefeninformationen D (Depth) verfügbar sind, die in einer nachgelagerten computerbasierten Auswertung als weiteres Merkmal analog eines Farbkanals ver wendet werden können.
Basierend auf der zusätzlichen Tiefeninformation können die Zellen z.B. einfacher segmentiert, also für die weitere Ana lyse erkannt und aus dem Bild ausgeschnitten werden. Neben farblichen Kontrastübergängen entstehen dann auch im Höhen profil an den Rändern der Zellen Übergänge, die gut und genau detektierbar sind.
Bei herkömmlichen Systemen besteht bisher das Problem der si cheren Bestimmung des Randes einer Zelle nur auf dem Farbbild basierend, weil dafür meist ein Schwellwert verwendet wird, der systembeding schon innerhalb der Zelle liegt, da j a zum Erreichen des Schwellwertes schon eine gewisse Veränderung stattgefunden haben muss. Darum werden Zellen meist systema tisch zu klein gemessen. Das ist bei Volumenmessungen störend und wird dann z.B. über Interpolationsalgorithmen versucht zu korrigieren. Mit der Bereitstellung und Verwendung der Tiefe ninformation können diese Probleme einfach und sicher gelöst werden, da der Hintergrund des Objektträgers eine Ebene dar stellt, auf die das Profil abfällt. Es können dann bekannte Methoden zur geometrischen Bestimmung der Zellränder aufgrund von Höhenprofilen entsprechend angewendet werden.
Durch die Aufnahme des Lichtfeldes mit der Lichtfeldkamera kann das aufgenommene Bild, z.B. des Blutausstrichs oder der Zellen, noch offline nach der Bildaufnahme umfokussiert wer den. Das kann zum Einen genutzt werden, um die Zellen zur Segmentierung und Erkennung für eine Klassifikation
bestmöglich zu fokussieren oder auch für die Segmentierung und Klassifikation mehrere Fokusebenen parallel zu verwenden. Alternativ können auch Volumendaten bzw. 3D Punktewolken ver wendet werden. Dadurch kann die Segmentierung und Klassifika tion mit höherer Genauigkeit erfolgen. Sind die Bilder, z.B. der Zellen, mit der Lichtfeldkamera aufgenommen worden, besteht die Möglichkeit, die Bilder im Nachhinein, also offline, rein digital durch zu fokussieren. Dies würde bei unklaren Klassifizierungen oder Bewertungen von Zellen durch den Computer dem Arzt die Möglichkeit geben, die Zellen unmittelbar im digitalen Bild anzuschauen und nicht erst wieder den Objektträger unter ein Mikroskop zu le gen, die Zelle zu suchen und dann über die Fokusvariation eine genauere Bewertung und Klassifizierung vorzunehmen. Da es zwischen dem Zellanalysator und dem Mikroskop keine abge glichenen Koordinatensysteme gibt, kann der Arzt bisher die zu untersuchende Zelle nur mit einer ungefähren Ortsangabe im Mikroskop positionieren und muss die Zelle dann im Mikroskop final suchen. Das ist zeitaufwendig und muss im Labor erfol gen. Liegt jedoch das digitale Bild der Lichtfeldkamera gemäß der vorliegenden Erfindung vor, kann der Arzt die fragliche Zelle bzw. Struktur unmittelbar im digitalen Bild durchfokus sieren .
Diese Bewertung und Klassifizierung ist dann auch im Sinne einer Telemedizin bei einer bestehenden Datenverbindung des Arztes zu dem Bild bzw. der Bilddatenbank möglich, so dass er nicht mehr zum Objektträger im Labor kommen muss.
Bei unklaren Befunden kann so auch eine Konsultation eines Kollegen erfolgen, dem das Bild für die Analyse zugeschickt oder z.B. über elektronische Netzwerke verfügbar gemacht wird, was bei digitaler Datenübertragung quasi in Echtzeit erfolgen kann. Für eine Bewertung und Klassifizierung der aufgenommen Lichtfeldbilder von den Blutzellen benötigt der jeweilige Arzt nur eine entsprechende Analysesoftware auf seinem digitalen Endgerät oder aber im Sinne einer Cloudlö- sung kann sowohl das Bild der Lichtfeldkamera in der Cloud gespeichert sein als auch die Auswertung z.B. über einen Web- Browser Interface in einer Cloud basierten Anwendung erfol gen .
Bevorzugt bestimmt sich die Vergrößerung aus der Anforderung an die optische Auflösung für die Abtastung des Messobjektes, wobei mit der Wahl der Vergrößerung im Allgemeinen die benö tigte effektive Blendenzahl bzw. die numerische Apertur ver bunden ist.
Die laterale Auflösung beträgt bevorzugt 100 nm in der Ob jektebene. Die Vergrößerung ergibt sich dann zusammen mit der lateralen Dimension eines Sensorelements zu
V = laterale Dimension Sensorelement / 100 nm.
Diese Vergrößerung ist z.B. besonders vorteilhaft für die Ab bildung von Blutzellen.
Etwa 100 nm ist die typische Auflösungsgrenze der Lichtmikro skopie bei Wasser-, Öl oder Glycerinimmersion. Bei einer be kannten Pixelgröße der Kamera von z.B. 4,5 gm wäre somit die benötigte Vergrößerung 45-fach. Die Apertur ergibt sich dann aus der Apertur in der Objektebene - bei Immersion im Bereich größer 1, typisch 1,2 bis 1,4 - geteilt durch die Vergröße rung, also NA Kamera = 1,4 / V z.B. 1,4 / 45 = 0,031. Die Blendenzahl ergibt sich dann aus f# = 1 /2* NA zu f# 16.
Bevorzugt beträgt die Blendenzahl der Kamera 2,4, 2,8, 5,6, 7,0 oder 26,0. Besonders bevorzugt beträgt die Blendenzahl der Kamera f# 26 und die Vergrößerung 63-fach.
Bei einer Pixelgröße der Kamera von 2 gm ist eine Vergröße rung von 20x für die angestrebte Auflösung in der Objektebene bevorzugt. Damit wird NA Kamera = 1,4 / 20 = 0,07 und somit die Blendenzahl f# 7. Dies hat den Vorteil, dass mit hochauf lösenden Kamerachips mit hoher Pixelzahl große Gesichtsfelder abgedeckt werden können und ferner den Aufwand für die Optik minimiert werden kann. Bevorzugt handelt es sich bei dem Analyzer um einen Hämatolo- gie-Analyzer, besonders bevorzugt um einen automatischen Hä- matologie-Analyzer .
Bevorzugt umfasst die medizinische Probe eine Zelle und/oder ein medizinisches Präparat. Bevorzugt handelt es sich bei dem medizinischen Präparat um einen Gewebeschnitt, Sedimente aus Körpersekreten und/oder Körperflüssigkeiten und/oder Mikro kristalle .
Besonders bevorzugt handelt es sich bei der Probe um eine Blutprobe und/oder bei der Zelle um eine Blutzelle.
Anstelle von Blutzellen kann es sich bei der Probe bevorzugt um jede Art von menschlicher, tierischer oder pflanzlicher Zelle handeln. Dies hat den Vorteil, dass verschiedenste Pro bentypen, einschließlich verschiedenster Zelltypten, unter sucht und charakterisiert werden können.
Die erfindungsgemäße Kombination von einer Lichtfeldkamera mit einem Mikroskop für die Hämatologie wird noch deutlich ergänzt über erweiterte Kontrastierungsmethoden wie z.B. Pha senkontrast oder Differential-Interferenz-Kontrast (DIC) .
Bevorzugt handelt es sich bei dem Mikroskop um ein Amplitu denkontrast-, und/oder ein Phasenkontrast-, und/oder ein Dif- ferential-Interferenz-Kontrast (DIC) Mikroskop.
Bevorzugt handelt es sich bei dem Mikroskop um ein differen tial Digital Holographisches Mikroskop.
Die erweiterten Kontrastierungsmethoden und davon insbeson dere der DIC erlaubt es, Phasenunterschiede der Lichtwege durch die Probe, also hier z.B. die Zellen, sichtbar zu ma chen. Unterschiedliche Phasenwerte können insbesondere beim Phasenkontrast dann z.B. mit unterschiedlichen Farben dargestellt werden und so mit einer Farbkamera gemessen wer den. Dadurch ist es möglich, auf ein Färben der Proben zu verzichten und dennoch die Zellen gut kontrastiert abzubil den. Bisherige Systeme zur automatisierten Zellklassifizie rung nutzen ausschließlich den Amplitudenkontrast, der durch die Färbung der Zellen und die unterschiedlichen Laufwege des Lichts in der Zelle bzw. alternativ dem umgebenden Medium entsteht .
Durch die erfindungsgemäße Kombination eines Mikroskops und einer Lichtfeldkamera erhält man zusätzliche 3D Informationen zur Zelle, die für eine Klassifizierung der Zelle herangezo gen werden können. Je nach gewählter Kontrastierungsmethode im Mikroskop werden somit folgende Daten für eine Klassifi zierung der Zellen erhalten. Die Klassifizierung kann z.B. von medizinischem Fachpersonal und/oder computerbasierten Systemen durchgeführt werden. Im Falle von Amplitudenkontrast liegen herkömmliche Bildinformation sowie zusätzlich 3D In formation der Zelle vor. Bei Phasenkontrast wird ein Phasen bild sowie zusätzlich 3D Information der Zelle erhalten. Bei DIC wird ein DIC-Bild zu differentiellen Phasenbildern sowie zusätzlich 3D Information der Zelle erhalten.
Erfindungsgemäß kann die erhaltene 3D Information der Zelle vorteilhafterweise z.B. unterschiedlich wie folgt repräsen tiert werden.
Vorteilhafterweise wird die 3D Information der Zelle als RGB Bild dargestellt. Vorteilhafterweise ist RGB Bild als soge nanntes Total Fokus Image über den gesamten Tiefenschärfebe reich der Lichtfeldkamera scharf abgebildet. Durch den im Vergleich zu herkömmlichen 2D Kameras vergrößerten Tiefen schärfebereich wird damit mehr Tiefeninformation erfasst.
Eine Blutzelle hat - je nach Art und Ausrichtung - eine Dicke von etwa 1 bis 2 gm, bis ca. 20 gm. Die Schärfentiefe der Abbildung ist bei NA 1,3 und bei 500 nm Wellenlänge allerding nur d = ± l/NAL 2 = ± 500 nm/1,69 = ± 300 nm. Somit ist im herkömmlichen 2D Bild keine der Zellen über die volle Tiefe scharf abgebildet. Die Schärfentiefe vergrößert sich um min destens den Faktor vier über den plenoptischen Effekt aus der Lichtfeldkamera . Somit werden Zellen, insbesondere z.B. rote Blutzellen (RGB) vollständig scharf abgebildet. Auch werden größere Zellen, wie z.B. weiße Blutzellen (WBC) , zu einem we sentlich größeren Teil des Zellvolumens scharf abgebildet.
In einer weiteren vorteilhaften Ausgestaltung wird die 3D In formation der Zelle als RGB D Information dargestellt. Jeder Bildpunkt enthält eine als D bezeichnete Tiefeninformation. Wenn als Probe z.B. Blutzellen beispielsweise auf einem Ob jektträger aufgebracht sind, ist D z.B. die Dicke der Blut zelle. Diese Information ergänzt die Farbinformation und wird auch als 3D Punktewolke bezeichnet.
In einer weiteren vorteilhaften Ausgestaltung wird die 3D In formation der Zelle als volumetrische 3D Information darge stellt. Analog einem Bild eines Computer-Tomograph (CT) ent stehen so räumliche Bildinformationen in Form von Voxeln. Da die Zellen, z.B. Blutzellen, für die Strahlung zumindest teilweise transparent sind, können so unterschiedliche Stel len der Zelle Streustrahlung generieren, die von der Kamera aufgenommen und unterschiedlichen Tiefen zugeordnet wird.
In einer weiteren vorteilhaften Ausgestaltung kann aus dem Datensatz der Lichtfeldkamera ein Bildstapel berechnet wer den, der auf unterschiedliche Fokusebenen berechnet ist und so die volumetrische Information enthält. In der Auswerteal- gorithmik der Lichtfeldkamera bieten sich für die Ebenen, die sogenannten virtuellen Depth, als Abstandsmaß an. Alternativ können die Fokusebenen auch mit anderen Abstandwerten berech net werden, die beispielsweise äquidistant gewählt sind und von denen eine Ebene mit dem max . Querschnitt der Zelle zu sammen fällt.
Im Falle der Kontrastierung mit Phasenkontrast basiert das Bild der Lichtfeldkamera nur auf den von der Phasenwirkung erzeugten Intensitätsmodulationen, da die Amplituden- bzw. Intensitätsmodulation aus dem Objekt selber im Phasenring ausgefiltert werden. Dieses Bild ist weitestgehend farbecht zum Bild mit reinem Amplitudenkontrast.
Im Falle der Kontrastierung mit DIC basiert das Bild der Lichtfeldkamera auf einem Bild der Zellen, das über den dif ferentiellen Interferenzkontrast die Information zu den un terschiedlichen Laufwegen des Lichts beim Weg durch die Zelle und damit der Phasenänderung des Lichts als farbkodierte In formation enthält. Dies bietet den Vorteil, dass die Farbdar- stellung der Zelle eine feine Struktur überlagert, die für die Auswertealgorithmen der Lichtfeldkamera sehr hilfreich sind für eine hohe laterale Auflösung bei der Berechnung der Tiefeninformation .
In einer vorteilhaften Ausgestaltung werden bis zu vier Farb kanälen mit RGB und weiß verwendet.
Vorteilhafterweise umfasst das Spektrum der Beleuchtung den sichtbaren Bereich und/oder nahe IR Wellenlängen.
Bevorzugt erfolgt ein Farbabgleich der Lichtquelle zu einer Kamera, z.B. der Lichtfeldkamera . Weiter erfolgt bevorzugt eine Anpassung der Belichtungszeit und des gain für die 3- Chip RGB Farbkamera für die 2D Bilder. Besonders bevorzugt umfasst die Lichtquelle eine 4 LED Lichtquelle mit RGB und W sowie einer gemeinsamen Helligkeitsregelung. In einer weiteren bevorzugten Ausführungsform der Erfindung ist bei dem Analyzer an dem Mikroskop eine weitere Kamera zum Aufnehmen eines Bildes in einer Objektebene im Objektbereich vorgesehen, wobei die weitere Kamera eine laterale Auflösung aufweist, die gleich oder bevorzugt höher als die laterale Auflösung der Lichtfeldkamera ist, wobei die Auflösung der weiteren Kamera die doppelte, bevorzugt die dreifache, beson ders bevorzugt die vierfache Auflösung der Lichtfeldkamera beträgt .
Bevorzugt weist die weitere Kamera ein größeres Gesichtsfeld, auch als Field of view bezeichnet, als die Lichtfeldkamera auf. Dies ermöglicht eine bessere und schnellere Probenabde ckung .
Bevorzugt sind ist die Fokusebene der weiteren Kamera, bevor zugt einer 2D Kamera, mit einer ausgezeichneten Ebene der Lichtfeldkamera gekoppelt. Dies kann beispielsweise in vir tual depth gemessen werden. So kann vorteilhafterweis er reicht werden, dass beide Kameras gleichzeitig gute Bilder liefern .
In einer weiteren bevorzugten Ausführungsform der Erfindung ist die weitere Kamera eine Farbkamera, bevorzugt eine
Mehrchip-Farbkamera, besonders bevorzugt eine 3-Chip Farbka mera .
Dies hat den Vorteil, dass mittels der hochauflösenden Farb kamera, z.B. einer hochauflösenden RBG Kamera, eine hohe Auf lösung gewährleistet ist. Dies ist von besonderem Vorteil, da bei der Lichtfeldkamera Prinzip bedingt lateral ein Faktor zwei, flächig ein Faktor vier an Auflösungsvermögen verloren geht, um Informationen zur Berechnung der Tiefenauflösung zu gewinnen. Dieser Verlust an Auflösungsvermögen kann so vor teilhafterweise vollständig kompensiert werden. Die Verwendung einer Mehrchip-Farbkamera, z.B. einer 3-Chip Farbkamera, hat den Vorteil, dass dann auch eine bessere Farbmessung und insbesondere pixelweise Farbbestimmung ohne Interpolation mit mehr Dynamik möglich ist, was weitere Vor teile für die Klassifizierung von Zellen bringt. Vorteilhaf terweise erfolgt ein Abgleich von Farbkanälen für ein opti miertes S/N-Verhältnis . Bei z.B. gefärbten Proben erfolgt der Abglich bevorzugt für jedes Färbeprotokoll getrennt. Vorteil hafterweises ist die 3-Chip Farbkamera eine 3-Chip CMOS- Kamera mit 3,2 Mega-Pixeln pro Chip.
Eine 3-Chip Farbkamera wird gegenüber z.B. einer 1-Chip Farb kamera bevorzugt, da eine 1-Chip Farbkamera meist ein Bayer- Pattern einsetzen. Da es bei der Analyse von z.B. Blutzellen in einem Hämatologieanalysator z.B. besonders auf gute Farb- auflösung und Farbechtheit und auch eine gute Strukturauflö sung lateral ankommt, sind hier die 3-Chip Kamera bevorzugt. Die hochauflösende Farbkamera liefert z.B. ein RGB Bild mit hoher Auflösung mit typischerweise besseren, d.h. genaueren Farbwerten und geringerem Rauschen, wenn man die Belichtung für jeden der Farbkanäle getrennt optimiert. Im Falle der 3- Chip Farbkamera werden die Farbwerte unmittelbar und ohne In terpolation für jedes Pixel getrennt bestimmt.
Bevorzugt werden anschließend noch die Farbwerte einer Farb kamera von der RBG-Darstellung auf z.B. eine HSV-Darstellung für Farbwert (Hue) , Sättigung ( Saturation) und Helligkeit (Va- lue) übertragen, so lassen sich dann beispielsweise rote Blutkörperchen, wo der rote Farbstoff homogen in der Zelle verteilt ist, auch gut über den Farbwert als weitere oder er gänzende Methode segmentieren. Dieser Ansatz funktioniert für alle Zellen und Struktur gut, die homogen den gleichen Farb wert (Hue) haben bzw. mit der gleichen Farbe gefärbt sind. Diese Segmentierung kann vorteilhafterweise mit der über die Tiefenwerte (D) kombiniert werden, um so ein möglichst präzi ses Kriterium zu haben, die Zelle auszuschneiden.
Die Bilder der beiden Kameras werden vorteilhafterweise über Skalierung und/oder Pixelinterpolation zueinander regis triert, falls die effektiven Pixelgrößen in den Bildern nicht entsprechend zusammen passen oder kommensurabel sind mit ganzzahligem Faktor von z.B. 1, 2, 3, etc. Hierfür sind late rale Verschiebungen, Verdrehungen, Verkippungen, Verzeichnun gen und/oder Verzerrungen in den Bildern und/oder auch ein Defokus prinzipiell vorteilhafterweise zu korrigieren. Wenn die Bilder dann in dem erforderlichen Umfang registriert sind, werden neue Bilddaten berechnet, die die höhere late rale Farbauflösung mit der Tiefeninformation aus dem Bild der Lichtfeldkamera kombinieren. Dazu kann das Bild der Farbka mera an die zugeordnete Fokusposition im ausgewerteten Tie fenbild der Lichtfeldkamera gesetzt werden und von dort aus über die aus der Aufnahme der Lichtfeldkamera bekannte Propa gation des Lichtfeldes auch die Farbdarstellungen und latera len Auflösungen auf benachbarte Fokusebenen übertragen wer den .
Die Übertragung kann dabei beispielsweise lateral über Inter polation geschehen, für die Farben z.B. über Korrespondenzta- bellen. Alternativ ist eine aufwendigere Übertragung auch über eine echte Propagationsrechnung basierend auf dem von der Lichtfeldkamera gemessenen Daten zusammen mit z.B. einem Phase-Retrieval möglich. Dabei dienen ausgewertete Bildebenen der Lichtfeldkamera als Stützstellen und die weiteren zusätz lichen Punkte werden über die Nachbarpunkte abgestützt.
Basierend auf der einen ausgezeichneten Ebene und zusammen mit geeigneten Stetigkeitsbedingungen für die optischen Fel der und die zugehörigen berechneten optischen Wellenfronten ist eine vergleichsweise genaue und umfangreiche Interpola tion möglich. Vorteilhafterweise wird diese genauere Lösung, die typischer weise sehr rechenaufwendig ist, für eine Feindiagnostik, z.B. an auffälligen Bildbereichen, Zellen mit unklarem Befund und/oder pathologischen Zellen eingesetzt, wo es weniger oder nicht auf Echtzeitfähigkeit ankommt. Die Feindiagnostik kann dann auch beispielsweise am kompletten Bild oder auch nur an Bildausschnitten erfolgen, z.B. an einzelnen segmentierten Zellen gegebenenfalls erweitert um gewisse Randbereiche da rum.
Je nach Anordnung im Strahlengang sind folgende unterschied liche, jeweils vorteilhafte Varianten zur Anordnung erfin dungsgemäß vorgesehen.
Für die Vermessung von gefärbten Zellen oder Präparaten oder solchen, die in den Bildern einen guten Kontrast ohne erwei terte Kontrastierungsmethoden liefern, können die beiden Ka meras gleichzeitig am Mikroskop verwendet und betrieben wer den. Bei lebenden oder bewegten Zellen oder Proben oder Un tersuchungen unter Nutzung von mikrofluidischen Zellen kann es vorteilhaft sein, wenn die beiden Kameras auch zeitlich synchron die Bilder aufnehmen.
Hierbei können z.B. handelsübliche Mikroskoptuben verwendet werden, die mechanisch den parallelen Betrieb von zwei Kame ras an einem Mikroskop ermöglichen. Es gibt hierbei verschie dene Arten der Strahlteilung, z.B. das Aufspaltungsverhält nis, die Aufspaltungsmethode wie spektrale Trennung, Polari sationstrennung etc., die entsprechend vorteilhaft gewählt werden können.
Bei ungefärbten Zellen, die erweiterten optischen Kontrastie rungsmethoden bedürfen, sind beim Aufbau des Systems weitere bevorzugte technische Ausführungen des Systems erfindungsge mäß optional vorgesehen. Bevorzugt wird nur eine Polarisationsrichtung für das Farb bild genutzt. Hierzu wird eine Trennung der Strahlengänge für die Farbkamera und die Lichtfeldkamera zwischen dem Objektiv und dem DIC-Analysator oder alternativ zwischen dem Objektiv und vor dem objektivseitigen DIC-Prisma vorgesehen.
Bevorzugt wird die Teilung des Lichtfeldes auf der Abbil dungsseite bereits bei der Ausrichtung der Polarisation vor der Aufspaltung im Beleuchtungsmodul so berücksichtig, dass nach dem DIC Prisma und DIC Analysator die beiden Polarisati onsanteile das gewünschte Intensitätsverhältnis, wie z.B. 1:1 für maximalen Kontrast, haben. Auf diese Weise können Licht verluste minimiert werden, um so die Effizienz des Gesamtauf- baus zu optimieren und die benötigten Belichtungszeiten für eine schnelle Messung zu minimieren.
Bevorzugt erfolgt die Trennung des Strahlengangs auf die bei den Kameras zwischen dem Abbildungsobjektiv und dem DIC- Analysator mit einem polarisationsneutralen Strahlteiler . Im Strahlengang zur hochauflösenden Farbkamera ist dann noch ein Polarisator so anzuordnen, dass er die eine Polarisations richtung des DIC Strahlenganges möglichst vollständig sperrt und die andere mit möglichst geringer Abschwächung auf die Kamera passieren lässt. Dieser Polarisator kann entweder in Transmission oder in Reflektion arbeiten oder zu einer räum lichen Trennung der unterschiedlich polarisierten Strahlen führen. Dies bietet den Vorteil, dass der Aufbau weniger Kom plex in der Auslegung ist und keine besondere polarisations abhängige Justage benötigt, jedoch gehen Prinzip bedingt ca. 25 % der Lichtmenge verloren.
Vorteilhafterweise sind die Bilder der Lichtfeldkamera und der Farbkamera zueinander passend ausgerichtet und skaliert, damit z.B. in einem Topografiebild die 3D- bzw. Höheninformation der Lichtfeldkamera genutzt werden kann und zugleich die Farbinformation von der Farbkamera herangezogen und genutzt werden kann.
Bevorzugt erfolgt die Aufnahme mittels der Lichtfeldkamera und der Farbkamera zeitgleich. Dies kann z.B. durch eine ent sprechende Triggerung erreicht werden. Die Triggerung kann über eine Hardware oder auch über eine Software ausgeführt sein. Die Triggerung kann auch von einer ausgewählten ersten Kamera auf die zweite Kamera erfolgen, was auch als Master- Slave-Kopplung bezeichnet wird. Funktional muss sicherge stellt sein, dass die Bilder mit einem vorgegebenen zeitli chen Bezug, idealerweise zeitgleich, aufgenommen werden.
Durch mögliche Latenzzeiten in der Hard- und Software der Ka meras und der jeweiligen Ansteuerung können die Triggersig nale selber einen zeitlichen Abstand aufweisen. Die zeit gleiche Aufnahme ist von besonderem Vorteil für die Aufnahme von bewegten Zellen, z.B. in einer Durchflusszelle, und/oder lebenden Zellen bzw. Messobjekten.
Vorteilhafterweise erfolgt eine Kombination der Bilder von der Lichtfeldkamera und der hochauflösenden, weiteren Kamera nur für Bildbereiche ausschnittsweise, z.B. nur in einem Be reich, in dem in einem automatisierten Messprozess zu unter suchende Messobjekte erkannt oder detektiert wurden. Dies hat den Vorteil, dass eine erhöhte Messgeschwindigkeit erreicht werden kann, da entsprechend Rechenaufwand und Rechenzeit eingespart werden kann.
Je nach Anordnung im Strahlengang können unterschiedliche Ausgestaltungen vorteilhaft sein.
In einer vorteilhaften Ausgestaltung wird nur eine Polarisa tionsrichtung für das Farbbild genutzt und die Trennung der Strahlengänge für Farbkamera und Lichtfeldkamera erfolgt noch vor dem DIC-Analysator oder bereits vor einem objektivseiti gen DIC-Prisma. Die Teilung des Lichtfeldes kann bei der Aus richtung der Polarisation vor der Aufspaltung im Beleuch tungsmodul vorteilhafterweise so berücksichtig werden, dass nach dem DIC Prisma und DIC Analysator die beiden Polarisati onsanteile das gewünschte Intensitätsverhältnis, wie z.B. 1:1 für maximalen Kontrast, haben. Dies ist insbesondere dann be sonders vorteilhaft, wenn angefärbte Zellen abgebildet und analysiert werden sollen.
In einer weiteren vorteilhaften Ausgestaltung wird die Farb kamera für hochaufgelöstes DIC und die Plenoptik für einen erweiterten Tiefenmessbereich für eindeutiges unwrapping der Farbbereiche zur Messung von dickeren Zellen oder Zellclus tern genutzt. Eine hochaufgelöste relative Dickenmessung er folgt also mittels DIC indem die differentiellen Kontrastin formationen z.B. aufintegriert werden und eine großräumigere Zuordnung erfolgt mittels Plenoptik.
Bei ungefärbten Proben, z.B. Zellen, enthält der Amplituden kontrast kaum bis keine Information und das Farbbild wird vorteilhafterweise nur für Phasen- bzw. DIC-Kontrast herange zogen, der dann jedoch eine hohe laterale Auflösung aufweist mit einer echten Farbtrennung pro Pixel.
In einer vorteilhaften Ausgestaltung sind die Lichtfeldkamera und die hochauflösende Kamera, die vorteilhafterweise eine Farbkamera umfasst, relativ zueinander ausgerichtet bezüglich der Achsrichtungen des Sensorarrays und vorteilhafterweise auch dem subpixel genauen shift entlang der Achsenrichtungen des Arrays und/oder einem richtungsabhängigen Skalierungsfak tor für z.B. die x- und/oder y-Achse.
In einer vorteilhaften Ausgestaltung ist die Lage des Fokus der hochauflösenden Kamera auf den mittleren Messbereich der Lichtfeldkamera eingestellt. Dies hat den Vorteil, dass die Lichtfeldkamera prozessual auch ähnlich eines Autofokussys tems genutzt werden kann.
Bei kleinerer effektiver Blendenzahl f# erhöht sich die er reichbare Tiefenauflösung der Lichtfeldkamera . So kann eine Blendenzahl von 7 deutlich vorteilhafter sein als eine Blen denzahl 26. Eine geringere Blendenzahl bedeutet eine höhere bildseitige Apertur. Da die obj ektseitige Apertur bei den für biologische Proben typischen Immersion auf 1,4 beschränkt ist, ergibt sich die maximale bildseitiger Apertur zu NA Ka mera = 1 , 4/V.
Vorteilhafterweise ist am Mikroskop schon das Objekt mit der vollen Abbildungsapertur beleuchtet, um bildseitig die volle Apertur der working f# auszuleuchten damit die Lichtfeldka mera gut funktioniert und eine hohe laterale Abtastung be reitstellen kann. Günstigenfalls ist NA Beleuchtung = NA Ob jektiv. Das wird auch als inkohärente Beleuchtung mit Sigma = s = NA Beleuchtung / NA Objektiv = 1 bezeichnet.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen automatischen Analyzers ist am Mikroskop die inkohärente Be leuchtung Sigma größer als 0,8, bevorzugt größer als 0,9, be sonders bevorzugt 1,0, wobei Sigma gegeben ist als der Quoti ent aus der numerischen Apertur der Beleuchtung der Probe und der numerischen Apertur des Objektives und wobei es sich bei dem Mikroskop bevorzugt um ein Differential-Interferenz-Kon- trast (DIC) Mikroskop handelt.
In der Hämatologie ist dieses s = 1 bzw. s > 0,8 oder besser s > 0,9 sehr wichtig, da es sich bei den Blutzellen um schwach streuende Objekte handelt und somit die Apertur auch für ein Mikrolinsenarray in der Lichtfeldkamera ausreichend mit Licht gefüllt wird. Bisher wurden in der Regel in der Lichtmikroskopie zur Opti mierung des Kontrastes - insbesondere für die visuelle Be obachtung, aber auch bei Kameras - Beleuchtungen nach Köhler eingesetzt mit einem Sigma = 0,7. Dies würde jedoch hier zu einer nicht hinreichend mit Licht gefüllt Apertur führen und somit könnte keine genauere Tiefenbestimmung erfolgen. Zudem würde wegen der nicht ausgeleuchteten Pixel ein Großteil der räumlichen Auflösung verloren gehen. Dies hängt damit zusam men, dass die verwendete Pixelzahl für die Berechnung der Bilder näherungsweise quadratisch mit dem Wert
von Sigma ansteigt und bei s = 1 das Maximum nahe der voll ständigen Detektorauflösung erreicht.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Analyzers umfasst der Analyzer eine Probenzuführungseinrich tung für Objektträger, mittels der dem Analyzer Proben auf einem Objektträger zugeführt werden können.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Analyzers umfasst der Analyzer eine Durchflusszelle für die Zuführung der Probe, wobei bevorzugt die Objektebene des Mik roskops in der Durchflusszelle liegt. Bevorzugt handelt es sich bei der Durchflusszelle um eine mikrofluidische Durch flusszelle .
Dies hat den Vorteil, dass insbesondere Zellen oder Blutzel len in der natürlichen Umgebung abgebildet und analysiert werden können. Es kann insbesondre vermieden werden, dass die Zellen mittels Ausstrich auf einem Objektträger aufgebracht werden müssen, wo sie häufig getrocknet und/oder gefärbt wer den, was ihre ursprünglichen natürlichen Eigenschaften wie z.B. Form deutlich verändern kann. Weiter entfällt der ent sprechende Präparationsaufwand für das Herstellen von Aus strichen und das Anfärben und es wird im erheblichen Maße Ab fall vermieden durch den Wegfall des Verbrauchs von z.B. Objektträgern und Deckgläschen für die Ausstriche. Ebenfalls werden Aufbewahrungskapazitäten bezüglich der Ausstriche und der Verbrauchsmaterialien vermieden. Auf Systemebene des Ana- lyzers können die Vorrichtungen zum automatischen Wechseln der Ausstriche entfallen, was u.a. eine erhebliche Vereinfa chung des Geräteaufbaus ermöglicht.
Da die nutzbare Schicht in einer Durchflusszelle typischer weise mehrere Mikrometer dick ist, teilweise auch einige 10 gm dick, ist es schwierig die Zellen genau in der Objektebene der für die Untersuchung genutzten Mikroskop Optik zu positi onieren. Diesbezüglich ergibt sich eine gegenläufige Anforde rung von dem Wunsch nach hoher Auflösung einerseits und der nicht so präzisen Lage der Zelle in Richtung der optischen Achse andererseits.
Bevorzugt kann hier die Tiefenmessung der Lichtfeldkamera dann zum Optimieren der Ansteuerparameter der Mikrofluidik dienen, um so z.B. den Fokus passend einzustellen, dass auch die 2D hochauflösenden Bilder scharf sind. Eine Belichtung und 3D Bilder ist auch ein Mehrwert ohne Interferometrie, wie bei DHM, was aufwendig und komplex ist und z.T. Störungen durch Effekte mit zeitlich und/oder räumlich kohärenter Strahlung hat.
Mit steigender numerischer Apertur NA der Optik wird die la terale Auflösung besser über die Beziehung d = 0,5 l/NA. An dererseits verkleinert sich mit der numerischen Apertur die Schärfentiefe gemäß d = ± l/NAL2. Bei 500 nm Wellenlänge und NA = 0,7 ergibt sich dann eine Schärfentiefe von insgesamt 2 gm, was z.B. ungefähr der Dicke roter Blutkörperchen ent spricht .
Bei den bisher gebräuchlichen Geräten wird mit einer Optik mit Aperturen von NA = 0,5 gearbeitet, was dann bei 500 nm einer Schärfentiefe von insgesamt d=4 gm entspricht. Über die NA = 0,5 ist die erreichbare laterale Auflösung auf d = 0,5 gm begrenzt. Bisher musste also ein entsprechender Kompromiss mit der Wahl der numerischen Apertur zum Ausgleich zwischen lateraler Auflösung und Schärfentiefe gewählt werden. Die ge nannten Beziehungen beschreiben in der gängigen Theorie das Auflösungsvermögen optischer Instrumente.
In einem erfindungsgemäßen automatischen Analyzer mit einer entsprechenden Lichtfeldkamera kann der Tiefenmessbereich, also der Bereich, wo scharfe Bilder aufgenommen werden um ei nen Faktor von etwa 4 bis etwa 6 vergrößert werden. Im Gegen zug sinkt die laterale Auflösung der Lichtfeldkamera um einen Faktor 2.
Da bei der Auswahl der verwendeten Optik die Vergrößerung und die Apertur weitgehend unabhängig voneinander gewählt werden können, kann dieser Effekt jedoch gut kompensiert werden. Wählt man z.B. eine größere Vergrößerung und auch eine höhere Apertur, so lässt sich der Effekt entsprechend positiv ver wenden .
Wird beispielsweise eine Vergrößerung von 60-fach bis 80-fach und eine Apertur von NA 0,7 gewählt, ergeben sich über schlagsmäßig für 500 nm Wellenlänge die folgenden Werte. NA = 0,7, d = 0,36 gm, Schärfentiefe d = 1,05 pm. Mit dem Effekt zur Vergrößerung des Tiefenarbeitsbereichs aus der plenopti- schen Kamera ergeben sich Werte für eine erhöhte Schärfen tiefe von d = 5,25 pm, unter Annahme einer Erhöhung um etwa einen Faktor 5.
Wird beispielsweise eine Vergrößerung von 60-fach bis 80-fach und eine Apertur von NA 0,9 gewählt, ergeben sich über schlagsmäßig für 500 nm Wellenlänge die folgenden Werte. NA = 0,9, d = 0,28 pm, Schärfentiefe d = 0,62 pm. Mit dem Effekt zur Vergrößerung des Tiefenarbeitsbereichs aus der plenopti- schen Kamera ergeben sich Werte für eine erhöhte Schärfen tiefe von d = 3,10 gm, unter Annahme einer Erhöhung um etwa einen Faktor 5.
Mittels des erfindungsgemäßen Einsatzes der Lichtfeldkamera in einem Zellanalysator kann also der Tiefenarbeitsbereich stark vergrößert werden, was dann entsprechend die Verwendung einer Durchflusszelle ermöglicht. Es wird insbesondere eine vollständigere oder vollständige Erfassung der Ausdehnung ei ner Zelle über die Höhenausdehnung der Strömung der Durch flusszelle möglich. Dies ermöglicht insbesondere präzise Un tersuchungen an typischerweise ungefärbten Zellen. Für be stimmte Untersuchungen kann es jedoch auch vorteilhaft oder notwendig sein, dass die Zellen in dem Medium der Mikroflu- idik angefärbt werden.
Ein weiterer Vorteil ist, dass die Parameter der Durchfluss zelle in Bezug auf Fokussierung und/oder Lage der Zelle in einem weiteren Parameterbereich liegen können und z.B. auf eine entsprechende spezielle Optimierung verzichtet werden kann .
In bevorzugter Ausgestaltung umfasst das Gesichtsfeld des Mikroskops die volle Breite der Durchflusszelle, durch welche Zellen strömen können. Dieser Bereich hat vorteilhafterweise eine Breite von wenigen 1/10 mm bis zu wenigen mm.
In einer bevorzugten Ausführungsform des automatischen Analy- zers umfasst der Analyzer sowohl Mittel, um Objektträger mit Zellen anschauen zu können und/oder um Zellen in der Durch flusszelle anschauen zu können. Vorteilhafterweise sind dabei die Abmessungen der Durchflusszelle auf die Maße der Objekt träger, insbesondere deren Dicke und damit der optischen Wir kungen, abgestimmt. Die Abdeckung der Durchflusszelle- also die Deckscheibe und ggf. auch fluidische Medien, die sich zwischen dem Bereich bzw. der Ebene der Zellen und der äuße ren Oberfläche der
Durchflusszelle befinden, haben vorteilhafterweise ebenfalls optisch die gleiche Wirkung, z.B. bezüglich optischer Weglän gen, Dispersion und/oder Brechungsindex, so dass dieselben Optiken verwendet werde können und die gleiche bestmögliche Abbildungsqualität erhalten bleibt. Bevorzugt kann ein Umfo kussieren erfolgen, um sich z.B. an Fertigungstoleranzen an zupassen. Typische Deckglasdicken sind im Bereich unter 0,2 mm, typisch 0,15 bis 0,17 mm. Die lateralen Abmessungen von Objektträgern sind beispielsweise 76 mm mal 26 mm oder 75 mm mal 25 mm gemäß DIN ISO 8037-1 bei einer
Dicke im Bereich von 1 mm bis 1,5 mm. Die Abmessungen der Durchflusszelle ergeben sich dann vorteilhafterweise entspre chend .
In bevorzugter Ausgestaltung ist die Bewegungsgeschwindigkeit der Zellen in der Durchflusszelle im Abbildungsbereich des Mikroskops an die Belichtungszeit der eingesetzten Bildauf nahmesysteme angepasst. Die Bewegung ist dabei typischerweise kleiner als U Pixel (pxl), bevorzugt kleiner als 1/5 pxl, be sonders bevorzugt kleiner als 1/10 pxl. Dies hat den Vorteil, dass Motion-Blurring-Effekte verringert oder ganz vermieden werden können.
In einer weiteren vorteilhaften Ausgestaltung des erfindungs gemäßen Analyzers umfasst der Analyzer eine Probenzuführungs einrichtung für Objektträger. Dies kann besonders dann vor teilhaft sein, wenn z.B. Gewebeschnitte oder andere medizini sche Präparate untersucht werden sollen.
Ein weiterer Gegenstand der Erfindung ist ein Verfahren zum Ermitteln einer zweidimensionalen oder dreidimensionalen Information einer Zelle mittels eines erfindungsgemäßen Ana- lyzers, das Verfahren umfassend die Schritte
a) Zuführen einer Probe mit einer Zelle zu dem Mikroskop, b) Aufzeichnen der von der Zelle in der beleuchteten Probe ausgehenden Lichtstrahlen mittels des digitalen Aufzeich nungsgeräts,
c) Abbildung des im Mikroskop abgebildeten Lichtfelds aus dem Objektbereich mittels der Lichtfeldkamera, wobei die Licht feldkamera das digitale Aufzeichnungsgerät umfasst.
d) Ermittlung einer zweidimensionalen oder dreidimensionalen und/oder volumetrischen Information der Zelle aus in Schritt b) aufgezeichneten Informationen der Lichtstrahlen und/oder Informationen des in Schritt c) abgebildeten Lichtfeldes.
Vorteilhafterweis können Schritte b) und c) auch zu einem Schritt verbunden werden, wobei der Schritt dann umfasst
- Abbildung des im Mikroskop abgebildeten Lichtfelds aus dem Objektbereich mittels der Lichtfeldkamera und
- Aufzeichnen der von der Zelle in der beleuchteten Probe ausgehenden Lichtstrahlen mittels des digitalen Aufzeich nungsgeräts, wobei die Lichtfeldkamera das digitale Aufzeich nungsgerät umfasst
Bevorzugt werden in Schritt b) die von der Zelle in der be leuchteten Probe ausgehenden Lichtstrahlen zunächst fokus siert und dann mittels des digitalen Aufzeichnungsgeräts auf gezeichnet. Bevorzugt erfolgt eine Konversion der Photonen in elektrische Ladung mit anschließender Bestimmung einer La dungsmenge und Digitalisierung des Wertes für die Ladungs menge .
Anstelle von der Zelle kann bevorzugt auch von einem medizi nischen Präparat eine zweidimensionale oder dreidimensionale Information entsprechend ermittelt werden. Bevorzugt wird die Probe in Schritt a) mittels einer Durch flusszelle dem Analyzer zugeführt, wobei die Objektebene des Mikroskops in der Durchflusszelle liegt. Bevorzugt umfasst die Durchflusszelle Mittel, die es ermöglichen, durch eine entsprechende Ansteuerung der Durchflusszelle die Zellen in einer ausgezeichneten Ebene in der Durchflusszelle anzurei chern. Bevorzugt ist die Objektebene auf die ausgezeichnete Ebene eingestellt, so dass die Objektebene und die ausge zeichnete Ebene vorteilhafterweise zusammen fallen.
Bevorzugt wird die Probe in Schritt a) mittels einer Proben zuführungseinrichtung für Objektträger dem Analyzer auf einem Objektträger zugeführt.
Bevorzugt umfasst das Verfahren weiter einen Schritt, in dem ein Bild in einer Objektebene im Objektbereich mittels einer weiteren Kamera zum Aufnehmen eines Bildes in der Objektebene im Objektbereich vorgesehen ist, wobei die weitere Kamera eine laterale Auflösung aufweist, die höher als die laterale Auf lösung der Lichtfeldkamera ist, wobei die Auflösung der wei teren Kamera bevorzugt die doppelte, besonders bevorzugt die vierfache Auflösung der Lichtfeldkamera beträgt und wobei be vorzugt die weitere Kamera ein größeres Gesichtsfeld als die Lichtfeldkamera aufweist.
Bevorzugt ist die weitere Kamera eine Farbkamera, bevorzugt eine 3-Chip Farbkamera.
Bevorzugt sind die Zellen und/oder die medizinischen Präpa rate nicht angefärbt. In diesem Fall sind die erweiterten Kontrastierungsmethoden wie z.B. Phasenkontrast und/oder dif- ferenzieller Interferenzkontrast, insbesondere zur Abbildung von Zellen, besonders vorteilhaft. Bei z.B. Sedimenten oder anderen Proben kann gegebenenfalls auch Amplitudenkontrast vorteilhaft sein. In einer bevorzugten Ausgestaltung des Verfahrens umfasst das Verfahren weiter den Schritt
e) digitale Refokussierung oder Fokusvariation mittels der in Schritt d) ermittelten zweidimensionalen oder dreidi mensionalen und/oder volumetrischen Information der Zelle entlang der optischen Achse des Mikroskops, wobei bevorzugt die digitale Refokussierung rechnergestützt und/oder nume risch erfolgt.
Dies hat den Vorteil, dass durch die erfindungsgemäß vorgese hene Refokussierung oder Fokusvariation erstmals eine tele- metrische Befundung in der Hämatologie ermöglicht wird. Somit werden auch konsiliarische Befundungen z.B. durch Experten an anderen Standorten oder auch eine Nachbefundung ermöglicht.
Um dies mit der etablierten hohen Qualität der Befundung ge mäß des Standard of care durchzuführen, ist es unerlässlich, dass dem Nachbefundenden oder konsiliarischen Arzt eine Mög lichkeit zur Fokussierung durch die Zellebene hindurch zur Verfügung gestellt wird.
Im Stand der Technik wurde bisher der entsprechende Objekt träger mit den betreffenden fraglichen Zellen körperlich aus z.B. einem Magazin, einer Lagerdose oder einem Archiv heraus geholt und dann unter ein Mikroskop gelegt und das Bild je weils auf die jeweilige Zelle fokussiert. Anhand relativ un genauer Ortsinformationen bezüglich der Position der jeweili gen Zellen auf dem Objektträger wurde dann versucht, die je weiligen Zellen wieder aufzufinden. Falls die Zellen wieder gefunden wurden, wird die Befundung vorgenommen. Für die Be fundung selbst analysiert der Arzt das optische Bild der Zel len und fokussiert meist auch durch die Zelle hindurch. Daher sind die bisher bekannten Systeme und Methoden für die de taillierte Nachbefundung nicht oder nur sehr bedingt geeig net, da die Ärzte das einmal aufgenommene Zellbild nicht mehr durchfokussieren können und somit eine für die Befundung wichtige Tiefeninformation nicht zugänglich ist.
Ein Vorteil der vorliegenden Erfindung liegt also darin, dass Zellbild als dreidimensionales Bild aufzunehmen, um so dem Arzt am digital abgespeicherten Bild eine frei einstellbare und jederzeit, auch nachträglich wählbare Fokussierung auf unterschiedliche Fokusebenen zu ermöglichen. Der Arzt muss dabei nicht länger selbst an einem Mikroskop sitzen, sondern der Vorgang kann räumlich und zeitlich unabhängig von der Probe vorgenommen werden. Da das Bild rein digital vorliegt, tritt über die Zeit seit der Aufnahme des Bildes keine Ver schlechterung der Daten, im Gegensatz zu den bisher gebräuch lichen Vorgehensweisen, bei denen die archivierten Proben über die Zeit altern und sich in ihrem Zustand verschlech tern. Für jede Nachbefundung würde die Probe wieder in das Mikroskop eingelegt und mit Immersionsöl beaufschlagt. Nach Befundung wird dann die Probe wieder gereinigt, was auch zu Beschädigungen führen kann und insgesamt einen gewissen zeit lichen Aufwand darstellt.
Ein weiterer Vorteil liegt darin, dass wenn sich mehrere Zel len auf einem Bild befinden, der Fokus nacheinander bezüglich jeder einzelnen der jeweiligen abgebildeten Zellen entspre chend eingestellt und variiert werden kann.
In einer weiteren bevorzugten Ausgestaltung des Verfahrens umfasst das Verfahren weiter den Schritt
f) Zuordnung der Zelle zu einem Zellentyp anhand vorbe stimmter Informationen und der in Schritt d) ermittelten zweidimensionalen, dreidimensionalen und/oder volumetrischen Information der Zelle. Dies hat den Vorteil, dass eine automatisierte Zuordnung der Zelle zu einem Zelltyp besonders zuverlässig und weniger feh leranfällig vorgenommen werden kann.
Ein weiterer Gegenstand er Erfindung ist ein Verfahren zur Zuordnung einer Zelle zu einem Zellentyp, umfassend ein er findungsgemäßes Verfahren zum Ermitteln einer zweidimensiona len und/oder dreidimensionalen und/oder volumetrischen Infor mation der Zelle, wobei an einem ersten Ort die Schritte a) bis d) ausgeführt werden, und wobei die in Schritt d) ermit telten Informationen über eine Daten- und/oder Netzwerkver bindung digital an einen zweiten Ort übertragen werden, und wobei am zweiten Ort Schritt e) und f) durchgeführt werden.
Gegenstand der Erfindung ist auch ein entsprechendes Verfah ren zur Zuordnung einer Zelle zu einem Zellentyp, wobei je doch das Ermitteln einer zweidimensionalen oder dreidimensio nalen oder volumetrischen Information der Zelle anhand eines sonstigen geeigneten Verfahrens zum Ermitteln einer zweidi mensionalen oder dreidimensionalen und/oder volumetrischen Information der Zelle erfolgt.
Dies hat den Vorteil, dass eine Telemedizin für die Hämatolo gie ermöglicht wird. Z.B. werden hierdurch konsiliarische Be fundungen von Experten an anderen Standorten möglich. Somit kann an einer aufgenommenen Zelle eine Feindiagnose mit Fo kussieren auch remote vorgenommen werden. Weiter ermöglicht dies eine Konsultation eines Zweitarztes zur Nach- bzw. Ge genklassifizierung zur Absicherung der Diagnose in der Daten bank. So kann z.B. auch ein Ground-Truth Datensatz mit beson deren und insbesondere seltenen Pathologien entstehen, da sich über die Remote Funktionalität und die Befundung mit 3D Bildern die Ärzte weltweit leichter und effizienter zusammen schließen können Vorteilhafterweise werden gesicherte Befunde in Cloud-Server- Datensätzen zur automatischen Erweiterung eines Trainingsda tensatzes, insbesondere bei pathologischen Fällen, genutzt.
Vorteilhafterweise wird ein weltweit lernendes System etab liert. Dies ermöglicht es, dass auch für sehr seltene Krank heitsbilder schnellstmöglich größere Datensätze zusammen kom men können. Diese Datensätze können dann vorteilhafterweise auch für automatische Computerlernalgorithmen genutzt werden, so dass letztlich auch für die automatisierte Bewertung und/oder Zuordnung der Zellen eine breitere und abgesicherte Basis verfügbar ist.
Vorteilhafterweise werden auch die Patientendaten in einer Datenbank vorgehalten. Dies hat den Vorteil, dass auch später auftretenden Krankheitsbildern frühere Datensätze zu Blut bildaufnahmen analysiert werden und auf Auffälligkeiten un tersucht werden können, so z.B. im Falle der Hämatologie, um sehr frühe Entwicklungsstufen oder Anzeichen einer Leukämie zu entdecken bzw. zu erkennen. Sind diese Daten von einem System gelernt, kann diese Analyse auf den Bildern automati siert und ohne Mehraufwand ablaufen, da die Zellbilder vor teilhafterweise von Computern vorausgewertet werden.
Bevorzugt erfolgt die Darstellung der Zellen und/oder Proben mittels einer 3D Anzeigeeinrichtungen, bevorzugt z.B. einem autostereoskopischen 3D Display. Dies ermöglicht dem Arzt ei nen neuartigen 3D Seheindruck der zu untersuchenden Zellen und/oder Proben geben zu können. Insbesondere wird dieser Vorteil auch in der Telemedizin erfindungsgemäß erzielt.
Vorteilhafterweise wird ein kompaktes Datenformat für die Bilddaten aus der Lichtfeldkamera eingesetzt. Bevorzugt wer den die Bilddaten komprimiert. Dies ermöglicht es, den benö tigten Speicherplatz möglichst klein zu halten, was erst die Speicherung der vielen Patientendatensätze ermöglicht, die dann als Ground Truth z.B. auch für ein computerlernendes System verwendet werden können im Sinne einer automatisierten Medizin und/oder als wertvolles Assistenzsystem für Ärzte.
Vorteilhafterweise erfolgt eine Nutzung von Cloud-Lösungen und/oder Server-Lösungen für die Bildspeicherung und Daten der Befundung und vorteilhafterweise auch für die Sicherung erweiterter Daten, welche Person, z.B. Arzt, wann und auf welchem System mit welcher Konfiguration oder auch welchem Softwarestand die betreffende Zelle befundet hat oder auch wann und wo die betreffende Probe dem Patienten entnommen wurde und Informationen über den Transport in das Labor. Al ternativ können diese Informationen bevorzugt auch über eine Verknüpfung mit einem anderen Speichersystem bereitgestellt werden. Vorteilhafterweise wird auch der Zeitpunkt der Befun dung entsprechend abgespeichert.
Ein weiterer Gegenstand der Erfindung ist ein Verfahren zur digitalen Anfärbung einer Zelle, das Verfahren umfassend ein erfindungsgemäßes Verfahren zum Ermitteln einer zweidimensio nalen oder dreidimensionalen Information einer Zelle mittels eines erfindungsgemäßen Analyzers und zusätzlich die folgen den Schritte
g) digitales Anfärben der Zelle entsprechend einer vor bestimmten Zuordnung zwischen den zweidimensionalen oder dreidimensionalen und/oder volumetrischen Informationen der Zelle und einer Färbung einer entsprechenden Zelle und/oder einer Struktur innerhalb der Zelle mittels ei nes Färbeprotokolls,
h) Darstellen eines Bildes der digital angefärbten
Zelle .
Bevorzugt wird anstelle der Zelle ein medizinisches Präparat entsprechend angefärbt. Vorteilhafterweise handelt es sich bei den zweidimensionalen oder dreidimensionalen und/oder volumetrischen Information der Zelle um geometrische Informationen der Struktur der Zelle bzw. des medizinischen Präparats.
Dabei wird unter einer zweidimensionalen Information z.B. eine Bildinformation verstanden, die einen Objektbereich in ein flächenhaftes Bild abbildet mit den lateralen Koordinaten in X- und Y-Richtung, die die Fläche beschreiben und aufspan nen. Die einzelnen Bildpunkte eines zweidimensionalen Bildes werden auch als Pixel bezeichnet.
Unter einer dreidimensionalen Bildinformation wird z.B. ver standen, dass das Bild neben der flächenhaften Bildinforma tion zusätzlich zumindest für einen Bildpunkt auch eine Tie feninformation in axialer Richtung des Abbildungsstrahlengan ges enthält, also z.B. in Z-Richtung, die linear unabhängig von der X- und der Y-Richtung ist. Ein Beispiel für eine dreidimensionale Bildinformation könnte z.B. ein Konturbild sein, dass in der z-Richtung die Topografie des Objektes wie dergibt .
Als volumetrische Information wird z.B. bezeichnet, wenn das Bild über einen flächenhaften Bereich in X- und Y-Richtung zudem auch in Z-Richtung für unterschiedliche Z-Werte eine Information beinhaltet. Beispielsweise können die X-, Y- und Z-Achse jeweils mit Inkrementen gleicher Größe geteilt sein, so dass kleine Volumenelemente entstehen, die auch als Voxel bezeichnet werden. Eine Bildinformation, die über Voxel be schrieben ist, ist eine Form der volumetrischen Information. Volumetrische Bilddaten werden z.B. in der Tomografie verwen det. Wenn die Voxelinformation nur für wenige Bildpunkte bzw. Voxel vorliegt, kann die Information auch in Form sogenannter Punktewolken dargestellt sein, wo jeder der Punkte z.B. über seine X-, Y- und Z-Koordinate repräsentiert ist. Die volumet rische Information ist eine erweiterte Darstellung für eine dreidimensionale Bildinformation, die insbesondere bei kom plexer strukturierten Objekten vorteilhaft ist.
Zur eindeutigen Interpretation der Bilddaten mit zweidimensi onaler, dreidimensionaler und volumetrischer Information ist es im Allgemeinen nötig, dass bekannt ist, in welchem Koordi natensystem, z.B. kartesisch oder zylindrisch, und mit wel cher Orientierung der Koordinatenachsen das zugrunde gelegte Koordinatensystem definiert ist.
In weiteren vorteilhaften Ausgestaltungen handelt es sich bei den zweidimensionalen oder dreidimensionalen und/oder volu metrischen Information um Informationen bezüglich intrazellu lärer Strukturen wie z.B. Zellorganellen und/oder geometri schen Strukturen eines Gewebeschnitts. Informationen bezüg lich optischer Pfadlängen entsprechen im Allgemeinen ohne Weiteres keinen geometrischen Informationen und es handelt sich daher bei optischen Pfadlängen diesbezüglich nicht um geometrische Informationen.
Bevorzugt handelt es sich bei dem Färbeprotokoll um das Fär beprotokoll May-Grünwald-Giemsa, Modified-Wright Färbung, Wright-Gimsa Färbung und/oder Romanowsky Färbung.
Bevorzugt wird bei der digitalen Färbung der Zelle eine Farb verteilung nach einem der oben genannten Färbeprotokolle an gewendet. Bevorzugt werden dazu Bilder des technischen Kon- trasts aus Schwarz/Weiß und oder gemäß von erweiterten Kon- trastverfahren mittels durch Computerlernen bestimmter Färbe eigenschaften umgefärbt. Dazu werden bevorzugt 3D und/oder volumetrische Informationen verwendet, da dies vorteilhaft gegenüber der Verwendung eines reinen 2D Farbmappings ist. Die erfindungsgemäßen Verfahren zur digitalen Anfärbung einer Zelle haben den Vorteil, dass das Digitale Färben der Zellen nachträglich im digitalen Bild erfolgen kann. Dadurch entfal len die zusätzlichen Schritte des Färbens der Südes in der Probenpräparation . Dies führt zu erheblichen Zeit- und Kos tenersparnissen. Weiter werden hierdurch Unterschiede zwi schen verschiedenen Laboren oder Regionen vermieden.
Hierdurch wird es erst möglich, beim digitalen Färben den Un terschieden der Labore bei der Umsetzung eins Färbeprotokolls für die gewünschte Farbgebung oder auch den unterschiedlichen regional gebräuchlichen Färbeprotokollen Rechnung zu tragen und diese den Gewohnheiten des jeweiligen Arztes unabhängig vom Ort der tatsächlichen Blut- bzw. Gewebeuntersuchung ent sprechend umzusetzen.
Ein weiterer Vorteil ist, dass ein Wechsel zwischen unter schiedlichen Färbemodellen möglich ist, um z.B. spezifischer für bestimmte Pathologien zu sein.
Vorteilhafterweise handelt es ich bei dem Färbeprotokoll um ein künstliches Farbmodell, das z.B. bestimmte kritische Merkmale betont, um Ärzten die Befundung zu vereinfachen oder etwa unerfahreneren Ärzten die Diagnose überhaupt erst zu Ermöglichen. Das künstliche Farbmodell kann dabei ähnlich ei ner Falschfarbendarstellung für technische Bilder ausgestal tet sein, z.B. ähnlich wie bei Wärme- oder IR-bildern, die als Farbbild dargestellt werden. So können auch innerhalb der Befundung ein und derselbe Zelle einfach die Färbemodelle ge wechselt werden, was bei einer klassischen chemischen Färbung nicht möglich wäre.
Bevorzugt werden Zellen, die unterschiedlichen Klassen zuge ordnet sind, unterschiedlich digital gefärbt. Vorteilhafter weise werden alle Zellen im Bild, die aktuell nicht betrach tet werden sollen, ausgeblendet. Bevorzugt wird alternativ nur eine ausgewählte Menge von unterschiedlichen Zellgruppen dargestellt .
Bevorzugt werden die 3D Informationen der Zellen, ggf. auch in Kombination mit den erweiterten Kontrastierungsmethoden wie Phasenkontrast oder DIC, genutzt, um die wegfallende Far binformation der entfallenden unmittelbaren Färbung durch die 3D Information zu ersetzen. Dies ermöglicht es, die entspre chend gelernte Information bezüglich des ungefärbten Bildes möglichst robust und weniger fehleranfällig in die Farbinfor mation umzusetzen.
Bevorzugt wird die vorbestimmte Zuordnung zwischen den zwei dimensionalen oder dreidimensionalen oder volumetrischen In formationen der Zelle und einer Färbung einer entsprechenden Zelle und/oder einer Struktur innerhalb der Zelle mittels ei nes Färbeprotokolls wie folgt in einer Lernphase ermittelt.
Hierzu wird zunächst die Zelle oder werden die Zellen ohne Färbung in einem ersten Bild abgebildet. Anschließen erfolgt eine Färbung der Zellen gemäß des jeweilig gewünschten Färbe protokolls. Dann wird die gefärbte Zelle oder werden die ge färbten Zellen in einem zweiten Bild abgebildet. In dem ers ten und zweiten Bild wird dann die Zelle (bzw. die Zellen) erkannt und segmentiert und die ungefärbten und gefärbten Zellen werden jeweils entsprechend zugeordnet.
Vorteilhafterweise werden die Zellen nach Zelltyp gruppiert, z.B. rote Blutzellen (RBC) , weiße Blutzellen (WBC) (ggf. in- klusiv 5 Part Diff.) und/oder klassifiziert, z.B. mittels Computerlernen und/oder neuronalen Netzen.
Im nächsten Schritt erfolgt das Computerlernen der Charakte ristika der Färbung für jede der Zellgruppierungen getrennt voneinander und es wird anschließend eine spezifische digitale Färbevorschrift für die ungefärbten Zellen, vorteil hafterweise separat für jede Zellgruppierung, erstellt.
Zur Verifizierung der digitalen Färbevorschrift erfolgen dann eine Anwendung der Färbung auf die ungefärbten Zellen und ein Vergleich mit einer Bewertung des Ergebnisses der digitalen Färbung mit der tatsächlich gefärbten Probe, wobei ein mög lichst gleiches Aussehen der gefärbten und digital gefärbten Zellen angestrebt wird. Vorteilhafterweise erfolgt dann eine Bewertung des Ergebnisses gemäß vorgebestimmten Qualitätskri terien und/oder nach maximal erlaubten Restabweichungen.
Wegen der in der Medizin immer sehr kritischen Frage der Farbechtheit können die Farbabweichungen auch gegen einen ex ternen Bezugsstandard bewertet werden, wie er z.B. in DICOM für Displays und Anzeigegeräte beschrieben ist. Da der Stan dard nicht für diesen Anwendungsfall geschrieben ist, können die Bewertungen ggf. nur sinngemäß übertragen und angewendet werden. Das Färbemodell wird entsprechend für jedes Färbepro tokoll und jede Zellgruppierung individuell bzw. gezielt er stellt, überprüft und abgespeichert.
Zur digitalen Anfärbung einer Zelle wird bevorzugt wie folgt vorgegangen. Zunächst wird das gewünschte Färbeprotokoll aus gewählt und die ungefärbten Zellen werden in einem ersten Bild abgebildet. Die Zelle oder die Zellen werden in dem ers ten Bild segmentiert. Dann erfolgen eine Zuordnung der Zellen zu Zellgruppierung und/oder eine Bestimmung des Zelltyps für die Auswahl eines zellspezifischen Färbemodells. Im nächsten Schritt wird die Zelle oder werden die Zellen angefärbt. An schließend erfolgt die Anzeige eines digital gefärbten Bil des, z.B. eines Blutausstrichs, auf einer Ausgabeeinheit.
Vorteilhafterweise wird dasselbe ungefärbte Bild in der pas senden, jeweils regional üblichen Färbung eingefärbt. Dies ermöglicht die gemeinsame Befundung einer Probe durch Exper ten, die an voneinander abweichende Färbungen gewöhnt sind.
Auch ist ein Austausch des jeweiligen Färbeprotokolls jeder zeit möglich, unabhängig davon, ob die ursprüngliche Blut probe noch vorhanden ist, zum z.B. weitere Blutausstriche zu machen. Ein weiterer großer Vorteil beim digitalen Umfärben ist, dass ein und dieselbe Zelle unterschiedlich gefärbt wer den kann, was bei einer chemischen Färbung der realen Zelle nicht möglich ist. Dies ermöglicht z.B. auch die regional übergreifende Konsultation über bisherige Grenzen von Färbe protokollanwendungen hinaus. Aufgrund der vollständig digital vorliegenden Information erübrigen sich bisherige Problemfel der, wie z.B. ausbleichen der Probe über die Zeit.
Weiter wird ermöglicht, dass bei etwaigen Nachuntersuchungen zu spezifischen Patienten auch Färbeprotokolle anwendbar wer den, die zum Zeitpunkt der ursprünglichen Befundung noch nicht bekannt oder nicht verfügbar waren. Diese ermöglicht es, dass der medizinische Fortschritt bezüglich des Standard of Care auch für bestehende Proben bzw. deren Bilder anwend bar ist und zu entsprechend qualitativ höherwertigen Befun dungen führen kann.
Bisher wurden die Blutausstriche in einem vorgelagerten, auf wändigen Schritt angefärbt, um die Zellen im Blutausstrich für das Mikroskop und die Beobachtung durch den Arzt hinrei chend gut sichtbar zu machen, um sie mit der hochauflösenden optischen Mikroskopie analysieren zu können. Diese Methode ist seit vielen Jahrzehnten gebräuchlich und etabliert. Welt weit sind diesbezüglich verschiedene Färbeprotokolle wie z.B. May-Grünwald-Giemsa, Modified-Wright-Stain, Wright-Giemsa Stain, Romanowsky Stain etabliert, wobei sich selbst inner halb der Protokolle laborspezifische Unterschiede ergeben können, da manche Labore die Färbung geringfügig nach ihren Wünschen adaptieren. Dies führt dazu, dass die Vergleichbar keit der Analyse von Blutausstrichen nur begrenzt möglich ist, insbesondere da in der automatisierten Analyse und Klas sifikation von Blutausstrichen nur Zellen gut miteinander verglichen werden können, die nach demselben Protokoll ange färbt worden sind. Ein weiterer Nachteil der bisherigen Vor gehensweise ist, dass der Farbstoff eine Einwirkzeit auf die ausgestrichene Blutprobe von etwa 10 - 15 Minuten benötigt. Dies kann bei Analysen zu akuten Krankheitsbildern sehr nach teilig sein.
Bei der erfindungsgemäßen digitalen Anfärbung einer Zelle handelt es sich bevorzugt um ein in einem erfindungsgemäßen Analysator digital aufgenommenes Bild einer bevorzugt unge färbten Zelle. Dieses Bild der Zelle wird dann in einer Nach bearbeitung so eingefärbt, wie es der Arzt von den nach den unterschiedlichen gebräuchlichen Färbeprotokollen gefärbten Zellen gewohnt ist.
Bevorzugt sollte möglichst vermieden werden, der Probe Farb stoff zur Anfärbung der Zelle zuzuführen, wenigstens bevor diese einmal abgebildet wurde.
Bevorzugt können erfindungsgemäß mit der neuen digitalen An färbung für unterschiedliche Zelltypen auch unterschiedliche Färbeprotokolle ausgewählt werden, weil z.B. deren Spezifika für den jeweiligen Zelltyp besonders gut passen. So könnte ein Arzt bzw. Hämatologe oder Pathologe persönliche Färbe schemata erstellen, wo er einem Zelltyp eine bestimmte Fär bung zuordnet und die bisherige Einschränkung von nur einer Färbung für ein Slide komplett durchbrochen und aufgehoben wird. In Erweiterung dieser „individuellen" Färbung können vorteilhafterweise auch generische digitale Färbeprotokolle entstehen, die zur besseren Erkennbarkeit von Merkmalen und Strukturen den technischen Farbraum weiter nutzen. Die chemische Färbung arbeitet, in jedem Färbeschritt typischer weise, im Wesentlichen über einen Farbstoff, der sich in un terschiedlichen Mengen an geeignete bindungsfähige Zellstruk turen anlagert. Je mehr Farbstoff sich anlagert, umso mehr Licht wird aus dem Spektrum des Beleuchtungslichtes gemäß des Absorptionsspektrums des jeweiligen Farbstoffes heraus absor biert. Das Transmissionsbild enthält so eine höhere Farbsät tigung (S) für den/die Farbwert/e des Farbstoffs (V) . Werden mehrere Farbstoffe in einem Färbeprotokoll gleichzeitig oder seriell angewendet, die sich an unterschiedlichen Stellen der Zellstruktur anbinden, so überlagern sich die Effekte. Jeder Farbstoff verändert für seine spezifischen Farbwerte V je nach Menge des angelagerten Farbstoffs dann den Sättigungs wert S. Über die Zahl Farbstoffe und deren spezifischen spektralen Charakteristika ist die Zahl der veränderten Farb werte V begrenzt. Typische Färbungen in der Medizin liegen im rot-blauen Bereich, so dass z.B. Farbwerte im grünen oder gelben Spektralbereich nahezu unverändert bleiben. Die digi tale Färbung kann vorteilhafterweise sowohl mir schärferer Farbtrennung als auch mit breiterer Abdeckung im optischen Spektrum arbeiten.
Bei manchen Untersuchungen kann es jedoch vorteilhaft sein, nicht völlig auf die Zugabe von Farbstoffen und/oder pharma zeutischen und/oder chemischen Zusatzstoffen zu verzichten. Z.B. bei Reticulozyten hat der Farbstoff neben der reinen Farbwirkung noch den gewünschten Nebeneffekt, dass die in der Zelle noch verfügbare RNA verklumpt und erst dadurch im Mik roskop abbildbar und kontrasttierbar wird. Die unverklumpte RNA ist von der Dimension her kleiner als es mit herkömmli chen optischen Mikroskopen auflösbar wäre.
Der Gegenstand der Erfindung basiert auf einem optischen Mik roskop, das vorteilhafterweise zur Bildaufnahme mit erweiter ten optischen Kontrastierungsmethoden ausgestattet ist. Diese erweiterten Kontrastierungsmethoden können beispielsweise um fassen Phasenkontrast (PC) , Differential-Interferenzkontrast (DIC) , Polarisationskontrast (POL) , Interferometrie (bevor zugt in der Ausführung als digitales holografisches Mikroskop (DHM) ) , Hyperspectral Imaging (Reiner Farbkontrast in einem erweiterten Spektralbereich, z.B. UV, VIS, NIR, MIR und/oder FIR oder ausgewählten Teilbereichen daraus), und/oder Struk turierte Beleuchtung (z.B. mit vorbestimmten Intensitätsver teilungen und/oder Phasenverteilungen, bevorzugt in der Pu pillenebene eingestellt) .
Bevorzugt sind unterschiedliche Kontrastierungsmethoden an einem Mikroskopiersystem parallel vorhanden, insbesondere, wenn diese z.B. untereinander wechselwirkungsfrei nutzbar sind. Andernfalls werden die unterschiedlichen Kontrastie rungsmethoden bevorzugt zeitlich nacheinander ausgeführt. Werden die unterschiedlichen Kontrastierungsmethoden zeitlich nacheinander ausgeführt, so ist erfindungsgemäß bevorzugt ein particel image velocimetrie (PIF) zur Verfolgung der jeweili gen Trajektorien vorgesehen, da sich bei einer Kombination mit einer Mikrofluidik zwischen den Bildern die Zellen bewe gen. Dies ermöglicht, die in den unterschiedlichen Modalitä ten gewonnenen Farbinformationen dann wieder für jede Zelle korrekt zusammen bringen zu können. Bevorzugt umfasst die PIV auch die Rotation der Zelle und vorteilhafterweise auch die Defokussierung .
Über die erweiterten Kontrastierungsmethoden bekommen die Proben z.B. einen Farbkontrast aus Interferenzen, beispiel weise DIC oder Polarisation, der dann im digitalen Bild für eine gute Auflösung der Strukturen in der Zelle sorgt und/o der eine gute Kontrastierung für die Zelle ermöglicht.
Erfindungsgemäß ist es besonders vorteilhaft, wenn neben der Amplituden- bzw. Intensitätsinformation und möglicherweise auch einer Farbinformation zusätzlich eine 3D Information vorliegt. Die Bilder der Lichtfeldkamera für die 3D Aufnahme können auch als volumetrische und/oder tomografische Daten vorliegen. Diese 3D Information erlaubt erfindungsgemäß auch ein nachträgliches rein digitales Durchfokussieren am aufge nommenen Bild. Dies ist für die Überprüfung der automatischen Klassifizierung durch den Arzt und für die spezielle und si chere Beurteilung pathologischer oder auffälliger Zellen in diesem Zusammenhang von besonderem Vorteil.
Bevorzugt sind erfindungsgemäß im digitalen Färben dann auch neue Färbemodi vorgesehen, wo die aktuell angezeigte Färbung dann nur von dem Bereich der Zelle abhängt, der z.B. unter halb der Fokusebene liegt. So kann die 3D Tiefenwahrnehmung des Arztes weiter verbessert werden. Alternativ können auch nur Bereiche oberhalb der aktuellen Fokusebene verwendet wer den oder aber Bereiche in einer gewissen einstellbaren
Schichtdicke um die konkrete Fokusebene herum.
Für die erfindungsgemäße digitale Anfärbung wird also bevor zugt ein mikroskopisch mit einem der erfindungsgemäßen Sys teme aufgenommenes Bild dann so nachbearbeitet, dass es so aussieht, wie es wahrscheinlich ausgesehen hätte, wenn es mit einem klassischen Mikroskop von gefärbten Zellen aufgenommen worden wäre. Zur Umsetzung wird für jedes Färbeprotokoll eine gewisse Zahl an ungefärbten Proben mit einer Vielzahl von Zellen in dem neuen System aufgenommen. Die Zellen können für den Vergleich manuell oder auch automatisch im Bild erkannt und segmentiert werden. Danach werden dieselben Proben mit dem gewünschten Färbeprotokoll gefärbt und anschließend mit einem Mikroskop dieselben Zellen erneut aufgenommen. Dabei ist es wichtig, dass das Mikroskop über eine gute Farbtreue und eine Farbkamera verfügt, besonders bevorzugt über eine für möglichst farbechte Bildaufnahme optimierte Farbkamera, die gegebenenfalls auch mit speziellen Proben oder Kalibrierabläufen kalibriert wurde, z.B. gemäß des DICOM Standard in der Medizin.
Typische Farbkameras haben ein Bayer Pattern, bei dem 50 Pro zent der Pixel überwiegend für grün, 25 Prozent der Pixel überwiegend für Blau und die verbleibenden 25 Prozent der Pi xel überwiegend für Rot empfindlich sind. Um eine vollstän dige Farbinformation zu den RGB Werten für jedes Pixel zu er halten, werden dann z.B. für den zu bestimmenden Farbwert die Farbwerte von den Nachbarpixein der entsprechenden Farbe interpoliert. Gegebenenfalls werden dazu noch Stetigkeitsin formationen aus den Pixeln anderer Farbwerte mit betrachtet und herangezogen. Bevorzugte Farbkameras sind z.B. 3-Chip Farbkameras, die für jeden Bildpunkt unmittelbar einen Inten sitätswert für Rot, Grün und Blau parallel messen. Diese be vorzugten Farbkameras sollen also Kameras sein, die für jeden Pixel die benötigten Farbwerte unmittelbar messen.
Da nun für jede Zelle die Information aus ungefärbter Zelle und gefärbter Zelle vorliegt, kann die Farbinformation, be vorzugt z.B. über Methoden des Computerlernens, zwischen den beiden Proben verknüpft werden. Bevorzugt erfolgt diese Ver knüpfung für jede Klasse von Zellen getrennt, um spezifisches Färbeverhalten möglichst gut zu erfassen. Alternativ ist es vorteilhaft, zur Vereinfachung des Aufwands und Lernumfangs, gleiche Zelltypen, die sich z.B. in unterschiedlichen Ent wicklungsstufen befinden, gemeinsam zu lernen. Dies könnte vorteilhafterweise z.B. bei roten Blutkörperchen erfolgen, die in unterschiedlichen Alterungszuständen vorliegen, wo sie die geometrische Form leicht ändern. Ebenso ist es vorteil haft möglich, bei weißen Blutkörperchen die 5 Hauptgruppen, die in der 5 Part Differentialdiagnostik unterschieden wer den, gemeinsam zu trainieren. Es kann dann vorteilhaft sein, innerhalb einer solchen Gruppe in einem zweiten Schritt noch die Färbungen spezifischer Merkmale zu lernen, um eine mög lichst gute und umfassende Farbkontrastierung zu erhalten.
Besonders bevorzugt wird bei dem Lernen neben der reinen 2D Information, so wie sie aus normalen Kamerabildern in den heutigen Systemen vorliegen, auch die 3D Information, z.B. in Form von topografischer Information oder als volumetrische bzw. tomografische Information verarbeitet. Für das Lernen kann diese 3D Information und vorteilhafterweise daraus abge leitete Information, z.B. eines effektiven 3D Profils, sowohl für das ungefärbte Bild als auch bevorzugt für das gefärbte Bild, verwendet werden. Für das Lernen sind dann alle vom Computerlernen bekannten Verfahren prinzipiell anwendbar, wie z.B. PLS, PLSDA, PCA oder auch neuronale Netze (CNN) oder deep CNNs .
Für ein gutes Lernergebnis und damit eine möglichst realisti sche digitale Färbung erreicht werden kann, ist es vorteil haft, wenn pro zu lernendem Zelltyp und/oder pro Gruppe von gemeinsam gelernten Zellen die Klassifizierung in mindestens so vielen Farbwerten erfolgt, wie an der Originalprobe unter scheidbar und/oder auf der Anzeigeeinrichtung darstellbar sind. Bei Computern sind für die Farbdarstellung Farbräume gebräuchlich, wo für jeden Bildpunkt pro Farbe z.B. 256 Farb werte, also 8 bit bzw. 1 Byte Farbtiefe, oder 65536 Farb werte, also 16 bit bzw. 2 Byte bzw. 1 double Byte verwendet werden .
Um effizient Datenvolumen zu sparen, kann es vorteilhaft sein, eine andere Darstellung des Farbraumes und/oder der Farbwerte als RGB zu wählen. Da sich die effektiven Farbwerte zwischen den Zelltypen unterscheiden können und idealisiert innerhalb eines Zelltyps sich nur in der Sättigung bzw. Hel ligkeit unterscheiden, wird vorteilhafterweise ein Farbwert und ein Helligkeitswert gespeichert. Dies hat den Vorteil, dass nicht für jeden Bildpunkt die volle Farbinformation in RGB gespeichert werden muss. Diese vorteilhafte Darstellung wäre z.B. mit einer HSV oder HSL Farbdarstellung vergleich bar. Aufgrund der häufig vergleichsweise ähnlichen Farben in den Bildern ist das Potential zum Sparen von Speicherplatz und/oder Datenvolumen hier besonders hoch.
Ein großer Vorteil des erfindungsgemäßen digitalen Färbens besteht darin, dass Proben nun auch zwischen Regionen vergli chen werden können, die typischerweise mit anderen Färbepro tokollen und damit anderer farblicher Wirkung der Zellen ar beiten. Wenn eine zu untersuchende ungefärbte Probe aufgenom men wurde, kann diese erfindungsgemäß wahlweise mit unter schiedlichen gelernten Farbstrukturen eingefärbt werden, die dem jeweiligen regionalen Färbeprotokoll entsprechen. Das bietet zum einen den Vorteil, dass man für unterschiedliche Pathologien nun das bevorzugte oder vorteilhafte Färbeproto koll verwenden kann. Andererseits kann so auch von einem Arzt ein anderer Arzt für eine Konsiliarmeinung befragt werden, da er ihm nun das Bild in der für ihn gewohnten Färbung zeigen kann. Durch das digitale Färben können die von den Färbepro tokollen entstandenen Hürden umgangen werden, weil jetzt je der Arzt seine für ihn gewohnte Färbung zur Durchführung der Befundung wählen kann. So können dann auch z.B. Ärzte aus Eu ropa und den USA zum Wohle des Patienten besser zusammen ar beiten. Dies ermöglicht somit eine weltweite Zusammenarbeit der Ärzte und/oder Hämatologen im Sinne der Telemedizin.
Somit kann für die Telemedizin, beziehungsweise über die Te lemedizin, mit den digital passend gefärbten 3D Bildern und/oder Datensätzen dann jeder Arzt weltweit zu einer gesi cherten Befundung beitragen. Somit kann beispielsweise über eine Datenbank insbesondere für seltene pathologische Fälle an beobachteten und/oder vermessenen Zellen über die welt weite Vernetzung mit der Telemedizin vorteilhafterweise ein sicher bewerteter „Ground Truth" Datensatz entstehen, der eine Kombination aus Bild und/oder 3D Information und der von mindestens zwei Ärzten abgesicherten Befundung besteht. Ein wichtiger Baustein für dieses Vorgehen liegt auch in der er findungsgemäßen Möglichkeit, im digitalen Datensatz für jede aufgenommene Zelle getrennt und angepasst die Bilder im Fokus verändern zu können, ohne dass der befundende Arzt selber an einem Mikroskop sitz.
Dieser von mehreren Ärzten unabhängig befundete Datensatz kann dann, eine Übereinstimmung der Befundung vorausgesetzt, z.B. zum weiteren Trainieren von Computermodellen verwendet werden, die dann wieder auf die weltweit installierten Geräte zurück gespielt werden können, um damit jedes Gerät in der Erkennungsgüte für bestimmte Zellen, oder in der Fähigkeit, besondere Pathologien sicher automatisiert erkennen zu kön nen, weiter zu entwickeln.
Je nach Gerät kann es auch vorteilhaft sein, dass erfindungs gemäße Analyzer Bilder aufnehmen und diese dann z.B. in eine cloudbasierte Anwendung oder allgemeiner an eine andere Re cheneinheit übertragen werden, wo dann die Erkennung der Zel len, deren Segmentierung und eine automatisierte Auswertung, z.B. im Sinne einer Zuordnung zu einer Klasse von Zelltyp o- der einer Befundung als Erkennung von bestimmten Krankheits bildern und/oder die Feststellung eines Verdachtes auf ein bestimmtes Krankheitsbild stattfindet.
Für die Anzeige der erfindungsgemäß aufgenommenen Bilddaten zu einer Zelle gibt es für den Arzt unterschiedliche Möglich keiten .
Vorteilhafterweise kann z.B. ein herkömmlicher 2D Monitor, ein mobiles Endgerät und/oder ein Tablett PC verwendet wer den. Vorteilhafterweise ist die Farbdarstellung so abgeglichen, dass der Arzt von einer farbechten Farbwieder gabe ausgehen kann. Das ist bei der Hämatologie besonders wichtig, weil insbesondere bei pathologischen oder auffälli gen Zellen kleine Farbunterschiede und Strukturunterschiede im Bild der Zelle einen Hinweis auf eine Auffälligkeit geben können. Vorteilhafterweise genügt die Farbwiedergabe, insbe sondere bezüglich der stabilen Farbwiedergabe z.B. dem DICOM Standard für medizinische Geräte (dicom.nema.org/) .
Vorteilhafterweise kann der Anwender und/oder Nutzer dann durch Bedienung an einer Software durch die Zellbilder und/oder das flächige Bild vom Objektträger oder von der Flowcell hindurch fokussieren. Vorteilhafterweise liegt hier für eine entsprechend sichere, beziehungsweise etwaigen Vor gaben entsprechende Datenverbindung zu den Daten auf einem lokalen Datenspeicher, einem übergeordneten Datenspeicher, z.B. in einem Krankenhaus, und/oder einer Cloud vor. Bevor zugt können für z.B. eine Konsiliaruntersuchung die Daten ei nem Arzt unmittelbar zugänglich gemacht werden.
Bevorzugt wird ein 3D fähiges Display verwendet, das entweder mit oder besonders bevorzugt ohne weitere optische Hilfsmit tel angeschaut werden kann und für den Anwender einen 3D Se heindruck erzeugt. Bevorzugt ist das 3D fähige Display Teil eines Computers und/oder eines mobilen Endgeräts, z.B. einem Tablett. Bevorzugt kann der 3D Effekt dabei ein- und ausge schaltet werden.
Bevorzugt wird eine Datenbrille, auch als Smart Glasses oder VR-Brille bezeichnet, für die 3D Darstellung des Datensatzes verwendet .
Bevorzugt ist erfindungsgemäß für eine Remote-Befundung in der Telemedizin ein Arbeitsmodus Master-Slave vorgesehen, wenn bei gleichzeitiger Befundung der Bilder durch mehrere Ärzte, z.B. in einer medizinischen Konferenz, einer als Mas ter die Navigation über die Bilder der Zellen und/oder vom Objektträger und/oder der Durchflusszelle (Flowcell) führt und die weiteren Ärzte diesem dann ohne eigenes Steuern des Systems folgen können.
Bevorzugt kann jeder der Ärzte sein Bild auch unabhängig von den anderen durchfokussieren und/oder das Bild nach seinem gewohnten Färbeprotokoll einfärben.
Die Erfindung wird anhand der beigefügten Zeichnung noch ein mal durch ein konkretes Ausführungsbeispiel näher erläutert. Das gezeigte Beispiel stellt eine bevorzugte Ausführungsform der Erfindung dar. Es zeigt:
FIG 1 einen automatischen Analyzer zum Analysieren von Zellen in einer Probe.
Der in FIG 1 gezeigte automatische Analyzer zum Analysieren von Zellen in einer Probe umfasst ein optisches Mikroskop (1) umfassend eine Lichtquelle (4) zum Beleuchten einer Probe (2) und eine Sammellinse zum Sammeln und Fokussieren von Licht strahlen (6), die von der beleuchteten Probe (2) ausgehen.
Bei der Probe (2) handelt es sich um eine Blutprobe, die Blutzellen (3) enthält. Die Probe (2) befindet sich in einer mikrofluidischen Durchflusszelle (10) . Weiter umfasst das Mikroskop (1) eine Lichtfeldkamera (8) umfassend ein digita les Aufzeichnungsgerät, das Aufzeichnungsgerät umfassend ei nen CCD Chip oder einen CMOS Chip, zum Aufnehmen des im Mik roskop (1) abgebildeten Lichtfelds. Weiter umfasst das Mikro skop (1) eine weitere Kamera zum Aufnehmen eines Bildes in der Objektebene, die als hochauflösende 3-Chip Farbkamera (9) ausgeführt ist. Die laterale Auflösung der Farbkamera (9) be trägt die vierfache effektive laterale Auflösung der Licht feldkamera (8) . Der Fokus der Farbkamera (9) ist auf einen mittleren Bereich des Messbereichs der Lichtfeldkamera (8) eingestellt, z.B. auf eine virtual depth im Bereich von 3 bis 5. Die inkohärente Beleuchtung Sigma am Mikroskop (1) beträgt 1,0. Bei dem Mikroskop (1) handelt es sich um ein Mirkoskop, das auch als Differential-Interferenz-Kontrast (DIC) Mikro skop (1) betrieben werden kann.
Bezugszeichenliste
1 Mikroskop
2 Probe
3 Blutzelle
4 Lichtquelle 6 Lichtstrahlen 8 Lichtfeldkamera 9 Farbkamera
10 Durchflusszelle

Claims

Patentansprüche
1. Analyzer zum Analysieren einer medizinischen Probe, der Analyzer umfassend ein optisches Mikroskop zum Abbilden eines Lichtfelds in einem Objektbereich zur Abbildung der Probe, das Mikroskop umfassend eine Lichtquelle zum Beleuchten der Probe und ein Objektiv umfassend eine Sammellinse zum Sammeln und Fokussieren von Lichtstrah len ausgehend von der beleuchteten Probe sowie ein digi tales Aufzeichnungsgerät zum Aufzeichnen der Lichtstrah len, dadurch gekennzeichnet, dass an dem Mikroskop eine Lichtfeldkamera zum Aufnehmen des im Mikroskop abgebildeten Lichtfelds aus dem Objektbe reich vorgesehen ist, wobei bevorzugt die Lichtfeldka mera das digitale Aufzeichnungsgerät umfasst.
2. Analyzer nach Anspruch 1, wobei die Lichtfeldkamera ein Mikrolinsenarray mit Linsen unterschiedlicher Brennweite umfasst, wobei das Mikrolinsenarray ein Zwischenbild des im Mikroskop abgebildeten Lichtfelds auf das digitale Aufzeichnungsgerät abbilden kann.
3. Analyzer nach einem der vorhergehenden Ansprüche, wobei der Analyzer ein automatischer Analyzer ist, bevorzugt ein automatischer Hämatologie-Analyzer und wobei es sich bei der Probe bevorzugt um eine Blutprobe handelt, die Blutzellen umfasst.
4. Analyzer nach einem der vorhergehenden Ansprüche, wobei es sich bei dem Mikroskop um ein Amplitudenkontrast-, und/oder ein Phasenkontrast-, und/oder ein Differential- Interferenz-Kontrast (DIC) Mikroskop handelt.
5. Analyzer nach einem der vorhergehenden Ansprüche, wobei an dem Mikroskop eine weitere Kamera zum Aufnehmen eines Bildes in einer Objektebene im Objektbereich vorgesehen ist, wobei die weitere Kamera eine laterale Auflösung aufweist, die höher als die laterale Auflösung der
Lichtfeldkamera ist, wobei die Auflösung der weiteren Kamera bevorzugt die doppelte, besonders bevorzugt die vierfache Auflösung der Lichtfeldkamera beträgt und wo bei bevorzugt die weitere Kamera ein größeres Gesichts feld als die Lichtfeldkamera aufweist.
6. Analyzer nach Anspruch 5, wobei die weitere Kamera eine Farbkamera ist, bevorzugt eine 3-Chip Farbkamera.
7. Analyzer nach einem der vorhergehenden Ansprüche, wobei am Mikroskop die inkohärente Beleuchtung Sigma größer als 0,8, bevorzugt größer als 0,9, besonders bevorzugt 1,0 ist, wobei Sigma gegeben ist als der Quotient aus der numerischen Apertur der Beleuchtung der Probe und der numerischen Apertur des Objektives und wobei es sich bei dem Mikroskop bevorzugt um ein Differential-Interfe- renz-Kontrast (DIC) Mikroskop handelt.
8. Analyzer nach einem der vorhergehenden Ansprüche, wobei der Analyzer eine Durchflusszelle für die Zuführung der Probe umfasst und wobei die Objektebene des Mikroskops in der Durchflusszelle liegt.
9. Verfahren zum Ermitteln einer zweidimensionalen oder dreidimensionalen Information einer Zelle und/oder eines medizinischen Präparats mittels eines Analyzers nach ei nem der Ansprüche 1 bis 8, das Verfahren umfassend die Schritte
a) Zuführen einer Probe mit einer Zelle und/oder des me dizinischen Präparats zu dem Mikroskop, b) Aufzeichnen der von der Zelle und/oder dem medizini schen Präparat in der beleuchteten Probe ausgehenden Lichtstrahlen mittels des digitalen Aufzeichnungsgeräts, c) Abbildung des im Mikroskop abgebildeten Lichtfelds aus dem Objektbereich mittels der Lichtfeldkamera, d) Ermittlung einer zweidimensionalen und/oder dreidi mensionalen und/oder volumetrischen Information der Zelle und/oder des medizinischen Präparats aus in
Schritt b) aufgezeichneten Informationen der Lichtstrah len und/oder Informationen des in Schritt c) abgebilde ten Lichtfeldes.
10. Verfahren nach Anspruch 9, wobei die Probe in Schritt a) mittels einer Durchflusszelle dem Analyzer zugeführt wird und wobei die Objektebene des Mikroskops in der Durchflusszelle liegt, oder wobei die Probe in Schritt a) mittels einer Probenzuführungseinrichtung für Objekt träger dem Analyzer auf einem Objektträger zugeführt wird .
11. Verfahren nach einem der Ansprüche 9 oder 10, wobei die Zellen und/oder medizinischen Präparate nicht angefärbt sind .
12. Verfahren nach einem der Ansprüche 9 bis 11, weiter um fassend den Schritt
e) digitale Refokussierung oder Fokusvariation mittels der in Schritt d) ermittelten zweidimensionalen und/oder dreidimensionalen und/oder volumetrischen Information der Zelle entlang der optischen Achse des Mikroskops, wobei bevorzugt die digitale Refokussierung rechnerge stützt und/oder numerisch erfolgt.
13. Verfahren nach einem der Ansprüche 9 bis 12, weiter um fassend den Schritt
f) Zuordnung der Zelle zu einem Zellentyp anhand vorbe stimmter Informationen und der in Schritt d) ermittelten zweidimensionalen und/oder dreidimensionalen und/oder volumetrischen Information der Zelle.
14. Verfahren zur Zuordnung einer Zelle zu einem Zellentyp, umfassend ein Verfahren zum Ermitteln einer zweidimensi onalen und/oder dreidimensionalen und/oder volumetri schen Information der Zelle nach Anspruch 13, wobei an einem ersten Ort die Schritte a) bis d) ausgeführt wer den, und wobei die in Schritt d) ermittelten Informatio nen über eine Netzwerkverbindung digital an einen zwei ten Ort übertragen werden, und wobei am zweiten Ort Schritt e) und f) durchgeführt werden.
15. Verfahren zur digitalen Anfärbung einer Zelle und/oder eines medizinischen Präparats, das Verfahren umfassend ein Verfahren nach einem der Ansprüche 9 bis 14 und zu sätzlich die folgenden Schritte
g) digitales Anfärben der Zelle und/oder des medizini schen Präparats entsprechend einer vorbestimmten Zuord nung zwischen den zweidimensionalen und/oder dreidimen sionalen und/oder volumetrischen Informationen der Zelle und/oder des medizinischen Präparats und einer Färbung einer entsprechenden Zelle und/oder medizinischen Präpa rats und/oder einer Struktur innerhalb der Zelle und/ oder des medizinischen Präparats mittels eines Färbepro tokolls,
h) Darstellen eines Bildes der digital angefärbten Zelle und/oder des Präparats.
16. Verfahren nach Anspruch 15, wobei es sich bei dem Färbe protokoll um das Färbeprotokoll May-Grünwald-Giemsa, Mo- dified-Wright Färbung, Wright-Gimsa Färbung und/oder Ro- manowsky Färbung handelt.
EP19728133.0A 2018-05-30 2019-05-16 Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera Pending EP3803495A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18000484.8A EP3575848A1 (de) 2018-05-30 2018-05-30 Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera
PCT/IB2019/054051 WO2019229573A1 (de) 2018-05-30 2019-05-16 Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera

Publications (1)

Publication Number Publication Date
EP3803495A1 true EP3803495A1 (de) 2021-04-14

Family

ID=62715791

Family Applications (2)

Application Number Title Priority Date Filing Date
EP18000484.8A Ceased EP3575848A1 (de) 2018-05-30 2018-05-30 Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera
EP19728133.0A Pending EP3803495A1 (de) 2018-05-30 2019-05-16 Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP18000484.8A Ceased EP3575848A1 (de) 2018-05-30 2018-05-30 Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera

Country Status (5)

Country Link
US (1) US20210217190A1 (de)
EP (2) EP3575848A1 (de)
JP (1) JP2021525866A (de)
CN (1) CN112236705A (de)
WO (1) WO2019229573A1 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020030841A1 (es) * 2018-08-08 2020-02-13 Universitat De Valencia Dispositivo ocular plenóptico
DE102018222300A1 (de) * 2018-12-19 2020-06-25 Leica Microsystems Cms Gmbh Skalierende Detektion
DE102021204805A1 (de) * 2021-05-11 2022-11-17 Carl Zeiss Microscopy Gmbh Bewertungsverfahren für Simulationsmodelle in der Mikroskopie
EP4134670A1 (de) 2021-08-09 2023-02-15 Siemens Healthcare Diagnostics Inc. Hämatologieanalysator mit einem einzigen hardware-modul und integriertem arbeitsablauf
EP4137863A1 (de) * 2021-08-19 2023-02-22 Siemens Healthcare GmbH Vorrichtung und verfahren zur beobachtung einer biologischen sonde
EP4148376A1 (de) * 2021-09-09 2023-03-15 Siemens Healthcare Diagnostics Inc. Verfahren zum abbilden eines messobjekts mit einer kamera mittels differenzialinterferenzkontrastmikroskopie
CN114152557B (zh) * 2021-11-16 2024-04-30 深圳元视医学科技有限公司 基于图像分析的血细胞计数方法和系统
CN114326075B (zh) * 2021-12-10 2023-12-19 肯维捷斯（武汉）科技有限公司 一种生物样品的数字显微成像系统及镜检方法
WO2023154925A1 (en) * 2022-02-14 2023-08-17 Genetic Innovations, Inc. Medical spectroscopy and imaging analysis
WO2024108104A1 (en) * 2022-11-18 2024-05-23 Siemens Healthcare Diagnostics Inc. Systems and methods for classifying blood cells

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2422525B1 (de) * 2009-04-22 2014-05-21 Raytrix GmbH Digitales bildgebungssystem zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
WO2017013054A1 (de) * 2015-07-17 2017-01-26 Leica Microsystems Cms Gmbh Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450229B2 (en) * 1999-01-25 2008-11-11 Amnis Corporation Methods for analyzing inter-cellular phenomena
US6963445B2 (en) * 2003-02-07 2005-11-08 Hoover Rex A Light diffuser for optical microscopes replacing condenser with opal glass to produce near-koehler illumination
US7723662B2 (en) * 2005-10-07 2010-05-25 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
DE102006007172B4 (de) * 2006-02-08 2013-01-17 Universität Stuttgart Verfahren und Anordnung zur schnellen, ortsaufgelösten, flächigen, spektroskopischen Analyse, bzw. zum Spectral Imaging oder zur 3D-Erfassung mittels Spektroskopie
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
DE102009025815A1 (de) * 2009-05-15 2010-11-25 Degudent Gmbh Messanordnung sowie Verfahren zum dreidimensionalen Messen eines Objektes
CN107402178B (zh) * 2011-04-15 2020-05-05 罗氏血液诊断股份有限公司 测量细胞体积和成份
CN104520745B (zh) * 2012-08-06 2016-09-28 富士胶片株式会社 摄像装置
AT513560A1 (de) * 2012-11-08 2014-05-15 Berndorf Band Gmbh Vorrichtung zur Untersuchung von Oberflächen von Metallblechen
EP2835613B1 (de) * 2013-08-08 2019-01-16 Hexagon Technology Center GmbH Geodätisches Vermessungsgerät mit Mikrolinsenarray
WO2015195642A1 (en) * 2014-06-16 2015-12-23 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
WO2016203907A1 (ja) * 2015-06-16 2016-12-22 コニカミノルタ株式会社 画像処理装置、画像処理方法、および画像処理用のプログラム
JP6865507B2 (ja) * 2016-06-29 2021-04-28 オリンパス株式会社 多能性幹細胞の無染色評価支援方法、プログラム、演算装置
KR102286356B1 (ko) * 2016-10-26 2021-08-04 보드 오브 리전츠, 더 유니버시티 오브 텍사스 시스템 반사 및 투과형 나노포톤 디바이스를 위한 고 처리량, 고 해상도 광학 기법
CN206311061U (zh) * 2016-12-05 2017-07-07 苏州大学 一种多波长可调谐显微干涉的测量装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2422525B1 (de) * 2009-04-22 2014-05-21 Raytrix GmbH Digitales bildgebungssystem zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
WO2017013054A1 (de) * 2015-07-17 2017-01-26 Leica Microsystems Cms Gmbh Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2019229573A1 *

Also Published As

Publication number Publication date
US20210217190A1 (en) 2021-07-15
JP2021525866A (ja) 2021-09-27
WO2019229573A1 (de) 2019-12-05
CN112236705A (zh) 2021-01-15
EP3575848A1 (de) 2019-12-04

Similar Documents

Publication Publication Date Title
WO2019229573A1 (de) Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera
DE60319816T2 (de) Verfahren zum automatischen erkennen von zellen mit krankheitsbezogener molekularmarkierungs-kompartimentierung
US12029594B2 (en) Systems and methods for enhanced imaging and analysis
DE60226043T2 (de) Verfahren für quantitative video-mikroskopie und vorrichtung und programm zur durchführung des verfahrens
DE60202374T2 (de) Methode und Vorrichtung zur Aufnahme dreidimensionaler Abbildungen von schwebend gehaltenen Mikroobjekten unter Verwendung hochauflösender Mikroskopie
DE60316113T2 (de) Verfahren für quantitative video-mikroskopie und vorrichtung und computerprogramm zur durchführung des verfahrens
DE19747415C2 (de) Verfahren zur Unterstützung eines Betrachters bei der Durchmusterung einer Probe und zytologisches Probenanalysiersystem
DE2823490A1 (de) Verfahren zur analyse von organismus- zellen
WO1997041416A1 (de) Verfahren zur automatisierten mikroskopunterstützten untersuchung von gewebeproben oder körperflüssigkeitsproben
EP3807838A2 (de) Materialprüfung von optischen prüflingen
DE60120663T2 (de) Bildgebungseinheit mit assoziierter Bilderdatenbank
EP1488377B1 (de) Verfahren zur selbstüberwachung eines mikroskopsystems, mikroskopsystem und software zur selbstüberwachung
DE102014206309A1 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
RU2147123C1 (ru) Способ анализа клеточного состава крови по мазку
EP3982102B1 (de) Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases
DE102010039652A1 (de) Mosaikaufnahmeerzeugung
DE102012021726A1 (de) Mikroskopsystem und Verfahren zur Datenerfassung
WO2021105801A1 (de) Verfahren zur digitalen anfärbung von zellen
EP3244197A1 (de) Verfahren und vorrichtung zur einstellung des laserfokus eines anregungslasers in blut durchflossenen gefässen für optische messungen zur bestimmung des geschlechtes von vogeleiern
Ma et al. Light-field tomographic fluorescence lifetime imaging microscopy
EP2440920B1 (de) Lokalisierung eines validen bereiches eines blutausstriches
DE102019212936A1 (de) Bildprüfvorrichtung
DE112015006312T5 (de) Mikroskopiesystem, Mikroskopieverfahren und Mikroskopieprogramm
US20220026699A1 (en) Method and System for Acquisition of Fluorescence Images of Live-cell Biological Samples
EP3910399A1 (de) Verfahren zur virtuellen annotation von zellen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20201105

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230411