EP3598195A1 - Verfahren zur mikroskopischen auswertung - Google Patents

Verfahren zur mikroskopischen auswertung Download PDF

Info

Publication number
EP3598195A1
EP3598195A1 EP19185963.6A EP19185963A EP3598195A1 EP 3598195 A1 EP3598195 A1 EP 3598195A1 EP 19185963 A EP19185963 A EP 19185963A EP 3598195 A1 EP3598195 A1 EP 3598195A1
Authority
EP
European Patent Office
Prior art keywords
information
sample
acquisition
color
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19185963.6A
Other languages
English (en)
French (fr)
Inventor
Daniel Krüger
Mike Wördemann
Stefan Diepenbrock
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EVIDENT TECHNOLOGY CENTER EUROPE GMBH
Original Assignee
Olympus Soft Imaging Solutions GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Soft Imaging Solutions GmbH filed Critical Olympus Soft Imaging Solutions GmbH
Publication of EP3598195A1 publication Critical patent/EP3598195A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/086—Condensers for transillumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/12—Condensers affording bright-field illumination
    • G02B21/125—Condensers affording bright-field illumination affording both dark- and bright-field illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G01N2021/6471—Special filters, filter wheel

Definitions

  • the present invention relates to a method for microscopic evaluation of a sample. Furthermore, the invention relates to an optical detection system, a computer program and a computer-readable medium.
  • a generic microscopy technique is from, for example WO 2017/181044 A1 known.
  • the object is achieved in particular by a method for the microscopic evaluation of a sample, in particular at least one unstained object or cell sample, in an optical detection system.
  • the transfer information is z. B. a digitally non-volatile stored information, which has arisen from a learning process (z. B. according to a machine learning).
  • the transfer information can e.g. B. have a classifier or a model or the like.
  • the transfer information is preferably characterized in that it has been generated automatically by artificial intelligence (in particular in the learning process of a neural network) or the like.
  • the transfer information (in particular for the transfer of the acquisition information into the result information) to be learned for a different acquisition parameterization of the acquisition information.
  • the acquisition information can advantageously differ from one another (at least in terms of an illumination parameter of the acquisition system (for example coded, in particular polarization and / or color-coded)).
  • an illumination parameter of the acquisition system for example coded, in particular polarization and / or color-coded
  • the transfer information can possibly designate any classifier (for example a weighting for a neural network), provided that this has been trained for a different acquisition parameterization of the acquisition information.
  • a method according to the invention in a transmitted light method for transmitted light microscopy (for example with a transmitted light microscope as an optical detection system). to operate.
  • the evaluation is carried out at least in part by using self-learning methods, in particular from the area of machine learning.
  • Self-learning methods can advantageously be understood to mean that monitored teaching (machine learning) takes place, for which ground truth is generated without manual intervention (for example without annotations).
  • a motorized sample table can be used in order to move the sample automatically and thus to be able to record different areas of the sample or also different samples for reference acquisition.
  • the acquisition parameterization is preferably to be understood as a setting of parameters during the acquisition in the optical acquisition system, so that different acquisition information can be acquired through the different acquisition parameterization.
  • a first setting ie a first parameterization
  • a second setting ie a second parameterization
  • the acquisition information can thereby differentiate depending on the acquisition parameterization used in each case.
  • the acquisition parameterization can thus be a setting on the acquisition system, such as. B. an adjustment of an illumination angle and / or an illumination structure and / or an illumination pattern and / or a polarization and / or a color filtering of an illumination light z.
  • the condenser the condenser.
  • the at least two different acquisition information items may be provided by an evaluation means, such as, for. B. by a computer program or by electronics or by at least one processor, and / or by a computer.
  • the provision can be carried out by the detection system, the detection information being specific for detection by the optical detection system.
  • the provision is carried out as a recording by a detection device, such as a camera of the detection system.
  • a detection device such as a camera of the detection system.
  • the Detection device z. B. with at least one sensor, which is aligned for detection of an illuminating light (the detection path), the illuminating light being influenced by the sample.
  • the illuminating light is z. B. generated by a condenser, and / or changed by an illuminant, and / or is changed by the sample in that it is emitted onto the sample and illuminates it.
  • the evaluation means is designed as a computer program, in particular a computer program product.
  • the computer program can only exist in a permanent, non-transitory form, z. B. on a physical data storage device, such as a hard disk or a flash memory or the like.
  • the evaluation means can be suitable to be carried out by an evaluation device in order to at least partially carry out at least one method step of a method according to the invention.
  • the evaluation device is, for example, a computer or electronics or at least one processor, which can be connected to at least one data memory for executing the evaluation means. This connection is e.g. B. an electrical circuit and / or a signal connection to read the evaluation means from the data memory.
  • the evaluation device can have at least one processor in order to execute the read-out evaluation means.
  • at least one buffer can also be used for this purpose, in order, for. B. to temporarily store the at least one acquisition information and / or the transfer information and / or the result information.
  • the transfer information can also be stored permanently (non-volatile) in a data memory of the evaluation device.
  • the evaluation device can also be electrically connected to at least one component of the optical detection system, for example to a detection device, for control and / or for evaluation and / or for provision. In this way it is possible that the evaluation device receives the detection information from the detection device and z. B. stored in the buffer or in the data memory.
  • the detection information can also be provided by a detection device of the detection system which is adapted to the Detection device records directed light, which light is specific for a change in an illuminating light by the sample and / or is dependent on the illumination parameter.
  • the lighting parameter is e.g. B. a setting of an illumination angle of the illuminating light and / or an illuminating color of the illuminating light and / or a polarization of the illuminating light and / or a spatial property (structure) of the illuminating light.
  • the detection information can be coded from one another, at least with regard to the lighting parameter of the detection system, in particular to be polarization-coded or color-coded.
  • the color-coded distinction is made possible, for example, by using a different illumination color for different illumination parameters (or also a different illumination parameterization).
  • an illuminant is used, for example, to achieve color filtering of the illuminating light as a function of the illuminating parameter.
  • the lighting means can be designed as a spatially structured color filter.
  • the lighting parameter is e.g. B. a spatial structure or an angle, which is set differently for different detection information.
  • the illumination parameter can thus also relate to a different structure of the illumination light for different detection information.
  • the coding for. B. color coding (i.e. a color filtering) or polarization coding can be used.
  • different lighting properties such as lighting colors or polarizations, which, for. B. can be obtained from a recording of a detection device, assigned different detection information.
  • the different illumination properties can also relate to a polarization of the illumination light (the polarization coding).
  • the acquisition information is optionally possible for the acquisition information to be specific for an acquisition of the sample by the optical acquisition system, in which the acquisition parameterization for the acquisition information differs.
  • the Distinguish detection parameterization at least by varying a lighting parameter of the detection system.
  • the variation is, for example, a color variation or a different polarization of an illuminating light, and is controlled in particular by an evaluation device and / or by an illuminating means.
  • the illuminant may be e.g. B. be designed as a color or polarization filter.
  • the detection information differs from one another in an encoded manner, at least with regard to the illumination parameter of the detection system.
  • the coding is carried out in particular by changing at least one property of the illuminating light in a predefined manner in order to be able to distinguish the illuminating light changed in this way from the provision (in particular acquisition) of the acquisition information from other illuminating light.
  • This change i. H. Coding
  • At least one of the acquisition information items can then be generated from each of the different illumination patterns or for each different coding, which then only contains information from this illumination pattern or from the correspondingly encoded illumination light.
  • a different polarization of the illuminating light is used as the coding.
  • a recording of the sample on the basis of this illumination light coded in this way is separated, for example, for the different polarizations, so that detection information is generated for each of the different polarizations.
  • the different polarization e.g. in the area of a condenser
  • the detection information can have different information about the sample due to the different paths of the illuminating light in the detection system.
  • the aforementioned embodiment also applies to other types of coding, such as color coding.
  • the evaluation uses the difference in the acquisition information, in particular uses differences specific to and / or caused by the sample in order to obtain at least information about the sample resulting therefrom, such as the result information .
  • the structure difference that is to say the different illumination patterns which are used to record different of the detection information, is advantageously decisive for the development of this difference.
  • the different acquisition information can z. B. with regard to the coding of the illuminating light, which is used to record the detection information. However, this may be a predefined difference to the coding and not a difference caused by the sample.
  • the coding can be, for example, a color coding or polarization.
  • the evaluation or provision thus in particular does not value the different coding in terms of information about a sample property in order to obtain the result information, but rather, if necessary, only for decoding and for providing the result information.
  • the provision of the acquisition information takes place before the evaluation by different recordings of illumination light (modified by the sample) being carried out by a detection device of the acquisition system for decoding, preferably simultaneously and / or in parallel, in each case to determine a different one of the acquisition information on the basis of the respective record, the recordings differing in the properties of the illuminating light.
  • the acquisition information is provided in such a way that a single one of the acquisition information has no differences in the illumination parameter and / or the property of the illumination light.
  • B. is generated only from illuminating light of a single property such as a single color or polarization.
  • the differences can only be recognizable for different of the acquisition information.
  • the different polarization of the illuminating light includes e.g. B. different types of polarization (such as linear and circular polarization) or different polarization directions or different polarization patterns or also the use of polarized and different unpolarized illuminating light. Properties of the illuminating light other than color or polarization can also be used for coding if necessary.
  • the reading of the acquisition information can also be initiated by the evaluation means from a data memory or an interface to the acquisition system.
  • a data memory or an interface to the acquisition system can have, for example, a signal connection and / or an electrical connection to a detection device of the detection system.
  • z. B. multiple images of the sample can be recorded in parallel with an optical detection system and without loss of time.
  • the optical properties of the optical detection system ie in particular of the imaging microscope system
  • the optical detection system or its optical properties are modulated and that based on this physical model additional information can be obtained during sample detection.
  • the restriction can be overcome that, in the case of physical models, only such information can be extracted from the acquisition information for which there is a correspondence in the physical model. Furthermore are such processes basically depend on the real system corresponding to the model to a good degree.
  • the use of the learned transfer information can be understood such that the model is automatically generated by means of artificial intelligence.
  • the evaluation of the detection information can optionally include a self-learning object or a self-learning cell analysis for the sample in order to obtain additional information about the sample based on the difference in the detection information.
  • the illuminating light is coded, for. B. is at least two-colored or polarized, and / or spatially structured so that coding-dependent, d. H.
  • d. H For example, depending on the color and / or polarization, different lighting patterns occur.
  • differently colored and / or polarized illumination patterns can pass through the optical detection system in different ways and thus different recordings, i. H. generate the different acquisition information. Different colors are understood to mean, in particular, different wavelength ranges.
  • different colors are in particular those wavelengths of the illuminating light which differ by at least 10 nm or at least 20 nm or at least 50 nm or at least 100 nm or at least 200 nm.
  • Such different colors can also be wavelength ranges which are at least 10 nm or at least 20 nm or at least 50 nm or at least 100 nm or at least 200 nm apart from one another.
  • an at least two-color illuminating light such. B. be spatially structured so that it has spatially different colors and / or different spectra.
  • the color and / or the spectrum of the illuminating light can vary spatially orthogonal to the direction of propagation of the illuminating light in the optical detection system.
  • a multicolored illuminating light has several colors (ie in particular several different spectra according to, for example, the above-mentioned wavelength range spacings), which are optionally provided spatially differently in the illuminating light in the case of a spatial structuring.
  • the illuminating light can be understood as a plurality of light beams of different light colors, which accordingly take different paths in the optical detection system.
  • the same spatial sample area is at least partially acquired for each acquisition information item.
  • a first of the acquisition information can (only partially) have different information than a second of the acquisition information, so that the information content as a whole can be increased.
  • the acquisition information is e.g. B. to (possibly independent) recordings (e.g. microscope images) of the same sample location.
  • the respective detection information is specific and / or dependent on a respective recording and corresponds, for example, to the data output by a detection device.
  • the different detection information is specific to differently colored and / or differently polarized illumination patterns, the detection information in particular differing in terms of the colors or polarization of the illumination patterns.
  • the various illumination patterns are caused, for example, by a change in the illumination light of the optical detection system, the change in the illumination light being structured at least in two colors and / or at least three colors and / or spatially in such a way that the different illumination patterns occur as a function of color or polarization.
  • the (e.g. differently colored) illumination patterns can run through the optical detection system in different ways and thus produce different recordings.
  • a detection device, in particular a camera can be of a type that can produce two or three or more color-separated recordings in the detection system.
  • the recordings from the different color areas or different polarizations are kept separate during the acquisition.
  • the evaluation can take place, e.g. B. a trained neural network can be applied to the recordings.
  • the recordings correspond in particular to the different acquisition information.
  • the evaluation can e.g. B. with the aim that a classification or regression of pixels, objects, from the recordings and / or the acquisition information, Sample areas or whole samples is made. It may be possible that the neural network has previously been trained on recordings of a similar type in order to carry out the appropriate classification or regression.
  • the evaluation may be possible for the evaluation to use a neural network which, based on similar image data (e.g. the acquisition information), initially monitors and / or independently learns how the relevant information from the available, generally abstract, independent of a physical model Information of the image data or color images are to be extracted.
  • the neural network can optionally be presented in a first step with both the abstract information of the recorded image data or color images (ie in particular the acquisition information) and preferably the associated relevant information at this point in the sample (such as markings of relevant areas or the three-dimensional structure of the sample) become. In this way, e.g. For example, an abstract model for the transfer from the abstract information into the relevant information can be learned.
  • the transfer information is specific to this abstract model, which can be much more adaptable and / or flexible than a realistic physical model and can also be learned without the need for special assumptions about the optical system.
  • the learned model can be used in a further method step in order to extract the desired relevant information from unknown image data or color images with comparable abstract information.
  • each coding (such as, for example, a used color of polarization) of the illuminating light has a specific illuminating pattern and / or caused by the spatial structuring of an illuminant is assigned to a specific illumination angle of the illumination light, the illumination patterns or illumination angles differing from one another.
  • the illumination angles differ by at least 5 ° or 10 ° or 20 ° (for example in relation to an angle of incidence on the sample or an angle of reflection from the condenser or illuminant).
  • the sample is illuminated simultaneously and / or in parallel with all the codes, such as illumination colors or Polarization takes place (and thus also with all different illumination patterns and / or illumination angles) or sequentially only individual encodings (e.g. illumination colors or polarizations) or illumination angles illuminate the sample one after the other, and the acquisition information is thus acquired sequentially.
  • all the codes such as illumination colors or Polarization takes place (and thus also with all different illumination patterns and / or illumination angles) or sequentially only individual encodings (e.g. illumination colors or polarizations) or illumination angles illuminate the sample one after the other, and the acquisition information is thus acquired sequentially.
  • the evaluation is carried out by an evaluation means which is designed as a computer program based on machine learning and / or deep learning and / or artificial intelligence, preferably as an artificial neural network. It is possible that the evaluation is carried out independently of a specific physical model of the optical detection system, e.g. B. on the basis of learning and in particular also self-learning processes.
  • the transfer information can be based on a learning result, such as a classifier or a model, which has arisen from at least partially monitored and / or unsupervised learning. The evaluation can thus be based on relationships and models that do not have to be specified and can therefore be generated automatically.
  • the transfer information can be specific to such methods of deep learning.
  • these methods are optimization methods of artificial neural networks that have numerous hidden layers between the input layer and the output layer and thus have an extensive internal structure.
  • the acquisition parameterization of the acquisition information differs from one another in that when the acquisition information is acquired, an, in particular broadband, illuminating light of the acquisition system has different spatial and / or coded adaptations for different acquisition information, preferably by spatial structuring and / or or color coding and / or polarization of the illuminating light.
  • this further development is based on the idea that light of different coding, e.g. B. light of different colors an identical optical system independently passes through each other.
  • suitable shaping of the different codes and / or with different illumination colors if necessary solely by the chromatic aberrations of the optical system (ie the detection system), different optical images (e.g.
  • the detection information can be generated for different codes (such as colors or polarizations) become.
  • a suitable detection device e.g. B. a detector such as a digital color camera with polarization and / or color filter sensor, preferably Bayersensor, then several images with different coding can be taken independently or partially independently of one another in parallel. A set of these images can then e.g. B. as a polarization and / or color image. While for a few special lighting situations, e.g. B.
  • the different acquisition parameterization of the acquisition information is specific to the fact that when an acquisition is carried out, an adaptation of an illuminating light is carried out by means of an illuminant of the acquisition system, the illuminant having a coded, preferably differently polarizing and / or at least two-colored, spatial structure in order to provide different illumination patterns for the sample depending on coding, preferably color-dependent and / or color-coded and / or polarization-dependent and / or polarization-coded, different detection information being provided in particular for different illumination patterns.
  • the different and, in particular, differently colored or differently polarized illumination patterns pass through the optical system in different ways and thereby generate different detection information (for example image recordings).
  • one detection device such as one Camera
  • the recordings from the different codes, in particular color areas can be kept separate.
  • the lighting means can e.g. B. be arranged in a beam path of the illuminating light (illuminating path).
  • the lighting means is designed as a color filter.
  • the illuminant can optionally also be introduced in a Fourier plane of the sample in the illumination path or in the detection path.
  • the broadband illuminating light illuminates the sample and is only then color-coded in the detection path - changed by the sample.
  • the lighting means can also be designed as a polarization filter.
  • spatially structured and colored lighting is the use of Rheinberg lighting or multi-colored, spatially arranged light sources (such as LEDs or LED arrays). Possibly. the light source can thus also have the illuminant.
  • a polarization-coded structured i.e. H. in particular spatially structured and polarized
  • lighting can, for. B. a segmental arrangement of linear polarization filters can be used as lighting.
  • Other options are the use of a Wallaston primate or radially or azimuthally polarized lighting.
  • the (for example broadband and / or non-polarized) illuminating light passes through the illuminating means, is thereby coded (polarized or color-filtered) and then illuminates the sample and is only then - changed by the sample - recorded by the detection device.
  • the different acquisition parameterization of the acquisition information is specific for the acquisition of the acquisition information by simultaneous and / or parallel illumination different illumination colors (such as light colors or wavelengths) and / or polarizations, wherein at least one color-dependent and / or polarization-dependent, in particular two- or multi-dimensional, sample recording is carried out in order to provide the at least two acquisition information in a color and / or polarization-dependent manner.
  • the sample recording can e.g. B. be multidimensional, and for a quick and reliable detection at the same time and / or in parallel by at least one filter, such as a polarization and / or color filter, multiple recordings are generated in one detection device.
  • the recordings can be detection information of differently filtered illumination light.
  • the detection device in order to provide at least one sample recording by a detection device, in particular camera, of the detection system by means of polarization and / or color filtering in order to obtain different detection information for different polarizations and / or illumination colors from the sample recording to be obtained, the detection device preferably having at least one polarization filter for polarization filtering and / or a color filter for color filtering, in particular a color filter pattern and / or RGB filter pattern and / or Bayer filter.
  • the polarization and / or color filter can e.g. B. on an array of sensor elements such as photodiodes or the like.
  • the at least one color filtering, in particular also several color filtering in a color filter pattern may also relate to invisible light (in the invisible spectrum). This enables simple and reliable provision of the detection information depending on the filtering of the detection device.
  • a detection device it is also possible for a detection device to have a polarization-sensitive (polarization-sensitive) sensor, in particular for recording the illuminating light (changed by the sample) and / or for detecting (providing) the detection information.
  • the illumination light changed by the sample is e.g. B. changed by the transmission through the sample, for. B. weakened spatially differently. Such changes can be detected by the sensor.
  • the polarization-sensitive sensor illuminating light of different polarizations separated and / or detectable. For this purpose, e.g. B.
  • polarization filters can be provided, which are each assigned to at least one pixel. It can be in the sensor z. B. is a CMOS or CCD sensor, which additionally has at least one polarization filter. This at least one polarization filter is e.g. B. attached directly to the sensor chip.
  • the polarization filter is arranged between at least one photodiode of the sensor and at least one microlens of the sensor in order to filter light that passes through the microlens and then to pass it on to the photodiode in a filtered manner.
  • the photodiode can thus only detect light of a specific polarization, which can then be used to generate specific detection information for this polarization.
  • other polarization filters and detection information can be used for other photodiodes.
  • the aforementioned steps may be repeated for further (e.g. third, fourth, etc.) recordings and acquisition information.
  • the steps can be carried out simultaneously and / or in parallel or sequentially, for example.
  • fluorescence microscopy it is possible for fluorescence microscopy to be carried out for reference acquisition and / or for a recording of the reference acquisition to be segmented for determining ground truth.
  • the detection system in particular a microscope, can be used to detect the ground truth.
  • the learning information it may also be possible for the learning information to correspond in content to the acquisition information, so that the learning method is adapted to information in the manner of the acquisition information.
  • the learning method can also use a self-learning method to carry out the learning based on sample-specific characteristics.
  • the ground truth is determined from cytometric or histological analysis results, which were determined on the basis of the reference acquisition.
  • the ground truth is also determined mathematically, possibly without reference acquisition being carried out.
  • the sample is a colored object or cell sample
  • the evaluation for detection information about this sample performing a detection, in particular segmentation or localization of these objects and / or cells of the sample.
  • the coloration can be detected by the evaluation.
  • the evaluation for the coloration of the sample can also be carried out sensitively.
  • the ground truth in a method according to the invention it is possible for the ground truth to be determined by an automated detection, in particular an automated implementation of the reference detection.
  • Motorized sample positioning e.g. B. by means of a motorized and movable in three orthogonal sample table. The sample positioning takes place, for example, automatically controlled by a computer program. This enables the ground truth to be determined quickly and reliably. Since a method of this type does not require manual annotation, which is otherwise often necessary, it can be described / understood as self-learning.
  • the at least two different acquisition information items can also be provided by recording one or more levels of the sample.
  • Motorized sample positioning e.g. B. by means of a motorized and movable in three orthogonal sample table.
  • the sample and / or an objective of the detection system can be shifted step by step in order to detect different planes of the sample (e.g. in the z direction of the sample, in particular in the direction of propagation of the illuminating light in the sample).
  • a method according to the invention is carried out in a sample-specific manner, so that the method can only be used for the evaluation, particularly suitable for analysis of a certain type of sample (e.g. for blood smears).
  • sample-specific optical properties can be used in a targeted manner.
  • the method can be adapted to a specific type of sample, or trained on a specific type of sample (type of sample).
  • the result information and / or a ground truth for teaching an evaluation means to relate to a prediction of a cell or cell clump development in time.
  • This makes it possible to predict such a development based on a short development over time or the initial morphology of the sample.
  • the sample in particular as a cell sample, can initially be observed over time from a specific point in time. This observation can e.g. B. by repeating the provision of acquisition information.
  • the acquisition information is acquired at different times and differ with regard to this time. If necessary, the prediction can then be determined by means of the evaluation.
  • the ground truth can possibly be determined beforehand.
  • reference acquisition can then be carried out on the same sample in which the acquisition information was also acquired.
  • the reference detection can then be used to determine the ground truth, which can be used to teach the evaluation means and to determine the transfer information.
  • the transfer information determined in this way can then also be used to predict other samples of the same type.
  • a change in an illuminating light preferably by an illuminant
  • a spatial variation of an illuminating polarization and / or an illuminating color of the illuminating light which is preferably assigned to a different illumination structure of the illumination light, and / or that the transfer information is specific for this distinction.
  • optical detection system thus brings with it the same advantages as have been described in detail with reference to a method according to the invention.
  • the optical detection system can be suitable for carrying out a method according to the invention.
  • the evaluation device can have an input device, such as a touchscreen or at least one button, for example to B. to initiate the evaluation.
  • a storage unit can also be provided to store at least the evaluation means, e.g. B. as at least one computer program, non-volatile storage, and / or to at least temporarily store the detection information.
  • One or more processors of the evaluation device can be suitable for executing a computer program such as the evaluation means in order to carry out at least one method step of a method according to the invention.
  • an illumination means which has a differently polarizing and / or at least two-colored spatial structure for at least two different settings of the illumination parameter, preferably at least two (in particular in a plane orthogonal to the direction of light propagation of the illumination) adjacent has arranged polarization and / or color filters in order to provide different illumination patterns depending on polarization and / or color.
  • the lighting means is e.g. B. designed to perform the coding of the illuminating light depending on a position of the illuminant so as to vary the lighting parameters in a simple manner.
  • the illuminating means is designed as a condenser insert and is used for filtering an illuminating light in a condenser unit of the optical detection system is to provide a coding, in particular polarization and / or color coding of the illuminating light.
  • the illuminating light can thus be coded and spatially structured by simply expanding a detection system. It can be advantageous if a recording system is used which is at least largely independent of the evaluation used. Merely the use of the lighting means and / or an adaptation of the detection device and / or the evaluation device can possibly be sufficient for use with the evaluation according to a method according to the invention. This entails a significant reduction in technical effort.
  • the detection device has at least one camera sensor, preferably an RGB camera sensor (RGB stands for red, green, blue, for example as possible color filters of the camera sensor), and / or is designed as a polarization-sensitive camera preferably to perform decoding of the illuminating light. It is conceivable that the detection device detects the transmission mode in the detection system in order to provide the detection information. Alternatively or additionally, the detection device can be designed to decode the illuminating light in that the detection device has a decoding means, such as, for. B. a color filter or a polarizing filter.
  • RGB red, green, blue, for example as possible color filters of the camera sensor
  • the optical detection system is designed as a microscope system for transmitted light microscopy, in particular in order to carry out a sample evaluation in the transmission mode.
  • the invention also relates to a computer program, in particular a computer program product, comprising commands which are used to execute the Computer program cause a computer to at least partially carry out the steps of a method according to the invention.
  • the computer program according to the invention thus brings with it the same advantages as have been described in detail with reference to a method and / or a detection system according to the invention.
  • the computer program can be suitable for carrying out at least one method step of a method according to the invention by activating a detection system according to the invention.
  • the computer program can optionally also be designed as a downloadable digital signal.
  • the invention also relates to a computer-readable medium on which a computer program according to the invention can be stored.
  • the computer-readable medium according to the invention thus brings with it the same advantages as have been described in detail with reference to a computer program according to the invention.
  • the computer-readable medium is designed, for example, as a (permanent or non-transitory) data store, such as a flash memory or a hard disk or the like.
  • the computer-readable medium can optionally also be designed as a downloadable digital signal.
  • a computer program and / or a computer program product and / or a computer-readable medium can have an evaluation means, comprising commands that cause the optical detection system according to the invention to carry out at least one of the method steps of a method according to the invention.
  • FIG. 1 An optical detection system 1 according to the invention is schematically shown, which has a detection device 40 and an evaluation device 50.
  • the optical detection system 1 (possibly with the exception of the evaluation device 50) can be designed as a microscope for transmitted light microscopy. So z. B. a broadband (for example white) light source 30 can be used as illumination (ie for generating the illumination light).
  • an illumination means 10 can be provided in the acquisition system 1. This illuminating means 10 is used, for example, in a microscope condenser in the detection system 1 in order to code the illuminating light and / or to change it spatially before illuminating the sample 2 by the illuminating light.
  • the lighting means 10 can provide different lighting patterns, e.g. B. one for each coding.
  • the illuminating means 10 can be designed to impress the color information “red”, “green” and “blue” at different positions of the illuminating light.
  • the sample 2 are illuminated and an enlarged image on the detection device 40, in particular camera 40, is generated via an optical system (such as an imaging optics 20).
  • the detection device 40 is e.g. B. a color camera with a color filter, in particular a Bayer sensor, in order to extract three individual images from the image into the spectral range to record red, green and blue at the same time.
  • the camera can have at least one polarization filter in order to take individual images for the different polarizations on the basis of the image.
  • the individual images correspond to e.g. B. the acquisition information.
  • the camera 40 can be designed as a polarization camera (polarization image sensor) or as a polarization-sensitive line sensor.
  • polarization camera polarization image sensor
  • polarization-sensitive line sensor a polarization-sensitive line sensor.
  • Several cameras 40 are also conceivable as a detection device 40, e.g. B. each with polarization splitter or polarization filter.
  • the illuminating light of each different coding passes through the optical detection system differently and independently of one another, so that different information about the sample is provided by the coding-dependent recording of the detection information.
  • the individual images and / or the acquisition information 110 can then be transmitted from the detection device 40 to an evaluation device 50 in order, for example, B. by means of a processor 51 and a data memory 52 to perform an evaluation of the acquisition information 110.
  • the data memory 52 has, for example, an evaluation means 60, such as a computer program.
  • the lighting means 10 is, for. B. executed as a spatially structured filter, in particular polarization and / or color filters.
  • the lighting means 10 can be a transmission filter which, for. B. can be used in the microscope condenser of a transmission microscope. If the illuminating means 10 has at least one color filter, it can generate a suitable adaptation of a broadband (white) illuminating light for color coding. If the coding is generated, for example, by a different polarization, the polarization of the illuminating light can be changed accordingly for the coding.
  • a first segment 11 can be designed as a red color filter
  • a second segment 12 as a green color filter
  • a third segment 13 as a blue color filter.
  • the illuminating means 10 can be inserted into the detection system 1 in such a way that the illuminating light (e.g. from the condenser and / or from the light source 30) to those in the Figure 2 surface shown in a plan view, is spatially changed by the segments 11, 12, 13 and then on the according Figure 2 back surface emerges again.
  • FIG. 3 A learning process for an evaluation means 60 is shown schematically, which can optionally be part of a method according to the invention.
  • a detection 101 of a region of the sample 2 is carried out by the or another optical detection system 1 in order to obtain at least two different learning information 110 about the sample by varying at least one detection parameter, in particular lighting parameter, for the learning information 110.
  • illumination patterns are generated, for example, by an illuminating means 10, in particular by spatially structured filtering of the illuminating light.
  • the teach-in information 110 is implemented, for example, as data records which, for. B. may correspond to the acquisition information 110.
  • Application data for the evaluation means 60 can then be generated from this learning information 110.
  • a reference acquisition 102 or reference evaluation 102 can then be carried out.
  • the reference acquisition 102 is preferably carried out on the same area of the sample 2 as the acquisition 101.
  • a ground truth 112 can be determined by a reference processing 111, in particular a segmentation 111.
  • the Ground Truth z. B. is a segmentation mask that masks the relevant areas of the sample location of sample 2.
  • An automated marking of the relevant sample areas can e.g. B. take place in that a fluorescence recording is carried out at the same sample location, in which relevant fluorescence markings of the sample are detected and then a segmentation is carried out in this fluorescence image via digital image processing.
  • transfer information 200 can be determined using the application data and the ground truth 112.
  • training of the evaluation means 60 e.g. B. a neural network.
  • the evaluation means 60 can optionally automatically learn to recognize the relevant areas of the sample location.
  • the result of this learning 130 may accordingly be the transfer information 200, in other words as a trained neural network or the like. This can also have a model for estimating the positions and / or contours of relevant areas in the learning information 101.
  • result information such as an estimate of relevant areas at a sample location
  • at least two different acquisition information 110 can be provided, in particular acquisition 101, about the sample 2, in particular by the acquisition system 1.
  • an evaluation 120 of the acquisition information 110 in particular by an evaluation means 60, can take place using machine-taught transfer information 200. to determine result information 140 about sample 2.
  • the transfer information it is possible for the transfer information to be trained for a different acquisition parameterization of the acquisition information, in which the acquisition information 110 is coded, in particular polarized and / or color coded, from one another at least with regard to an illumination parameter of the acquisition system.
  • the transfer information 200 and / or the evaluation means 60 can be transfer information 200 or an evaluation means 60 according to the method shown in FIG Figure 3 the learning process described.
  • the acquisition information 110 can contain significantly more information about the sample 2, which can then be used by the evaluation means 60 (such as a neural network) in order, for example, to estimate the relevant sample areas with very high accuracy.
  • the evaluation means 60 can carry out the transfer of the information from the acquisition information 110 into a result information 140 independently of a specific physical model of the optical acquisition system 1 and is therefore very robust against unknown properties of the optical acquisition system 1 and deviations from a possibly existing, idealized physical model , It is possible that no knowledge of the optical detection system 1 is required and / or used to carry out a method according to the invention.
  • the result information 140 in particular an estimate of the relevant sample areas of sample 2 to be determined from a single recording of sample 2.
  • This recording has, for example, several different pieces of acquisition information 110, ie acquired in parallel Recordings of the same sample location according to different coding and / or different lighting parameters of the detection system 1.
  • the relevant sample areas are in particular a localization of cells and / or cell nuclei and / or a segmentation of the cells and / or spatial information about objects the sample 2.
  • the evaluation means 60 ie in particular the neural network, can be designed as a convolutional neural network (CNN or German: “folding neural network”), preferably as a so-called “fully convolutional network” as described in Long, J .; Shelhamer, E .; Darre //, T. (2014). "Fully convolutional networks for semantic segmentation”.
  • CNN convolutional neural network
  • U-Net U-Net as described in Ronneberger, Olaf; Fischer, Philipp; Brox, Thomas (2015).
  • a known neural network can be used at least essentially unchanged, and thus the creation of the training data sets (ie the learning information or application data) and / or the training (ie teaching 130) of the neural network with the training data sets and / or which are done in a conventional manner.
  • the present description therefore discloses steps which differ from the known training and application steps of machine learning.
  • a possible structure of the network according to the U-Net is in Figure 5 shown.
  • a CNN has proven to be particularly suitable. This can be suitable for processing inputs in the form of a matrix, and thus also images displayed as a matrix.
  • the respective picture can e.g. B. be defined as an image file by multiple pixels.
  • the number of pixels in the width of a respective image can e.g. B. in the range of 8 to 2048, preferably 16 to 1024, preferably 32 to 512.
  • the number of pixels in height can also be in the aforementioned ranges, and one or more color channels can also be provided.
  • the number of neurons in the input layer can correspond to the number of pixels in the image which are transferred to the network as input.
  • the total number of neurons in the network can also result from the number of pixels, which is used as input for further layers of the network.
  • the network can have one or more convolutional layers (also called “convolutional layer” or simply “filter”), which a pooling layer (also called aggregation layer) can follow.
  • the convolutional layer and the pooling layer can also be arranged alternately repeatedly.
  • a fully connected layer can optionally be connected, but this can also be dispensed with (as in the case of a fully convolutional network and in particular U-Nets).
  • One or more filter kernels (convolution matrix) can be provided for each convolutional layer, each with a specific matrix size (pixel size), e.g. B. 2x2 or 3x3.
  • the activity of each neuron can be calculated using a discrete convolution, for example by gradually moving the filter kernel over the input.
  • the inner product of the filter kernel can be calculated with the current image section below.
  • This application of the filter kernel results in a result matrix (or "feature channel” or “feature map”).
  • the size of the result matrix can depend on the filter size (kernel size), any padding used and the step size used. The parameters mentioned can also be determined as a function of a desired value of the size.
  • the number of result matrices (or the feature channels) can result from or correspond to the number of filter kernels. For subsequent layers, the size of the result matrix can also be changed using the pooling layer (so-called upsampling or downsampling).
  • MaxPooling Layer For example, the highest value of the result matrix is used and all others discarded. Max pooling is very common. B. from every 2 x 2 square of convolutional layer neurons only the activity of the most active (hence "max") neuron is retained for the further calculation steps. The number of filter kernels can also change.
  • the results of each layer can also be activated by an activation function such as a ReLu (Rectified Linear Unit) function.
  • the ReLU function can be defined as a function in which each value less than zero becomes zero and the other values greater than zero are retained.
  • acquisition information such as an input record can be used as input, which is in each case implemented as a two-dimensional image. If there are several color channels in the input recording, a 3D matrix can be determined from the input recording. A first convolution according to a first convolutional layer can be applied to this matrix. The number of neurons used in this step can correspond to the number of pixels in the matrix.
  • the network structure 70 can have a contracting path, see left half of the network structure 70 in Figure 5 ) and an expansive path (see right half of the network structure 70 in Figure 5 ) exhibit. Due to the high number of feature channels 71 in the expansive path, the U-shape of the network structure 70 results (cf. Ref. 2).
  • the contracting path can correspond to the typical architecture of a CNN.
  • the sequence described can then be repeated, the number of feature channels 71 being doubled in each case with subsequent downsampling steps 74. Only one is visualized with the rectangle (partially marked with 71) Feature channel 71 representative of multiple feature channels.
  • the feature channels 71 can thus be doubled (e.g. first of 64 for the first two folds, then 128 for a further two folds, then 256 for a further two folds, then 512 for a further two folds, and finally 1024).
  • an upsampling can take place in the expansive path (eg by an initial 2x2 convolution 75 ("upconvolution") or by an interpolation).
  • the upsampling steps 75 are each identified by an arrow pointing upwards.
  • FIG. 5 A schematic representation of the network structure 70 is shown, although some operations (eg a copy-and-crop) can be provided, even if they are not explicitly shown.
  • the specific network architecture is secondary, provided that a relatively high number of training data records are used.
  • the network structure can be exchangeable and does not need to be adapted further if a large number of data records (ie images) are used. Augmentation can also be dispensed with in this case.
  • the training in turn can also be done in a conventional manner. For example. backpropagation is used for this. Specifically, the training can take place, for example, as is also described in Ref. 2. Recorded images and associated segmentation maps can be used as input. An optimization method such as a gradient method ("stochastic gradient descent”) can be used.
  • the moment of inertia can be chosen high (e.g. 0.99).
  • the energy function can e.g. B. done by pixel-by-pixel soft-max weighting on the feature card.
  • a cross entropy function can be considered as a loss function.
  • a weighting for the filter kernel can be determined by the training and represented by the transfer information 200.
  • Ref. 3 Another loss function that can optionally be used with the invention is in the literature Geert Litjens et al. (2017), "A survey on deep learning in medical image analysis", Medical Image Analysis, Volume 42, 2017, pages 60-88, ISSN 1361-8415, https://doi.org/10.1016/j.media.2017.07 .005, arXiv: 1702.05747 (Ref. 3).
  • the training strategy presented in Ref. 3 can also be used for the invention.
  • As input for the network e.g. B. RGB images are used so that the respective red, green and blue components of the image are used as input.
  • the augmentation, in particular rotary augmentation, in Ref. 3 can be omitted if the number of different images used as input is sufficient (e.g.
  • any artificial augmentation can be dispensed with, provided that a larger amount of data application data is created as input.
  • An overview of other possible network architectures that can be used for other input types of ground truth e.g. for classification, 3D segmentation or the like can be found in Ref. 2.
  • At least one cell sample can be provided according to a first training step.
  • This cell sample can have fluorescence-labeled and in particular DAPI (4 ', 6-diamidin-2-phenylindole) labeled cell nuclei.
  • DAPI ', 6-diamidin-2-phenylindole
  • a second training step a large number of images, preferably fluorescence images (through a fluorescence microscope as the detection system) of this cell sample in the DAPI channel, using a white light source as the light source with the illuminating means 10, e.g. B. in the form of a 3-fold spatial and color-coded filter, for recording 101 of the teach-in information and gradually recording the same positions as fluorescence images in the DAPI channel for reference acquisition 102.
  • the acquisition 101 of the teach-in information in contrast to the reference acquisition 102 spatial and color coding used.
  • the learning information is thus specific to acquisition information 110 which has a different acquisition parameterization.
  • the illuminating means 10 can be arranged in the microscope capacitor.
  • the fluorescence images of the reference acquisition 102 recorded in the DAPI can be segmented to generate a ground truth 112. This can be done manually or alternatively automatically using conventional algorithms suitable for this. In the simplest case, z. B. a threshold for the individual pixels in the images are used to recognize those pixels that exceed the threshold value as part of the cell nuclei.
  • evaluation means 60 can be taught in using ground truth 112 and the training information.
  • the learning information can be stored digitally in the form of application data.
  • the evaluation means 60 can in this case comprise a neural network, for example in accordance with an aforementioned embodiment.
  • the result of the teaching 130 can be the transfer information 200, in other words as a trained neural network, in particular as a classifier with the weights for the filter kernel or the like.
  • the transfer information 200 can be taught for a different acquisition parameterization of the acquisition information 110, in which the acquisition information 110 differs from one another, in particular polarized and / or color-coded, at least with regard to an illumination parameter of the acquisition system 1.
  • the evaluation means 60 trained in this way can then be used.
  • the trained evaluation tool is used e.g. B. in that another sample or sample location based on the method described in the second training step is detected solely with the spatially color (or polarization) coded illumination in the transmission by the corresponding spatial and color (or polarization) coding to obtain illuminated detection information 110.
  • an evaluation 120 can be carried out by the learned evaluation means 60 (e.g. model or network) to determine the result information 140, e.g. B. by estimating the segmentation masks of the cell nuclei.
  • the result information 140 can thus be a segmentation of the cell nuclei.
  • the segmentation of the training and / or the application can also be implemented as a 2D or 3D segmentation.
  • a further possible application is to carry out a classification of images or image regions or a localization (eg for counting) of objects or another detection of objects, in particular cells of the sample, instead of segmentation.
  • z. B. a fluorescence signal can be measured in the area of a cell compartment.
  • Another possible application is an estimation of the classification or regression of pixels or objects or sample areas of the sample.
  • So z. Legs Classification of individual image pixels or a classification of whole cells or tissue areas or a regression of individual image pixels, e.g. B. fluorescence properties or phase information, or a regression of whole cells or tissue areas.
  • the provision of a cytometric or histological analysis result is also a potential application. It can continue z. B. phase information or a three-dimensional information about the spatial structure of the sample (z. B. a z-stack for different defocused planes) or at least one fluorescence property of the sample or an extended depth of field of a sample recording (z. B. according to "Extended Focal Image" ) be determined.
  • the corresponding classification or another application result (such as a segmentation or detection result) for the ground truth 112 can be specified for the teaching 130.
  • An optional possibility for determining the ground truth 12 can be the use of fluorescence images (from wide field or cofocal images) or phase images from digital holographic methods or a Raman spectrum for classifying a cell or FLIM images or information, which can be determined in each case by the reference acquisition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur mikroskopischen Auswertung (120) einer Probe (2), insbesondere wenigstens einer ungefärbten Objekt- oder Zellprobe (2), bei einem optischen Erfassungssystem (1),wobei die nachfolgenden Schritte durchgeführt werden:- Bereitstellen von wenigstens zwei unterschiedlichen Erfassungsinformationen (110) über die Probe (2), insbesondere durch das Erfassungssystem (1),- Durchführen einer Auswertung (120) der Erfassungsinformationen (110), insbesondere durch ein Auswertungsmittel (60), anhand einer maschinell angelernten Transferinformation (200), um eine Ergebnisinformation (140) über die Probe (2) zu bestimmen,wobei die Transferinformation (200) für eine unterschiedliche Erfassungsparametrisierung der Erfassungsinformationen (110) angelernt ist, bei welcher sich die Erfassungsinformationen (110) zumindest hinsichtlich eines Beleuchtungsparameters des Erfassungssystems (1) voneinander kodiert, insbesondere polarisations- und/oder farbkodiert, unterscheiden.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur mikroskopischen Auswertung einer Probe. Ferner bezieht sich die Erfindung auf ein optisches Erfassungssystem, ein Computerprogramm sowie ein computerlesbares Medium.
  • Es ist aus dem Stand der Technik bekannt, dass Erfassungssysteme wie Mikroskope zur Durchlichtmikroskopie zur Analyse von Zellproben eingesetzt werden. Verfahren wie die Durchlichtmikroskopie bieten eine zuverlässige und etablierte Möglichkeit zur Analyse von Zellproben und basieren meist auf einem vergleichsweise technisch einfachen und damit kostengünstigeren Aufbau. Gleichwohl ist der hierdurch erhältliche Informationsgehalt über die zu untersuchende Probe gegebenenfalls geringer als bei komplexeren Mikroskopietechniken, wie der Fluoreszenzmikroskopie oder der Konfokalmikroskopie.
  • Eine gattungsgleiche Mikroskopietechnik ist beispielsweise aus der WO 2017/181044 A1 bekannt.
  • Es ist daher eine Aufgabe der vorliegenden Erfindung, die voranstehend genannten Nachteile zumindest teilweise zu reduzieren. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung, die Analyse von Proben zu verbessern, wobei gleichzeitig der technische Aufwand hierzu reduziert werden soll.
  • Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1, ein optisches Erfassungssystem mit den Merkmalen des Anspruchs 11, ein Computerprogramm mit den Merkmalen des Anspruchs 14 sowie durch ein computerlesbares Medium mit den Merkmalen des Anspruchs 15. Weitere Merkmale und Details der Erfindung ergeben sich aus den jeweiligen Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen optischen Erfassungssystem, dem erfindungsgemäßen Computerprogramm sowie dem erfindungsgemäßen computerlesbares Medium, und jeweils umgekehrt, so dass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.
  • Aus der WO 97/1 1350 A2 , DE 10 2014 108044 A1 , WO 91/20048 A1 , WO 2016/191462 A1 , US 2015/185459 A1 und LITJENS GEERT ET AL: "A Survey on deep learning in medical Image analysis", MEDICAL IMAGE ANALYSIS, Bd. 42, Seiten 60-88, XP085240547, ISSN: 1361-8415, DOI: 10.1016/J.MEDIA.2017.07.005 sind gattungsgemäße Verfahren bekannt. So offenbart die WO 97/1 1350 A2 ein neuronales Netzwerk assistiertes multi-spektrales Segmentierungsverfahren, bei welchem drei Bilder unterschiedlicher optischer Bänder für eine Probe aufgezeichnet werden.
  • Die Aufgabe wird insbesondere gelöst durch ein Verfahren zur mikroskopischen Auswertung einer Probe, insbesondere wenigstens einer ungefärbten Objekt- oder Zellprobe, bei einem optischen Erfassungssystem.
  • Vorteilhafterweise kann bei einem erfindungsgemäßen Verfahren zumindest einer der nachfolgenden Schritte durchgeführt werden, wobei die Schritte bevorzugt nacheinander in der angegebenen Reihenfolge oder in beliebiger Reihenfolge durchgeführt werden, und ggf. auch einzelne Schritte wiederholt werden können:
    • Bereitstellen von wenigstens zwei unterschiedlichen Erfassungsinformationen über die Probe, insbesondere durch das Erfassungssystem,
    • Durchführen einer Auswertung der Erfassungsinformationen, insbesondere durch ein (insbesondere auf maschinelles Lernen basiertes) Auswertungsmittel, vorzugsweise anhand einer maschinell angelernten Transferinformation und/oder durch ein neuronales Netz, um eine Ergebnisinformation über die Probe zu bestimmen.
  • Die Transferinformation ist dabei z. B. eine digital nicht-flüchtig gespeicherte Information, welche aus einem Anlernprozess (z. B. gemäß einem maschinellen Lernen) entstanden ist. Die Transferinformation kann z. B. einen Klassifikator oder ein Modell oder dergleichen aufweisen. Bevorzugt zeichnet dabei die Transferinformation aus, dass diese automatisiert durch eine künstliche Intelligenz (also insbesondere im Anlernprozess eines neuronalen Netzes) oder dergleichen erzeugt wurde.
  • Es ist dabei optional möglich, dass die Transferinformation (insbesondere zum Transfer der Erfassungsinformationen in die Ergebnisinformation) für eine unterschiedliche Erfassungsparametrisierung der Erfassungsinformationen angelernt ist. Vorteilhafterweise können sich bei dieser unterschiedlichen Erfassungsparametrisierung die Erfassungsinformationen zumindest hinsichtlich eines Beleuchtungsparameters des Erfassungssystems voneinander (beispielsweise kodiert, insbesondere polarisations- und/oder farbkodiert) unterscheiden. Dies hat den Vorteil, dass relevante Informationen über die Probe mit hoher Zuverlässigkeit und insbesondere auch ohne genaue Kenntnisse des optischen Erfassungssystems oder eines zugrundeliegenden Modells extrahiert werden können. Die Transferinformation kann ggf. irgendeinen Klassifikator (z. B. eine Gewichtung für ein neuronales Netz) bezeichnen, sofern dieser für eine unterschiedliche Erfassungsparametrisierung der Erfassungsinformationen angelernt ist.
  • Insbesondere ist es möglich ein erfindungsgemäßes Verfahren im Durchlichtverfahren zur Durchlichtmikroskopie (z. B. mit einem Durchlichtmikroskop als optisches Erfassungssystem) zu betreiben. Darüber hinaus ist es denkbar, dass die Auswertung zumindest teilweise durch den Einsatz selbstlernender Methoden, insbesondere aus dem Bereich des maschinellen Lernens erfolgt.
  • Vorteilhafterweise kann unter selbstlernenden Methoden verstanden werden, dass ein überwachtes Anlernen (Maschinenlernen) erfolgt, für welches ein Ground Truth ohne manuellen Eingriff (z. B. ohne Annotationen) generiert wird. Hierzu kann bspw. ein motorisierter Probentisch eingesetzt werden, um die Probe automatisiert zu bewegen und damit unterschiedliche Bereiche der Probe oder auch unterschiedliche Proben für eine Referenzerfassung erfassen zu können.
  • Die Erfassungsparametrisierung ist dabei vorzugsweise als eine Einstellung von Parametern bei der Erfassung bei dem optischen Erfassungssystem zu verstehen, sodass durch die unterschiedliche Erfassungsparametrisierung unterschiedliche Erfassungsinformationen erfasst werden können. In anderen Worten kann z. B. bei einer ersten Einstellung (d. h. einer ersten Parametrisierung) eine erste Erfassungsinformation erfasst werden und bei einer zweiten Einstellung (d. h. einer zweiten Parametrisierung), welche sich von der ersten Einstellung unterscheidet, eine zweite Erfassungsinformation erfasst werden, usw. Dabei können sich die Erfassungsinformationen in Abhängigkeit von der jeweils genutzten Erfassungsparametrisierung unterscheiden. Die Erfassungsparametrisierung kann somit eine Einstellung am Erfassungssystem sein, wie z. B. eine Einstellung eines Beleuchtungswinkels und/oder einer Beleuchtungsstruktur und/oder eines Beleuchtungsmusters und/oder einer Polarisierung und/oder einer Farbfilterung eines Beleuchtungslichts z. B. des Kondensors.
  • Es kann möglich sein, dass das Bereitstellen der wenigstens zwei unterschiedlichen Erfassungsinformationen durch ein Auswertungsmittel, wie z. B. durch ein Computerprogramm oder durch eine Elektronik oder durch wenigstens einen Prozessor, und/oder durch einen Computer erfolgt. Alternativ oder zusätzlich kann das Bereitstellen durch das Erfassungssystem durchgeführt werden, wobei die Erfassungsinformationen für eine Erfassung durch das optische Erfassungssystem spezifisch sind. In diesem Fall ist es von Vorteil, wenn das Bereitstellen als eine Aufzeichnung durch eine Detektionsvorrichtung, wie eine Kamera des Erfassungssystems, durchgeführt wird. Hierzu ist die Detektionsvorrichtung z. B. mit wenigstens einem Sensor ausgeführt, welcher zur Erfassung auf ein Beleuchtungslicht (des Detektionspfades) ausgerichtet ist, wobei das Beleuchtungslicht durch die Probe beeinflusst ist. Das Beleuchtungslicht wird dabei z. B. durch einen Kondensor erzeugt, und/oder durch ein Beleuchtungsmittel verändert, und/oder wird dadurch durch die Probe verändert, dass es auf die Probe abgestrahlt wird und diese damit beleuchtet.
  • Außerdem kann es im Rahmen der Erfindung möglich sein, dass das Auswertungsmittel als ein Computerprogramm, insbesondere Computerprogrammprodukt, ausgeführt ist. Bevorzugt kann das Computerprogramm ausschließlich in einer dauerhaften, nichtflüchtigen (engl. non-transitory) Form vorliegen, z. B. auf einem physikalischen Datenspeicher, wie einer Festplatte oder einem Flashspeicher oder dergleichen. Das Auswertungsmittel kann geeignet sein, durch eine Auswertevorrichtung ausgeführt zu werden, um wenigstens einen Verfahrensschritt eines erfindungsgemäßen Verfahrens zumindest teilweise durchzuführen. Die Auswertevorrichtung ist beispielsweise ein Computer oder eine Elektronik oder wenigstens ein Prozessor, welcher zum Ausführen des Auswertungsmittels mit wenigstens einem Datenspeicher verbunden sein kann. Diese Verbindung ist z. B. eine elektrische Verschaltung und/oder eine Signalverbindung, um das Auswertungsmittel aus dem Datenspeicher zu lesen. Ferner kann die Auswertevorrichtung wenigstens einen Prozessor aufweisen, um das ausgelesene Auswertungsmittel auszuführen. Gegebenenfalls kann hierzu auch wenigstens ein Zwischenspeicher zum Einsatz kommen, um z. B. die wenigstens eine Erfassungsinformation und/oder die Transferinformation und/oder die Ergebnisinformation zwischen zu speichern. Darüber hinaus kann die Transferinformation auch dauerhaft (nicht-flüchtig) in einen Datenspeicher der Auswertevorrichtung gespeichert sein. Optional kann die Auswertevorrichtung zudem zur Ansteuerung und/oder zur Auswertung und/oder zur Bereitstellung elektrisch mit wenigstens einer Komponente des optischen Erfassungssystems verbunden sein, beispielsweise mit einer Detektionsvorrichtung. Auf diese Weise ist es möglich, dass die Auswertevorrichtung die Erfassungsinformationen von der Detektionsvorrichtung empfängt und z. B. in dem Zwischenspeicher oder in dem Datenspeicher hinterlegt.
  • Vorteilhafterweise kann die Bereitstellung der Erfassungsinformationen auch dadurch erfolgen, dass eine Detektionsvorrichtung des Erfassungssystems ein auf die Detektionsvorrichtung gerichtetes Licht aufzeichnet, wobei dieses Licht spezifisch ist für eine Veränderung eines Beleuchtungslichts durch die Probe und/oder abhängig ist von dem Beleuchtungsparameter. Der Beleuchtungsparameter ist z. B. eine Einstellung eines Beleuchtungswinkels des Beleuchtungslichts und/oder einer Beleuchtungsfarbe des Beleuchtungslichts und/oder einer Polarisation des Beleuchtungslichts und/oder einer räumlichen Eigenschaft (Struktur) des Beleuchtungslichts.
  • Ferner ist es denkbar, dass sich die Erfassungsinformationen zumindest hinsichtlich des Beleuchtungsparameters des Erfassungssystems voneinander kodiert, insbesondere polarisations- oder farbkodiert unterscheiden. Die farbkodierte Unterscheidung wird beispielsweise dadurch ermöglicht, dass für unterschiedliche Beleuchtungsparameter (oder auch eine unterschiedliche Beleuchtungsparametrisierung) eine unterschiedliche Beleuchtungsfarbe genutzt wird. Hierzu wird beispielsweise ein Beleuchtungsmittel genutzt, um eine Farbfilterung des Beleuchtungslichts in Abhängigkeit des Beleuchtungsparameters zu erzielen. Das Beleuchtungsmittel kann hierzu als räumlich strukturierter Farbfilter ausgeführt sein. Der Beleuchtungsparameter ist z. B. eine räumliche Struktur oder ein Winkel, welcher für unterschiedliche Erfassungsinformationen unterschiedlich eingestellt wird. So kann der Beleuchtungsparameter auch eine unterschiedliche Struktur des Beleuchtungslichts für unterschiedliche Erfassungsinformationen betreffen. Um das daraus resultierende Licht den unterschiedlichen Erfassungsinformationen zuzuordnen, kann entsprechend die Kodierung, z. B. Farbkodierung (d. h. eine Farbfilterung) oder Polarisationskodierung, genutzt werden. Auf diese Weise werden zur Bereitstellung unterschiedliche Beleuchtungseigenschaften, wie Beleuchtungsfarben oder Polarisationen, welche z. B. aus einer Aufzeichnung einer Detektionsvorrichtung erhalten werden können, unterschiedlichen Erfassungsinformationen zugeordnet. Die unterschiedlichen Beleuchtungseigenschaften können alternativ oder zusätzlich zur Beleuchtungsfarbe (der Farbkodierung) auch eine Polarisation des Beleuchtungslichts (der Polarisationskodierung) betreffen.
  • Außerdem ist es bei einem erfindungsgemäßen Verfahren optional möglich, dass die Erfassungsinformationen für eine Erfassung der Probe durch das optische Erfassungssystem spezifisch sind, bei welcher sich die Erfassungsparametrisierung für die Erfassungsinformationen unterscheidet. Alternativ oder zusätzlich kann sich die Erfassungsparametrisierung zumindest durch eine Variation eines Beleuchtungsparameters des Erfassungssystems unterscheiden. Die Variation ist beispielsweise eine Farbvariation oder eine unterschiedliche Polarisation eines Beleuchtungslichts, und wird insbesondere durch eine Auswertevorrichtung und/oder durch ein Beleuchtungsmittel gesteuert. Das Beleuchtungsmittel kann hierin z. B. als Farb- oder Polarisationsfilter ausgeführt sein.
  • Es kann bei der Erfindung vorgesehen sein, dass sich die Erfassungsinformationen zumindest hinsichtlich des Beleuchtungsparameters des Erfassungssystems voneinander kodiert unterscheiden. Die Kodierung erfolgt dabei insbesondere durch eine Veränderung wenigstens einer Eigenschaft des Beleuchtungslichts in vordefinierter Weise, um das so veränderte Beleuchtungslicht bei der Bereitstellung (insbesondere Erfassung) der Erfassungsinformationen von anderem Beleuchtungslicht unterscheiden zu können. Diese Veränderung, d. h. Kodierung, kann dann z. B. für verschiedene räumliche Positionen oder Bereiche des Beleuchtungslichts voneinander unterschiedlich und unterscheidbar erfolgen. Damit werden unterschiedliche Beleuchtungsmuster gebildet, welche sich voneinander zumindest anhand der Kodierung unterscheiden. Es kann sodann aus jedem der unterschiedlichen Beleuchtungsmuster bzw. für jede unterschiedliche Kodierung wenigstens eine der Erfassungsinformationen erzeugt werden, welche dann nur Informationen aus diesem Beleuchtungsmuster bzw. aus diesem entsprechend kodierten Beleuchtungslicht aufweist. Beispielsweise wird als Kodierung dabei eine unterschiedliche Polarisation des Beleuchtungslichts genutzt. Eine Aufzeichnung der Probe anhand dieses derart kodierten Beleuchtungslichts wird beispielsweise für die verschiedenen Polarisationen aufgetrennt, sodass für jede der unterschiedlichen Polarisationen eine Erfassungsinformation erzeugt wird. Dabei kann die unterschiedliche Polarisation (z. B. im Bereich eines Kondensors) vor der Beleuchtung der Probe durch das Beleuchtungslicht erfolgt. Es können die Erfassungsinformation unterschiedliche Informationen über die Probe aufgrund der unterschiedlichen Wege des Beleuchtungslichts im Erfassungssystem aufweisen. Die vorgenannte Ausführung gilt dabei auch für andere Kodierungsarten, wie die Farbkodierung.
  • Es kann dabei bei dem erfindungsgemäßen Verfahren von Vorteil sein, dass die Auswertung den Unterschied der Erfassungsinformationen nutzt, insbesondere für die Probe spezifische und/oder durch die Probe verursachte Unterschiede nutzt, um wenigstens eine daraus sich ergebene Information über die Probe wie die Ergebnisinformation zu erhalten. Dabei ist vorteilhafterweise der Strukturunterschied, also die unterschiedlichen Beleuchtungsmuster, welche zur Aufzeichnung unterschiedlicher der Erfassungsinformationen genutzt werden, für die Entstehung dieses Unterschieds entscheidend. Die unterschiedlichen Erfassungsinformationen können sich daneben z. B. hinsichtlich der Kodierung des Beleuchtungslichts unterscheiden, welches zur Aufzeichnung der Erfassungsinformationen genutzt wird. Es handelt sich dabei dann aber ggf. um einen vordefinierten Unterschied zur Kodierung und nicht um einen durch die Probe verursachten Unterschied. Die Kodierung kann sich dabei beispielsweise eine Farbkodierung oder Polarisation sein. Die Auswertung oder Bereitstellung wertet somit insbesondere die unterschiedliche Kodierung nicht im Sinne einer Information über eine Probeneigenschaft auf, um die Ergebnisinformation zu erhalten, sondern ggf. nur zur Dekodierung und zur Bereitstellung der Ergebnisinformationen. So werden z. B. unterschiedliche Farben einer Aufzeichnung einer Detektionsvorrichtung als Information zur Dekodierung durch die Auswertung oder Bereitstellung genutzt und ggf. nicht als eine spektrale Veränderung des Beleuchtungslichts durch die Probe.
  • Es ist denkbar, dass zeitlich vor der Auswertung das Bereitstellen (die Bereitstellung) der Erfassungsinformationen dadurch erfolgt, dass zur Dekodierung unterschiedliche Aufzeichnungen von (durch die Probe veränderten) Beleuchtungslicht durch eine Detektionsvorrichtung des Erfassungssystems durchgeführt werden, vorzugsweise gleichzeitig und/oder parallel, um jeweils eine unterschiedliche der Erfassungsinformationen anhand der jeweiligen Aufzeichnung zu bestimmen, wobei sich die Aufzeichnungen durch die Eigenschaften des Beleuchtungslichts unterscheiden.
  • Insbesondere erfolgt das Bereitstellen der Erfassungsinformationen derart, dass eine einzelne der Erfassungsinformationen keine Unterschiede des Beleuchtungsparameters und/oder der Eigenschaft des Beleuchtungslichts aufweist, also z. B. nur anhand Beleuchtungslicht einer einzigen Eigenschaft wie einer einzigen Farbe oder Polarisation erzeugt ist. Insbesondere können die Unterschiede nur für unterschiedliche der Erfassungsinformationen erkennbar sein.
  • Dabei ist es auch denkbar, dass mehrere Kodierungsarten, z. B. die Farb- und die Polarisationskodierung, kombiniert zum Einsatz kommen. Die unterschiedliche Polarisation des Beleuchtungslichts umfasst z. B. unterschiedliche Polarisationsarten (wie lineare und zirkulare Polarisation) oder unterschiedliche Polarisationsrichtungen oder unterschiedliche Polarisationsmuster oder auch den Einsatz von polarisierten und sich davon unterscheidenden unpolarisierten Beleuchtungslicht. Auch andere Eigenschaften des Beleuchtungslichts als die Farbe oder Polarisation können ggf. zur Kodierung genutzt werden.
  • Das Bereitstellen kann z. B. auch das Auslesen der Erfassungsinformationen initiiert durch das Auswertungsmittel von einem Datenspeicher oder einer Schnittstelle zum Erfassungssystem sein. Eine solche Schnittstelle kann beispielsweise eine Signalverbindung und/oder elektrische Verbindung zu einer Detektionsvorrichtung des Erfassungssystems aufweisen.
  • Es kann möglich sein, dass zum Bereitstellen der nachfolgende Schritt vorgesehen ist:
    • Durchführen zumindest einer Erfassung der Probe durch das optische Erfassungssystem, um die unterschiedlichen Erfassungsinformationen durch eine Variation des Beleuchtungsparameters zu erhalten,
      wobei die Variation als eine Veränderung
      • der räumlichen Beleuchtungsstruktur und der Beleuchtungsfarbe und/oder
      • der räumlichen Beleuchtungsstruktur und der Beleuchtungspolarisation
    für die unterschiedlichen Erfassungsinformationen erfolgt. Optional kann die Beleuchtungsfarbe und (alternativ oder zusätzlich) die Beleuchtungspolarisation die durch die räumliche Beleuchtungsstruktur erzeugten Beleuchtungsmuster kodieren.
    Es kann weiter möglich sein, dass zum Bereitstellen der nachfolgende Schritt vorgesehen ist:
    • Durchführen zumindest einer Erfassung der Probe durch das optische Erfassungssystem, um die unterschiedlichen Erfassungsinformationen durch eine Variation des Beleuchtungsparameters zu erhalten,
    wobei die Variation als eine Veränderung der räumlichen Beleuchtungsstruktur und/oder der Beleuchtungsfarbe und/oder der Beleuchtungspolarisation für die unterschiedlichen Erfassungsinformationen erfolgt, wobei vorzugsweise hierzu ein Beleuchtungslicht räumlich strukturiert und/oder zur Farbkodierung wenigstens zweifarbig und/oder zur Polarisationskodierung unterschiedlich polarisiert ist, sodass insbesondere farb- und/oder polarisationsabhängig verschiedene Beleuchtungsmuster erzeugt werden, und bevorzugt diese Beleuchtungsmuster für die Erfassungsinformationen spezifisch sind. Insbesondere können die durch die Probe veränderten Beleuchtungsmuster (welche das Erfassungssystem und/oder die Probe durchlaufen haben) durch die Erfassungsinformationen erfasst werden. Diese enthalten entsprechend die relevanten Informationen über die Probe. Dies hat den Vorteil, dass durch die Variation des Beleuchtungsparameters unterschiedliche Erfassungsinformationen bereitgestellt werden können, um durch die Auswertung, insbesondere eine Verarbeitung der Erfassungsinformationen, den Informationsgehalt der Probenerfassung zu erhöhen. Insbesondere erfolgt dabei die Variation der Beleuchtungsfarbe zur Farbkodierung oder der Polarisation zur Polarisationskodierung des Beleuchtungslichts, um auf diese Weise anhand der Beleuchtungsfarbe oder der Polarisation die Erfassungsinformationen extrahieren zu können. Die räumliche Strukturierung des Beleuchtungslichts erfolgt insbesondere zur Erhöhung des Informationsgehalts, da auf diese Weise das Beleuchtungslicht in unterschiedlicher Weise das optische Erfassungssystem durchlaufen kann. Auf diese Weise kann z. B. ein (ggf. farbliches) Multiplexing bereitgestellt werden, um mehrere Bilder der Probe gleichzeitig und/oder parallel aufzunehmen. Die Bilder entsprechen dabei beispielsweise den Erfassungsinformationen.
  • Bei geeigneter Formung der Beleuchtungsmuster durch die Beleuchtungsstruktur können so z. B. mehrere Bilder der Probe parallel mit einem optischen Erfassungssystem und ohne zeitlichen Verlust aufgenommen werden. Dabei ist es denkbar, dass die optischen Eigenschaften des optischen Erfassungssystems (d. h. insbesondere des abbildenden Mikroskopsystems) abhängig sind von der Lichtfarbe des Beleuchtungslichts, beispielsweise über chromatische Aberrationen. Grundsätzlich ist es dabei denkbar, dass das optische Erfassungssystem beziehungsweise dessen optische Eigenschaften moduliert werden und auf Grundlage dieses physikalischen Modells ein zusätzlicher Informationsgewinn bei der Probenerfassung möglich ist. Durch die Nutzung der angelernten Transferinformationen, und insbesondere auch in Kombination mit selbstlernenden Auswertungsverfahren, kann gegebenenfalls auf solche Modellbildung zumindest teilweise verzichtet werden, wobei dennoch der Informationsgewinn möglich ist oder verbessert wird. Auch kann gegebenenfalls auch diese Weise die Einschränkung überwunden werden, dass bei physikalischen Modellen nur solche Informationen anhand der Erfassungsinformationen extrahierbar sind, für die es im physikalischen Modell eine Entsprechung gibt. Ferner sind solche Verfahren grundsätzlich darauf angewiesen, dass das reale System dem Modell zu einem guten Grad entspricht. Die Nutzung der angelernten Transferinformationen kann dabei gegebenenfalls so verstanden werden, dass das Modell automatisch mittels künstlicher Intelligenz generiert wird. Auch kann die Auswertung der Erfassungsinformationen gegebenenfalls eine selbstlernende Objekt- oder eine selbstlernende Zellanalyse bei der Probe umfassen, um anhand des Unterschieds der Erfassungsinformationen zusätzliche Informationen über die Probe zu gewinnen.
  • Es ist ferner bei dem erfindungsgemäßen Verfahren denkbar, dass das Beleuchtungslicht so kodiert ist, z. B. mindestens zweifarbig oder polarisiert, und/oder räumlich so strukturiert ist, dass kodierungsabhängig, d. h. beispielsweise farbabhängig und/oder polarisationsabhängig, verschiedene Beleuchtungsmuster auftreten. Dabei können gegebenenfalls verschieden farbige und/oder polarisierte Beleuchtungsmuster das optische Erfassungssystem auf verschiedene Weise durchlaufen und dadurch unterschiedliche Aufnahmen, d. h. die unterschiedlichen Erfassungsinformationen erzeugen. Unter unterschiedlichen Farben werden insbesondere unterschiedliche Wellenlängenbereiche verstanden.
  • Vorteilhafterweise handelt es sich bei unterschiedlichen Farben insbesondere um solche Wellenlängen des Beleuchtungslichts, welche sich mindestens um 10nm oder mindestens um 20nm oder mindestens um 50nm oder mindestens um 100nm oder mindestens um 200nm unterscheiden. Auch kann es sich bei solchen unterschiedlichen Farben um solche Wellenlängenbereiche handeln, welche wenigstens um 10nm oder mindestens um 20nm oder mindestens um 50nm oder mindestens um 100nm oder mindestens um 200nm beabstandet voneinander sind. Somit kann ein wenigstens zweifarbiges Beleuchtungslicht z. B. räumlich so strukturiert sein, dass es räumlich unterschiedliche Farben und/oder unterschiedliche Spektren aufweist. Insbesondere kann dabei die Farbe und/oder das Spektrum des Beleuchtungslichts orthogonal zur Ausbreitungsrichtung des Beleuchtungslichts im optischen Erfassungssystem räumlich variieren. In anderen Worten weist ein mehrfarbiges Beleuchtungslicht mehrere Farben (d. h. insbesondere mehrere unterschiedliche Spektren gemäß z. B. den oben genannten Wellenlängenbereichenabständen) auf, welche bei einer räumlichen Strukturierung gegebenenfalls räumlich unterschiedlich beim Beleuchtungslicht vorgesehen sind. Gemäß einer anderen Betrachtungsweise kann das Beleuchtungslicht als mehrere Lichtstrahlen unterschiedlicher Lichtfarbe aufgefasst werden, welche entsprechend unterschiedliche Wege im optischen Erfassungssystem nehmen.
  • Es ist denkbar, dass bei jeder Erfassungsinformation zumindest teilweise der gleiche räumliche Probenbereich erfasst ist. In anderen Worten kann eine erste der Erfassungsinformationen (nur teilweise) eine andere Information aufweisen als eine zweite der Erfassungsinformationen, sodass der Informationsgehalt insgesamt erhöht werden kann. Bei den Erfassungsinformationen handelt es sich z. B. um (ggf. unabhängige) Aufzeichnungen (z. B. Mikroskopbilder) der gleichen Probenstelle. Beispielsweise ist die jeweilige Erfassungsinformation spezifisch und/oder abhängig für eine jeweilige Aufzeichnung und entspricht beispielsweise denen von einer Detektionsvorrichtung ausgegebenen Daten.
  • Vorteilhafterweise sind die unterschiedlichen Erfassungsinformationen spezifisch für verschiedenfarbige und/oder unterschiedlich polarisierten Beleuchtungsmuster, wobei insbesondere sich die Erfassungsinformationen hinsichtlich der Farben oder Polarisation der Beleuchtungsmuster unterscheiden. Die verschiedenen Beleuchtungsmuster werden beispielsweise durch eine Veränderung des Beleuchtungslichts des optischen Erfassungssystems hervorgerufen, wobei die Veränderung das Beleuchtungslicht mindestens zweifarbig und/oder mindestens dreifarbig und/oder räumlich so strukturiert ist, dass farb- oder polarisationsabhängig die verschiedenen Beleuchtungsmuster auftreten. Somit können die (z. B. verschiedenfarbigen) Beleuchtungsmuster das optische Erfassungssystem auf verschiedene Weise durchlaufen und so unterschiedliche Aufnahmen erzeugen. Eine Detektionsvorrichtung, insbesondere eine Kamera, kann dabei von einer Art sein, das sie zwei oder drei oder mehr farblich getrennte Aufnahmen bei dem Erfassungssystem erzeugen kann. Insbesondere werden bei der Erfassung die Aufnahmen aus den verschiedenen Farbbereichen oder unterschiedlichen Polarisationen getrennt gehalten. Anschließend kann gegebenenfalls die Auswertung erfolgen, z. B. ein trainiertes neuronales Netz auf die Aufnahmen angewendet werden. Die Aufnahmen entsprechen dabei insbesondere den unterschiedlichen Erfassungsinformationen. Die Auswertung kann z. B. mit dem Ziel erfolgen, dass aus den Aufnahmen und/oder den Erfassungsinformationen eine Klassifizierung oder Regression von Pixeln, Objekten, Probenbereichen oder ganzen Proben vorgenommen wird. Es kann möglich sein, dass das neuronale Netz zuvor an Aufnahmen ähnlicher Art trainiert wurde, um die entsprechende Klassifizierung oder Regression vorzunehmen.
  • Insbesondere kann es möglich sein, dass die Auswertung ein neuronales Netz nutzt, das anhand ähnlicher Bilddaten (z. B. den Erfassungsinformationen) unabhängig von einem physikalischen Modell zunächst überwacht und/oder selbstständig lernt, wie die relevanten Informationen aus den vorhandenen, im Allgemeinen abstrakten Informationen der Bilddaten beziehungsweise Farbbilder zu extrahieren sind. Dafür können gegebenenfalls dem neuronalen Netz in einem ersten Schritt sowohl die abstrakten Informationen der aufgenommenen Bilddaten beziehungsweise Farbbilder (d. h. insbesondere der Erfassungsinformationen), sowie vorzugsweise die dazugehörige relevante Information an dieser Stelle der Probe (wie Markierungen relevanter Bereiche oder die dreidimensionale Struktur der Probe) präsentiert werden. Auf diese Weise kann z. B. ein abstraktes Modell für den Transfer aus den abstrakten Informationen in die relevanten Informationen erlernt werden. Beispielsweise ist dabei die Transferinformation spezifisch für dieses abstrakte Modell, welches wesentlich anpassungsfähiger und/oder flexibler sein kann als ein realistisches physikalisches Modell und ferner auch ohne die Notwendigkeit für besondere Annahmen an das optische System erlernt werden kann. Gegebenenfalls kann in einem weiteren Verfahrensschritt das gelernte Modell verwendet werden, um aus unbekannten Bilddaten beziehungsweise Farbbildern mit vergleichbaren abstrakten Informationen die gewünschten relevanten Informationen zu extrahieren.
  • Es ist im Rahmen der Erfindung möglich, dass bei der Nutzung einer Kodierung, wie der Farbkodierung oder Polarisationskodierung, jede Kodierung (wie z. B. eine genutzte Farbe der Polarisierung) des Beleuchtungslichts einem bestimmten durch die räumliche Strukturierung eines Beleuchtungsmittels hervorgerufenen Beleuchtungsmuster und/oder einem bestimmten Beleuchtungswinkel des Beleuchtungslichts zugeordnet ist, wobei sich die Beleuchtungsmuster bzw. Beleuchtungswinkel voneinander unterscheiden. Beispielsweise unterscheiden sich die Beleuchtungswinkel wenigstens um 5 ° oder 10 ° oder 20 ° (z. B. in Bezug auf einen Einfallswinkel auf die Probe oder einem Ausfallswinkel vom Kondensor oder Beleuchtungsmittel). Es ist dabei denkbar, dass die Beleuchtung der Probe gleichzeitig und/oder parallel mit sämtlichen Kodierungen, wie Beleuchtungsfarben oder Polarisationen erfolgt (und damit auch mit sämtlichen unterschiedlichen Beleuchtungsmustern und/oder Beleuchtungswinkeln) oder sequentiell nur einzelne Kodierungen (z. B. Beleuchtungsfarben oder Polarisationen) bzw. Beleuchtungswinkel nacheinander die Probe beleuchten, und somit sequentiell die Erfassungsinformationen erfasst werden.
  • Ferner ist es optional vorgesehen, dass die Auswertung durch ein Auswertungsmittel durchgeführt wird, welches als ein auf Maschinenlernen und/oder Deep Learning und/oder künstlicher Intelligenz basiertes Computerprogramm ausgeführt ist, vorzugsweise als künstliches neuronales Netz. Es ist möglich, dass die Auswertung unabhängig von einem konkreten physikalischen Modell des optischen Erfassungssystems durchgeführt wird, z. B. auf Grundlage lernender und insbesondere auch selbstlernender Verfahren. Beispielsweise kann die Transferinformation dabei auf ein Anlernergebnis, wie einen Klassifikator oder ein Modell, basieren, welches durch ein zumindest teilweise überwachtes und/oder unüberwachtes Lernen entstanden ist. Damit kann die Auswertung auf Zusammenhänge und Modelle basieren, welche nicht vorgegeben werden müssen und somit automatisiert generiert werden können.
  • Besonders vorteilhaft ist es, wenn bei dem Anlernen Methoden des Deep Learning zum Einsatz kommen. Entsprechend kann die Transferinformation für solche Methoden des Deep Learning spezifisch sein. Insbesondere handelt es sich bei diesen Methoden um Optimierungsmethoden künstlicher neuronaler Netze, die zahlreiche Zwischenlagen (engl. hidden layers) zwischen Eingabeschicht und Ausgabeschicht haben und dadurch eine umfangreiche innere Struktur aufweisen.
  • Es kann ferner möglich sein, dass die Erfassungsparametrisierung der Erfassungsinformationen sich dadurch voneinander unterscheidet, dass bei einer Erfassung der Erfassungsinformationen ein, insbesondere breitbandiges, Beleuchtungslicht des Erfassungssystems für unterschiedliche der Erfassungsinformationen unterschiedliche räumliche und/oder kodierte Anpassungen aufweist, vorzugsweise durch eine räumliche Strukturierung und/oder Farbkodierung und/oder Polarisation des Beleuchtungslichts. Insbesondere beruht diese Weiterentwicklung auf dem Gedanken, dass Licht verschiedener Kodierung, z. B. Licht verschiedener Farben ein identisches optisches System unabhängig voneinander durchläuft. Bei geeigneter Formung der verschiedenen Kodierungen, und/oder bei verschiedenen Beleuchtungsfarben ggf. allein durch die chromatische Abberationen des optischen Systems (d. h. des Erfassungssystems) können für verschiedene Kodierungen (wie Farben oder Polarisationen) unterschiedliche optische Abbildungen (z. B. die Erfassungsinformationen) erzeugt werden. Durch eine geeignete Detektionsvorrichtung, z. B. einem Detektor wie einer digitalen Farbkamera mit Polarisations- und/oder Farbfiltersensor, vorzugsweise Bayersensor, können dann mehrere Bilder mit verschiedener Kodierung unabhängig oder teilweise unabhängig voneinander parallel aufgenommen werden. Ein Satz dieser Bilder kann dann z. B. als Polarisations- und/oder Farbbild vorgehalten werden. Während für wenige spezielle Beleuchtungssituationen, z. B. schräge Beleuchtung mit mehreren verschiedenen Winkeln, bekannt ist, dass ein Satz der aufgenommenen Bildern mehr Informationen beinhaltet als ein einzelnes Bild und insbesondere, wie diese Informationen konkret zu interpretieren sind, würdigt die erfindungsgemäß mögliche Nutzung verschiedener Kodierungen wie Beleuchtungsfarben, dass der Informationsgewinn praktisch immer vorhanden ist, wenn die Beleuchtung kodiert (z. B. farblich) strukturiert ist. Durch eine kodierte Formung, insbesondere farbliche Formung der Beleuchtung findet also eine Maximierung der Bildinformationen statt, die dann in einem kodierten Bild, z. B. Farbbild vorgehalten werden kann. Aus diesem kodierten Bild können dann z. B. die Erfassungsinformationen extrahiert werden.
  • Außerdem ist es von Vorteil, wenn die unterschiedliche Erfassungsparametrisierung der Erfassungsinformationen dafür spezifisch ist, dass bei einer Erfassung eine Anpassung eines Beleuchtungslichts mittels eines Beleuchtungsmittels des Erfassungssystems durchgeführt wird, wobei das Beleuchtungsmittel eine kodierte, vorzugsweise unterschiedlich polarisierende und/oder mindestens zweifarbige, räumliche Struktur aufweist, um kodierungsabhängig, vorzugsweise farbabhängig und/oder farbkodiert und/oder polarisationsabhängig und/oder polarisationskodiert, verschiedene Beleuchtungsmuster für die Probe bereitzustellen, wobei insbesondere für unterschiedliche der Beleuchtungsmuster unterschiedliche der Erfassungsinformationen bereitgestellt werden. Die verschiedenen und insbesondere verschiedenfarbigen oder verschiedenpolarisierte Beleuchtungsmuster durchlaufen das optische System auf verschiedene Weise und erzeugen dadurch unterschiedliche Erfassungsinformationen (z. B. Bildaufzeichnungen). Dadurch können unterschiedliche Aufnahmen erzeugt werden, wobei eine Detektionsvorrichtung (wie eine Kamera) hierzu zwei oder mehr farblich oder hinsichtlich der Kodierung bzw. Polarisation getrennte Aufnahmen erzeugen kann. Die Aufnahmen aus den verschiedenen Kodierungen, insbesondere Farbbereichen, können dabei getrennt gehalten werden.
  • Um eine Polarisationskodierung und/oder Farbkodierung zu erhalten, insbesondere um eine polarisationskodierte und/oder farbkodierte strukturierte Beleuchtung mit Beleuchtungsmustern zu erhalten, kann das Beleuchtungsmittel z. B. in einen Strahlengang des Beleuchtungslichts (Beleuchtungspfad) angeordnet sein. Beispielsweise ist das Beleuchtungsmittel als Farbfilter ausgeführt. Das Beleuchtungsmittel kann ggf. auch in einer Fourierebene der Probe im Beleuchtungspfad oder im Detektionspfad eingebracht werden. Beispielsweise beleuchtet das breitbandiges Beleuchtungslicht die Probe und wird erst dann - durch die Probe verändert - im Detektionspfad farbkodiert. Auch kann das Beleuchtungsmittel als Polarisationsfilter ausgeführt sein.
  • Eine optionale Möglichkeit zur Erzielung einer farbkodierten strukturierten, d. h. insbesondere räumlich strukturierten und farbigen, Beleuchtung ist die Nutzung einer Rheinbergbeleuchtung oder von mehrfarbigen räumlich angeordneten Lichtquellen (wie LEDs oder LED-Arrays). Ggf. kann somit auch die Lichtquelle das Beleuchtungsmittel aufweisen. Für eine polarisationskodierte strukturierte, d. h. insbesondere räumlich strukturierte und polarisierte, Beleuchtung kann z. B. eine segmentförmige Anordnung von linearen Polarisationsfiltern als Beleuchtungsmittel genutzt werden. Weitere Möglichkeiten sind die Verwendung eines Wallaston Primas oder einer radial oder azimutal polarisierten Beleuchtung.
  • Beispielsweise durchtritt zum Bereitstellen der Erfassungsinformationen das (beispielsweise breitbandige und/oder unpolarisierte) Beleuchtungslicht das Beleuchtungsmittel, wird hierdurch kodiert (polarisiert oder farblich gefiltert) und beleuchtet anschließend die Probe und wird erst dann - durch die Probe verändert - durch die Detektionsvorrichtung aufgezeichnet.
  • Auch ist es optional denkbar, dass die unterschiedliche Erfassungsparametrisierung der Erfassungsinformationen dafür spezifisch ist, dass eine Erfassung der Erfassungsinformationen durch eine gleichzeitige und/oder parallele Beleuchtung mit verschiedenen Beleuchtungsfarben (wie Lichtfarben oder Wellenlängen) und/oder Polarisationen erfolgt, wobei wenigstens eine farbabhängige und/oder polarisationsabhängige, insbesondere zwei- oder mehrdimensionale, Probenaufzeichnung durchgeführt wird, um die wenigstens zwei Erfassungsinformationen farb- und/oder polarisationsabhängig bereitzustellen. Die Probenaufzeichnung kann z. B. mehrdimensional sein, und zur schnellen und zuverlässigen Erfassung gleichzeitig und/oder parallel durch wenigstens einen Filter, wie einen Polarisations- und/oder Farbfilter, bei einer Detektionsvorrichtung mehrere Aufzeichnen generiert werden. Es kann sich dabei bei den Aufzeichnungen um Erfassungsinformationen unterschiedlich gefilterten Beleuchtungslichts handeln.
  • Des Weiteren ist es im Rahmen der Erfindung optional möglich, dass zum Bereitstellen wenigstens eine Probenaufzeichnung durch eine Detektionsvorrichtung, insbesondere Kamera, des Erfassungssystems mittels Polarisations- und/oder Farbfilterung durchgeführt wird, um unterschiedliche der Erfassungsinformationen für unterschiedliche Polarisationen und/oder Beleuchtungsfarben aus der Probenaufzeichnung zu erhalten, wobei vorzugsweise die Detektionsvorrichtung zur Polarisationsfilterung wenigstens einen Polarisationsfilter und/oder zur Farbfilterung einen Farbfilter, insbesondere ein Farbfiltermuster und/oder RGB-Filtermuster und/oder Bayerfilter aufweist. Der Polarisations- und/oder Farbfilter kann z. B. auf einem Array von Sensorelementen, wie Photodioden oder dergleichen, angeordnet sein. Dabei kann die wenigstens eine Farbfilterung, insbesondere auch mehrere Farbfilterungen bei einem Farbfiltermuster, ggf. auch nicht-sichtbares Licht (im nicht-sichtbaren Spektrum) betreffen. Damit ist eine einfache und zuverlässige Bereitstellung der Erfassungsinformationen in Abhängigkeit von der Filterung der Detektionsvorrichtung möglich.
  • Es ist außerdem möglich, dass eine Detektionsvorrichtung einen polarisationsempfindlichen (polarisationssensitiven) Sensor aufweist, insbesondere zur Aufzeichnung des (durch die Probe veränderten) Beleuchtungslichts und/oder zur Erfassung (Bereitstellung) der Erfassungsinformationen. Das von der Probe veränderte Beleuchtungslicht ist z. B. durch die Transmission durch die Probe verändert, z. B. räumlich unterschiedlich abgeschwächt. Solche Veränderungen können durch den Sensor erfasst werden. Um außerdem unterschiedlich polarisiertes Beleuchtungslicht voneinander zu unterscheiden, welche zuvor z. B. durch ein Beleuchtungsmittel polarisiert wurde, kann z. B. der polarisationsempfindliche Sensor Beleuchtungslicht unterschiedlicher Polarisationen voneinander separiert und/oder unterscheidbar erfassen. Hierzu können z. B. Polarisationsfilter vorgesehen sein, welche jeweils wenigstens einem Pixel zugeordnet sind. Es kann sich bei dem Sensor z. B. um einen CMOS oder CCD Sensor handeln, welcher zusätzlich wenigstens einen Polarisationsfilter aufweist. Dieser wenigstens eine Polarisationsfilter ist z. B. direkt am Sensorchip befestigt. Beispielsweise ist der Polarisationsfilter zwischen wenigstens einer Fotodiode des Sensors und wenigstens einer Mikrolinse des Sensors angeordnet, um durch die Mikrolinse hindurchtretendes Licht zu filtern, und dann zur Fotodiode gefiltert weiterzuleiten. Damit kann die Fotodiode nur Licht bestimmter Polarisation erfassen, welches dann zur Erzeugung einer bestimmten Erfassungsinformation für diese Polarisation genutzt werden kann. Für anderen Polarisationen können entsprechend andere Polarisationsfilter und Erfassungsinformationen bei weiteren Fotodioden genutzt werden.
  • Ferner ist es optional vorgesehen, dass zum Bereitstellen die nachfolgenden Schritte durchgeführt werden:
    • Ermitteln einer ersten Aufnahme eines Bereichs der Probe, vorzugsweise mit einer ersten Beleuchtungsfarbe und/oder Polarisation, um eine erste Erfassungsinformation gemäß einer ersten Erfassungsparametrisierung zu erhalten,
    • Ermitteln wenigstens einer zweiten Aufnahme eines zumindest teilweise gleichen Bereichs der Probe, vorzugsweise mit wenigstens einer zweiten Beleuchtungsfarbe und/oder Polarisation, welche sich von der ersten Beleuchtungsfarbe und/oder Polarisation unterschiedet, um wenigstens eine zweite Erfassungsinformation gemäß wenigstens einer zweiten Erfassungsparametrisierung zu erhalten,
    wobei vorzugsweise das Ermitteln der Aufnahmen parallel gemäß einem kodierten und/oder farblichen Multiplexing erfolgt. Auf diese Weise ist es z. B. auch möglich, eine räumliche Kodierung z. B. als räumliche Variation der Beleuchtungspolarisation zu nutzen. Dies kann die gleichen Vorteile haben, wie sie auch im Zusammenhang mit einem farbkodierten Multiplexing beschrieben sind. Insbesondere können gleichzeitig und/oder parallel mehrere kodierte Erfassungsinformationen über die Probe auf diese Weise erfasst werden, sodass eine sequentielle Beleuchtung der Probe für die unterschiedlichen Kodierungen nicht notwendig ist.
  • Optional kann es möglich sein, dass die vorgenannten Schritte für weitere (z. B. dritte, vierte, usw.) Aufnahmen und Erfassungsinformationen wiederholt werden, wobei ggf. sämtliche Erfassungsinformationen z. B. als ein einziger Datensatz in der Form von Anwendungsdaten vorliegen. Die Schritte können beispielsweise gleichzeitig und/oder parallel oder sequentiell durchgeführt werden.
  • Ferner kann es im Rahmen der Erfindung vorgesehen sein, dass die Auswertung durch ein Auswertungsmittel durchgeführt wird, welches die Transferinformation aufweist, wobei zum Anlernen (d. h. insbesondere Training) des Auswertungsmittels die nachfolgenden Schritte durchgeführt werden:
    • Durchführen einer Erfassung eines Bereichs der Probe durch das oder ein weiteres optisches Erfassungssystem, um wenigstens zwei unterschiedliche Anlerninformationen über die Probe dadurch zu erhalten, dass für die Anlerninformationen wenigstens ein Erfassungsparameter, insbesondere Beleuchtungsparameter, variiert,
    • Bestimmen von Anwendungsdaten für das Auswertungsmittel anhand der Anlerninformationen,
    • Durchführen einer Referenzerfassung des gleichen Bereichs der Probe durch das oder das weitere optische Erfassungssystem, und/oder einer (automatisierten) Verarbeitung, um ein Ground Truth (z. B. als eine vorgegebene Lösung bzw. als eine Vorgabe für die Ergebnisinformation) für das Auswertungsmittel zu bestimmen,
    • Anlernen des Auswertungsmittels unter Verwendung der Anwendungsdaten und des Ground Truth, um die Transferinformation zu bestimmen.
  • Es ist möglich, dass zur Referenzerfassung eine Fluoreszenzmikroskopie und/oder für die Bestimmung des Ground Truth eine Segmentierung einer Aufzeichnung der Referenzerfassung durchgeführt wird. Beispielsweise kann das Erfassungssystem, insbesondere Mikroskop, zur Erfassung des Ground Truth genutzt werden. Es kann ferner möglich sein, dass die Anlerninformationen den Erfassungsinformationen inhaltlich entsprechen, sodass das Anlernverfahren auf Informationen in der Art der Erfassungsinformationen angepasst wird. Weiter kann das Anlernverfahren auch ein selbstlernendes Verfahren nutzen, um die Anlernung anhand probenspezifische Merkmale durchzuführen.
  • Es ist denkbar, dass der Ground Truth aus zytometrischen oder histologischen Analyseergebnisses bestimmt wird, welche anhand der Referenzerfassung ermittelt wurden. Alternativ oder zusätzlich ist es denkbar, dass der Ground Truth auch rechnerisch ermittelt wird, ggf. ohne dass eine Referenzerfassung durchgeführt wird.
  • Ferner ist es optional vorgesehen, dass die Probe eine gefärbte Objekt- oder Zellprobe ist, wobei die Auswertung für Erfassungsinformationen über diese Probe eine Detektion, insbesondere Segmentierung oder Lokalisierung dieser Objekte und/oder Zellen der Probe, durchführt. In anderen Worten kann die Erfassung der Färbung durch die Auswertung erfolgen. Auch kann die Auswertung für die Färbung der Probe sensitiv ausgeführt sein.
  • Darüber hinaus ist es bei einem erfindungsgemäßen Verfahren möglich, dass der Ground Truth durch eine automatisierte Erfassung, insbesondere einer automatisierten Durchführung der Referenzerfassung, bestimmt wird. Hierbei kann ggf. auch eine motorisierte Probenpositionierung, z. B. mittels eines motorisierten und in drei orthogonale Richtungen bewegbaren Probentisches, erfolgen. Die Probenpositionierung erfolgt dabei beispielsweise automatisiert gesteuert durch ein Computerprogramm. Damit kann eine schnelle und zuverlässige Ermittlung des Ground Truth stattfinden. Da ein Verfahren dieser Art ohne eine sonst häufig notwendige manuelle Annotation auskommt, kann es als selbstlernend beschrieben/verstanden werden.
  • Ferner kann auch das Bereitstellen der wenigstens zwei unterschiedlichen Erfassungsinformationen dadurch erfolgen, dass eine oder mehrere Ebenen der Probe aufgezeichnet werden. Hierbei kann ggf. auch eine motorisierte Probenpositionierung, z. B. mittels eines motorisierten und in drei orthogonale Richtungen bewegbaren Probentisches, erfolgen. Bspw. kann ein schrittweises Verschieben der Probe und/oder eines Objektives des Erfassungssystems erfolgen, um verschiedene Ebenen der Probe (z. B. in z-Richtung der Probe, insbesondere in Ausbreitungsrichtung des Beleuchtungslichts bei der Probe) zu erfassen.
  • Es ist vorteilhafterweise vorgesehen, dass ein erfindungsgemäßes Verfahren probenspezifisch ausgeführt ist, sodass sich das Verfahren nur für die Auswertung, insbesondere Analyse, einer bestimmten Probenart eignet (wie z. B. für Blutabstriche). Auf diese Weise können gezielt probenspezifische optische Eigenschaften genutzt werden. In anderen Worten kann das Verfahren an eine konkrete Probenart angepasst sein, oder auf eine bestimmte Probenart (Probentyp) antrainiert sein.
  • Es ist ferner bei einem erfindungsgemäßen Verfahren optional möglich, dass die Ergebnisinformation, und/oder ein Ground Truth zum Anlernen eines Auswertungsmittels, eine Vorhersage einer Zell- oder Zellklumpenentwicklung in der Zeit betrifft. Damit ist es möglich, eine solche Entwicklung auf Basis einer kurzen zeitlichen Entwicklung oder der Anfangsmorphologie bei der Probe vorherzusagen. Beispielsweise kann hierzu die Probe, insbesondere als eine Zellprobe, zunächst von einem bestimmten Zeitpunkt an zeitlich beobachtet werden. Diese Beobachtung kann z. B. durch die zeitlich wiederholte Bereitstellung von Erfassungsinformationen erfolgen. In anderen Worten ist es auch grundsätzlich bei einem erfindungsgemäßen Verfahren denkbar, dass die Erfassungsinformationen zu unterschiedlichen Zeitpunkten erfasst werden, und sich hinsichtlich dieses Zeitpunkts unterscheiden. Mittels der Auswertung kann dann gegebenenfalls die Vorhersage ermittelt werden. Gemäß dieser oder einer derartigen Methode (der Bereitstellung der Erfassungsinformationen als Anlerninformationen und/oder der beschriebenen Auswertung) kann zuvor gegebenenfalls der Ground Truth ermittelt werden. Zum Anlernen des Auswertungsmittels werden z. B. zeitlich nacheinander und wiederholt Erfassungsinformationen erfasst und hierdurch bereitgestellt, um die Anwendungsdaten für das Auswertungsmittel zu bestimmen. Zu einem späteren Zeitpunkt kann dann eine Referenzerfassung bei der gleichen Probe durchgeführt werden, bei welcher auch die Erfassungsinformationen erfasst wurden. Durch die Referenzerfassung kann dann der Ground Truth bestimmt werden, welcher zum Anlernen des Auswertungsmittels und zum Bestimmen der Transferinformation genutzt werden kann. Die hierdurch bestimme Transferinformation kann dann auch zur Vorhersage bei anderen Proben desselben Typs genutzt werden.
  • Ein weiterer Vorteil im Rahmen der Erfindung ist erzielbar, wenn die Ergebnisinformation, und/oder ein Ground Truth zum Anlernen eines Auswertungsmittels, eine der nachfolgenden Informationen über die Probe ist:
    • eine Detektion, insbesondere Segmentierung oder Lokalisierung von Objekten und/oder Zellen der Probe, insbesondere eine Segmentierungsmaske,
    • eine Schätzung der Klassifizierung oder Regression von Pixel oder Objekten oder Probenbereichen der Probe,
    • ein zytometrisches oder histologisches Analyseergebnis (z. B. für den Ground Truth gewonnen mit etablierten Methoden der Probenanalyse beispielsweise High Content Analyse),
    • eine Phaseninformation (z. B. für den Ground Truth aus einer komplementären, etablierten Methode zur Phasenmessung),
    • eine dreidimensionale Information über die räumliche Struktur der Probe (z. B. ist der Ground Truth eine z-Stapel-Aufnahme),
    • wenigstens eine Fluoreszenzeigenschaft der Probe (z. B. ist der Ground Truth wenigstens ein Fluoreszenzbild der Probe),
    • ein erweiterter Schärfetiefenbereich einer Probenaufzeichnung (z. B. ist der Ground Truth ein entsprechendes Bild mit erweitertem Schärfetiefenbereich der Probe).
  • Damit ist ein vielseitiger und flexibler Einsatz des erfindungsgemäßen Verfahren möglich.
  • In einer weiteren Möglichkeit kann vorgesehen sein, dass zur kodierten Unterscheidung der Erfassungsinformationen, insbesondere bei dem Bereitstellen, eine Veränderung eines Beleuchtungslichts, vorzugsweise durch ein Beleuchtungsmittel, bei dem Erfassungssystem durchgeführt wird, vorzugsweise eine räumliche Variation einer Beleuchtungspolarisation und/oder einer Beleuchtungsfarbe des Beleuchtungslichts, welche bevorzugt einer unterschiedlichen Beleuchtungsstruktur des Beleuchtungslichts zugeordnet wird, und/oder dass die Transferinformation für diese Unterscheidung spezifisch ist. Somit ist ein Multiplexing denkbar, bei welchem gleichzeitig die Beleuchtung zur Erfassung mehrerer Erfassungsinformationen durchgeführt werden kann.
  • Ebenfalls Gegenstand der Erfindung ist ein optisches Erfassungssystem. Hierbei ist vorgesehen, dass das Erfassungssystem nachfolgende Komponenten aufweist:
    • eine Detektionsvorrichtung zur Erfassung von wenigstens zwei unterschiedlichen Erfassungsinformationen über die Probe, welche sich wenigstens hinsichtlich eines Beleuchtungsparameters bei der Erfassung insbesondere kodiert unterscheiden,
    • eine Auswertevorrichtung, wie einen Computer, insbesondere mit wenigstens einem Prozessor, die oder der geeignet ist, anhand einer maschinell angelernten Transferinformation aus den Erfassungsinformationen eine Ergebnisinformation über die Probe zu bestimmen.
  • Damit bringt das erfindungsgemäße optische Erfassungssystem die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren beschrieben worden sind. Zudem kann das optisches Erfassungssystem geeignet sein, ein erfindungsgemäßes Verfahren durchzuführen.
  • Darüber hinaus kann die Auswertevorrichtung eine Eingabevorrichtung, wie ein Touchscreen oder wenigstens eine Taste, aufweisen um z. B. die Auswertung zu initiieren. Bei der Auswertevorrichtung kann ferner eine Speichereinheit vorgesehen sein, um wenigstens das Auswertungsmittel, z. B. als wenigstens ein Computerprogramm, nicht-flüchtig zu speichern, und/oder um die Erfassungsinformationen zumindest zwischen zu speichern. Ein oder mehrere Prozessoren der Auswertevorrichtung können dazu geeignet sein, ein Computerprogramm wie das Auswertungsmittel auszuführen, um wenigstens einen Verfahrensschritt eines erfindungsgemäßen Verfahrens durchzuführen.
  • Von weiterem Vorteil kann vorgesehen sein, dass ein Beleuchtungsmittel vorgesehen ist, welches für mindestens zwei unterschiedliche Einstellungen des Beleuchtungsparameters eine unterschiedlich polarisierende und/oder mindestens zweifarbige räumliche Struktur aufweist, vorzugsweise wenigstens zwei (insbesondere in einer zur Richtung der Lichtausbreitung der Beleuchtung orthogonalen Ebene) benachbart angeordnete Polarisations- und/oder Farbfilter aufweist, um polarisations- und/oder farbabhängig verschiedene Beleuchtungsmuster bereitzustellen. Das Beleuchtungsmittel ist z. B. dazu ausgeführt, die Kodierung des Beleuchtungslichts abhängig von einer Position des Beleuchtungsmittels durchzuführen, um so die Beleuchtungsparameter in einfacher Weise zu variieren.
  • Ein weiterer Vorteil kann im Rahmen der Erfindung erzielt werden, wenn das Beleuchtungsmittel als ein Kondensoreinsatz ausgebildet ist, und zur Filterung eines Beleuchtungslichts in eine Kondensoreinheit des optischen Erfassungssystems eingesetzt ist, um eine Kodierung, insbesondere Polarisations- und/oder Farbkodierung des Beleuchtungslichts bereitzustellen. Damit kann das Beleuchtungslicht durch eine einfache Erweiterung eines Erfassungssystems kodiert und räumlich strukturiert werden. So kann es von Vorteil sein, wenn ein Erfassungssystem genutzt wird, welches zumindest überwiegend unabhängig von der genutzten Auswertung ausgebildet ist. Lediglich der Einsatz des Beleuchtungsmittels und/oder eine Anpassung der Detektionsvorrichtung und/oder der Auswertevorrichtung kann dabei ggf. zur Nutzung mit der Auswertung gemäß einem erfindungsgemäßen Verfahren ausreichend sein. Dies bringt eine deutliche Reduzierung des technischen Aufwands mit sich.
  • Vorteilhafterweise kann bei der Erfindung vorgesehen sein, dass die Detektionsvorrichtung wenigstens einen Kamerasensor aufweist, vorzugsweise einen RGB-Kamerasensor (RGB steht hierbei für Rot, Grün, Blau beispielsweise als mögliche Farbfilter des Kamerasensors), und/oder als eine polarisationssensitive Kamera ausgebildet ist, um vorzugsweise eine Dekodierung des Beleuchtungslichts durchzuführen. Es ist denkbar, dass durch die Detektionsvorrichtung eine Erfassung im Transmissionsmodus bei dem Erfassungssystem erfolgt, um die Erfassungsinformationen bereitzustellen. Alternativ oder zusätzlich kann die Detektionsvorrichtung dadurch zur Dekodierung des Beleuchtungslichts ausgeführt sein, dass die Detektionsvorrichtung ein Dekodierungsmittel aufweist, wie z. B. einen Farbfilter oder einen Polarisationsfilter.
  • Ebenfalls kann es im Rahmen der Erfindung vorteilhaft sein, eine numerische Apertur des Erfassungssystems (z. B. auf der Kondensorseite) zu erhöhen, insbesondere durch die Nutzung eines Objektivs. Insbesondere bei dünnen Proben hat dies den Vorteil, dass mehr Informationen aus der Probe extrahierbar sind und eine höhere Informationsdichte verfügbar ist.
  • Ferner kann im Rahmen der Erfindung vorgesehen sein, dass das optische Erfassungssystem als ein Mikroskopsystem zur Durchlichtmikroskopie ausgebildet ist, insbesondere um eine Probenauswertung im Transmissionsmodus durchzuführen.
  • Ebenfalls Gegenstand der Erfindung ist ein Computerprogramm, insbesondere Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Schritte eines erfindungsgemäßen Verfahrens zumindest teilweise auszuführen. Damit bringt das erfindungsgemäße Computerprogramm die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren und/oder ein erfindungsgemäßes Erfassungssystem beschrieben worden sind. Außerdem kann das Computerprogramm geeignet sein, wenigstens einen Verfahrensschritt eines erfindungsgemäßen Verfahrens durch die Ansteuerung eines erfindungsgemäßen Erfassungssystems durchzuführen. Das Computerprogramm kann dabei optional auch als herunterladbares digitales Signal ausgeführt sein.
  • Ebenfalls Gegenstand der Erfindung ist ein computerlesbares Medium, auf welchem ein erfindungsgemäßes Computerprogramm gespeichert sein kann. Damit bringt das erfindungsgemäße computerlesbares Medium die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf ein erfindungsgemäßes Computerprogramm beschrieben worden sind. Das computerlesbare Medium ist beispielsweise als ein (dauerhafter, bzw. engl. non-transitory) Datenspeicher, wie ein Flashspeicher oder eine Festplatte oder dergleichen ausgeführt. Das computerlesbare Medium kann dabei optional auch als herunterladbares digitales Signal ausgeführt sein.
  • Vorteilhafterweise kann ein Computerprogramm und/oder ein Computerprogrammprodukt und/oder ein computerlesbares Medium ein Auswertungsmittel aufweisen, umfassend Befehle, die bewirken, dass das optische erfindungsgemäße Erfassungssystem wenigstens einen der Verfahrensschritte eines erfindungsgemäßen Verfahrens ausführt.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen:
    • Figur 1
    eine schematische Darstellung eines erfindungsgemäßen Erfassungssystems, insbesondere einer Anordnung zum Mikroskopieren von ungefärbten Zellproben,
    Figur 2
    eine schematische Darstellung eines Beleuchtungsmittels,
    Figur 3
    eine schematische Darstellung zur Visualisierung eines erfindungsgemäßen Verfahrens,
    Figur 4
    eine weitere schematische Darstellung zur Visualisierung eines erfindungsgemäßen Verfahrens,
    Figur 5
    eine optionale Ausführung von Teilen eines Auswertungsmittels.
  • In den nachfolgenden Figuren werden für die gleichen technischen Merkmale auch von unterschiedlichen Ausführungsbeispielen die identischen Bezugszeichen verwendet.
  • In Figur 1 ist schematisch ein erfindungsgemäßes optisches Erfassungssystem 1 dargestellt, welches eine Detektionsvorrichtung 40 und eine Auswertevorrichtung 50 aufweist. Dabei kann das optische Erfassungssystem 1 (ggf. mit Ausnahme der Auswertevorrichtung 50) als ein Mikroskop zur Durchlichtmikroskopie ausgebildet sein. So kann z. B. eine breitbandige (beispielsweise weiße) Lichtquelle 30 als Beleuchtung (d. h. zur Erzeugung des Beleuchtungslichts) verwendet werden. Um dabei kodiert unterschiedliche Beleuchtungsparameter bei der Erfassung bereitzustellen, kann im Erfassungssystem 1 ein Beleuchtungsmittel 10 vorgesehen sein. Diese Beleuchtungsmittel 10 wird beispielsweise in einen Mikroskopkondensor beim Erfassungssystem 1 eingesetzt, um vor der Beleuchtung der Probe 2 durch das Beleuchtungslicht das Beleuchtungslicht zu kodieren und/oder räumlich zu verändern. Auf diese Weise kann das Beleuchtungsmittel 10 verschiedene Beleuchtungsmuster bereitstellen, z. B. eines für jede Kodierung. Beispielsweise kann das Beleuchtungsmittel 10 dazu ausgeführt sein, an unterschiedlichen Positionen des Beleuchtungslichts die Farbinformationen "rot", "grün" und "blau" aufzuprägen. Mit diesem kodierten Beleuchtungslicht kann dann z. B. im gewöhnlichen Durchlichtmodus die Probe 2 beleuchtet werden und über ein optisches System (wie eine Abbildungsoptik 20) eine vergrößerte Abbildung auf der Detektionsvorrichtung 40, insbesondere Kamera 40, erzeugt werden. Die Detektionsvorrichtung 40 ist z. B. eine Farbkamera mit einem Farbfilterinsbesondere Bayersensor, um aus der Abbildung drei Einzelbilder in den Spektralbereich in rot, grün und blau gleichzeitig aufzunehmen. Alternativ oder zusätzlich kann die Kamera wenigstens einen Polarisationsfilter aufweisen, um anhand der Abbildung Einzelbilder für die unterschiedlichen Polarisationen aufzunehmen. Die Einzelbilder entsprechen dabei z. B. den Erfassungsinformationen. Optional kann die Kamera 40 als eine Polarisationskamera (polarisation image sensor) oder als ein polarisationssensitiver Zeilensensor ausgebildet sein. Auch mehrere Kameras 40 sind als Detektionsvorrichtung 40 denkbar, z. B. jeweils mit Polarisationsteiler bzw. Polarisationsfilter.
  • Es kann ferner vorgesehen sein, dass das Beleuchtungslicht jeder unterschiedlichen Kodierung das optische Erfassungssystem anders und unabhängig voneinander durchläuft, sodass durch die kodierungsabhängige Aufzeichnung der Erfassungsinformationen unterschiedliche Informationen über die Probe bereitgestellt werden. Die Einzelbilder und/oder die Erfassungsinformationen 110 können anschließend von der Detektionsvorrichtung 40 an eine Auswertevorrichtung 50 übertragen werden, um z. B. mittels eines Prozessors 51 und einem Datenspeicher 52 eine Auswertung der Erfassungsinformationen 110 durchzuführen. Hierzu weist der Datenspeicher 52 beispielsweise ein Auswertungsmittel 60, wie ein Computerprogramm, auf.
  • In Figur 2 ist eine beispielhafte Konfiguration eines Beleuchtungsmittel 10 gezeigt. Das Beleuchtungsmittel 10 ist z. B. als räumlich strukturierter Filter, insbesondere Polarisations- und/oder Farbfilter ausgeführt. Außerdem kann es sich bei dem Beleuchtungsmittel 10 um einen Transmissionsfilter handeln, welcher z. B. in den Mikroskopkondensor eines Transmissionsmikroskops eingesetzt werden kann. Wenn das Beleuchtungsmittel 10 zumindest einen Farbfilter aufweist, kann es für eine Farbkodierung eine geeignete Anpassung eines breitbandigen (weißen) Beleuchtungslichts erzeugen. Wenn die Kodierung beispielsweise durch eine unterschiedliche Polarisation erzeugt wird, so kann entsprechend die Polarisation des Beleuchtungslichts für die Kodierung verändert werden. Hierzu sind beispielsweise unterschiedliche Segmente 11, 12, 13 des Beleuchtungsmittels 10 vorgesehen, um durch die Segmente unterschiedliche Kodierungen, wie Farbfilterungen oder Polarisationsfilterungen, zu erzeugen. Beispielsweise kann ein erstes Segment 11 als ein roter Farbfilter, ein zweites Segment 12 als ein grüner Farbfilter und ein drittes Segment 13 als ein blauer Farbfilter ausgeführt sein. Dabei kann das Beleuchtungsmittel 10 so in das Erfassungssystem 1 eingesetzt werden, dass das Beleuchtungslicht (z. B. vom Kondensor und/oder von der Lichtquelle 30) auf die in der Figur 2 in einer Draufsicht gezeigten Fläche trifft, räumlich durch die Segmente 11, 12, 13 verändert wird und anschließend auf der gemäß Figur 2 rückseitigen Fläche wieder austritt.
  • In Figur 3 ist schematisch ein Anlernvorgang für ein Auswertungsmittel 60 gezeigt, welches optional Teil eines erfindungsgemäßen Verfahrens sein kann. Zunächst erfolgt hierbei eine Durchführung einer Erfassung 101 eines Bereichs der Probe 2 durch das oder ein weiteres optisches Erfassungssystem 1, um wenigstens zwei unterschiedliche Anlerninformationen 110 über die Probe dadurch zu erhalten, dass für die Anlerninformationen 110 wenigstens ein Erfassungsparameter, insbesondere Beleuchtungsparameter, variiert. Für die Variation des Erfassungsparameters werden beispielsweise durch ein Beleuchtungsmittel 10 Beleuchtungsmuster erzeugt, insbesondere durch eine räumlich strukturierte Filterung des Beleuchtungslichts. Die Anlerninformationen 110 sind beispielsweise als Datensätze ausgeführt, welche z. B. den Erfassungsinformationen 110 entsprechen können. Aus diesen Anlerninformationen 110 können dann Anwendungsdaten für das Auswertungsmittel 60 erzeugt werden. Anschließend kann eine Referenzerfassung 102 oder Referenzauswertung 102 durchgeführt werden. Vorzugsweise wird die Referenzerfassung 102 am gleichen Bereich der Probe 2 durchgeführt, wie die Erfassung 101. Auf diese Weise kann durch eine Referenzverarbeitung 111, insbesondere eine Segmentierung 111, ein Ground Truth 112 ermittelt werden. Somit kann es sich bei dem Ground Truth z. B. um eine Segmentierungsmaske handeln, welche die relevanten Bereiche der Probenstelle der Probe 2 maskiert. Eine automatisierte Markierung der relevanten Probenbereiche kann z. B. dadurch erfolgen, dass an derselben Probenstelle eine Fluoreszenzaufnahme durchgeführt wird, in welcher relevante Fluoreszenzmarkierungen der Probe detektiert werden und anschließend in diesem Fluoreszenzbild über eine digitale Bildverarbeitung einer Segmentierung vorgenommen wird. Beim anschließenden Anlernen 130 des Auswertungsmittels 60 kann unter Verwendung der Anwendungsdaten und des Ground Truth 112 eine Transferinformation 200 bestimmt werden. In anderen Worten kann anhand von Anlerninformationen und Segmentierungsmasken ein Training des Auswertungsmittels 60, z. B. eines neuronalen Netzes durchgeführt werden. Das Auswertungsmittel 60 kann dabei gegebenenfalls automatisch lernen die relevanten Bereiche der Probenstelle zu erkennen. Das Ergebnis dieses Anlernens 130 kann entsprechend die Transferinformation 200 sein, in anderen Worten als ein trainiertes neuronales Netz oder dergleichen. Dieses kann zudem ein Modell für die Schätzung der Positionen und/oder Konturen relevanter Bereiche in der Anlerninformation 101 aufweisen.
  • In Figur 4 ist gezeigt, dass auf Grundlage einer derart maschinell angelegten Transferinformation eine Ergebnisinformation, wie eine Schätzung relevanter Bereiche an einer Probenstelle, automatisiert ermittelt werden kann. Hierbei kann zunächst ein Bereitstellen, insbesondere Erfassen 101, von wenigstens zwei unterschiedlichen Erfassungsinformationen 110 über die Probe 2 erfolgen, insbesondere durch das Erfassungssystem 1. Anschließend kann eine Auswertung 120 der Erfassungsinformationen 110, insbesondere durch ein Auswertungsmittel 60 anhand einer maschinell angelernten Transferinformation 200 erfolgen, um eine Ergebnisinformation 140 über die Probe 2 zu bestimmen. Es ist dabei möglich, dass die Transferinformation für eine unterschiedliche Erfassungsparametrisierung der Erfassungsinformationen angelernt ist, bei welcher sich die Erfassungsinformationen 110 zumindest hinsichtlich eines Beleuchtungsparameters des Erfassungssystems voneinander kodiert, insbesondere Polarisations- und/oder Farbkodiert, unterscheiden. Insbesondere kann es sich dabei bei der Transferinformation 200 und/oder bei dem Auswertungsmittel 60 um eine Transferinformation 200 beziehungsweise um ein Auswertungsmittel 60 gemäß dem in Figur 3 beschriebenen Anlernverfahren handeln. Durch die Nutzung der kodierten Beleuchtung können die Erfassungsinformationen 110 wesentlich mehr Informationen über die Probe 2 enthalten, welche sodann von dem Auswertungsmittel 60 (wie einem neuronalen Netz) genutzt werden können, um beispielsweise eine Schätzung der relevanten Probenbereiche mit sehr hoher Genauigkeit zu erreichen. Das Auswertungsmittel 60 kann dabei den Transfer der Informationen aus den Erfassungsinformationen 110 in eine Ergebnisinformation 140 unabhängig von einem konkreten physikalischen Modell des optischen Erfassungssystems 1 durchführen und ist damit sehr robust gegenüber unbekannter Eigenschaften des optischen Erfassungssystems 1 und Abweichungen von einem möglicherweise vorhandenen, idealisierten physikalischen Modell. Es ist dabei möglich, dass zur Durchführung eines erfindungsgemäßen Verfahrens keinerlei Kenntnisse über das optische Erfassungssystem 1 erforderlich sind und/oder genutzt werden. Auch kann es möglich sein, dass die Ergebnisinformation 140, insbesondere eine Schätzung der relevanten Probenbereiche der Probe 2, aus einer einzigen Aufnahme der Probe 2 ermittelt wird. Diese Aufnahme weist beispielsweise mehrere unterschiedliche Erfassungsinformationen 110 auf, d.h. parallel akquirierte Aufnahmen der gleichen Probenstelle gemäß unterschiedlicher Kodierung und/oder unterschiedlichen Beleuchtungsparametern des Erfassungssystems 1. Bei den relevanten Probenbereichen handelt es sich insbesondere um eine Lokalisierung von Zellen und/oder Zellkernen und/oder um eine Segmentierung der Zellen und/oder um eine räumliche Information über Objekte der Probe 2.
  • Die nachfolgenden Ausführungen beschreiben anhand Figur 5 rein optional weitere Ausführungsbeispiele und Weiterentwicklungen der Erfindung, und sind somit ohne Einschränkung der erfindungsgemäßen Lehre zu verstehen.
  • Das Auswertungsmittel 60, d. h. insbesondere das neuronale Netz, kann als ein Convolutional Neural Network (CNN oder deutsch: "faltendes neuronales Netzwerk") ausgebildet sein, vorzugsweise als ein sogenanntes "fully convolutional network", wie es in Long, J.; Shelhamer, E.; Darre//, T. (2014). "Fully convolutional networks for semantic segmentation". arXiv:1411.4038 (Ref. 1) beschrieben wird, und bevorzugt als ein U-Net, wie es in Ronneberger, Olaf; Fischer, Philipp; Brox, Thomas (2015). "U-Net: Convolutional Networks for Biomedical Image Segmentation", MICCAI 2015: Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015 pp 234-241, s.a. arXiv: 1505.04597 (Ref. 2) beschrieben wird. Eine mögliche Ausführung einer Netzstruktur und/oder des Trainings und/oder der Anwendung des Netzes bei der Erfindung kann somit der vorgenannten Literatur oder auch der in diesem Zusammenhang durch die Autoren erfolgen Veröffentlichung einer Implementierung im Wesentlichen entsprechen (s. u. a. "https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/"). In anderen Worten kann gemäß der Erfindung ein bekanntes neuronales Netz zumindest im Wesentlichen unverändert genutzt werden, und damit die Erstellung der Trainingsdatensätze (d. h. der Anlerninformationen bzw. Anwendungsdaten) und/oder das Training (d. h. Anlernen 130) des neuronalen Netzes mit den Trainingsdatensätzen und/oder die auf herkömmliche Art und Weise erfolgen. In Bezug auf die erfindungsgemäße Lösung offenbart die vorliegende Beschreibung daher solche Schritte, welche von den bekannten Trainings- und Anwendungsschritten des maschinellen Lernens abweichen. Eine mögliche Struktur des Netzes gemäß dem U-Net ist in Figur 5 gezeigt.
  • Nachfolgend sollen weitere optionale Strukturen des Netzes und mögliche Anwendungen genannt werden. So kann z. B. (insbesondere für die Anwendung einer semantischen Segmentierung) das U-Net genutzt werden (s. Sevastopolsky, "Optic Disc and Cup Segmentation Methods for Glaucoma Detection with Modification of U-Net Convolutional Neural Network", https://arxiv.org/abs/1704.00979), für eine Bildklassifizierung z. B. die in Szegedy et al., "Rethinking the Inception Architecture for Computer Vision", https://arxiv.org/abs/1512.00567 beschriebene Netzstruktur (vgl. auch Gulshan et al., "Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs", JAMA. 2016;316(22):2402-2410. doi:10.1001/jama.2016.17216, https://jamanetwork.com/journals/jama/articleabstract/2588763 und Esteva et al, "Dermatologist-level classification of skin cancer with deep neural networks", Nature volume 542, pages 115-118, 02 February 2017, http://www.nature.com/nature/journal/v542/n7639/full/nature21056.html) und für eine Instanzsegmentierung eine Netzstruktur entsprechend Ronneberger, "U-Net: Convolutional Networks for Biomedical Image Segmentation", https://rd.springer.com/chapter/10.1007/978-3-319-24574-4_28; He et al., "Mask R-CNN", https://arxiv.org/abs/1703.06870; Bai et al., "Deep Watershed Transform for Instance Segmentation", https://arxiv.org/abs/1611.08303.
  • Weitere Möglichkeiten für die Netzstruktur sind zu finden in Redmon et al., "YOLOv3: An Incremental Improvement", https://arxiv.org/abs/1804.02767 (insbesondere zur Detektion) und (insbesondere für eine Bildregression) Ounkomol et al., "Label-free prediction of three-dimensional fluorescence images from transmitted-light microscopy", https://europepmc.org/articles/pmc6212323; Christiansen et al., "In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images", https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6309178/ sowie Weigert et al., "Contentaware image restoration: pushing the limits of fluorescence microscopy", https://www.nature.com/articles/s41592-018-0216-7 . Ferner soll für mögliche Netzstrukturen auf Jing et al., "On the Automatic Generation of Medical Imaging Reports", https://arxiv.org/abs/1711.08195 (für eine Textprädiktion) und Veta et al., "Cutting out the middleman: measuring nuclear area in histopathology slides without segmentation", https://arxiv.org/abs/1606.06127 (für eine Multi-pixel Regression) verwiesen werden.
  • Nachfolgend wird eine optionale Netzwerkarchitektur für das neuronale Netz mit weiteren Einzelheiten beschrieben. Als besonders geeignet hat sich hierbei ein CNN herausgestellt. Dieses kann geeignet sein, Eingaben in der Form einer Matrix, und somit auch als Matrix dargestellte Bilder, zu verarbeiten. Das jeweilige Bild kann z. B. als eine Bilddatei durch mehrere Pixel definiert sein. Die Anzahl der Pixel in der Breite eines jeweiligen Bildes kann z. B. im Bereich von 8 bis 2048, vorzugsweise 16 bis 1024, bevorzugt 32 bis 512 liegen. Die Anzahl der Pixel in der Höhe kann ebenfalls in den vorgenannten Bereichen liegen, und ferner können ein oder mehrere Farbkanäle vorgesehen sein. Die Anzahl der Neuronen der Eingabeschicht (Input Layer) kann der Anzahl der Pixel des Bildes entsprechen, welche dem Netz als Eingabe übergeben werden. Die gesamte Anzahl der Neuronen des Netzes kann sich zudem aus der Anzahl der Pixel ergeben, welche für weitere Schichten des Netzes jeweils als Eingabe verwendet wird. Konkret kann das Netz ein oder mehrere Convolutional Layer (auch deutsch: "Konvolutionale Schicht" oder einfach "Filter" bezeichnet) aufweisen, welchen ein Pooling Layer (auch Aggregations-Schicht bezeichnet) folgen kann. Die Convolutional Layer und die Pooling Layer können dabei auch abwechselnd wiederholt angeordnet sein. Danach kann sich optional ein Fully Connected Layer anschließen, aber auch darauf verzichtet werden (wie im Falle eines Fully convolutional networks und insbesondere U-Nets). Für jedes Convolutional Layer können jeweils ein oder mehrere Filterkernel (Faltungsmatrix) vorgesehen sein, jeweils mit einer bestimmten Matrixgröße (Pixelgröße), z. B. 2x2 oder 3x3.
  • Die Aktivität jedes Neurons kann über eine diskrete Faltung berechnet werden, indem bspw. schrittweise der Filterkernel über die Eingabe bewegt wird. Dabei kann das innere Produkt des Filterkernels mit dem aktuell unterliegenden Bildausschnitt berechnet werden. Aus dieser Anwendung der Filterkernel resultiert jeweils eine Ergebnismatrix (oder auch "Merkmalskanal" oder "Feature Map" bezeichnet). Die Größe der Ergebnismatrix kann abhängig sein von der Filtergröße (Kernel-Size), einem ggf. genutzten Padding und von der genutzten Schrittweite. Die genannten Parameter können auch in Abhängigkeit von einem gewünschten Wert der Größe festgelegt werden. Die Anzahl der Ergebnismatrizen (bzw. der Merkmalskanäle) kann sich aus der Anzahl der Filterkernel ergeben bzw. dieser entsprechen. Die Größe der Ergebnismatrix kann für nachfolgende Layer auch mittels der Pooling-Layer verändert werden (sogenanntes Up- bzw. Downsampling). Bei einem MaxPooling Layer wird beispielsweise der höchste Wert der Ergebnismatrix verwendet und alle anderen verworfen. Das MaxPooling ist sehr verbreitet, wobei z. B. aus jedem 2 x 2 Quadrat aus Neuronen des Convolutional Layers nur die Aktivität des aktivsten (daher "Max") Neurons für die weiteren Berechnungsschritte beibehalten wird. Auch kann sich die Anzahl der Filterkernel verändern. Auch können die Ergebnisse jedes Layers durch eine Aktivierungsfunktion wie eine ReLu (Rectified Linear Unit) Funktion aktiviert werden. Die ReLU Funktion kann definiert sein als eine Funktion, bei welcher jeder Wert kleiner als Null zu Null wird und die anderen Werte größer als Null erhalten bleiben.
  • Gemäß einem weiteren konkreten Beispiel kann als Eingabe eine Erfassungsinformation wie eine Eingabeaufzeichnung genutzt werden, welche jeweils als zweidimensionales Bild ausgeführt ist. Bei mehreren Farbkanälen der Eingabeaufzeichnung kann aus der Eingabeaufzeichnung eine 3D-Matrix ermittelt werden. Eine erste Faltung gemäß einem ersten Convolutional Layer kann auf diese Matrix angewendet werden. Die Anzahl der genutzten Neuronen in diesem Schritt kann der Anzahl der Pixel der Matrix entsprechen.
  • Eine optionale Weiterentwicklung der Netzstruktur 70 kann wie in Figur 5 veranschaulicht und nachfolgend beschrieben aufgebaut sein. Zur besseren Übersicht sind die nachfolgend beschriebenen Elemente nur teilweise mit Bezugszeichen versehen. Die Netzstruktur 70 kann einen zusammenziehenden Pfad (contracting path, s. linke Hälfte der Netzstruktur 70 in Figur 5) und einen expansiven Pfad (expansive path, s. rechte Hälfte der Netzstruktur 70 in Figur 5) aufweisen. Aufgrund der hohen Anzahl der Merkmalskanäle 71 im expansiven Pfad ergibt sich die U-Form der Netzstruktur 70 (vgl. Ref. 2). Der zusammenziehende Pfad kann der typischen Architektur eines CNN entsprechen. Er kann zunächst eine wiederholte Anwendung von zwei 3x3-Faltungen 72 (convolutions), insbesondere ungefüllt (unpadded) und/oder mit 64 Filterkernel und/oder jeweils gefolgt von einer Aktivierungsfunktion wie einer ReLu (Rectified Linear Unit, z. B. f(x) = max (0, x) mit x als Eingangswert des künstlichen Neurons), und anschließend einer 2x2 Max-Pooling-Operation 74 im nachfolgenden Schritt zum Downsampling umfassen. In Figur 5 visualisieren die nach rechts zeigenden Pfeile die Faltungen 72, 73 und die nach unten zeigenden Pfeile das Max-Pooling 74. Jede der Faltungen 72, 73 bis auf die letzte Faltung 73 können dabei als 3x3 Faltungen 72 ausgeführt sein. Der beschriebene Ablauf kann sodann wiederholt werden, wobei mit nachfolgenden Downsampling-Schritten 74 jeweils die Anzahl der Merkmalskanäle 71 verdoppelt wird. Visualisiert ist dabei mit dem Rechteck (teilweise gekennzeichnet mit 71) jeweils nur ein Merkmalskanal 71 repräsentativ für mehrere Merkmalskanäle. So können nach jedem Downsampling 74 die Merkmalskanäle 71 verdoppelt (z. B. zunächst von 64 für die ersten zwei Faltungen, dann 128 für weitere zwei Faltungen, dann 256 für weitere zwei Faltungen, dann 512 für weitere zwei Faltungen und zuletzt 1024). Anschließend kann im expansiven Pfad zunächst ein Upsampling erfolgen (z. B. durch eine initiale 2x2-Faltung 75 ("upconvolution") oder durch eine Interpolation). Die Upsampling-Schritte 75 sind jeweils durch einen Pfeil nach oben gekennzeichnet. Dann können erneut zwei 3x3-Faltungen 72 erfolgen, jeweils gefolgt von der Aktivierungsfunktion bzw. der ReLU. Auch dieser Ablauf kann wiederholt werden, wobei für jedes Upsampling 75 die Anzahl der Merkmals-Kanäle halbiert werden kann. Insgesamt kann das Netzwerk 23 Faltungsschichten (convolutional layers) aufweisen. Aus den letzten zwei Ergebnismatrizen kann sich dann die Segmentierung (oder ein anderes antrainiertes Ergebnis, also die Ergebnisinformation 140) ergeben. Bei anderen Anwendungen ist es denkbar, dass auch mehr als zwei Ergebnismatrizen vorgesehen sind. In Figur 5 ist eine schematische Darstellung der Netzstruktur 70 gezeigt, wobei einige Operationen (z. B. ein Copy-und-Crop) vorgesehen sein können, auch wenn diese nicht explizit dargestellt sind.
  • Ferner hat sich gemäß der optionalen Ausführungsvariante herausgestellt, dass die konkrete Netzwerkarchitektur sekundär ist, sofern eine relativ hohe Anzahl von Trainingsdatensätzen zum Einsatz kommt. In anderen Worten kann die Netzstruktur austauschbar sein, und braucht nicht weiter angepasst werden, sofern eine hohe Anzahl Datensätze (also Bildern) genutzt wird. Auch auf eine Augmentierung kann in diesem Falle verzichtet werden. Das Training wiederrum kann ebenfalls auf herkömmliche Art und Weise erfolgen. Bspw. wird hierzu eine Backpropagation genutzt. Konkret kann das Training bspw. erfolgen, wie es auch in Ref. 2 beschrieben ist. Als Eingabe (Input) können dabei aufgenommene Bilder und zugehörige Segmentierungskarten genutzt werden. Es kann dabei ein Optimierungsverfahren wie ein Gradientenverfahren ("Stochastic gradient descent") zum Einsatz kommen. Der Trägheitsterm (momentum) kann hierbei hoch gewählt werden (z. B. 0,99). Die Energiefunktion kann z. B. durch eine pixelweise soft-max-Gewichtung über die Merkmalskarte erfolgen. Als Verlustfunktion kommt eine Kreuzentropie-Funktion in Frage. Durch das Training kann eine Gewichtung für die Filterkernel bestimmt und durch die Transferinformation 200 repräsentiert werden.
  • Eine weitere Verlustfunktion, welche optional mit der Erfindung verwendet werden kann, ist in der Literatur Geert Litjens et al. (2017), "A survey on deep learning in medical image analysis", Medical Image Analysis, Volume 42, 2017, Seiten 60-88, ISSN 1361-8415, https://doi.org/10.1016/j.media.2017.07.005, arXiv:1702.05747 (Ref. 3) beschrieben. Auch kann die in Ref. 3 vorgestellte Trainingsstrategie für die Erfindung zum Einsatz kommen. Als Eingabe für das Netz können z. B. RGB-Bilder verwendet werden, sodass als Eingang die jeweiligen rot, grün und blauen Komponenten des Bildes verwendet werden. Auf die Augmentierungen, insbesondere Rotationsaugmentierung, in Ref. 3 kann ggf. verzichtet werden, sofern die Anzahl der als Eingabe verwendeten verschiedenen Bilder ausreichend ist (z. B. mindestens 100 oder mindestens 500 oder mindestens 1000 beträgt). Prinzipiell kann somit auf jegliche artifizielle Augmentierung verzichtet werden, sofern eine größere Datenmenge Anwendungsdaten als Eingabe erstellt wird. Eine Übersicht weiterer möglicher Netzwerkarchitekturen, welche für andere Eingangstypen des Ground Truth (z. B. zur Klassifizierung, 3D Segmentierung oder ähnliches) anwendbar sind, findet sich in Ref. 2.
  • Gemäß einer weiteren optionalen Ausgestaltung des Anlernens 130 kann gemäß einem ersten Trainingsschritt wenigstens eine Zellprobe bereitgestellt werden. Diese Zellprobe kann fluoreszenzmarkierte und insbesondere durch DAPI (4',6-Diamidin-2-phenylindol) markierte Zellkerne aufweisen. Gemäß einem zweiten Trainingsschritt kann eine Vielzahl von Bildern, vorzugsweise Fluoreszenzbildern (durch ein Floureszenzmikroskop als das Erfassungssystem) dieser Zellprobe im DAPI Kanal, unter Verwendung einer Weißlichtquelle als Lichtquelle mit dem Beleuchtungsmittel 10, z. B. in der Form eines 3-fach räumlich und farblich kodierten Filters, zur Erfassung 101 der Anlerninformationen und schrittweise Aufnahme derselben Positionen als Fluoreszenzbilder im DAPI Kanal zur Referenzerfassung 102. In anderen Worten wird für die Erfassung 101 der Anlerninformationen im Gegensatz zur Referenzerfassung 102 die räumliche und farbliche Kodierung genutzt. Damit sind die Anlerninformationen für Erfassungsinformationen 110 spezifisch, welche eine unterschiedliche Erfassungsparametrisierung aufweisen. Das Beleuchtungsmittel 10 kann hierbei im Mikroskopkondensator angeordnet sein. Gemäß einem dritten Trainingsschritt kann eine Segmentierung der im DAPI aufgenommenen Fluoreszenzbilder der Referenzerfassung 102 zur Erzeugung eines Ground Truth 112 erfolgen. Dieses kann manuell oder alternativ automatisch durch herkömmliche hierfür geeignete Algorithmen erfolgen. Im einfachsten Falle kann z. B. ein Schwellenwert für die einzelnen Pixel in den Bildern genutzt werden, um solche Pixel, welche den Schwellenwert überschreiten, als Teil der Zellkerne zu erkennen. Im vierten Trainingsschritt kann ein Anlernen des Auswertungsmittels 60 mittels des Ground Truth 112 und der Anlerninformationen erfolgen. Die Anlerninformation können hierzu in der Form von Anwendungsdaten digital gespeichert sein. Das Auswertungsmittel 60 kann hierbei ein neuronales Netz umfassen, bspw. entsprechend einer vorgenannten Ausführung. Das Ergebnis des Anlernens 130 kann die Transferinformation 200 sein, in anderen Worten als ein trainiertes neuronales Netz, insbesondere als ein Klassifikator mit den Gewichten für die Filterkernel oder dergleichen. Auf diese Weise kann die Transferinformation 200 für eine unterschiedliche Erfassungsparametrisierung der Erfassungsinformationen 110 angelernt sein, bei welcher sich die Erfassungsinformationen 110 zumindest hinsichtlich eines Beleuchtungsparameters des Erfassungssystems 1 voneinander kodiert, insbesondere polarisations- und/oder farbkodiert, unterscheiden. Anschließend kann das auf diese Weise trainierte Auswertungsmittel 60 angewendet werden.
  • Die Anwendung des trainierten Auswertungsmittels erfolgt z. B. dadurch, dass eine andere Probe oder Probenstelle basierend auf dem im zweiten Trainingsschritt beschriebenen Verfahren alleinig mit der räumlich farblich (bzw. polarisations-) kodierten Beleuchtung in der Transmission erfasst wird, um die entsprechend räumlich und farblich (bzw. polarisations-) kodiert beleuchteten Erfassungsinformation 110 zu erhalten. Anschließend kann eine Auswertung 120 (bzw. eine Inference) durch das angelernte Auswertungsmittel 60 (z. B. Modell bzw. Netz) zur Bestimmung der Ergebnisinformation 140 erfolgen, z. B. durch eine Schätzung der Segmentierungsmasken der Zellkerne. Damit kann die Ergebnisinformation 140 eine Segmentierung der Zellkerne sein. Auch kann die Segmentierung des Trainings und/oder der Anwendung als eine 2D oder 3D Segmentierung ausgeführt sein. Eine weitere Anwendungsmöglichkeit ist es, anstelle der Segmentierung eine Klassifizierung von Bildern oder Bildregionen oder eine Lokalisation (z. B. zur Zählung) von Objekten oder eine andere Detektion von Objekten, insbesondere Zellen der Probe, durchzuführen. Ferner kann durch die Segmentierung z. B. ein Fluoreszenzsignal im Bereich eines Zellkompartiments gemessen werden.
  • Eine weitere mögliche Anwendung ist eine Schätzung der Klassifizierung oder Regression von Pixeln oder Objekten oder Probenbereichen der Probe. So kann z. B. eine Klassifizierung von einzelnen Bildpixeln oder eine Klassifikation von ganzen Zellen oder Gewebebereichen oder eine Regression von einzelnen Bildpixeln, z. B. Fluoreszenzeigenschaften oder Phaseninformationen, oder eine Regression von ganzen Zellen oder Gewebebereichen erfolgen. Auch die Bereitstellung eines zytometrischen oder histologischen Analyseergebnisses ist eine potentielle Anwendung. Es können weiter z. B. Phaseninformationen oder eine dreidimensionale Information über die räumliche Struktur der Probe (z. B. ein z-Stapel für verschiedene defokussierte Ebenen) oder wenigstens eine Fluoreszenzeigenschaft der Probe oder ein erweiterter Schärfetiefenbereich einer Probenaufzeichnung (z. B. gemäß "Extended Focal Image") ermittelt werden. Es kann für das Anlernen 130 die entsprechende Klassifizierung oder ein anderes Anwendungsergebnis (wie ein Segmentierungs- oder Detektionsergebnis) für das Ground Truth 112 vorgegeben werden.
  • Eine optionale Möglichkeit zur Bestimmung des Ground Truth 12 kann die Verwendung von Fluoreszenzbildern (aus Weitfeld oder kofokaler Aufnahmen) oder Phasenbildern aus digitalholographischen Verfahren oder ein Ramanspektrum zur Klassifizierung einer Zelle oder FLIM Bilder- oder Informationen sein, welche jeweils durch die Referenzerfassung ermittelt werden können.
  • Die voranstehende Erläuterung der Ausführungsformen beschreibt die vorliegende Erfindung ausschließlich im Rahmen von Beispielen. Selbstverständlich können einzelne Merkmale der Ausführungsformen, sofern technisch sinnvoll, frei miteinander kombiniert werden, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
    • Bezugszeichenliste
    • 1
    Erfassungssystem
    2
    Probe
    10
    Beleuchtungsmittel, räumlich strukturierter Farbfilter
    11
    erstes Segment, erster Farbbereich
    12
    zweites Segment, zweiter Farbbereich
    13
    drittes Segment, dritter Farbbereich
    20
    Abbildungsoptik
    30
    Lichtquelle
    40
    Detektionsvorrichtung, Kamera
    50
    Auswertevorrichtung, Computer
    51
    Prozessor
    52
    Datenspeicher
    60
    Auswertungsmittel
    70
    Netzstruktur
    71
    Merkmalskanal, Feature Map
    72
    Faltung 3x3, ReLu
    73
    Faltung 1x1
    74
    Downsampling, Max Pool 2x2
    75
    Aufwärtsfaltung, Up-conv 2x2
    101
    Erfassung
    102
    Referenzerfassung
    110
    Erfassungsinformation, Farbbilder
    111
    Referenzverarbeitung, Segmentierung
    112
    Ground Truth
    120
    Auswertung, Machine learning interference
    130
    Anlernen, Machine learning training
    140
    Ergebnisinformation
    200
    Transferinformation, Trainiertes Modell

Claims (15)

  1. Verfahren zur mikroskopischen Auswertung (120) einer Probe (2), insbesondere wenigstens einer ungefärbten Objekt- oder Zellprobe (2), bei einem optischen Erfassungssystem (1),
    wobei die nachfolgenden Schritte durchgeführt werden:
    - Bereitstellen von wenigstens zwei unterschiedlichen Erfassungsinformationen (110) über die Probe (2) durch das Erfassungssystem (1),
    - Durchführen einer Auswertung (120) der Erfassungsinformationen (110), insbesondere durch ein Auswertungsmittel (60), anhand einer maschinell angelernten Transferinformation (200), um eine Ergebnisinformation (140) über die Probe (2) zu bestimmen,
    wobei die Transferinformation (200) für eine unterschiedliche Erfassungsparametrisierung der Erfassungsinformationen (110) angelernt ist, bei welcher sich die Erfassungsinformationen (110) zumindest hinsichtlich eines Beleuchtungsparameters des Erfassungssystems (1) voneinander kodiert, insbesondere polarisations- und/oder farbkodiert, unterscheiden, wobei
    zum Bereitstellen der nachfolgende Schritt vorgesehen ist:
    - Durchführen zumindest einer Erfassung (101) der Probe (2) durch das optische Erfassungssystem (1), um die unterschiedlichen Erfassungsinformationen (110) durch eine Variation des Beleuchtungsparameters zu erhalten,
    wobei die Variation als eine Veränderung der räumlichen Beleuchtungsstruktur und der Beleuchtungsfarbe und/oder der räumlichen Beleuchtungsstruktur und der Beleuchtungspolarisation für die unterschiedlichen Erfassungsinformationen (110) erfolgt.
  2. Verfahren nach Anspruch 1,
    dadurch gekennzeichnet,
    dass die Variation als die Veränderung der räumlichen Beleuchtungsstruktur und/oder der Beleuchtungsfarbe und/oder der Beleuchtungspolarisation für die unterschiedlichen Erfassungsinformationen (110) erfolgt,, wobei hierzu ein Beleuchtungslicht räumlich strukturiert und/oder zur Farbkodierung wenigstens zweifarbig und/oder zur Polarisationskodierung unterschiedlich polarisiert ist, sodass insbesondere farb- und/oder polarisationsabhängig verschiedene Beleuchtungsmuster erzeugt werden, und bevorzugt diese Beleuchtungsmuster für die Erfassungsinformationen (110) spezifisch sind.
  3. Verfahren nach Anspruch 1 oder 2,
    dadurch gekennzeichnet,
    dass die Auswertung (120) durch ein Auswertungsmittel (60) durchgeführt wird, welches als ein auf Maschinenlernen und/oder Deep Learning und/oder künstlicher Intelligenz basiertes Computerprogramm ausgeführt ist, vorzugsweise als künstliches neuronales Netz.
  4. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Erfassungsparametrisierung der Erfassungsinformationen (110) sich dadurch voneinander unterscheidet, dass bei der Erfassung (101) der Erfassungsinformationen (110) ein, insbesondere breitbandiges, Beleuchtungslicht des Erfassungssystems (1) für unterschiedliche der Erfassungsinformationen (110) unterschiedliche räumliche und/oder kodierte Anpassungen aufweist, vorzugsweise durch eine räumliche Strukturierung und/oder Farbkodierung und/oder Polarisation des Beleuchtungslichts.
  5. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die unterschiedliche Erfassungsparametrisierung der Erfassungsinformationen (110) dafür spezifisch ist, dass bei der Erfassung (101) eine Anpassung eines Beleuchtungslichts mittels eines Beleuchtungsmittels (10) des Erfassungssystems (1) durchgeführt wird, wobei das Beleuchtungsmittel (10) eine kodierte, vorzugsweise unterschiedlich polarisierende und/oder mindestens zweifarbige, räumliche Struktur (11, 12, 13) aufweist, um kodierungsabhängig, vorzugsweise farbabhängig und/oder farbkodiert und/oder polarisationsabhängig und/oder polarisationskodiert, verschiedene Beleuchtungsmuster für die Probe (2) bereitzustellen, wobei insbesondere für unterschiedliche der Beleuchtungsmuster unterschiedliche der Erfassungsinformationen (110) bereitgestellt werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die unterschiedliche Erfassungsparametrisierung der Erfassungsinformationen (110) dafür spezifisch ist, dass die Erfassung (101) der Erfassungsinformationen (110) durch eine gleichzeitige Beleuchtung mit verschiedenen Beleuchtungsfarben und/oder Polarisationen erfolgt, wobei wenigstens eine farbabhängige und/oder polarisationsabhängige, insbesondere zwei- oder mehrdimensionale, Probenaufzeichnung durchgeführt wird, um die wenigstens zwei Erfassungsinformationen (110) farb- und/oder polarisationsabhängig bereitzustellen.
  7. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass zum Bereitstellen wenigstens eine Probenaufzeichnung durch eine Detektionsvorrichtung (40), insbesondere Kamera (40), des Erfassungssystems (1) mittels Polarisations- und/oder Farbfilterung durchgeführt wird, um unterschiedliche der Erfassungsinformationen (110) für unterschiedliche Polarisationen und/oder Beleuchtungsfarben aus der Probenaufzeichnung zu erhalten, wobei vorzugsweise die Detektionsvorrichtung (40) zur Polarisationsfilterung wenigstens einen Polarisationsfilter und/oder zur Farbfilterung ein Farbfiltermuster aufweist.
  8. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass zum Bereitstellen die nachfolgenden Schritte durchgeführt werden:
    - Ermitteln einer ersten Aufnahme eines Bereichs der Probe (2), vorzugsweise mit einer ersten Beleuchtungsfarbe und/oder Polarisation, um eine erste Erfassungsinformation (110) gemäß einer ersten Erfassungsparametrisierung zu erhalten,
    - Ermitteln wenigstens einer zweiten Aufnahme des gleichen Bereichs der Probe (2), vorzugsweise mit wenigstens einer zweiten Beleuchtungsfarbe und/oder Polarisation, welche sich von der ersten Beleuchtungsfarbe und/oder Polarisation unterschiedet, um wenigstens eine zweite Erfassungsinformation (110) gemäß wenigstens einer zweiten Erfassungsparametrisierung zu erhalten.
  9. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Auswertung (120) durch ein Auswertungsmittel (60) durchgeführt wird, welches die Transferinformation (200) aufweist, wobei zum Anlernen (130) des Auswertungsmittels (60) die nachfolgenden Schritte durchgeführt werden:
    - Durchführen der Erfassung (101) eines Bereichs der Probe (2) durch das oder ein weiteres optisches Erfassungssystem (1), um wenigstens zwei unterschiedliche Anlerninformationen über die Probe (2) dadurch zu erhalten, dass für die Anlerninformationen wenigstens ein Erfassungsparameter, insbesondere Beleuchtungsparameter, variiert,
    - Bestimmen von Anwendungsdaten für das Auswertungsmittel (60) anhand der Anlerninformationen,
    - Durchführen einer Referenzerfassung (102) des gleichen Bereichs der Probe (2) durch das oder das weitere optische Erfassungssystem (1), um ein Ground Truth (112) für das Auswertungsmittel (60) zu bestimmen,
    - Anlernen (130) des Auswertungsmittels (60) unter Verwendung der Anwendungsdaten und des Ground Truth (112), um die Transferinformation (200) zu bestimmen.
  10. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Ergebnisinformation (140), und/oder ein Ground Truth (112) zum Anlernen (130) eines Auswertungsmittels (60), eine der nachfolgenden Informationen über die Probe (2) ist:
    - eine Detektion, insbesondere Segmentierung (111) oder Lokalisierung von Objekten und/oder Zellen der Probe (2), insbesondere eine Segmentierungsmaske,
    - eine Schätzung der Klassifizierung oder Regression von Pixel oder Objekten oder Probenbereichen der Probe (2),
    - ein zytometrisches oder histologisches Analyseergebnis,
    - eine Phaseninformation,
    - eine dreidimensionale Information über die räumliche Struktur der Probe (2),
    - wenigstens eine Fluoreszenzeigenschaft der Probe (2),
    - ein erweiterter Schärfetiefenbereich einer Probenaufzeichnung.
  11. Optisches Erfassungssystem (1), aufweisend
    - eine Detektionsvorrichtung (40) zur Erfassung (101) von wenigstens zwei unterschiedlichen Erfassungsinformationen (110) über die Probe (2), welche sich wenigstens hinsichtlich eines Beleuchtungsparameters bei der Erfassung (101) kodiert unterscheiden,
    - eine Auswertevorrichtung (50), die geeignet ist, anhand einer maschinell angelernten Transferinformation (200) aus den Erfassungsinformationen (110) eine Ergebnisinformation (140) über die Probe (2) zu bestimmen,
    wobei ein Beleuchtungsmittel (10) vorgesehen ist, welches für mindestens zwei unterschiedliche Einstellungen des Beleuchtungsparameters eine unterschiedlich polarisierende und/oder mindestens zweifarbige räumliche Struktur aufweist.
  12. Optisches Erfassungssystem (1) nach Anspruch 11,
    dadurch gekennzeichnet,
    dass das Beleuchtungsmittel (10) wenigstens zwei benachbart angeordnete Polarisations- und/oder Farbfilter (110) aufweist, um polarisations- und/oder farbabhängig verschiedene Beleuchtungsmuster bereitzustellen, und/oder dass das Beleuchtungsmittel (10) als ein Kondensoreinsatz ausgebildet ist, und zur Filterung eines Beleuchtungslichts in eine Kondensoreinheit des optischen Erfassungssystems (1) eingesetzt ist, um eine Kodierung, insbesondere Polarisations- und/oder Farbkodierung des Beleuchtungslichts bereitzustellen, und/oder dass die Detektionsvorrichtung (40) wenigstens einen Kamerasensor aufweist, vorzugsweise einen RGB-Kamerasensor, und/oder als eine polarisationssensitive Kamera ausgebildet ist, um vorzugsweise eine Dekodierung des Beleuchtungslichts durchzuführen.
  13. Optisches Erfassungssystem (1) nach einem der Ansprüche 11 oder 12,
    dadurch gekennzeichnet,
    dass das optische Erfassungssystem (1) als ein Mikroskopsystem zur Durchlichtmikroskopie ausgebildet ist und/oder zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 10 ausgeführt ist.
  14. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer (50) diesen veranlassen, die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 10 auszuführen.
  15. Computerlesbares Medium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.
EP19185963.6A 2018-07-20 2019-07-12 Verfahren zur mikroskopischen auswertung Pending EP3598195A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP18184823.5A EP3598194A1 (de) 2018-07-20 2018-07-20 Verfahren zur mikroskopischen auswertung

Publications (1)

Publication Number Publication Date
EP3598195A1 true EP3598195A1 (de) 2020-01-22

Family

ID=63035867

Family Applications (2)

Application Number Title Priority Date Filing Date
EP18184823.5A Withdrawn EP3598194A1 (de) 2018-07-20 2018-07-20 Verfahren zur mikroskopischen auswertung
EP19185963.6A Pending EP3598195A1 (de) 2018-07-20 2019-07-12 Verfahren zur mikroskopischen auswertung

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP18184823.5A Withdrawn EP3598194A1 (de) 2018-07-20 2018-07-20 Verfahren zur mikroskopischen auswertung

Country Status (3)

Country Link
US (1) US11199689B2 (de)
EP (2) EP3598194A1 (de)
CN (1) CN110806636B (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3910399A1 (de) * 2020-05-12 2021-11-17 Siemens Healthcare Diagnostics, Inc. Verfahren zur virtuellen annotation von zellen

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
US10929716B2 (en) * 2018-09-12 2021-02-23 Molecular Devices, Llc System and method for label-free identification and classification of biological samples
US11301980B2 (en) * 2020-04-21 2022-04-12 GM Global Technology Operations LLC System and method to evaluate the integrity of spot welds
CN111551117B (zh) * 2020-04-29 2021-07-20 湖南国科智瞳科技有限公司 显微图像焦点漂移距离的测量方法及系统、计算机设备
US11700361B2 (en) * 2021-05-03 2023-07-11 Microsoft Technology Licensing, Llc Systems and methods for ground truth generation using single photon avalanche diodes

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991020048A1 (en) 1990-06-21 1991-12-26 Applied Electronic Vision, Inc. Cellular analysis utilizing video processing and neural network
WO1997011350A2 (en) 1995-09-19 1997-03-27 Morphometrix Technologies Inc. A neural network assisted multi-spectral segmentation system
DE102012007045A1 (de) * 2012-04-05 2013-10-10 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Mikroskopie
US20150185459A1 (en) 2013-12-03 2015-07-02 Lloyd Douglas Clark Electronically Variable Illumination Filter for Microscopy
DE102014108044A1 (de) 2014-06-06 2015-12-17 Carl Zeiss Microscopy Gmbh Lichtmikroskop mit einer rotierbaren Scheibe und Verfahren zum Mikroskopieren mit diesem
WO2016191462A1 (en) 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods
WO2017181044A1 (en) 2016-04-15 2017-10-19 The Regents Of The University Of California Optical phase retrieval systems using color-multiplexed illumination

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5721042B2 (ja) * 2010-10-20 2015-05-20 株式会社ニコン 顕微鏡システム
CN104765138B (zh) * 2015-04-17 2017-09-29 南京理工大学 基于led阵列的多模式显微成像系统及其方法
KR102117050B1 (ko) * 2017-09-08 2020-05-29 삼성전자주식회사 이미지 내 휴먼 분리를 위한 전자 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991020048A1 (en) 1990-06-21 1991-12-26 Applied Electronic Vision, Inc. Cellular analysis utilizing video processing and neural network
WO1997011350A2 (en) 1995-09-19 1997-03-27 Morphometrix Technologies Inc. A neural network assisted multi-spectral segmentation system
DE102012007045A1 (de) * 2012-04-05 2013-10-10 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Mikroskopie
US20150185459A1 (en) 2013-12-03 2015-07-02 Lloyd Douglas Clark Electronically Variable Illumination Filter for Microscopy
DE102014108044A1 (de) 2014-06-06 2015-12-17 Carl Zeiss Microscopy Gmbh Lichtmikroskop mit einer rotierbaren Scheibe und Verfahren zum Mikroskopieren mit diesem
WO2016191462A1 (en) 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods
WO2017181044A1 (en) 2016-04-15 2017-10-19 The Regents Of The University Of California Optical phase retrieval systems using color-multiplexed illumination

Non-Patent Citations (21)

* Cited by examiner, † Cited by third party
Title
"RoboCup 2008: RoboCup 2008: Robot Soccer World Cup XII", vol. 9351, 1 January 2015, SPRINGER INTERNATIONAL PUBLISHING, Cham, ISBN: 978-3-319-10403-4, article OLAF RONNEBERGER ET AL: "U-Net: Convolutional Networks for Biomedical Image Segmentation", pages: 234 - 241, XP055562805, 032682, DOI: 10.1007/978-3-319-24574-4_28 *
BAI ET AL., DEEP WATERSHED TRANSFORM FOR INSTANCE SEGMENTATION, Retrieved from the Internet <URL:https://arxiv.orq/abs/1611.08303>
CHRISTIANSEN ET AL., IN SILICO LABELING: PREDICTING FLUORESCENT LABELS IN UNLABELED IMAGES, Retrieved from the Internet <URL:https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6309178>
ESTEVA ET AL.: "Dermatologist-level classification of skin cancer with deep neural networks", NATURE, vol. 542, 2 February 2017 (2017-02-02), pages 115 - 118, XP055536881, Retrieved from the Internet <URL:http://www.nature.com/nature/3ournal/v542/n7639/full/nature21056.html> doi:10.1038/nature21056
GEERT LITJENS ET AL.: "A survey on deep learning in medical image analysis", MEDICAL IMAGE ANALYSIS, vol. 42, 2017, pages 60 - 88, XP055571260, ISSN: 1361-8415, Retrieved from the Internet <URL:https://doi.org/10.1016/j.media.2017.07.005> doi:10.1016/j.media.2017.07.005
GULSHAN ET AL.: "Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs", JAMA, vol. 316, no. 22, 2016, pages 2402 - 2410, XP055509254, Retrieved from the Internet <URL:https://jamanetwork.com/journals/jama/articleabstract/2588763> doi:10.1001/jama.2016.17216
HE ET AL., MASK R-CNN, Retrieved from the Internet <URL:https://arxiv.org/abs/1703.06870>
JING ET AL., ON THE AUTOMATIC GENERATION OF MEDICAL IMAGING REPORTS, Retrieved from the Internet <URL:https://arxiv.org/abs/1711.08195>
LITJENS GEERT ET AL.: "A Survey on deep learning in medical Image analysis", MEDICAL IMAGE ANALYSIS, vol. 42, pages 60 - 88, XP055571260, ISSN: 1361-8415, doi:10.1016/j.media.2017.07.005
LITJENS GEERT ET AL: "A survey on deep learning in medical image analysis", MEDICAL IMAGE ANALYSIS, vol. 42, 26 July 2017 (2017-07-26), pages 60 - 88, XP085240547, ISSN: 1361-8415, DOI: 10.1016/J.MEDIA.2017.07.005 *
LONG, J.SHELHAMER, E.DARREIL, T.: "Fully convolutional networks for semantic segmentation", ARXIV:1411.4038, 2014
OPTIC DISC AND CUP SEGMENTATION METHODS FOR GLAUCOMA DETECTION WITH MODIFICATION OF U-NET CONVOLUTIONAL NEURAL NETWORK, Retrieved from the Internet <URL:https://arxiv.org/abs/1704.00979>
OUNKOMOL ET AL., LABEL-FREE PREDICTION OF THREE-DIMENSIONAL FLUORESCENCE IMAGES FROM TRANSMITTED-LIGHT MICROSCOPY, Retrieved from the Internet <URL:https://europepmc.org/articles/pmc6212323>
REDMON ET AL., YOLOV3: AN INCREMENTAL IMPROVEMENT, Retrieved from the Internet <URL:https://arxiv.org/abs/1804.02767>
ROARKE HORSTMEYER ET AL: "Convolutional neural networks that teach microscopes how to image", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 21 September 2017 (2017-09-21), XP080822334 *
RONNEBERGER, OLAFFISCHER, PHILIPPBROX, THOMAS: "U-Net: Convolutional Networks for Biomedical Image Segmentation", MICCAI 2015: MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION - MICCAI 2015, 2015, pages 234 - 241, XP055561106, doi:10.1007/978-3-319-24574-4_28
RONNEBERGER, U-NET: CONVOLUTIONAL NETWORKS FOR BIOMEDICAL IMAGE SEGMENTATION, Retrieved from the Internet <URL:https://rd.springer.com/chapter/10.1007/978-3-319-24574-4_28>
SZEGEDY ET AL., RETHINKING THE INCEPTION ARCHITECTURE FOR COMPUTER VISION, Retrieved from the Internet <URL:https://arxiv.org/abs/1512.00567>
VETA ET AL., CUTTING OUT THE MIDDLEMAN: MEASURING NUCLEAR AREA IN HISTOPATHOLOGY SLIDES WITHOUT SEGMENTATION, Retrieved from the Internet <URL:https://arxiv.org/abs/1606.06127>
WEIGERT ET AL., CONTENTAWARE IMAGE RESTORATION: PUSHING THE LIMITS OF FLUORESCENCE MICROSCOPY, Retrieved from the Internet <URL:https://www.nature.com/articles/s41592-018-0216-7>
YOUNGJU JO ET AL: "Quantitative Phase Imaging and Artificial Intelligence: A Review", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 7 June 2018 (2018-06-07), XP081109052 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3910399A1 (de) * 2020-05-12 2021-11-17 Siemens Healthcare Diagnostics, Inc. Verfahren zur virtuellen annotation von zellen

Also Published As

Publication number Publication date
US11199689B2 (en) 2021-12-14
EP3598194A1 (de) 2020-01-22
CN110806636A (zh) 2020-02-18
US20200026057A1 (en) 2020-01-23
CN110806636B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
EP3598195A1 (de) Verfahren zur mikroskopischen auswertung
DE102018219867B4 (de) Lernender Autofokus
EP3608831A1 (de) Verfahren zur bereitstellung eines auswertungsmittels für wenigstens ein optisches anwendungssystem einer mikroskopbasierten anwendungstechnologie
EP3195250B1 (de) Verfahren zum erzeugen eines ergebnisbilds und optische vorrichtung
EP3807838A2 (de) Materialprüfung von optischen prüflingen
EP3291172B1 (de) Verfahren zur ermittlung von ergebnisbilddaten
EP3452858B1 (de) Artefaktreduktion bei der winkelselektiven beleuchtung
EP3803495A1 (de) Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera
EP3602163A2 (de) Strukturierte beleuchtung mit optimierter beleuchtungsgeometrie
EP3608701A1 (de) Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
DE102019208114B4 (de) Vorrichtung und Verfahren zur 3D Vermessung von Objektkoordinaten
EP3828617A1 (de) Verfahren zur digitalen anfärbung von zellen
WO2020061605A2 (de) Verfahren zum fokussieren einer kamera
EP4016082B1 (de) Verfahren und vorrichtung zum detektieren einer präsenz eines fluoreszenzmustertyps auf einem organschnitt mittels immunfluoreszenzmikroskopie
EP4187306A1 (de) Verfahren zum auswerten von messdaten eines lichtfeldmikro-skops und vorrichtung zur lichtfeldmikroskopie
EP3540507A1 (de) Bildaufnahmevorrichtung und verfahren zum aufnehmen einer bildaufnahme eines dokuments und verwendung
EP1219919B1 (de) Verfahren, Anordnung und System zur Ermittlung von Prozessgrössen
DE4244708C2 (de) Verfahren und Vorrichtung zum Erstellen einer Artenliste für eine flüssige Probe
DE10355150B4 (de) Verfahren und System zur Analyse von Co-Lokalisationen
DE102022202443A1 (de) Verfahren und Fahrzeuginnenraumkamera zum Bestimmen von Tiefeninformationen eines Objekts in einem Fahrzeuginnenraum
DE102022121543A1 (de) Mikroskopiesystem und Verfahren zur Qualitätsüberprüfung eines maschinell gelernten Bildverarbeitungsmodells
EP3910399A1 (de) Verfahren zur virtuellen annotation von zellen
DE102022121545A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen eines maschinell gelernten Modells zum Verarbeiten von Mikroskopdaten
WO2022253574A1 (de) Verfahren und vorrichtung zur aufnahme von trainingsdaten
DE102008038467A1 (de) Verfahren zur Bildauswertung und/oder Manipulation einer Probe

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200722

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220816

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: EVIDENT TECHNOLOGY CENTER EUROPE GMBH