EP4118478A1 - Verfahren und vorrichtung zur untersuchung von mikroskopproben unter verwendung optischer marker - Google Patents

Verfahren und vorrichtung zur untersuchung von mikroskopproben unter verwendung optischer marker

Info

Publication number
EP4118478A1
EP4118478A1 EP21712983.2A EP21712983A EP4118478A1 EP 4118478 A1 EP4118478 A1 EP 4118478A1 EP 21712983 A EP21712983 A EP 21712983A EP 4118478 A1 EP4118478 A1 EP 4118478A1
Authority
EP
European Patent Office
Prior art keywords
microscope
identification code
image
sample
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21712983.2A
Other languages
English (en)
French (fr)
Inventor
Falk Schlaudraff
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Priority to EP25209822.3A priority Critical patent/EP4657136A3/de
Publication of EP4118478A1 publication Critical patent/EP4118478A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00722—Communications; Identification
    • G01N35/00732—Identification of carriers, materials or components in automatic analysers
    • G01N2035/00821—Identification of carriers, materials or components in automatic analysers nature of coded information

Definitions

  • the invention relates to a device and, in particular, a computer-implemented method for examining microscope samples.
  • the aim of the invention is to simplify the examination of microscope samples, in particular if the microscope samples are examined in a series of successive intervals, for example by different microscopes.
  • a device for examining microscope samples wherein the microscope samples have an object to be microscoped and a sample carrier holding the object, and the device is designed to digitally identify the microscope sample by fingerprinting the microscope sample using at least one optical device To calculate marker in at least one digital image of at least part of the object.
  • the invention also relates to a method, in particular a microscope method, for microscope samples, the microscope samples having an object to be microscoped and a sample carrier holding the object, the microscope sample being used for at least one of the microscope samples by fingerprinting, i.e. by image processing, using optical markers in at least one Digital image of at least a part of the object, a digital identification code is calculated.
  • Fingerprinting makes it possible to identify the microscope sample or the object without using additional means such as bar codes. Since the fingerprinting represents an area occupied by the object in the digital image, the fingerprinting can be carried out during the examination of the microscope sample without previously having to print other areas of the sample carrier outside the object or the area occupied by the object, in which, for example, an identification is printed will need to be investigated. In addition, with this solution it is no longer necessary to scan the samples, for example through a separate barcode scanner, in order to identify them. The identification takes place directly in the image of the object itself.
  • the digital identification code is generated as a fingerprint in the form of a hash value.
  • the fingerprint is the result of a generally non-injective mapping, by means of a scatter value or hash function, of a large input quantity to a smaller target quantity, namely the hash values (cf. Wikipedia on fingerprint (hash function)). Fingerprinting generates an at least almost unambiguous identification of the object or its image.
  • the object is in particular a biological sample or a biological sample, for example a cell, a cell culture and / or a section through biological tissue.
  • the object can contain or consist of inorganic material.
  • the object can cover a region of the sample carrier continuously or cover individual regions of the sample carrier that are spaced apart from one another. Holding the object naturally also includes supporting, picking up or containing the object.
  • the device is designed to carry out a feature specified below as a method step.
  • a functional suitability of the device can also represent a method step.
  • a digital image can thus be or represent an overview recording of the object.
  • the digital image can be generated or have been generated by a slide scanner.
  • a slide scanner is designed to digitize a plurality of biological objects on the sample carriers one after the other, preferably automatically.
  • the sample carrier or at least the area on which the object is located can be recorded by means of a low magnification.
  • a digital image can be generated in transmitted light.
  • a digital image can also represent a section of the object.
  • a digital image can be a tile, with several tiles being added together to form a digital image of a larger area of the object.
  • the sample carrier is preferably made of glass or another material permeable to light and electron beams, so that the images can be generated using a wide variety of electromagnetic radiation.
  • the sample carrier can also be made of metal.
  • the sample carrier can have a coating.
  • the sample carrier can have a gold and / or carbon coating.
  • Metadata contained in the digital identification code reflects the hash value or fingerprint, which has a different value without this or with other data.
  • the fingerprinting includes in particular a recursive hash function.
  • the device for examining microscope samples comprises hardware and / or software, for example in the form of an image processor.
  • the device can have a memory in which, for example, one or more Identification codes and / or one or more images are stored.
  • a digital identification identifier and / or an image can in particular be or be stored in a non-volatile memory.
  • the non-volatile memory can be part of the device. Metadata that are linked to a digital identification code can also be stored in the memory.
  • the device can in particular be designed to identify the sample carrier or the object by comparing the calculated digital identification code with a stored and / or (previously) calculated identification code or to calculate a digital identification code for a stored image by fingerprinting and to compare both identification codes .
  • the stored identification code can represent an image or have been calculated on the basis of at least one image that has a different resolution, position, orientation and / or magnification than the at least one image for determining the (previously) calculated identification code.
  • the sample carrier can be provided with a predetermined, in particular regular pattern.
  • the at least one optical marker can include at least one irregularity of the pattern represented in the image, in particular an irregularity in the region of the object.
  • the irregularity can also be created artificially and intentionally, for example by a laser micro dissection system, as described in DE 102014202860 A1.
  • the predetermined pattern is preferably present at least in the area of the object on the sample carrier.
  • the pattern can be a grid, for example.
  • Such a grid can be made of a metallic material, for example applied to the sample carrier.
  • the at least one optical marker can comprise at least one intentionally introduced or accidentally created irregularity and / or damage to the predetermined pattern.
  • irregular markings such as letters or numbers, can be introduced at regular or irregular intervals in a grid in the course of the production of the pattern. Such markings can also be used to determine the resolution, position, orientation and / or magnification of the digital image in which this optical marker is reproduced. Damage to the pattern or the grid and / or the irregular markings provided in addition to the pattern or grid are mostly of a stochastic nature with regard to position and / or shape and can preferably be used for fingerprinting.
  • An optical marker can also result from an in particular partial covering of the pattern by the object.
  • the irregularity can also be part of the pattern.
  • the pattern can represent a quasi-random code that codes the position.
  • the grid lines can be formed by a quasi-random sequence of long and short lines or a quasi-random sequence of gaps and holes.
  • a quasi-random (quasirandom) code is a systematically constructed, uniformly distributed code or number sequence.
  • the microscope sample, in particular the object is and / or is provided with randomly distributed marker bodies and that the at least one optical marker comprises at least one marker body, preferably a plurality of marker bodies in the image.
  • a marker body is a separate body with which the sample is provided to generate optical markers.
  • a marker body diameter can be between 1 nm and 1 mm, depending on the magnification of the object in the image. Their size and distribution density is preferably such that a plurality of marker bodies are located in an image without the structures to be examined being covered.
  • Such randomly or stochastically distributed marker bodies can be, for example, register markers or fiducials.
  • the marker bodies can be pearl-shaped bodies.
  • the marker bodies can be constructed from metal or a non-metal in order to be reflective and / or fluorescent.
  • the marker bodies can be applied manually or automatically to the sample carrier or the object in a separate process step.
  • the at least one optical marker can have a size in the range outside of a micrometer or in several micrometers. Different markers can be different sizes.
  • the marker bodies and / or the at least one irregularity can be distributed stochastically over the image and the object.
  • the marker bodies and / or the at least one irregularity of the pattern can form a quasi-random distribution that generates a unique code for each image section.
  • this quasi-random code the image can be easily identified by fingerprinting.
  • such a quasi-random code makes it possible to clearly localize the position and / or the orientation of the digital image within the entire area of the microscope sample occupied by the object.
  • the irregularity may be created intentionally or unintentionally.
  • the at least one optical marker can comprise or represent an irregularity in a coating of the sample carrier in the image.
  • a coating can, for example, comprise a nutrient layer, a carbon layer, a membrane that can be cut by a laser, for example by means of laser microdissection, for example from or containing PEN and / or PET, and / or a carbon membrane.
  • An irregularity that serves as at least one optical marker can in particular be damage to the coating and / or contamination of the object and / or a region of the object.
  • An example of a contamination is, for example, an ice crystal or an icy spot on a cryosample.
  • the at least one optical marker can furthermore be a structure of the object represented in the image.
  • a structure can be, for example, a cell component, an arrangement of several cell components, a distribution of several cells, a single cell, a tissue structure and / or any combination of these structures.
  • An optical marker can also be an icing structure of a frozen object, a structure made of ice, for example an ice crystal or a plurality of ice crystals, and / or a processed area of the object.
  • a processed area can be a lamella, a lift-out or a cut or removed area of the object.
  • a point in time at which the at least one image was created can be contained or coded in the digital identification code.
  • the point in time at which the at least one image is created also allows the sample to be identified, in particular when examining microscope samples in defined, successive steps, each with examination time spans predetermined within a narrow tolerance range.
  • a sample can thus be identified as a function of a time difference between the creation of two images, in particular by different devices.
  • the different images can be recorded with different modalities, for example visible and / or invisible light, fluorescent light and / or electron beam.
  • the different images can alternatively or additionally be recorded using different contrast and / or recording methods, for example brightfield, darkfield microscopy, fluorescence microscopy, confocal microscopy including spinning disc, light sheet microscopy, multiphoton microscopy, high-resolution microscopy such as STED or localization microscopy, electron microscopy and / or scanning force microscopy.
  • the device for examining the microscope sample can be designed, for example, to create at least one image through a light microscope and / or at least one image through an electron microscope.
  • the microscopy process can include the process step of creating at least one image using a light microscope and / or creating at least one image using an electron microscope and / or atomic force microscope.
  • the device for examining the microscope sample can have at least one device from the following list: at least one light microscope; at least one electron microscope; at least one atomic force microscope; at least one device for processing the object; at least one device for freezing the microscope sample; at least one cryocontainer for at least one microscope sample; at least one microtome; at least one micromanipulator; at least one laser micro dissection unit; at least one optical tweezers (optica I tweezers); at least one high pressure freezer; at least one grid plunger; at least one dry shipper, for example a dry sand container and / or a nitrogen transport container.
  • the light microscope can be a slide scanner, a high-resolution microscope such as a STED or a localization microscope, a stereo, phase difference, transmitted light, reflected light, bright field, dark field, light sheet, laser micro dissection and / or confocal microscope be designed including structural combinations of such microscopes.
  • the device can also have several such light microscopes, also of different types, with which the microscope sample is examined one after the other.
  • the light microscope is designed in particular for examining frozen microscope samples.
  • the electron microscope can be a scanning and / or transmissive electron microscope.
  • the electron microscope can also preferably be designed for examining frozen microscope samples.
  • the device for processing the object can be, for example, robot-controlled tweezers, a picker, a pipette, an ion beam ablator and / or a dissection device, for example a laser microdissection device.
  • the device for freezing the sample can be a separate device or can be integrated into a microscope.
  • the cryocontainer can have an integrated transfer unit for transferring the microscope sample from the cryocontainer into the light and / or electron microscope and / or the device for processing the object.
  • the device for processing the object can be integrated into a light and / or electron microscope.
  • the device for examining microscope samples can be designed to create a plurality of different images of the microscope sample.
  • the microscopy method can include the step of creating a plurality of different images of the microscope sample.
  • An identification code can be created separately for each of the different images, for a subset of the different images and / or for the entirety of the images together, in each case by fingerprinting.
  • the different identification codes of the different images can be combined together to form a higher-level identification code of the matching object.
  • the plurality of different images for calculating an identification code is preferably generated in one step, in particular by a single device, such as, for example, by a single light microscope or a single electron microscope.
  • a single device such as, for example, by a single light microscope or a single electron microscope.
  • the majority of the images can also be generated by various devices, for example by one or more light microscopes and / or by one or more electron microscopes.
  • one or more images can be generated one after the other by different light, atomic force and / or electron microscopes.
  • An existing identification code that was calculated using one or more images of a microscope can be replaced or supplemented by an identification code that was calculated using one or more images of another microscope.
  • the individual images of the plurality of different images can have different color spaces and / or channels, a different color, magnification and / or resolution. Each of the images can have a different color channel and / or a combination of different color channels.
  • at least one image can be represented or generated in at least one section of a fluorescence spectrum of a fluorophore.
  • the fluorophore is preferably part of the object. If several fluorophores are used at the same time, several images can represent different fluorescence spectra of different fluorophores.
  • an image of the sample can be broken down into a plurality of tiles.
  • a digital identification code can be calculated separately for each individual tile and / or any combination of tiles together.
  • the individual identification codes of the tiles can be combined to form a common identification code, for example in the form of a blockchain.
  • Different images can be automatically registered using the optical markers.
  • the image from the electron microscope can automatically be enlarged, rotated and / or distorted, at least in areas and depending on the direction, so that both images are congruent.
  • An example of an algorithm for such registration is given in Gee, J.C .; Reivich, M .; Bajcsy, R .: "Elastically deforming a three-dimensional atlas to match an atomical brain images", 1993, IRCS Technical Reports Series, 192.
  • the microscopy method in one of the above embodiments can also have the following method steps, preferably, but not necessarily, in the following order: processing the object, creating at least one image of the processed object, creating a new one and / or adding to an existing one Digital identification of the microscope sample by fingerprinting the at least one image of the processed object using optical markers in the at least one image, and / or replacing an existing digital identification of the microscope sample by fingerprinting the at least one image of the processed object using optical markers.
  • a new identification code can be generated by processing, which can serve to further individualize the identification code.
  • the identification code of an object can contain a plurality of identification codes of different images, for example in the form of a blockchain.
  • the at least one optical marker which is used to calculate a digital identification code
  • the position reference can, for example, be assigned a unique position identifier on the sample carrier, for example in the form of coordinates. In this way, particularly depending on the magnification and / or resolution, the position of structures relative to the at least one optical marker serving as a position reference, and thus an absolute position on the sample carrier, can be determined simply and reliably.
  • the device can in particular have a processor, for example a processor for image data processing, which is for example in the form of a CPU, GPU, a vector processor (VPU), an ASIC, an FPGA and / or any combination of such components including memory can be constructed.
  • a processor for example a processor for image data processing, which is for example in the form of a CPU, GPU, a vector processor (VPU), an ASIC, an FPGA and / or any combination of such components including memory can be constructed.
  • VPU vector processor
  • ASIC application specific integrated circuitry
  • FPGA field-programmable gate array
  • the invention accordingly also relates to a computer program product which comprises instructions which, when the program is executed by a computer, cause the computer to carry out the method in one of the embodiments described above.
  • the invention also relates to a computer-readable data carrier on which the computer program product is stored.
  • the invention further relates to a digital identification code of an image of a microscope sample, where the digital identification code is calculated by a device and / or a method in one of the above configurations.
  • a neural network is according to the invention if it is trained by the identification codes that are calculated by the method and / or the device in one of the above embodiments, and / or by different images.
  • Embodiments can be based on the use of a machine learning model or machine learning algorithm.
  • Machine learning can refer to algorithms and statistical models that computer systems can use to perform a particular task without the use of explicit instructions, rather than relying on models and interference.
  • a transformation of data can be used that can be derived from an analysis of progress and / or training data.
  • the content of images can be analyzed using a machine learning model or using a machine learning algorithm. So that the machine learning model can analyze the content of an image, the machine learning model can be trained using training images as input and training content information as output.
  • the machine learning model “learns” the content of the images so that the content of images not included in the training data can be recognized using the machine learning model.
  • the same principle can be used for other types of sensor data as well: By training a machine learning model using Training sensor data and a desired output, the machine learning model "learns" a conversion between the sensor data and the output, which can be used to generate an output based on non-training sensor data provided to the machine learning model provide.
  • the data provided eg sensor data, metadata and / or image data
  • Machine learning models can be trained using training input data.
  • the above examples use a training method called “supervised learning.”
  • supervised learning the machine learning model is trained using a plurality of training samples, each sample having a plurality of input data values and a plurality of desired output values, ie, each A training sample is associated with a desired output value, may include.
  • the machine learning model "learns" which output to provide based on an input sample similar to those provided during training.
  • semi-supervised learning can also be used. In semi-supervised learning, some of the training samples lack a desired output value.
  • Supervised learning can be based on a supervised learning algorithm (e.g.
  • Classification algorithms can be used when the outputs are constrained to a limited set of values (categorical variables); H. the input is classified as one of the limited set of values.
  • Regression algorithms can be used when the output shows any numerical value (within a range).
  • Similarity learning algorithms can be similar to both classification and regression algorithms, but are based on learning from examples using a similarity function that measures how similar or related two objects are.
  • unsupervised learning can be used to train the machine learning model. In unsupervised learning (only) input data may be provided and an unsupervised learning algorithm can be used to find a structure in the input data (e.g.
  • Clustering is the assignment of input data that comprise a plurality of input values in subsets (clusters) so that input values within the same cluster are similar according to one or more (predefined) similarity criteria, while they are dissimilar to input values that are included in other clusters .
  • Reinforcement learning is a third group of machine learning algorithms.
  • reinforcement learning can be used to train the machine learning model.
  • Reinforcement learning involves training one or more software actors (so-called "software agents") to take action in an environment. A reward is calculated based on the actions taken.
  • Reinforcement learning is based on training the one or more software agents to select the actions such that the cumulative reward is increased, resulting in software agents who get better at the task they are given (as evidenced by increasing rewards).
  • some techniques can be applied to some of the machine learning algorithms.
  • feature learning can be used.
  • the machine learning model can at least partially be trained using feature learning, and / or the machine learning algorithm can comprise a feature learning component.
  • Feature learning algorithms called representation learning algorithms, can preserve the information in their input but transform it so that it becomes useful, often as a preprocessing stage before performing the classification or prediction.
  • feature learning can be based on a principal component analysis or a cluster analysis.
  • anomaly detection i.e., outlier detection
  • the machine learning model can be trained at least in part using anomaly detection and / or the machine learning algorithm can include an anomaly detection component.
  • the machine learning algorithm can use a decision tree as a predictive model.
  • the machine learning model can be based on a decision tree.
  • the observations on an item e.g., a set of input values
  • an output value corresponding to the item can be represented by the leaves of the decision tree.
  • Decision trees can support both discrete values and continuous values as output values. If discrete values are used, the decision tree can be called a classification tree, if continuous values are used the decision tree can be called a regression tree.
  • Association rules are another technique that can be used in machine learning algorithms.
  • the machine learning model can be based on one or more association rules.
  • Association rules are created by identifying relationships between variables in large amounts of data.
  • the machine learning algorithm can identify and / or use one or more relationship rules that represent the knowledge that is derived from the data.
  • the rules can e.g. B. used to store, manipulate or apply the knowledge.
  • Machine learning algorithms are usually based on a machine learning model.
  • the term “machine learning algorithm” can refer to a set of instructions that can be used to create, train, or use a machine learning model.
  • the term “machine learning model” can refer to a data structure and / or denote a set of rules representing the knowledge learned (e.g. based on the training performed by the machine learning algorithm).
  • the use of a machine learning algorithm can imply the use of an underlying machine learning model (or a plurality of underlying machine learning models).
  • the use of a machine learning model can imply that the machine learning model and / or the data structure / set of rules which the machine learning model is / are is trained by a machine learning algorithm.
  • the machine learning model can be an artificial neural network (ANN).
  • ANNs are systems inspired by biological neural networks such as those found in a retina or a brain.
  • ANNs comprise a plurality of interconnected nodes and a plurality of connections, so-called edges, between the nodes.
  • Each node can represent an artificial neuron.
  • Each edge can send information from one node to another.
  • the output of a node can be defined as a (nonlinear) function of the inputs (e.g. the sum of its inputs).
  • the inputs of a node can be used in the function based on a "weight" of the edge or the node providing the input.
  • the weight of nodes and / or edges can be adjusted in the learning process.
  • the training of a The artificial neural network can include an adaptation of the weights of the nodes and / or edges of the artificial neural network, ie in order to achieve a desired output for a specific input.
  • the machine learning model can be a support vector machine, a random forest model or a gradient boosting model.
  • Support vector machines are supervised learning models with associated learning algorithms that can be used to analyze data (e.g. in a classification or regression analysis).
  • Support vector machines can be trained by providing input with a plurality of training input values belonging to one of two categories. The support vector machine can be trained to assign a new input value to one of the two categories.
  • the machine learning model can be a Bayesian network that is a probabilistic directional acyclic graphical model. A Bayesian network can represent a set of random variables and their conditional dependencies using a directed acyclic graph.
  • the machine learning model can be based on a genetic algorithm, which is a search algorithm and heuristic technique that mimics the process of natural selection.
  • Fig. 1 is a schematic representation of a device according to the invention for performing a method according to the invention.
  • the device 100 is used to examine a microscope sample 102.
  • the device 100 can be a system that has one or more subsystems, as will be explained further below.
  • the microscope sample 102 has an area 105 that is covered with an object 104 or designed to receive an object 104.
  • the area 105 is part of a sample carrier 106.
  • the object 104 is preferably a biological object, for example a part of an organism that has been prepared for a microscope, such as a tissue section, or individual cells.
  • the object can, however, also be inorganic and / or have inorganic components or consist of these.
  • the sample carrier 106 is preferably made of an optically transparent material, which is more preferably also transparent for electron beams.
  • the sample carrier 106 can be made of glass or metal.
  • the sample carrier 106 holds the object 104. The object 104 therefore lies on the sample carrier 106, is received, enclosed and / or contained in it.
  • the device 100 is initially used to calculate a digital identification identifier 108 on the basis of the object 104 and / or the area 105 designed to accommodate the object.
  • the calculation takes place by means of finger printing 110.
  • Fingerprinting 110 which is only shown schematically in FIG. 1, is a hardware- and / or software-implemented algorithm that maps a data record of any size into a shorter bit or number sequence, the so-called fingerprint.
  • the fingerprint uniquely or at least almost unambiguously identifies the original data record.
  • Fingerprinting algorithms are freely available, for example in the American National Software Reference Library and the Hash Keeper database.
  • the fingerprinting 110 of the object 104 or area 105 or of sections of this area 105 uses optical markers 112 in a digital image 114 of the area 105 or one or more sections of the area 105.
  • the image 114 is a digital representation of at least part of the area 105 and / or that of the object 104.
  • a digital representation is, for example, image data that form a digital image.
  • the digital image can be a black and white image, a grayscale image, and / or a color image.
  • the digital image can have one or more color channels.
  • a fingerprint can be simplified if the microscope sample 102, in particular the sample carrier 106, is provided with a regular or irregular pattern 116.
  • a pattern can be, for example, a grid or a grid structure.
  • the grid can be produced, for example, by applying a metal layer to the sample carrier 106 or the area 105.
  • the optical marker 112 in the image 114 is then preferably an irregularity 118 of the pattern 116.
  • the pattern can be provided with predetermined irregularities 118, for example irregular markings such as letters and / or numbers.
  • the irregularity 118 can be intentional or unintentional be generated.
  • An irregularity 118 can be, for example, damage to the pattern 116 and / or contamination in the area 105. It is additionally or alternatively also possible for the pattern 116 to have a quasi-random component, for example a quasi-random code.
  • An optical marker 112 as used for fingerprinting 110, can also be generated by one or more marker bodies 120 which are stochastically distributed over the area 105.
  • the marker bodies can be introduced, sprinkled on and / or sprayed on.
  • Such marker bodies or fiducials can, for example, have diameters in the range of a few micrometers or fractions of micrometers. In particular, they can be fluorescent.
  • the area 105 can be at least partially provided with a coating 122.
  • the coating 122 can be, for example, a nutrient layer or a carbon layer, for example a carbon membrane.
  • the sample carrier 106 can be coated with gold.
  • One or more irregularities 118 in the coating 122, for example one or more damage, can serve as the optical marker 112.
  • an icing structure 124 can also serve as the irregularity 118.
  • An icing structure 124 can be, for example, a single ice crystal, a collection of several ice crystals or an iced area.
  • a structure 126 of the object 104 can also serve as the optical marker 112, for example a tissue structure or a cell structure. Like the other optical markers 112, the structure 126 can also be recorded with an electron beam, in white light and / or in fluorescent light.
  • the device 100 can have a light microscope 130 and / or an electron microscope 132.
  • the light microscope 130 can be a slide scanner, a high-resolution microscope such as a STED microscope or a localization microscope, a stereo, phase difference, bright field, dark field, fluorescence, incident light, transmitted light, light sheet and / or confocal microscope.
  • the device 100 can have several light microscopes 130 in the same or in different configurations.
  • the electron microscope 132 can be a scanning and / or a transmissive electron microscope.
  • the device 100 can have one or more electron microscopes of the same or different types. Instead of or in addition to the electron microscope, an atomic force microscope can be used or included in the device 100.
  • Both the at least one light microscope 130 and the at least one electron microscope 132 are preferably designed for examining frozen microscope samples, so-called cryosamples.
  • the at least one light or electron microscope 130, 132 can have an area for receiving the sample carrier that is cooled and / or thermally insulated.
  • the device 100 can furthermore have at least one device 134 for processing the object 104.
  • a device 134 is, for example, a robot-controlled tweezers, a picker, a pipette, a microtome, a micromanipulator, an optical tweezers, an ion beam ablator and / or a dissection device such as a device for laser microdissection, or a combination thereof.
  • At least one device 136 for freezing the microscope sample 102 can be present.
  • a device 136 can be, for example, a refrigerator 140, a high pressure freezer and / or a grid plunger.
  • the device 136 can be integrated into a microscope 130, 132.
  • the device 100 has at least one cryocontainer 138 which is configured to receive at least one microscope sample 102.
  • the cryocontainer 138 can be used to transport the microscope sample 102 between different microscopes 130, 132, which can also be located in separate buildings or different cities.
  • the cryocontainer 138 can have an integrated transfer unit which is designed to transfer a microscope sample 102 from the cryocontainer 138 into a microscope 130, 132, a device 134 and / or a device 136. The transfer can in particular take place motorically and / or automatically.
  • the cryocontainer can be designed to actively cool the microscope sample 102 and / or receive it in a heat-insulated or passively cooled manner.
  • the cryocontainer 138 can also be a dry shipping container or a nitrogen transport container, for example.
  • the at least one optical marker 112 which is used to calculate the digital identification identifier 108, can simultaneously serve as a position reference 142.
  • a microscope 130, 132 can be configured to automatically position the sample carrier 106 as a function of an optical marker 112 serving as a position reference 142.
  • One or more markers 112 can be representative of a location and orientation of the area 105.
  • the resolution, orientation, magnification and / or position of an image 114 can be determined via the position of two optical markers or the size and orientation of an irregularly shaped optical marker.
  • each optical marker 112 can be assigned an absolute position on the sample carrier 106 or within the area 105.
  • An orientation and enlargement of a section of the object 104 or of the area 105 represented in an image 114 then results from the relative position of two optical markers 112 in the image 114 be included in coded form. This also applies to the positions of several markers 112.
  • a neural network 150 can also be used, which is designed to carry out the fingerprinting.
  • the neural network 150 can be designed as software, as hardware or as a combination of hardware and software.
  • the microscope sample can first be prepared. This is done manually, for example, by making a tissue section or growing cell cultures. At the end of step 160, area 105 is at least partially covered with object 104.
  • the object 104 can then be prepared further, for example by adding chemical substances.
  • the object can be prepared for specific examinations, for example.
  • one or more fluorophores can be applied when the object 104 is examined in fluorescent light.
  • Optical markers such as marker bodies 112 can be added to object 104 in order to generate optical markers 112 for fingerprinting 110 and / or as reference positions for positioning the object. Contrast media can also be added.
  • Step 162 can be repeated several times and / or take place for the first time at a later point in time. For example, a fluorophore can only be added at a later point in time when it is certain that the object is to be examined in fluorescent light.
  • the sample carrier with the object can be frozen in a step 164, for example by means of the device 136 for freezing.
  • the sample carrier 106 can be located in the cryocontainer 138 or can be placed in the cryocontainer 138 after freezing.
  • an image 114 representing an overview recording of the object 104 is first generated preferably by a light microscope 130.
  • further images 114 for example individual, overlapping or spaced apart enlarged sections of the object, can be generated.
  • the light microscope is provided with at least one camera 166.
  • the digital identification identifier 108 of the object 104 or of the sample carrier 106 carrying the object 104 is then calculated by finger printing 110.
  • the calculation takes place in a data processing system 168, for example a PC.
  • step 170 the identification code 108 is calculated.
  • the identification code 108 can contain the identification codes 108a of the different images 114, for example in the form of a blockchain 171.
  • the individual images 114 can have different magnifications and / or resolutions.
  • the images 114 can be recorded in different color channels and different color spaces.
  • the images 114 can be different areas of the area 105 and / or of the object 104 represent.
  • the identification identifier 108 can be calculated by applying a hash function to an image, a subset of the plurality of images 114, or all images 114.
  • an image 114 of the object 104 or of the area 105 can also be divided into a plurality of tiles 172. This subdivision can take place in the course of fingerprinting 110 by the data processing system 168.
  • the sample carrier 106 can initially be stored for a later examination, for example in a refrigerator 140.
  • a first check of the object 104 can be carried out during step 170, for example to determine whether it is suitable for the intended examination or in order to determine areas of the object that must be examined more precisely in subsequent steps.
  • An image 114 that represents such an area can then also receive a separate digital identification code 108a by fingerprinting 110, which is combined with the identification code of the image 114 representing the overview recording to form a common identification code.
  • a combined identification identifier 108 can be generated with any number of images 114.
  • the entire identification code 108 then represents the identification code 108 for the complete object. To identify the object 104, it is sufficient if the identification code, which is recorded on the basis of a later recorded image 114 of the object 104, is in the identification code 108 of the entire object Object 104 finds again.
  • optical markers 112 are used for the calculation of the identification code 108, which are also in a later generated image 114 of the object 104, the position, orientation, magnification, resolution and / or modality of the at least one Image 114, on the basis of which the identification code 108 was calculated, is retained.
  • Such optical markers 112 are the abovementioned irregularities 118.
  • Each image 114 that is newly created of the object 104 or the area 105 can be used to calculate a new identification code 108, which is added to the existing identification code 108.
  • the sample can be stored in a step 173.
  • the object 104 can be processed in a step 174, for example by a device 134 can be examined by an electron microscope 132.
  • the examination by another modality 132 or another type of light microscope 130 can also be carried out immediately after step 166 without any processing taking place in between 174 of the object 104 take place. In such a case, processing 174 can only take place after step 176.
  • the object 104 can also be identified in an image 114 that was generated in a different modality, for example by the electron microscope 132.
  • An identification code 108 or 108a can be calculated on the basis of each image 114, which is automatically added to the already existing identification code 108 or replaces the already existing identification code 108 or parts thereof 108a.
  • an identification code 108 of an image 114 that contains the processed area 126a is no longer up-to-date. If the processed area 126a is small, the contribution of the processed area to the identification code 108, which was generated on the basis of an overview image or an image 114 representing a larger area, may not be large enough to change the identification code 108 of the entire object 104 . However, if the processed area 126a in an image 114 is no longer small, the identification code 108, 108a of this image can be updated or replaced by a new identification code 108, 108a in which the processed area 126a is taken into account. The processed area 126a itself can serve as an optical marker 112.
  • the identification identifier 108, 108a can, if it is calculated quickly, also serve for correlation and for the automatic registration of images 114. Instead of calculating a correlation function, for example, identification codes 108, 108a can be calculated in an overview recording for continuously changing sections and compared with a previously calculated identification code 108, 108a of an area determined to be of interest. If the currently calculated identification code 108, 108a matches the previously calculated identification code 108, 108a or if there are only minor deviations, then the sections match. The registration can be facilitated if the positions of the optical markers are contained in the identification codes 108, 108a based on these markers 112.
  • steps 166, 173, 174, 176 can be carried out in any order, at any time intervals, even several times in succession with the same object 104.
  • the identification identifier 108 allows the object 104 to be identified by creating the image 114, which is used at the same time to examine the object 104. At the same time, the identification identifier 108 can be used to identify partial areas of the object 104 or of the area 105. Such subregions can be predetermined, for example, for processing 174 or for examination with another type of light microscope 130 or electron microscope 132.
  • the image 114 is preferably optically or electronically filtered before the calculation of the identification code 108.
  • the applied filter 178 suppresses portions in the image 114 that do not represent an optical marker 112. For example, marker bodies 120 can be used which only have a narrow reflection and / or fluorescence spectrum.
  • the filter 178 can be designed as a bandpass filter, the passband of which is limited to a part of this reflection and / or fluorescence spectrum. Furthermore, the filter 178 can contain a pattern recognition which reinforces certain patterns in the image 114, which serve as optical markers, for example numbers, letters and / or certain geometric figures, and suppresses markers that differ therefrom.
  • the filter 178 can be adapted to the different modalities. If, for example, fluorescent bead bodies 142 are used, a passband filter can be used in an optical examination to filter out the fluorescence spectrum of the marker body 120, while a pattern-sensitive filter is used in an image generated by an electron microscope 132, in which the geometry of the marker body 120 is taken into account.
  • a microscope 130, 132 that includes a system as described in connection with FIG. 1.
  • a microscope can be part of a system as described in connection with FIG. 1, or be connected to the same.
  • 1 shows a schematic illustration of a system 100 which is designed to carry out a method described herein.
  • the system 100 comprises a microscope 130, 132 and a computer system 160.
  • the microscope 130, 132 is designed to record images and is connected to the computer system 160.
  • the computer system 160 is designed to carry out at least part of a method described herein.
  • the computer system 160 can be configured to execute a machine learning algorithm.
  • the computer system 160 and the microscope 130, 132 can be separate units, but can also be integrated together in a common housing.
  • the computer system 160 could be part of a central processing system of the microscope 130, 132 and / or the computer system 160 could be part of a subcomponent of the microscope 130, 132, such as a sensor, an actuator, a camera or a lighting unit, etc. of the microscope 130, 132.
  • the computing system 160 may be a local computing device (e.g., personal computer, laptop, tablet, or cell phone) with one or more processors and one or more storage devices, or it may be a distributed computing system (e.g., a cloud computing system with a or multiple processors or one or more storage devices distributed at different locations, for example at a local client and / or one or more remote server farms and / or data centers).
  • the computer system 160 may include any circuit or combination of circuits.
  • computer system 160 may include one or more processors, which may be of any type.
  • processor may mean any type of computing circuit such as, but not limited to, a microprocessor, a microcontroller, a complex instruction set microprocessor (CISC), a reduced instruction set microprocessor (RISC), a very long instruction word - (Very Long Instruc- tion Word; VLIW) microprocessor, a graphics processor, a digital signal processor (DSP), a multi-core processor, a field-programmable gate array (FPGA), eg a microscope or a microscope component (eg camera or sensor) or any other type of processor or processing circuit.
  • CISC complex instruction set microprocessor
  • RISC reduced instruction set microprocessor
  • VLIW Very Long Instruc- tion Word
  • FPGA field-programmable gate array
  • Computer system 160 may be a custom built circuit, an application specific integrated circuit (ASIC), or the like, such as one or more circuits (e.g., a communication circuit) for use with wireless devices such as z. B. Mobilte telephones, tablet computers, laptop computers, walkie-talkies and similar electronic systems.
  • Computer system 160 may include one or more storage devices, which may include one or more storage elements appropriate for the particular application, such as read-only memory (ROM) memory, one or more hard drives, and / or one or more multiple drives that handle removable media such as CDs, flash memory cards, DVDs, and the like.
  • ROM read-only memory
  • the computer system 160 may also include a display device, one or more speakers, and a keyboard and / or controller, which may include a mouse, trackball, touch screen, voice recognition device, or any other device that allows a system user to enter information into the computer system 160 input and receive information from the same.
  • a display device one or more speakers
  • a keyboard and / or controller which may include a mouse, trackball, touch screen, voice recognition device, or any other device that allows a system user to enter information into the computer system 160 input and receive information from the same.
  • Some or all of the method steps may be performed by (or using) a hardware device such as a processor, a microprocessor, a programmable computer, or an electronic circuit. In some exemplary embodiments, one or more of the most important method steps can be carried out by such a device.
  • embodiments of the invention can be implemented in hardware or software.
  • the implementation can be carried out with a non-volatile storage medium such as a digital storage medium such as a floppy disk, a DVD, a Blu-Ray, a CD, a ROM, a PROM and EPROM, an EEPROM or a FLASH memory, on which elect electronically readable control signals are stored, which interact (or can cooperate) with a programmable computer system in such a way that the respective method is carried out. Therefore, the digital storage medium can be computer readable.
  • Some exemplary embodiments according to the invention comprise a data carrier with electronically readable control signals which can interact with a programmable computer system so that one of the methods described herein is carried out.
  • exemplary embodiments of the present invention can be implemented as a computer program product with a program code, the program code for executing one of the methods being effective when the computer program product is running on a computer.
  • the program code can be stored on a machine-readable carrier, for example.
  • Further exemplary embodiments include the computer program for carrying out one of the methods described herein, which is stored on a machine-readable carrier.
  • an exemplary embodiment of the present invention is therefore a computer program with a program code for carrying out one of the methods described herein when the computer program runs on a computer.
  • a further exemplary embodiment of the present invention is therefore a storage medium (or a data carrier or a computer-readable medium) which comprises a computer program stored thereon for executing one of the methods described herein when it is executed by a processor.
  • the data carrier, the digital storage medium or the recorded medium are usually tangible and / or not seamless.
  • Another embodiment of the present invention is an apparatus as described herein comprising a processor and the storage medium.
  • a further exemplary embodiment of the invention is therefore a data stream or a signal sequence which represents the computer program for carrying out one of the methods described herein.
  • the data stream or the signal sequence can be configured, for example, in such a way that they are transmitted via a data communication connection, for example via the Internet.
  • Another exemplary embodiment comprises a processing means, for example a computer or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.
  • a processing means for example a computer or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.
  • Another exemplary embodiment comprises a computer on which the computer program for carrying out one of the methods described herein is installed.
  • Another exemplary embodiment according to the invention comprises an apparatus or a system which is configured to transmit (for example electronically or optically) a computer program for carrying out one of the methods described herein to a receiver.
  • the receiver can be, for example, a computer, a mobile device, a storage device, or the like.
  • the device or the system can for example comprise a file server for transmitting the computer program to the recipient.
  • a programmable logic device eg, a field programmable gate array, FPGA
  • FPGA field programmable gate array
  • a field programmable gate arrangement can cooperate with a microprocessor to perform any of the methods described herein. In general, the methods are preferably performed by any hardware device.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Mikroskopierverfahren sowie eine Vorrichtung (100) zur Untersuchung von Mikroskopproben (102). Eine Mikroskopprobe (102) weist ein zu mikroskopierendes Objekt (104) und einen das Objekt (104) haltenden Probenträger (106) auf. Um die Untersuchung, insbesondere die Identifikation von Mikroskopproben (102) zu vereinfachen, ist die Vorrichtung (100) ausgestaltet, eine digitale Identifikationskennung (108) der Mikroskopprobe (102) durch Fingerprinting (110) der Mikroskopprobe (102) unter Verwendung wenigstens eines optischen Markers (112) in wenigstens einem digitalen Abbild (114) zumindest eines Teils des Objekts (104) zu berechnen. Mithilfe der digitalen Identifikationskennung (108) kann die Mikroskopprobe (102) wiedererkannt werden.

Description

Verfahren und Vorrichtung zur Untersuchung von Mikroskopproben unter Verwendung optischer Marker
Die Erfindung betrifft eine Vorrichtung und ein insbesondere computerimplementiertes Verfahren zur Untersuchung von Mikroskopproben.
Die Erfindung setzt sich zum Ziel, die Untersuchung von Mikroskopproben zu vereinfachen, insbesondere, wenn die Mikroskopproben in einer Reihe von zeitlich aufeinanderfolgenden Abständen untersucht werden, beispielsweise durch verschiedene Mikroskope.
Dieses Ziel wird zum einen erreicht durch eine Vorrichtung zur Untersuchung von Mikroskopproben, wobei die Mik roskopproben ein zu mikroskopierendes Objekt und einen das Objekt haltenden Probenträger aufweisen und wobei die Vorrichtung ausgestaltet ist, eine digitale Identifikationskennung der Mikroskopprobe durch Fingerprinting der Mikroskopprobe unter Verwendung wenigstens eines optischen Markers in wenigstens einem digitalen Abbild zu mindest eines Teils des Objekts zu berechnen.
Die Erfindung betrifft ferner ein Verfahren, insbesondere Mikroskopierverfahren, für Mikroskopproben, wobei die Mikroskopproben ein zu mikroskopierendes Objekt und einen das Objekt haltenden Probenträger aufweisen, wobei für wenigstens eine der Mikroskopproben durch Fingerprinting, also durch Bildverarbeitung, der Mikroskopprobe unter Verwendung optischer Marker in wenigstens einem Digitalbild zumindest eines Teils des Objekts eine digitale Identifikationskennung berechnet wird.
Durch das Fingerprinting ist es möglich, ohne Verwendung zusätzlicher Mittel, wie beispielsweise Barcodes, die Mik roskopprobe bzw. das Objekt zu identifizieren. Dadurch, dass das Fingerprinting im digitalen Abbild eines vom Objekt eingenommenen Bereichs darstellt, kann das Fingerprinting während der Untersuchung der Mikroskopprobe durch geführt werden, ohne dass vorher andere Bereiche des Probenträgers außerhalb des Objekts oder des vom Objekt eingenommenen Bereichs, in denen beispielsweise eine Identifikation aufgedruckt wird, untersucht werden müssen. Außerdem ist es bei dieser Lösung nicht mehr notwendig, die Proben beispielsweise durch einen separaten Barcode- Scanner zu scannen, um sie zu identifizieren. Die Identifizierung findet unmittelbar im Abbild des Objekts selbst statt.
Mittels Fingerprinting wird die digitale Identifikationskennung als Fingerprint in Form eines Hashwertes erzeugt. Der Fingerprint ist das Ergebnis einer im Allgemeinen nicht injektiven Abbildung, durch eine Streuwert- oder Hashfunk- tion, einer großen Eingabemenge auf eine kleinere Zielmenge, nämlich die Hashwerte (vgl. Wikipedia zu Fingerprint (Hashfunktion)). Durch das Fingerprinting wird eine wenigstens nahezu eindeutige Identifikationskennung des Ob jekts bzw. seines Abbildes erzeugt.
Durch diese Vorteile eignen sich die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren insbeson dere für gekühlte Mikroskopproben, die im gekühlten Zustand untersucht werden, da die Identifikation der Mikro skopproben schnell und ohne zusätzliche Geräte möglich ist. Das Objekt ist insbesondere ein biologisches Sample oder eine biologische Probe, beispielsweise eine Zelle, eine Zellkultur und/oder ein Schnitt durch biologisches Gewebe. Das Objekt kann anorganisches Material enthalten oder aus diesem bestehen. Das Objekt kann einen Bereich des Probenträgers durchgängig bedecken oder einzelne, von einander beabstandete Bereiche des Probenträgers abdecken. Unter das Halten des Objekts fällt selbstverständlich auch ein Abstützen, Aufnehmen oder Enthalten des Objekts.
Im Folgenden sind weitere vorteilhafte Ausgestaltungen der Vorrichtung und des Verfahrens beispielhaft erläutert. Die einzelnen Ausgestaltungen sind dabei unabhängig voneinander kombinierbar und unabhängig voneinander aus tauschbar. Insbesondere ist es auch möglich, dass die Vorrichtung ausgestaltet ist, ein nachstehend als Verfahrens schritt angegebenes Merkmal auszuführen. Umgekehrt kann eine funktionelle Eignung der Vorrichtung auch einen Verfahrensschritt darstellen.
So kann ein digitales Abbild eine Übersichtsaufnahme des Objekts sein bzw. repräsentieren. Beispielsweise kann das digitale Abbild von einem Slidescanner erzeugt werden oder erzeugt worden sein. Ein solcher Slidescanner ist aus gestaltet, eine Mehrzahl von biologischen Objekten auf den Probeträgern nacheinander bevorzugt automatisiert zu digitalisieren. Der Probenträger oder zumindest der Bereich, auf dem sich das Objekt befindet, kann mittels einer geringen Vergrößerung aufgenommen werden. Insbesondere kann ein digitales Abbild in Durchlicht erzeugt werden.
Ein digitales Abbild kann auch einen Ausschnitt des Objekts darstellen. Ferner kann ein digitales Abbild eine Kachel sein, wobei mehrere Kacheln sich zusammen zu einem digitalen Abbild eines größeren Bereichs des Objekts ergän zen.
Der Probenträger ist bevorzugt aus Glas oder einem anderen licht- und elektronenstrahldurchlässigen Material, so dass die Abbilder unter Verwendung unterschiedlichster elektromagnetischer Strahlung erzeugt werden können. Der Probenträger kann auch aus Metall gefertigt sein. Gemäß einer weiteren Ausgestaltung kann der Probenträger eine Beschichtung aufweisen. Beispielsweise kann der Probenträger eine Gold- und/oder Kohlenstoffbeschichtung aufweisen.
Bei der Berechnung der digitalen Identifikationskennung mittels Fingerprinting können auch Metadaten, die nicht im Abbild enthalten sind, berücksichtigt werden. So können beispielsweise Tischkoordinaten und/oder Abstandin formationen, eine Vergrößerung, eine Auflösung und/oder eine Brennweite, die dem Abbild bzw. seiner Erzeugung zugrunde liegen, in der digitalen Identifikationskennung enthalten oder mit dieser verknüpft sein. Metadaten, die in der digitalen Identifikationskennung enthalten sind, spiegeln den Hashwert bzw. Fingerprint wieder, der ohne diese oder mit anderen Daten einen anderen Wert aufweist.
Gemäß einer weiteren vorteilhaften Ausgestaltung umfasst das Fingerprinting insbesondere eine rekursive Hash- Funktion.
Die Vorrichtung zur Untersuchung von Mikroskopproben umfasst Hardware und/oder Software, beispielsweise in Form eines Bildprozessors. Die Vorrichtung kann einen Speicher aufweisen, in dem beispielsweise eine oder mehrere Identifikationskennungen und/oder eines oder mehrere Abbilder abgelegt sind. Eine digitale Identifikationskennung und/oder ein Abbild kann insbesondere in einem nichtflüchtigen Speicher gespeichert sein oder gespeichert werden. Das nichtflüchtige Speicher kann Teil der Vorrichtung sein. Im Speicher können auch Metadaten abgelegt sein, die mit einer digitalen Identifikationskennung verknüpft sind.
Die Vorrichtung kann insbesondere ausgestaltet sein, den Probenträger oder das Objekt durch Vergleich der berech neten digitalen Identifikationskennung mit einer gespeicherten und/oder (zuvor) berechneten Identifikationsken nung zu identifizieren oder eine digitale Identifikationskennung für ein gespeichertes Abbild durch Fingerprinting zu berechnen und beide Identifikationskennungen zu vergleichen. Dabei kann die gespeicherte Identifikationskennung ein Abbild repräsentieren bzw. auf Basis wenigstens eines Abbildes berechnet worden sein, das eine andere Auflö sung, Lage, Orientierung und/oder Vergrößerung aufweist als das wenigstens eine Abbild zur Ermittlung der (zuvor) berechneten Identifikationskennung.
Gemäß einer weiteren vorteilhaften Ausgestaltung kann der Probenträger mit einem vorbestimmten, insbesondere regelmäßigen Muster versehen sein. Der wenigstens eine optische Marker kann wenigstens eine im Abbild reprä sentierte Unregelmäßigkeit des Musters, insbesondere eine im Bereich des Objekts liegende Unregelmäßigkeit, um fassen. Die Unregelmäßigkeit kann auch künstlich und absichtlich erzeugt sein, beispielsweise durch ein Lasermikro dissektionssystem, wie dies in der DE 102014202860 Al beschrieben ist.
Das vorbestimmte Muster ist bevorzugt wenigstens im Bereich des Objekts auf dem Probenträger vorhanden. Das Muster kann beispielsweise ein Gitter sein. Ein solches Gitter kann aus einem metallischen Werkstoff gefertigt, bei spielsweise auf den Probenträger aufgetragen sein.
Der wenigstens eine optische Marker kann wenigstens eine absichtlich eingebrachte oder zufällig entstandene Un regelmäßigkeit und/oder Beschädigung des vorbestimmten Musters umfassen. So können beispielsweise in regel mäßigen oder unregelmäßigen Abständen eines Gitters unregelmäßige Markierungen, wie Buchstaben oder Ziffern, im Zuge der Fertigung des Musters eingebracht sein. Derartige Markierungen können auch zur Bestimmung der Auflösung, Lage, Orientierung und/oder Vergrößerung des digitalen Abbildes, in dem dieser optische Marker wie dergegeben ist, verwendet werden. Beschädigungen des Musters bzw. des Gitters und/oder der zusätzlich zum Mus ter bzw. Gitter vorgesehenen unregelmäßigen Markierungen sind meist stochastischer Natur hinsichtlich Lage und/oder Form und können bevorzugt zum Fingerprinting verwendet werden.
Ein optischer Marker kann auch aus einer insbesondere partiellen Überdeckung des Musters durch das Objekt erge ben.
Die Unregelmäßigkeit kann auch Teil des Musters sein. So kann beispielsweise das Muster einen quasi-zufälligen Code repräsentieren, der die Lage kodiert. Beispielsweise können die Gitterlinien durch eine quasi-zufällige Abfolge von langen und kurzen Strichen oder eine quasi-zufällige Abfolge von Lücken und Löchern gebildet sein. Ein quasi zufälliger (quasirandom) Code ist eine systematisch konstruierte, gleichförmige verteilte Code- oder Zahlenfolge. In einer weiteren vorteilhaften Ausgestaltung kann vorgesehen sein, dass die Mikroskopprobe, insbesondere das Objekt, mit zufällig verteilten Markerkörpern versehen ist und/oder wird und dass der wenigstens eine optische Marker wenigstens einen Markerkörper, bevorzugt eine Mehrzahl von Markerkörpern im Abbild umfasst. Ein Markerkörper ist ein separater Körper, mit dem die Probe zur Erzeugung optischer Marker versehen wird. Ein Durch messer eines Markerkörpers kann zwischen 1 nm und 1 mm liegen, je nach der Vergrößerung des Objekts im Abbild. Ihre Größe und Verteilungsdichte ist bevorzugt so bemessen, dass sich in einem Abbild eine Mehrzahl von Marker körpern befindet, ohne dass zu untersuchende Strukturen überdeckt werden.
Derartige zufällig bzw. stochastisch verteilte Markerkörper können beispielsweise Passermarker oder Fiducials sein. Insbesondere können die Markerkörper perlenförmige Körper sein. Die Markerkörper können aus Metall oder einem nicht-Metall aufgebaut sein, um reflektierend und/oder fluoreszierend sein. Die Markerkörper können in einem se paraten Verfahrensschritt per Hand oder automatisch auf den Probenträger oder das Objekt aufgebracht werden.
Der wenigstens eine optische Marker kann eine Größe im Bereich von außerhalb eines Mikrometers bzw. in mehre ren Mikrometern aufweisen. Unterschiedliche Marker können unterschiedliche Größen aufweisen.
Die Markerkörper und/oder die wenigstens eine Unregelmäßigkeit können stochastisch über das Abbild und das Objekt verteilt sein. In einer weiteren Ausgestaltung können die Markerkörper und/oder die wenigstens eine Unre gelmäßigkeit des Musters jedoch eine quasi zufällige Verteilung bilden, die für jeden Bildausschnitt einen eindeuti gen Code erzeugt. Durch diesen Quasi-Zufalls-Code lässt sich das Abbild durch Fingerprinting einfach identifizieren. Zudem erlaubt es ein solcher Quasi-Zufalls-Code, die Lage und/oder die Orientierung des digitalen Abbildes inner halb des gesamten vom Objekt eingenommenen Bereichs der Mikroskopprobe eindeutig zu lokalisieren.
Die Unregelmäßigkeit kann absichtlich oder unabsichtlich erzeugt sein.
Der wenigstens eine optische Marker kann gemäß einer weiteren Ausgestaltung eine Unregelmäßigkeit einer Be schichtung des Probenträgers im Abbild umfassen bzw. repräsentieren. Eine solche Beschichtung kann beispiels weise eine Nährschicht, ein Carbon-Layer, eine durch einen Laser, beispielsweise mittels Lasermikrodissektion, schneidbare Membran beispielsweise aus oder enthaltend PEN und/oder PET, und/oder eine Carbon-Membran um fassen. Eine Unregelmäßigkeit, die als wenigstens ein optischer Marker dient, kann insbesondere eine Beschädigung der Beschichtung und/oder eine Kontamination des Objekts und/oder eines Bereichs des Objekts sein. Ein Beispiel für eine Kontamination ist beispielsweise ein Eiskristall oder eine vereiste Stelle bei einem Kryosample.
Der wenigstens eine optische Marker kann ferner eine im Abbild repräsentierte Struktur des Objekts sein. Eine sol che Struktur kann beispielsweise ein Zellbestandteil, eine Anordnung mehrerer Zellbestandteile, eine Verteilung mehrerer Zellen, eine einzelne Zelle, eine Gewebestruktur und/oder eine beliebige Kombination dieser Strukturen sein.
Ein optischer Marker kann auch eine Vereisungsstruktur eines gefrorenen Objekts, eine Struktur aus Eis, beispiels weise ein Eiskristall oder eine Mehrzahl von Eiskristallen, und/oder ein bearbeiteter Bereich des Objekts sein. Ein derartiger bearbeiteter Bereich kann eine Lamelle, ein Lift-out oder ein ausgeschnittener oder abgetragener Bereich des Objekts sein.
In der digitalen Identifikationskennung kann ein Zeitpunkt der Erstellung des wenigstens eines Abbildes enthalten bzw. kodiert sein. Der Zeitpunkt der Erstellung des wenigstens einen Abbildes lässt insbesondere bei der Untersu chung von Mikroskopproben in festgelegt aufeinanderfolgenden Schritten mit jeweils in einem engen Toleranzrah men vorgegebenen Untersuchungszeitspannen ebenfalls eine Identifikation der Probe zu. So kann eine Probe in Abhängigkeit von einer Zeitdifferenz zwischen der Erstellung zweier Abbilder insbesondere durch unterschiedliche Einrichtungen identifiziert werden.
Die unterschiedlichen Abbilder können mit unterschiedlichen Modalitäten, beispielsweise sichtbarem und/oder nicht sichtbarem Licht, Fluoreszenzlicht und/oder Elektronenstrahl aufgenommen werden. Die unterschiedlichen Abbilder können alternativ oder zusätzlich mittels unterschiedlicher Kontrast- und/oder Aufnahmeverfahren, bei spielsweise Hellfeld-, Dunkelfeldmikroskopie, Fluoreszenzmikroskopie, Konfokalmikroskopie einschließlich spinning disc, Lichtblattmikroskopie, Mehrphotonenmikroskopie, hochauflösende Mikroskopie wie STED oder Lokalisations mikroskopie, Elektronenmikroskopie und/oder Rasterkraftmikroskopie aufgenommen sein.
Die Vorrichtung zum Untersuchen der Mikroskopprobe kann beispielsweise ausgebildet sein, wenigstens ein Abbild durch ein Lichtmikroskop und/oder wenigstens ein Abbild durch ein Elektronenmikroskop zu erstellen. Das Mikros kopierverfahren kann den Verfahrensschritt des Erstellens wenigstens eines Abbildes durch ein Lichtmikroskop und/oder Erstellens wenigstens einen Abbildes durch ein Elektronenmikroskop und/oder Rasterkraftmikroskop um fassen.
Die Vorrichtung zur Untersuchung der Mikroskopprobe gemäß einer der oben beschriebenen Ausgestaltungen kann wenigstens eine Einrichtung aus der folgenden Liste aufweisen: wenigstens ein Lichtmikroskop; wenigstens ein Elekt ronenmikroskop; wenigstens ein Rasterkraftmikroskop; wenigstens eine Vorrichtung zum Bearbeiten des Objekts; wenigstens eine Vorrichtung zum Einfrieren der Mikroskopprobe; wenigstens einen Kryobehälter für wenigstens eine Mikroskopprobe; wenigstens ein Mikrotom; wenigstens einen Mikromanipulator; wenigstens eine Lasermikro dissektionseinheit; wenigstens eine optische Pinzette (optica I tweezers); wenigstens einen Hochdruckgefrierer (high pressure freezer); wenigstens einen Grid Plunger; wenigstens einen dry shipper, beispielsweise einen Trockenver sandbehälter und/oder einen Stickstoff-Transportbehälter.
Das Lichtmikroskop kann als ein Slidescanner, ein hochauflösendes Mikroskop wie ein STED oder ein Lokalisations mikroskop, ein Stereo-, Phasendifferenz-, Durchlicht-, Auflicht-, Hellfeld-, Dunkelfeld-, Lichtblatt-, Lasermikrodissek- tions- und/oder Konfokal-Mikroskop einschließlich baulicher Kombinationen derartiger Mikroskope ausgestaltet sein. Die Vorrichtung kann auch mehrere derartige Lichtmikroskope, auch unterschiedlicher Art, aufweisen, mit de nen die Mikroskopprobe nacheinander untersucht wird.
Das Lichtmikroskop ist insbesondere ausgestaltet zum Untersuchen eingefrorener Mikroskopproben. Das Elektronenmikroskop kann ein scannendes und/oder transmissives Elektronenmikroskop sein. Auch das Elekt ronenmikroskop kann bevorzugt zum Untersuchen eingefrorener Mikroskopproben ausgestaltet sein.
Bei der Vorrichtung zum Bearbeiten des Objekts kann es sich beispielsweise um robotergesteuerte Pinzette, einen Picker, eine Pipette, einen lonenstrahl-Ablator und/oder eine Dissektionsvorrichtung, beispielsweise eine Laser mikrodissektionsvorrichtung handeln.
Die Vorrichtung zum Einfrieren der Probe kann eine separate Vorrichtung sein oder in ein Mikroskop integriert sein.
Der Kryobehälter kann eine integrierte Transfereinheit zur Überführung der Mikroskopprobe aus dem Kryobehälter in das Licht- und/oder Elektronenmikroskop und/oder die Vorrichtung zum Bearbeiten des Objekts aufweisen. Die Vorrichtung zum Bearbeiten des Objekts kann in ein Licht- und/oder Elektronenmikroskop integriert sein.
Die Vorrichtung zur Untersuchung von Mikroskopproben kann ausgestaltet sein, eine Mehrzahl unterschiedlicher Abbilder der Mikroskopprobe zu erstellen. Das Mikroskopierverfahren kann den Verfahrensschritt des Erstellens einer Mehrzahl unterschiedlicher Abbilder der Mikroskopprobe umfassen. Eine Identifikationskennung kann für je des der unterschiedlichen Abbilder separat, für eine Untermenge der unterschiedlichen Abbilder und/oder für die Gesamtheit der Abbilder gemeinsam jeweils durch Fingerprinting erstellt werden. Die unterschiedlichen Identifika tionskennungen der unterschiedlichen Abbilder können gemeinsam zu einer übergeordneten Identifikationsken nung des passenden Objekts zusammengefügt sein.
Die Mehrzahl der unterschiedlichen Abbilder zur Berechnung einer Identifikationskennung wird bevorzugt in einem Schritt, insbesondere durch eine einzige Einrichtung, wie beispielsweise durch ein einzelnes Lichtmikroskop oder ein einzelnes Elektronenmikroskop, erzeugt. Alternativ oder zusätzlich kann die Mehrzahl der Abbilder auch durch ver schiedene Einrichtungen, beispielsweise durch eine oder mehrere Lichtmikroskope und/oder durch ein oder meh rere Elektronenmikroskope erzeugt werden. So können beispielsweise jeweils ein oder mehrere Abbilder nachei nander durch verschiedene Licht-, Rasterkraft- und/oder Elektronenmikroskope erzeugt werden. Dabei kann eine vorhandene Identifikationskennung, die anhand eines oder mehrerer Abbilder eines Mikroskops berechnet wurde, durch eine Identifikationskennung ersetzt oder ergänzt werden, die anhand einer oder mehrerer Abbilder eines an deren Mikroskops berechnet wurde.
Die einzelnen Abbilder der Mehrzahl unterschiedlicher Abbilder können unterschiedliche Farbräume und/oder -ka- näle, eine unterschiedliche Farbe, Vergrößerung und/oder Auflösung aufweisen. Jedes der Abbilder kann einen un terschiedlichen Farbkanal und/oder eine Kombination unterschiedlicher Farbkanäle aufweisen. Insbesondere kann wenigstens ein Abbild in zumindest einem Ausschnitt eines Fluoreszenzspektrums eines Fluorophores repräsentie ren bzw. erzeugt werden. Das Fluorophor ist bevorzugt Teil des Objekts. Werden mehrere Fluorophore gleichzeitig verwendet, können mehrere Abbilder unterschiedliche Fluoreszenzspektren unterschiedlicher Fluorophore reprä sentieren. Gemäß einer weiteren Ausgestaltung kann ein Abbild der Probe in eine Mehrzahl von Kacheln zerlegt werden. Eine digitale Identifikationskennung kann für jede einzelne Kachel separat und/oder beliebige Kombinationen von Ka cheln jeweils zusammen berechnet werden. Die einzelnen Identifikationskennungen der Kacheln können zu einer gemeinsamen Identifikationskennung, beispielsweise in Form einer Blockchain, kombiniert werden.
Unterschiedliche Abbilder, auch in verschiedenen Modalitäten, können unter Verwendung der optischen Marker automatisch registriert werden. So kann beispielsweise das Abbild vom Elektronenmikroskop in Abhängigkeit vom Abbild vom Lichtmikroskop automatisch zumindest bereichsweise und richtungsabhängig vergrößert gestreckt, ro tiert und/oder verzerrt werden, so dass beide Abbilder deckungsgleich sind. Ein Beispiel für einen Algorithmus für eine derartige Registrierung ist in Gee, J.C.; Reivich, M.; Bajcsy, R.: „Elastically deforming a three-dimensional atlas to match an atomical brain images", 1993, IRCS Technical Reports Series, 192, beschrieben.
Beispiele für die Identifizierung von Strukturen in einem Bild sind beispielsweise in Rouchdy, Y.; Cohn, L: „A geodesic voting method for the Segmentation of tubulär tree and center lines", 2011, DOI: 10.1109/ISBI.2011.5872566, 979 bis 983 und in Suri, J.: „Angiography and plague imaging: Advanced Segmentation technigues" , 2003, CRC Press ange geben.
Das Mikroskopierverfahren in einer der obigen Ausgestaltung kann zudem die folgenden Verfahrensschritte, bevor zugt, aber nicht notwendigerweise, in der folgenden Reihenfolge, aufweisen: Bearbeiten des Objekts, Erstellen we nigstens eines Abbildes des bearbeiteten Objekts, Erstellen einer neuen und/oder Ergänzen einer vorhandenen di gitalen Identifikationskennung der Mikroskopprobe durch Fingerprinting des wenigstens einen Abbildes des bear beiteten Objekts unter Verwendung optischer Marker im wenigstens einen Abbild, und/oder Ersetzen einer vorhan denen digitalen Identifikationskennung der Mikroskopprobe durch Fingerprinting des wenigstens einen Abbildes des bearbeiteten Objekts unter Verwendung optischer Marker. Auf diese Weise ist es möglich, bei Veränderungen des Objekts eine neue Identifikationskennung zu berechnen und eine vorhandene Identifikationskennung zu ergänzen und/oder zu ersetzen. So kann beispielsweise durch die Bearbeitung ein neuer optischer Marker erzeugt werden, der dazu dienen kann, die Identifikationskennung weiter zu individualisieren. In der Identifikationskennung eines Objekts kann eine Mehrzahl von Identifikationskennungen unterschiedlicher Abbilder, beispielsweise in Form einer Blockchain, enthalten sein.
Von besonderem Vorteil ist es, wenn der wenigstens eine optische Marker, der zur Berechnung einer digitalen Iden tifikationskennung dient, gleichzeitig als Positionsreferenz verwendet wird. Der Positionsreferenz kann beispiels weise eine eindeutige Lagekennung auf dem Probenträger, zum Beispiel in Form von Koordinaten, zugeordnet sein. Auf diese Weise lässt sich, insbesondere in Abhängigkeit von der Vergrößerung und/oder Auflösung, die Lage von Strukturen relativ zu dem wenigstens einem als Positionsreferenz dienenden optischen Marker, und damit gegebe nenfalls eine Absolutposition auf dem Probenträger, einfach und zuverlässig bestimmen.
Die Vorrichtung kann insbesondere einen Prozessor, beispielsweise einen Prozessor zur Bilddatenverarbeitung, auf weisen, der beispielsweise in Form einer CPU, GPU, eines Vektorprozessors (VPU), eines ASIC, eines FPGA und/oder einer beliebigen Kombination derartiger Komponenten einschließlich Speicher aufgebaut sein kann. Die oben be schriebenen Verfahrensschritte können als Hardware- und/oder Softwarekomponenten ausgestaltet sein.
Die Erfindung betrifft entsprechend auch ein Computerprogrammprodukt, das Befehle umfasst, die bei Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren in einer der oben beschriebenen Ausge staltungen durchzuführen.
Ferner betrifft die Erfindung einen computerlesbaren Datenträger, auf dem das Computerprogrammprodukt gespei chert ist.
Die Erfindung betrifft des Weiteren eine digitale Identifikationskennung eines Abbildes einer Mikroskopprobe, wo bei die digitale Identifikationskennung durch eine Vorrichtung und/oder ein Verfahren in einer der obigen Ausge staltungen berechnet ist.
Es ist schließlich auch möglich, maschinelles Lernen, insbesondere aber ein neuronales Netzwerk zusammen mit wenigstens einem Mikroskop zur Berechnung und gegebenenfalls auch Identifikation einer digitalen Identifikations kennung zu verwenden. Ein neuronales Netzwerk ist erfindungsgemäß, wenn es durch die Identifikationskennungen, die durch das Verfahren und/oder die Vorrichtung in einer der obigen Ausgestaltungen berechnet sind, und/oder durch unterschiedliche Abbilder trainiert ist.
Ausführungsbeispiele können auf dem Verwenden eines Maschinenlern-Modells oder Maschinenlern-Algorithmus basieren. Maschinelles Lernen kann sich auf Algorithmen und statistische Modelle beziehen, die Computersysteme verwenden können, um eine bestimmte Aufgabe ohne Verwendung expliziter Anweisungen auszuführen, anstatt sich auf Modelle und Interferenz zu verlassen. Beim maschinellen Lernen kann beispielsweise anstatt einer auf Re geln basierenden Transformation von Daten, eine Transformation von Daten verwendet werden, die aus einer Ana lyse von Verlaufs- und/oder Trainings-Daten hergeleitet werden kann. Beispielsweise kann der Inhalt von Bildern unter Verwendung eines Maschinenlern-Modells oder unter Verwendung eines Maschinenlern-Algorithmus analy siert werden. Damit das Maschinenlern-Modell den Inhalt eines Bildes analysieren kann, kann das Maschinenlern- Modell unter Verwendung von Trainingsbildern als Eingabe und Trainingsinhaltsinformation als Ausgabe trainiert werden. Durch Trainieren des Maschinenlern-Modells mit einer großen Anzahl von Trainingsbildern und/oder Trai ningssequenzen (z. B. Wörtern oder Sätzen) und zugeordneter Trainingsinhaltsinformation (z. B. Kennzeichnungen oder Anmerkungen) „lernt" das Maschinenlern-Modell, den Inhalt der Bilder zu erkennen, sodass der Inhalt von Bildern, die in den Trainingsdaten nicht umfasst sind, unter Verwendung des Maschinenlern-Modells erkannt wer den kann. Das gleiche Prinzip kann für andere Arten von Sensordaten ebenfalls verwendet werden: Durch Trainieren eines Maschinenlern-Modells unter Verwendung von Trainingssensordaten und einer erwünschten Ausgabe „lernt" das Maschinenlern-Modell eine Umwandlung zwischen den Sensordaten und der Ausgabe, was verwendet werden kann, um eine Ausgabe basierend auf an das Maschinenlern-Modell bereitgestellten Nicht-Trainings-Sensordaten bereitzustellen. Die bereitgestellten Daten (z.B. Sensordaten, Metadaten und/oder Bilddaten) können vorverarbei tet werden, um einen Merkmalsvektor zu erhalten, welcher als Eingang für das Maschinenlern-Modell verwendet wird.
Maschinenlern-Modelle können unter Verwendung von Trainingseingabedaten trainiert werden. Die oben angeführ ten Beispiele verwenden ein Trainingsverfahren, das „Supervised Learning" genannt wird. Beim Supervised Learning wird das Maschinenlern-Modell unter Verwendung einer Mehrzahl von Trainingsabtastwerten trainiert, wobei jeder Abtastwert eine Mehrzahl von Eingabedatenwerten und eine Mehrzahl von erwünschten Ausgabewerten, d. h. je dem Trainingsabtastwert ist ein erwünschter Ausgabewert zugeordnet, umfassen kann. Durch Angeben sowohl von Trainingsabtastwerten als auch erwünschten Ausgabewerten „lernt" das Maschinenlern-Modell, welcher Ausgabe wert basierend auf einem Eingabeabtastwert, der ähnlich zu den während des Trainings bereitgestellten Abtastwer ten ist, bereitzustellen ist. Neben dem Supervised Learning kann auch Semi-Supervised Learning verwendet werden. Beim Semi-Supervised Learning fehlt einigen der Trainingsabtastwerte ein erwünschter Ausgabewert. Supervised Learning kann auf einem Supervised Learning-Algorithmus basieren (z. B. einem Klassifizierungsalgorithmus, einem Regressionsalgorithmus oder einem Ähnlichkeitslernen-Algorithmus). Klassifizierungsalgorithmen können verwen det werden, wenn die Ausgaben auf eine begrenzte Menge von Werten (kategorische Variablen) beschränkt sind, d. h. die Eingabe ist als einer aus dem begrenzten Satz von Werten klassifiziert. Regressionsalgorithmen können ver wendet werden, wenn die Ausgaben irgendeinen Zahlenwert (innerhalb eines Bereichs) ausweisen. Ähnlichkeitsler- nen-Algorithmen können sowohl Klassifizierungs- als auch Regressionsalgorithmen ähnlich sein, basieren aber auf dem Lernen aus Beispielen unter Verwendung einer Ähnlichkeitsfunktion, die misst, wie ähnlich oder verwandt zwei Objekte sind. Neben dem Supervised Learning oder Semi-Supervised Learning kann Unsupervised Learning verwen det werden, um das Maschinenlern-Modell zu trainieren. Beim Unsupervised Learning werden möglicherweise (nur) Eingabedaten bereitgestellt und ein Unsupervised Learning-Algorithmus kann verwendet werden, um eine Struktur in den Eingabedaten zu finden (z. B. durch Gruppieren oder Clustern der Eingabedaten, Finden von Gemeinsamkei ten in den Daten). Clustern ist die Zuweisung von Eingabedaten, die eine Mehrzahl von Eingabewerten umfassen, in Teilmengen (Cluster), sodass Eingabewerte innerhalb desselben Clusters gemäß einem oder mehreren (vordefinier ten) Ähnlichkeitskriterien ähnlich sind, während sie Eingabewerten, die in anderen Clustern umfasst sind, unähnlich sind.
Verstärkendes Lernen ist eine dritte Gruppe von Maschinenlern-Algorithmen. Anders ausgedrückt, verstärkendes Lernen kann verwendet werden, um das Maschinenlern-Modell zu trainieren. Beim verstärkenden Lernen werden ein oder mehrere Software-Akteure (sogenannte „Software Agents") trainiert, um Handlungen in einer Umgebung vorzunehmen. Basierend auf den vorgenommenen Handlungen wird eine Belohnung berechnet. Verstärkendes Ler nen basiert auf dem Trainieren des einen oder der mehreren Software Agents, um die Handlungen auszuwählen, derart, dass die kumulative Belohnung erhöht wird, was zu Software Agents führt, die in der Aufgabe, die ihnen gegeben wird, besser werden (wie durch steigende Belohnungen nachgewiesen). Ferner können einige Techniken auf einige der Maschinenlern-Algorithmen angewandt werden. Zum Beispiel kann Feature Learning verwendet werden. Anders ausgedrückt, das Maschinenlern-Modell kann zumindest teilweise un ter Verwendung von Feature Learning trainiert werden, und/oder der Maschinenlern-Algorithmus kann eine Feature Learning-Komponente umfassen. Feature Learning-Algorithmen, die Representation-Learning-Algorithmen genannt werden, können die Information in ihrer Eingabe erhalten, sie aber derart transformieren, dass sie nützlich wird, häufig als Vorverarbeitungsstufe vor dem Ausführen der Klassifizierung oder dem Vorhersagen. Feature Learning kann beispielsweise auf einer Hauptkomponenten-Analyse oder Cluster-Analyse basieren.
Bei einigen Beispielen kann eine Anomaliedetektion (d. h. Ausreißer-Detektion) verwendet werden, die darauf ab zielt, eine Identifizierung von Eingabewerten bereitzustellen, die Verdacht erregen, da sie sich erheblich von der Mehrheit von Eingabe- und Trainingsdaten unterscheiden. Anders ausgedrückt, das Maschinenlern-Modell kann zu mindest teilweise unter Verwendung von Anomaliedetektion trainiert werden, und/oder der Maschinenlern-Algo rithmus kann eine Anomaliedetektions-Komponente umfassen.
Bei einigen Beispielen kann der Maschinenlern-Algorithmus einen Entscheidungsbaum als Vorhersagemodell ver wenden. Anders ausgedrückt, das Maschinenlern-Modell kann auf einem Entscheidungsbaum basieren. Bei einem Entscheidungsbaum können die Beobachtungen zu einem Gegenstand (z. B. einer Menge von Eingabewerten) durch die Zweige des Entscheidungsbaums dargestellt werden, und ein Ausgabewert, der dem Gegenstand entspricht, kann durch die Blätter des Entscheidungsbaums dargestellt werden. Entscheidungsbäume können sowohl diskrete Werte als auch fortlaufende Werte als Ausgabewerte unterstützen. Wenn diskrete Werte verwendet werden, kann der Entscheidungsbaum als Klassifizierungsbaum bezeichnet werden, wenn fortlaufende Werte verwendet werden, kann der Entscheidungsbaum als Regressionsbaum bezeichnet werden.
Assoziationsregeln sind eine weitere Technik, die bei Maschinenlern-Algorithmen verwendet werden kann. Anders ausgedrückt, das Maschinenlern-Modell kann auf einer oder mehreren Assoziationsregeln basieren. Assoziationsre geln werden erstellt, indem Verhältnisse zwischen Variablen bei großen Datenmengen identifiziert werden. Der Ma schinenlern-Algorithmus kann eine oder mehrere Verhältnisregeln identifizieren und/oder nutzen, die das Wissen darstellen, dass aus den Daten hergeleitet ist. Die Regeln können z. B. verwendet werden, um das Wissen zu spei chern, zu manipulieren oder anzuwenden.
Maschinenlern-Algorithmen basieren normalerweise auf einem Maschinenlern-Modell. Anders ausgedrückt, der Be griff „Maschinenlern-Algorithmus" kann einen Satz von Anweisungen bezeichnen, die verwendet werden können, um ein Maschinenlern-Modell zu erstellen, zu trainieren oder zu verwenden. Der Begriff „Maschinenlern-Modell" kann eine Datenstruktur und/oder einen Satz von Regeln bezeichnen, die/der das erlernte Wissen darstellt (z. B. basierend auf dem durch den Maschinenlern-Algorithmus ausgeführten Training). Bei Ausführungsbeispielen kann die Verwendung eines Maschinenlern-Algorithmus die Verwendung eines zugrundeliegenden Maschinenlern-Mo- dells (oder einer Mehrzahl von zugrundeliegenden Maschinenlern-Modellen) implizieren. Die Verwendung eines Maschinenlern-Modells kann implizieren, dass das Maschinenlern-Modell und/oder die Datenstruktur/der Satz von Regeln, welche das Maschinenlern-Modell ist/sind, durch einen Maschinenlern-Algorithmus trainiert wird. Beispielsweise kann das Maschinenlern-Modell ein künstliches neuronales Netz (ANN; artificial neuronal network) sein. ANNs sind Systeme, die durch biologische neuronale Netze inspiriert sind, wie sie in einer Netzhaut oder einem Gehirn zu finden sind. ANNs umfassen eine Mehrzahl von zwischenverbundenen Knoten und eine Mehrzahl von Verbindungen, sogenannte Kanten (edges), zwischen den Knoten. Es gibt normalerweise drei Knotentypen, Einga beknoten, die Eingabewerte empfangen, versteckte Knoten, die (nur) mit anderen Knoten verbunden sind, und Aus gabeknoten, die Ausgabewerte bereitstellen. Jeder Knoten kann ein künstliches Neuron darstellen. Jede Kante kann Information senden, von einem Knoten zum anderen. Die Ausgabe eines Knoten kann als eine (nichtlineare) Funktion der Eingaben definiert sein (z.B. der Summe seiner Eingaben). Die Eingaben eines Knoten können in der Funktion basierend auf einem „Gewicht" der Kante oder des Knoten, der die Eingabe bereitstellt, verwendet werden. Das Gewicht von Knoten und/oder von Kanten kann in dem Lernprozess angepasst werden. Anders ausgedrückt, das Training eines künstlichen neuronalen Netzes kann ein Anpassen der Gewichte der Knoten und/oder Kanten des künstlichen neuronalen Netzes umfassen, d. h. um eine erwünschte Ausgabe für eine bestimmte Eingabe zu errei chen.
Alternativ kann das Maschinenlern-Modell eine Support-Vector-Machine, ein Random-Forest-Modell oder ein Gra- dient-Boosting-Modell sein. Support Vector Machines (d. h. Stützvektornetze) sind Supervised Learning-Modelle mit zugeordneten Lernalgorithmen, die verwendet werden können, um Daten zu analysieren (z. B. in einer Klassifizie- rungs- oder Regressionsanalyse). Support Vector Machines können durch Bereitstellen einer Eingabe mit einer Mehrzahl von Trainingseingabewerten, die zu einer von zwei Kategorien gehören, trainiert werden. Die Support Vector Machine kann trainiert werden, um einer der beiden Kategorien einen neuen Eingabewert zuzuweisen. Al ternativ kann das Maschinenlern-Modell ein bayessches Netz sein, das ein probabilistisches gerichtetes azyklisches graphisches Modell ist. Ein bayessches Netz kann einen Satz von Zufallsvariablen und ihre bedingten Abhängigkeiten unter Verwendung eines gerichteten azyklischen Graphen darstellen. Alternativ kann das Maschinenlern-Modell auf einem genetischen Algorithmus basieren, der ein Suchalgorithmus und heuristische Technik ist, die den Prozess der natürlichen Selektion imitiert.
Im Folgenden ist die Erfindung anhand eines Ausführungsbeispiels exemplarisch näher beschrieben. Nach Maßgabe der obigen Ausführungen können dabei Merkmale des Ausführungsbeispiels weggelassen werden, wenn es auf den mit diesen Merkmalen verbundenen technischen Effekt bei einer bestimmten Anwendung nicht ankommen sollte. Umgekehrt können dem Ausführungsbeispiel auch weitere Merkmale hinzugefügt werden, sollte es bei einer be stimmten Anwendung auf deren technischen Effekt ankommen.
Im Folgenden werden für Merkmale, die einander hinsichtlich Funktion und/oder räumlich-körperlicher Ausgestal tung entsprechen, dieselben Bezugszeichen verwendet.
Es zeigt:
Fig. 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zur Durchführung eines erfindungs gemäßen Verfahrens. Die Vorrichtung 100 dient zur Untersuchung einer Mikroskopprobe 102. Die Vorrichtung 100 kann ein System sein, das ein oder mehrere Teilsysteme aufweist, wie weiter unten erläutert ist.
Die Mikroskopprobe 102 weist einen mit einem Objekt 104 bedeckten oder zur Aufnahme eines Objekts 104 ausge stalteten Bereich 105 auf. Der Bereich 105 ist Teil eines Probenträgers 106.
Bei dem Objekt 104 handelt es sich bevorzugt um ein biologisches Objekt, beispielsweise um einen für eine Mikro skopie vorbereiteten Teil eines Organismus, wie beispielsweise einen Gewebeschnitt, oder um einzelne Zellen. Das Objekt kann allerdings auch anorganisch sein und/oder anorganische Bestandteile aufweisen oder aus diesen beste hen.
Der Probenträger 106 ist bevorzugt aus einem optisch transparenten Material gefertigt, das weiter bevorzugt zu sätzlich transparent für Elektronenstrahlen ist. Insbesondere kann der Probenträger 106 aus Glas oder Metall gefer tigt sein. Der Probenträger 106 hält das Objekt 104. Das Objekt 104 liegt also auf dem Probenträger 106, ist in ihm aufgenommen, eingeschlossen und/oder in ihm enthalten.
Die Vorrichtung 100 dient zunächst dazu, anhand des Objekts 104 und/oder des zur Aufnahme des Objekts ausge stalteten Bereichs 105 eine digitale Identifikationskennung 108 zu berechnen. Die Berechnung findet mittels Finger- printing 110 statt. Bei dem Fingerprinting 110, das in Fig. 1 lediglich schematisch dargestellt ist, handelt es sich um einen hardware- und/oder softwareimplementierten Algorithmus, der einen Datensatz beliebiger Größe in eine kür zere Bit- oder Zahlenfolge abbildet, dem sogenannten Fingerabdruck. Der Fingerabdruck identifiziert den Original datensatz eindeutig oder wenigstens nahezu eindeutig. Fingerprinting-Algorithmen sind frei verfügbar, beispiels weise in der American National Software Reference Library und der Hash Keeper-Datenbank.
Das Fingerprinting 110 des Objekts 104 bzw. Bereichs 105 oder von Ausschnitten dieses Bereichs 105 nutzt optische Marker 112 in einem digitalen Abbild 114 des Bereichs 105 oder eines oder mehrere Ausschnitte des Bereichs 105.
Bei dem Abbild 114 handelt es sich um eine digitale Repräsentation wenigstens eines Teils des Bereichs 105 und/o der des Objekts 104. Eine solche digitale Repräsentation sind beispielsweise Bilddaten, die ein digitales Bild bilden. Das digitale Bild kann ein Schwarzweißbild, ein Grauskalen-Bild und/oder ein Farbbild sein. Das digitale Bild kann einen oder mehrere Farbkanäle aufweisen.
Das Erstellen eines Fingerprints kann sich vereinfachen, wenn die Mikroskopprobe 102, insbesondere der Proben träger 106 mit einem regelmäßigen oder unregelmäßigen Muster 116 versehen ist. Ein solches Muster kann bei spielsweise ein Gitter oder eine Gitterstruktur sein. Das Gitter kann beispielsweise durch Aufträgen einer Metall schicht auf den Probenträger 106 bzw. den Bereich 105 erzeugt werden.
Der optische Marker 112 im Abbild 114 ist dann bevorzugt eine Unregelmäßigkeit 118 des Musters 116. So kann beispielsweise das Muster mit vorbestimmten Unregelmäßigkeiten 118 versehen sein, beispielsweise unregelmäßi gen Markierungen, wie Buchstaben und/oder Ziffern. Die Unregelmäßigkeit 118 kann absichtlich oder unabsichtlich erzeugt sein. Eine Unregelmäßigkeit 118 kann beispielsweise eine Beschädigung des Musters 116 und/oder eine Kontamination im Bereich 105 sein. Es ist zusätzlich oder alternativ auch möglich, dass das Muster 116 eine quasi zufällige Komponente aufweist, beispielsweise einen quasi-zufälligen Code.
Ein optischer Marker 112, wie er zum Fingerprinting 110 benutzt wird, kann auch durch einen oder mehrere Marker- körper 120 erzeugt werden, die stochastisch über den Bereich 105 verteilt sind. Die Markerkörper können einge bracht, aufgestreut und/oder aufgesprüht sein. Derartige Markerkörper oder Fiducials können beispielsweise Durch messer im Bereich weniger Mikrometer oder von Bruchteilen von Mikrometern aufweisen. Sie können insbesondere fluoreszierend sein.
Der Bereich 105 kann zumindest teilweise mit einer Beschichtung 122 versehen sein. Bei der Beschichtung 122 kann es sich beispielsweise um eine Nährschicht oder eine Karbonschicht, beispielsweise eine Karbonmembran handeln. Alternativ oder zusätzlich kann der Probenträger 106 mit Gold beschichtet sein. Als optischer Marker 112 können eine oder mehrere Unregelmäßigkeiten 118 in der Beschichtung 122 dienen, beispielsweise eine oder mehrere Be schädigungen.
Ist das Objekt 104 tiefgefroren, so kann als Unregelmäßigkeit 118 auch das Abbild einer Vereisungsstruktur 124 dienen. Eine Vereisungsstruktur 124 kann beispielsweise ein einzelner Eiskristall, eine Ansammlung mehrerer Eis kristalle oder ein vereister Bereich sein.
Schließlich kann als optischer Marker 112 auch eine Struktur 126 des Objekts 104 dienen, beispielsweise eine Ge webestruktur oder eine Zellstruktur. Die Struktur 126 kann, wie die übrigen optischen Marker 112 auch, mit einem Elektronenstrahl, im Weißlicht und/oder in Fluoreszenzlicht aufgenommen sein. Zur Erzeugung des digitalen Abbildes 114 kann die Vorrichtung 100 ein Lichtmikroskop 130 und/oder ein Elektro nenmikroskop 132 aufweisen.
Das Lichtmikroskop 130 kann ein Slidescanner, ein hochauflösendes Mikroskop wie ein STED-Mikroskop oder ein Lokalisationsmikroskop, ein Stereo-, Phasendifferenz-, Hellfeld-, Dunkelfeld-, Fluoreszenz-, Auflicht-, Durchlicht-, Lichtblatt- und/oder Konfokalmikroskop sein. Die Vorrichtung 100 kann mehrere Lichtmikroskope 130 in der glei- chen oder in unterschiedlichen Ausgestaltungen aufweisen.
Das Elektronenmikroskop 132 kann ein scannendes und/oder ein transmissives Elektronenmikroskop sein. Die Vor richtung 100 kann ein oder mehrere Elektronenmikroskope der gleichen oder unterschiedlicher Bauart aufweisen. Anstelle oder zusätzlich zum Elektronenmikroskop kann ein Rasterkraftmikroskop verwendet werden bzw. von der Vorrichtung 100 umfasst sein. Sowohl das wenigstens eine Lichtmikroskop 130 als auch das wenigstens eine Elektronenmikroskop 132 sind bevor zugt zur Untersuchung eingefrorener Mikroskopproben, sogenannter Kryoproben, ausgestaltet. Hierzu kann das we nigstens eine Licht- oder Elektronenmikroskop 130, 132 einen Bereich zur Aufnahme des Probenträgers aufweisen, der gekühlt und/oder wärmeisoliert ist.
Die Vorrichtung 100 kann ferner wenigstens eine Vorrichtung 134 zum Bearbeiten des Objekts 104 aufweisen. Eine solche Vorrichtung 134 ist beispielsweise eine robotergesteuerte Pinzette, ein Picker, eine Pipette, ein Mikrotom, ein Mikromanipulator, eine optische Pinzette, ein lonenstrahl-Ablator und/oder eine Dissektionsvorrichtung wie bei spielsweise eine Vorrichtung zur Lasermikrodissektion, oder eine Kombination hiervon.
Für den Fall, dass Kryoproben mit der Vorrichtung 100 untersucht werden sollen, kann wenigstens eine Vorrichtung 136 zum Einfrieren der Mikroskopprobe 102 vorhanden sein. Eine solche Vorrichtung 136 kann beispielsweise ein Kühlschrank 140, ein Hochdruckgefrierer und/oder ein Grid Plunger sein. Die Vorrichtung 136 kann in ein Mikroskop 130, 132 integriert sein.
Schließlich ist es von Vorteil, wenn die Vorrichtung 100 wenigstens einen Kryobehälter 138 aufweist, der ausgestal tet ist, wenigstens eine Mikroskopprobe 102 aufzunehmen. Der Kryobehälter 138 kann dazu dienen, die Mikro skopprobe 102 zwischen verschiedenen Mikroskopen 130, 132 zu transportieren, die sich auch in getrennten Ge bäuden oder unterschiedlichen Städten befinden können. Der Kryobehälter 138 kann eine integrierte Transferein heit aufweisen, die zur Überführung einer Mikroskopprobe 102 aus dem Kryobehälter 138 in ein Mikroskop 130, 132, eine Vorrichtung 134 und/oder eine Vorrichtung 136 ausgestaltet ist. Die Überführung kann insbesondere mo torisch und/oder automatisch erfolgen. Der Kryobehälter kann ausgebildet sein, die Mikroskopprobe 102 aktiv zu kühlen und/oder wärmeisoliert oder passiv gekühlt aufzunehmen. Der Kryobehälter 138 kann beispielsweise auch ein Trockenversandbehälter oder ein Stickstoff-Transportbehälter sein.
Der wenigstens eine optische Marker 112, der zur Berechnung der digitalen Identifikationskennung 108 dient, kann gleichzeitig als Positionsreferenz 142 dienen. Beispielsweise kann ein Mikroskop 130, 132 ausgestaltet sein, den Probenträger 106 in Abhängigkeit von einem als Positionsreferenz 142 dienenden optischen Marker 112 automa tisch zu positionieren.
Ein oder mehrere Marker 112 können repräsentativ für eine Lage und Ausrichtung des Bereichs 105 sein. Über die Lage zweier optischer Marker oder die Größe und Orientierung eines unregelmäßig geformten optischen Markers kann beispielsweise die Auflösung, Orientierung, Vergrößerung und/oder Lage eines Abbildes 114 bestimmt werden. Beispielsweise kann jedem optischen Marker 112 eine absolute Position auf dem Probenträger 106 oder innerhalb des Bereichs 105 zugeordnet sein. Eine Orientierung und Vergrößerung eines in einem Abbild 114 repräsentierten Ausschnittes des Objekts 104 oder des Bereichs 105 ergibt sich dann durch die relative Position zweier optischer Marker 112 im Abbild 114. Die Position des optischen Markers 112 kann in der auf diesem Marker basierten Identi fikationskennung 108 insbesondere in codierter Form enthalten sein. Dies gilt auch für die Positionen mehrerer Marker 112. Zur Ermittlung der digitalen Identifikationskennung 108 kann auch ein neuronales Netzwerk 150 eingesetzt werden, das ausgestaltet ist, das Fingerprinting durchzuführen. Das neuronale Netzwerk 150 kann als Software, als Hardware oder als eine Kombination von Hardware und Software ausgestaltet sein.
Die Funktion der Vorrichtung 100 ist wie folgt: In einem Schritt 160 kann die Mikroskopprobe zunächst vorbereitet werden. Dies erfolgt beispielsweise manuell, indem ein Gewebeschnitt hergestellt wird, oder Zellkulturen aufgezo gen werden. Am Ende des Schrittes 160 ist der Bereich 105 zumindest teilweise mit dem Objekt 104 bedeckt.
In einem Schritt 162 kann dann das Objekt 104 weiter präpariert werden, beispielsweise durch Hinzufügen chemi scher Substanzen. Im Schritt 162 kann das Objekt beispielsweise für bestimmte Untersuchungen präpariert werden. So können ein oder mehrere Fluorophore appliziert werden, wenn das Objekt 104 in Fluoreszenzlicht untersucht wird. Es können optische Marker, wie die Markerkörper 112 dem Objekt 104 hinzugefügt werden, um optische Mar ker 112 für das Fingerprinting 110 und/oder als Referenzpositionen für das Positionieren des Objekts zu erzeugen. Ferner können Kontrastmittel hinzugefügt werden. Der Schritt 162 kann mehrfach wiederholt werden und/oder zu einem späteren Zeitpunkt erstmalig stattfinden. So kann beispielsweise ein Fluorophor erst zu einem späteren Zeit punkt hinzugefügt werden, wenn feststeht, dass das Objekt in Fluoreszenzlicht untersucht werden soll.
Falls Kryoproben untersucht werden, können in einem Schritt 164 beispielsweise mittels der Vorrichtung 136 zum Einfrieren, der Probenträger mit dem Objekt eingefroren werden. Dabei kann sich der Probenträger 106 im Kryobe- hälter 138 befinden oder nach dem Einfrieren in den Kryobehälter 138 eingelegt werden.
In einem Schritt 165 wird zunächst bevorzugt von einem Lichtmikroskop 130 ein eine Übersichtsaufnahme des Ob jekts 104 repräsentierendes Abbild 114 erzeugt. Zusätzlich können weitere Abbilder 114, beispielsweise einzelne sich überlappende oder voneinander beabstandete vergrößerte Ausschnitte des Objekts erzeugt werden. Zur Erzeu gung des wenigstens einen Abbildes 114 ist das Lichtmikroskop mit wenigstens einer Kamera 166 versehen.
Anhand wenigstens eines Abbildes 114, bevorzugt anhand einer Mehrzahl von Abbildern 114, wird dann durch Fin gerprinting 110 die digitale Identifikationskennung 108 des Objekts 104 bzw. des das Objekt 104 tragenden Proben trägers 106 berechnet. Die Berechnung findet in einem Datenverarbeitungssystem 168, beispielsweise einem PC, statt.
Im Schritt 170 findet das Berechnen der Identifikationskennung 108 statt.
Dabei kann, wie bereits erwähnt, eine Mehrzahl unterschiedlicher Abbilder 114 der Mikroskopproben erstellt wer den, um von dieser Mehrzahl die Identifikationskennung 108 zu erzeugen. In der Identifikationskennung 108 können dabei die Identifikationskennungen 108a der unterschiedlichen Abbilder 114 beispielsweise in Form einer Blockchain 171 enthalten sein. Die einzelnen Abbilder 114 können dabei eine unterschiedliche Vergrößerung und/oder Auflö sung aufweisen. Die Abbilder 114 können in unterschiedlichen Farbkanälen und unterschiedlichen Farbräumen auf genommen sein. Ferner können die Abbilder 114 unterschiedliche Bereiche des Bereichs 105 und/oder des Objekts 104 repräsentieren. Die Identifikationskennung 108 kann durch Anwendung einer Hash-Funktion auf ein Abbild, eine Teilmenge der Mehrzahl der Abbilder 114 oder aller Abbilder 114 berechnet werden.
Zur Berechnung der digitalen Identifikationskennung 108 kann auch ein Abbild 114 des Objekts 104 bzw. des Be reichs 105 in eine Mehrzahl von Kacheln 172 unterteilt werden. Diese Unterteilung kann im Zuge des Fingerprinting 110 durch das Datenverarbeitungssystem 168 erfolgen.
Nachdem im Schritt 170 die digitale Identifikationskennung 108 des Objekts 104 bzw. des Probenträgers 106 be rechnet ist, kann der Probenträger 106 zunächst für eine spätere Untersuchung eingelagert werden, beispielsweise in einem Kühlschrank 140.
Während des Schrittes 170 kann zudem eine erste Überprüfung des Objekts 104 durchgeführt werden, beispiels weise dahingehend, ob es für die beabsichtigte Untersuchung geeignet ist, oder um Bereiche des Objekts festzule gen, die in nachfolgenden Schritten genauer untersucht werden müssen.
Ein Abbild 114, das einen solchen Bereich repräsentiert, kann dann ebenfalls durch Fingerprinting 110 eine separate digitale Identifikationskennung 108a erhalten, die mit der Identifikationskennung des die Übersichtsaufnahme re präsentierenden Abbildes 114 zu einer gemeinsamen Identifikationskennung zusammengefügt ist. Eine solche kom binierte Identifikationskennung 108 kann mit beliebig vielen Abbildern 114 erzeugt werden. Die gesamte Identifika tionskennung 108 stellt dann die Identifikationskennung 108 für das komplette Objekt dar. Zur Identifikation des Objekts 104 reicht es dann aus, wenn sich die Identifikationskennung, die anhand eines später aufgenommenen Abbildes 114 des Objekts 104 aufgenommen wird, in der Identifikationskennung 108 des gesamten Objekts 104 wiederfindet.
Um dies zu ermöglichen, werden für die Berechnung der Identifikationskennung 108 lediglich solche optische Mar ker 112 verwendet, die auch in einem später erzeugten Abbild 114 des Objekts 104, das in Lage, Orientierung, Ver größerung, Auflösung und/oder Modalität von dem wenigstens einem Abbild 114, anhand dem die Identifikations kennung 108 berechnet wurde, erhalten bleibt. Solche optischen Marker 112 sind die oben genannten Unregelmä ßigkeiten 118. Jedes Abbild 114, das von dem Objekt 104 bzw. dem Bereich 105 neu erstellt ist, kann zur Berechnung einer neuen Identifikationskennung 108 dienen, die der bestehenden Identifikationskennung 108 hinzugefügt wird.
Sobald eine Identifikationskennung 108 des Objekts 104 bzw. der Mikroskopprobe berechnet ist, kann die Probe in einem Schritt 173 eingelagert werden.
Ist eine Identifikationskennung 108 anhand des wenigstens einen Abbildes 114 berechnet, so kann das Objekt 104 in einem Schritt 174 bearbeitet werden, beispielsweise durch eine Vorrichtung 134. Anschließend kann das Objekt 104 erneut durch ein Lichtmikroskop 130, oder aber durch eine andere Modalität, wie beispielsweise durch ein Elektronenmikroskop 132 untersucht werden. Die Untersuchung durch eine andere Modalität 132 oder eine andere Art von Lichtmikroskop 130 kann auch unmittelbar nach dem Schritt 166, ohne eine dazwischen erfolgte Bearbeitung 174 des Objekts 104 erfolgen. In einem solchen Fall kann die Bearbeitung 174 auch erst nach dem Schritt 176 erfol gen.
Anhand der Identifikationskennung 108 lässt sich das Objekt 104 auch in einem Abbild 114, das in einer anderen Modalität, beispielsweise durch das Elektronenmikroskop 132 erzeugt wurde, identifizieren. Dabei kann anhand ei nes jeden Abbildes 114 eine Identifikationskennung 108 oder 108a berechnet werden, die der bereits vorhandenen Identifikationskennung 108 automatisch hinzugefügt wird oder die bereits vorhandene Identifikationskennung 108 oder Teile 108a hiervon ersetzt.
Wird beispielsweise ein Bereich 126a des Objekts 104 bearbeitet, durch Ausstanzen, Abtragen oder Erzeugen einer Lamelle, so ist eine Identifikationskennung 108 eines Abbildes 114, das den bearbeiteten Bereich 126a enthält, nicht mehr aktuell. Ist der bearbeitete Bereich 126a klein, so ist der Beitrag des bearbeiteten Bereichs zur Identifikations kennung 108, die anhand einer Übersichtsaufnahme oder eines einen größeren Bereich repräsentierenden Abbildes 114 erzeugt wurde, unter Umständen nicht groß genug, um die Identifikationskennung 108 des gesamten Objekts 104 zu ändern. Ist der bearbeitete Bereich 126a in einem Abbild 114 jedoch nicht mehr klein, so kann die Identifika tionskennung 108, 108a dieses Abbildes aktualisiert oder durch eine neue Identifikationskennung 108, 108a in der der bearbeitete Bereich 126a berücksichtigt ist, ersetzt werden. Dabei kann der bearbeitete Bereich 126a selbst als optischer Marker 112 dienen.
Die Identifikationskennung 108, 108a kann, sofern sie schnell berechnet wird, auch zur Korrelation und zum auto matischen Registrieren von Abbildern 114 dienen. Anstelle der Berechnung einer Korrelationsfunktion können bei spielsweise in einer Übersichtsaufnahme für laufend veränderte Abschnitte Identifikationskennungen 108, 108a be rechnet und mit einer zuvor berechneten Identifikationskennung 108, 108a eines als interessant bestimmten Be reichs verglichen werden. Stimmt die aktuell berechnete Identifikationskennung 108, 108a mit der zuvor berechne ten Identifikationskennung 108, 108a überein oder ergeben sich nur geringe Abweichungen, so stimmen die Ab schnitte überein. Die Registrierung kann erleichtert sein, wenn die Positionen der optischen Marker in der auf diesen Markern 112 basierenden Identifikationskennungen 108, 108a enthalten sind.
Nach der Berechnung einer ersten Identifikationskennung 108 eines Objekts 104 können die Schritte 166, 173, 174, 176 in beliebiger Reihenfolge, in beliebigen Zeitabständen auch mehrfach hintereinander mit demselben Objekt 104 durchgeführt werden.
Die Identifikationskennung 108 erlaubt es dabei, das Objekt 104 durch Erstellen des Abbildes 114, das gleichzeitig zur Untersuchung des Objekts 104 dient, zu identifizieren. Gleichzeitig kann die Identifikationskennung 108 zur Iden tifikation von Teilbereichen des Objekts 104 oder des Bereichs 105 verwendet werden. Derartige Teilbereiche kön nen beispielsweise zur Bearbeitung 174 oder zur Untersuchung mit einer anderen Art von Lichtmikroskop 130 oder Elektronenmikroskop 132 vorbestimmt sein. Um die Rechenleistung bei der Berechnung der Identifikationskennung 108 gering zu halten, wird das Abbild 114 bevorzugt vor der Berechnung der Identifikationskennung 108 optisch oder elektronisch gefiltert. Der dabei ange wendete Filter 178 unterdrückt dabei Anteile im Abbild 114, die keinen optischen Marker 112 repräsentieren. So können beispielsweise Markerkörper 120 verwendet werden, die nur ein enges Reflexions- und/oder Fluoreszenz spektrum aufweisen. Der Filter 178 kann in einem solchen Fall als Bandpassfilter ausgestaltet sein, dessen Passband auf einen Teil dieses Reflexions- und/oder Fluoreszenzspektrums beschränkt ist. Ferner kann der Filter 178 eine Mustererkennung beinhalten, die bestimmte Muster im Abbild 114, die als optische Marker dienen, beispielsweise Ziffern, Buchstaben und/oder bestimmte geometrische Figuren, verstärkt und davon abweichende Marker unter drückt. Der Filter 178 kann dabei an die unterschiedlichen Modalitäten angepasst sein. Werden beispielsweise fluo reszierende Perlenkörper 142 verwendet, so kann bei einer optischen Untersuchung ein Passbandfilter zum Heraus filtern des Fluoreszenzspektrums des Markerkörper 120 verwendet werden, während in einem von einem Elektro nenmikroskop 132 erzeugten Abbild ein mustersensitiver Filter eingesetzt wird, in dem die Geometrie der Marker körper 120 berücksichtigt ist.
Einige Ausführungsbeispiele beziehen sich auf ein Mikroskop 130, 132, das ein System umfasst, wie in Verbindung mit der Fig. 1 beschrieben. Alternativ kann ein Mikroskop Teil eines Systems, wie in Verbindung mit der Fig. 1 be schrieben, sein oder mit demselben verbunden sein. Fig. 1 zeigt eine schematische Darstellung eines Systems 100, das ausgebildet ist zum Ausführen eines hierin beschriebenen Verfahrens. Das System 100 umfasst ein Mikroskop 130, 132 und ein Computersystem 160. Das Mikroskop 130, 132 ist ausgebildet zum Aufnehmen von Bildern und ist mit dem Computersystem 160 verbunden. Das Computersystem 160 ist ausgebildet zum Ausführen von zumindest einem Teil eines hierin beschriebenen Verfahrens. Das Computersystem 160 kann ausgebildet sein zum Ausführen eines Maschinenlern-Algorithmus. Das Computersystem 160 und das Mikroskop 130, 132 können getrennte Einhei ten sein, können aber auch zusammen in einem gemeinsamen Gehäuse integriert sein. Das Computersystem 160 könnte Teil eines zentralen Verarbeitungssystems des Mikroskops 130, 132 sein und/oder das Computersystem 160 könnte Teil einer Teilkomponente des Mikroskops 130, 132 sein, wie eines Sensors, eines Aktuators, einer Kamera oder einer Beleuchtungseinheit, usw. des Mikroskops 130, 132.
Das Computersystem 160 kann eine lokale Computervorrichtung (z. B. Personalcomputer, Laptop, Tablet-Computer oder Mobiltelefon) mit einem oder mehreren Prozessoren und einer oder mehreren Speichervorrichtungen oder kann ein verteiltes Computersystem (z. B. ein Cloud-Computing-System mit einem oder mehreren Prozessoren oder einer oder mehreren Speichervorrichtungen, die an verschiedenen Stellen verteilt sind, zum Beispiel an einem loka len Client und/oder einer oder mehreren Remote-Server-Farmen und/oder Datenzentren) sein. Das Computersys tem 160 kann irgendeine Schaltung oder Kombination von Schaltungen umfassen. Bei einem Ausführungsbeispiel kann das Computersystem 160 einen oder mehrere Prozessoren umfassen, die von irgendeinem Typ sein können. Nach hiesigem Gebrauch kann Prozessor irgendein Typ von Rechenschaltung bedeuten, wie beispielsweise, aber nicht beschränkt auf, ein Mikroprozessor, ein Mikrocontroller, ein Mikroprozessor mit komplexem Befehlssatz (CISC), ein Mikroprozessor mit reduziertem Befehlssatz (RISC), ein Sehr-Ianges-Anweisungswort- (Very Long Instruc- tion Word; VLIW) Mikroprozessor, ein Graphikprozessor, ein digitaler Signalprozessor (DSP), ein Multi-Core-Prozes- sor, ein feld-programmierbares Gate-Array (FPGA), z.B. eines Mikroskops oder einer Mikroskopkomponente (z. B. Kamera oder Sensor) oder irgendein anderer Typ von Prozessor oder Verarbeitungsschaltung. Andere Typen von Schaltungen, die in dem Computersystem 160 umfasst sein können, können eine speziell angefertigte Schaltung, eine anwendungsspezifische integrierte Schaltung (ASIC) oder Ähnliches, wie beispielsweise eine oder mehrere Schaltungen (z. B. eine Kommunikationsschaltung) zur Verwendung bei drahtlosen Vorrichtungen wie z. B. Mobilte lefonen, Tablet-Computern, Laptop-Computern, Funksprechgeräten und ähnlichen elektronischen Systemen sein. Das Computersystem 160 kann eine oder mehrere Speichervorrichtungen umfassen, die ein oder mehrere Spei cherelemente umfassen können, die für die jeweilige Anwendung geeignet sind, wie beispielsweise einen Haupt speicher in der Form eines Nurlesespeichers (ROM), eine oder mehrere Festplatten und/oder ein oder mehrere Laufwerke, die entfernbare Medien, wie beispielsweise CDs, Flash-Speicherkarten, DVD und Ähnliches handhaben. Das Computersystem 160 kann auch eine Anzeigevorrichtung, einen oder mehrere Lautsprecher, und eine Tastatur und/oder Steuerung umfassen, die eine Maus, Trackball, Touchscreen, Stimmerkennungsvorrichtung oder irgend eine andere Vorrichtung umfassen kann, die es einem Systemnutzer erlaubt, Information in das Computersystem 160 einzugeben und Information von demselben zu empfangen.
Einige oder alle Verfahrensschritte können durch (oder unter Verwendung) einer Hardwarevorrichtung ausgeführt werden, wie es zum Beispiel ein Prozessor, ein Mikroprozessor, ein programmierbarer Computer oder eine elektro nische Schaltung sein kann. In einigen Ausführungsbeispielen können ein oder mehrere der wichtigsten Verfahrens schritte durch eine solche Vorrichtung ausgeführt werden.
Abhängig von bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hard ware oder Software implementiert werden. Die Implementierung kann mit einem nichtflüchtigen Speichermedium wie einem digitalen Speichermedium, wie beispielsweise einer Diskette, einer DVD, einem Blu-Ray, einer CD, einem ROM, einem PROM und EPROM, einem EEPROM oder einem FLASH-Speicher, durchgeführt werden, auf dem elekt ronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem so Zusammen wirken (oder Zusammenwirken können), dass das jeweilige Verfahren durchgeführt wird. Daher kann das digitale Speichermedium computerlesbar sein.
Einige Ausführungsbeispiele gemäß der Erfindung umfassen einen Datenträger mit elektronisch lesbaren Steuersig nalen, die mit einem programmierbaren Computersystem Zusammenwirken können, so dass eines der hierin be schriebenen Verfahren durchgeführt wird.
Im Allgemeinen können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit ei nem Programmcode implementiert werden, wobei der Programmcode für die Ausführung eines der Verfahren wirk sam ist, wenn das Computerprogrammprodukt auf einem Computer läuft. Der Programmcode kann beispielsweise auf einem maschinenlesbaren Träger gespeichert werden. Weitere Ausführungsbeispiele umfassen das Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren, das auf einem maschinenlesbaren Träger gespeichert ist.
Mit anderen Worten, ein Ausführungsbeispiel der vorliegenden Erfindung ist daher ein Computerprogramm mit ei nem Programmcode zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer läuft.
Ein weiteres Ausführungsbeispiel der vorliegenden Erfindung ist daher ein Speichermedium (oder ein Datenträger oder ein computerlesbares Medium), das ein darauf gespeichertes Computerprogramm zum Ausführen eines der hierin beschriebenen Verfahren umfasst, wenn es von einem Prozessor ausgeführt wird. Der Datenträger, das digi tale Speichermedium oder das aufgezeichnete Medium sind in der Regel greifbar und/oder nicht übergangslos. Eine weiteres Ausführungsbeispiel der vorliegenden Erfindung ist eine Vorrichtung, wie hierin beschrieben, die einen Prozessor und das Speichermedium umfasst.
Ein weiteres Ausführungsbeispiel der Erfindung ist daher ein Datenstrom oder eine Signalfolge, die das Computer programm zur Durchführung eines der hierin beschriebenen Verfahren darstellt. Der Datenstrom oder die Signal folge kann beispielsweise so konfiguriert werden, dass sie über eine Datenkommunikationsverbindung, beispiels weise über das Internet, übertragen werden.
Ein weiteres Ausführungsbeispiel umfasst ein Verarbeitungsmittel, zum Beispiel einen Computer oder eine program mierbare Logikvorrichtung, das konfiguriert oder angepasst ist, um eines der hierin beschriebenen Verfahren auszu führen.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Ausführen eines der hierin beschriebenen Verfahren installiert ist.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, das konfiguriert ist, um (zum Beispiel elektronisch oder optisch) ein Computerprogramm zum Ausführen eines der hierin beschrie benen Verfahren an einen Empfänger zu übertragen. Der Empfänger kann beispielsweise ein Computer, eine mobile Vorrichtung, eine Speichervorrichtung oder dergleichen sein. Die Vorrichtung oder das System kann beispielsweise einen Dateiserver zum Übertragen des Computerprogramms an den Empfänger umfassen.
In einigen Ausführungsbeispielen kann eine programmierbare logische Vorrichtung (z.B. eine feldprogrammierbare Gatteranordnung, FPGA) verwendet werden, um einige oder alle Funktionalitäten der hierin beschriebenen Verfah ren auszuführen. In einigen Ausführungsbeispielen kann eine feldprogrammierbare Gatteranordnung mit einem Mikroprozessor Zusammenarbeiten, um eines der hierin beschriebenen Verfahren durchzuführen. Im Allgemeinen werden die Verfahren vorzugsweise von jedem Hardwaregerät durchgeführt. Bezugszeichen
100 Vorrichtung
102 Mikroskopprobe
104 Objekt
104a Bearbeitetes Objekt
105 zur Aufnahme des Objekts ausgestalteter oder das Objekt aufnehmender Bereich des Probenträgers
106 Probenträger
108 Identifikationskennung
108a Teil der Identifikationskennung
110 Fingerprinting
112 Optischer Marker
114 Abbild
116 Muster
118 Unregelmäßigkeit
120 Markerkörper
122 Beschichtung
124 Vereisungsstruktur
126 Struktur des Objekts
126a bearbeiteter Bereich des Objekts
130 Lichtmikroskop
132 Elektronenmikroskop
134 Vorrichtung zum Bearbeiten des Objekts
136 Vorrichtung zum Einfrieren des Objekts
138 Kryobehälter
140 Kühlschrank
142 Positionsreferenz
150 Neuronales Netzwerk
160 Vorbereiten der Probe
162 Präparieren der Probe
164 Einfrieren der Probe
165 Erzeugen eines Abbildes
166 Kamera
168 Datenverarbeitungssystem
170 Berechnen der Identifikationskennung
171 Blockchain
172 Kachel
173 Lagern der Probe Bearbeiten des Objekts Untersuchen des Objekts mittels eines Elektronenmikroskops Filter

Claims

Ansprüche
1. Vorrichtung (100) zur Untersuchung von Mikroskopproben (102), wobei die Mikroskopproben (102) ein zu mikroskopierendes Objekt (104) und einen das Objekt (104) haltenden Probenträger (106) aufweisen, und wobei die Vorrichtung (100) ausgestaltet ist, eine digitale Identifikationskennung (108) der Mikroskopprobe (102) durch Fingerprinting (110) der Mikroskopprobe (102) unter Verwendung wenigstens eines optischen Markers (112) in wenigstens einem digitalen Abbild (114) zumindest eines Teils des Objekts (104) zu berech nen.
2. Vorrichtung (100) nach Anspruch 1, wobei der Probenträger (106) mit einem vorbestimmten Muster (116) versehen ist und der wenigstens eine optische Marker (112) wenigstens eine Unregelmäßigkeit (118) des Musters (112) im Abbild (114) umfasst.
3. Vorrichtung (100) nach einem Anspruch 2, wobei das Muster (112) einen quasi-zufälligen Code repräsentiert, der eine Lage kodiert.
4. Vorrichtung (100) nach einem der Ansprüche 1 bis 3, wobei die Mikroskopprobe (102) mit zufällig verteilten Markerkörpern (120) versehen ist und der wenigstens eine optische Marker (112) wenigstens einen Marker körper im Abbild (114) umfasst.
5. Vorrichtung (100) nach einem der Ansprüche 1 bis 4, wobei der wenigstens eine optische Marker (112) eine Unregelmäßigkeit (118) einer Beschichtung (122) des Probenträgers (106) im Abbild (114) umfasst.
6. Vorrichtung (100) nach einem der Ansprüche 1 bis 5, wobei der wenigstens eine optische Marker (112) eine Struktur (126) des Objekts (104) im Abbild (112) ist.
7. Vorrichtung (100) nach einem der Ansprüche 1 bis 6, wobei die Vorrichtung (100) wenigstens eine Einrichtung aus der folgenden Liste aufweist:
- ein Lichtmikroskop (130);
- ein Elektronenmikroskop (132);
- eine Vorrichtung (134) zum Bearbeiten des Objekts (104);
- eine Vorrichtung (136) zum Einfrieren der Mikroskopprobe (102);
- einen Kryobehälter (138) für wenigstens eine Mikroskopprobe (102).
8. Vorrichtung (100) nach einem der Ansprüche 1 bis 7, wobei die Vorrichtung (100) ausgestaltet ist,
- eine Mehrzahl unterschiedlicher Abbilder (114) der Mikroskopprobe (102) und eine Identifikations kennung (108) für jedes der unterschiedlichen Abbilder (114) separat, für eine Untermenge der un terschiedlichen Abbilder (114) und/oder für die Gesamtheit der Abbilder (114) gemeinsam durch Fingerprinting (110) zu erstellen, - und die Mehrzahl der Abbilder (114) durch verschiedene Einrichtungen zu erzeugen, wobei die ver schiedenen Einrichtungen ein oder mehrere Lichtmikroskope (130) und/oder ein oder mehrere Elektronenmikroskope (132) umfassen.
9. Vorrichtung (100) nach Anspruch 8, wobei die Vorrichtung ausgestaltet ist, die Identifikationskennungen (108) der unterschiedlichen Abbilder zu einer übergeordneten Identifikationskennung (108) des Objekts (104) zusammenzufügen.
10. Vorrichtung (100) nach einem der Ansprüche 1 bis 9, wobei die Vorrichtung (100) ausgestaltet ist, das Objekt (104) durch Vergleich der berechneten digitalen Identifikationskennung (108) mit einer zuvor berechneten Identifikationskennung (108) eines weiteren Abbildes (114) zu identifizieren, das ein unterschiedliches Kon trast- und/oder Aufnahmeverfahren, unterschiedliche Farbräume oder -kanäle, eine unterschiedliche Moda lität, Auflösung, Lage, Orientierung und/oder Vergrößerung aufweist als das wenigstens eine Abbild (114) zur Ermittlung der berechneten Identifikationskennung (108).
11. Vorrichtung (100) nach einem der Ansprüche 1 bis 10, wobei die Vorrichtung (100) ausgestaltet ist, das Abbild (114) in eine Mehrzahl von Kacheln (172) zu zerlegen und eine Identifikationskennung (108) für jede einzelne Kachel (172) separat und/oder Kombinationen von Kacheln (172) jeweils zusammen zu berechnen.
12. Vorrichtung (100) nach Anspruch 11, wobei die Vorrichtung (100) ausgestaltet ist, die einzelnen Identifikati onskennungen (108) der Kacheln (172) zu einer gemeinsamen Identifikationskennung (108) zu kombinieren.
13. Vorrichtung (100) nach einem der Ansprüche 1 bis 12, wobei in der Identifikationskennung (108) ein Zeitpunkt der Erstellung des wenigstens einen Abbildes (114) enthalten ist.
14. Vorrichtung (100) nach einem der Ansprüche 1 bis 13, wobei die Vorrichtung (100) ausgestaltet ist, bei der Berechnung der digitalen Identifikationskennung (108) Metadaten, die nicht im Abbild (114) enthalten sind, zu berücksichtigen.
15. Vorrichtung (100) nach einem der Ansprüche 1 bis 14, wobei die Identifikationskennung (108) des Objekts (104) eine Mehrzahl von Identifikationskennungen (108) unterschiedlicher Abbilder (114) des Objekts (104) in Form einer Blockchain (171) enthält.
16. Mikroskopierverfahren für Mikroskopproben (102), wobei die Mikroskopproben (102) ein zu mikroskopie rendes Objekt (104) und einen das Objekt haltenden Probenträger (106) aufweisen, umfassend den Verfah rensschritt: Berechnen einer digitalen Identifikationskennung (108) für wenigstens eine der Mikroskoppro ben (102) durch Fingerprinting (110) der Mikroskopproben (102) unter Verwendung optischer Marker (112) in wenigstens einem digitalen Abbild (114) zumindest eines Teils des Objekts.
17. Mikroskopierverfahren nach Anspruch 16, umfassend folgenden Verfahrensschritt: Erstellen einer Mehrzahl unterschiedlicher Abbilder (114) der Mikroskopprobe (102).
18. Mikroskopierverfahren nach einem der Ansprüche 16 oder 17, wobei die Identifikationskennung (108) Iden tifikationskennungen (108a) einer Mehrzahl unterschiedlicher Abbilder (114) des Objekts (104) enthält.
19. Mikroskopierverfahren nach einem der Ansprüche 16 bis 18, wobei die digitale Identifikationskennung (108) mittels maschinellen Lernens berechnet wird.
20. Mikroskopierverfahren nach Anspruch 19, wobei die digitale Identifikationskennung (108) mittels eines neu ronalen Netzwerkes (150) berechnet wird und wobei das neuronale Netzwerk (150) unter Verwendung einer Mehrzahl unterschiedlicher Abbilder (114) trainiert wird.
21 Mikroskopierverfahren nach einem der Ansprüche 16 bis 20, umfassend die folgenden Verfahrensschritte:
- Bearbeiten des Objekts (104),
- Erstellen wenigstens eines Abbildes (114) des bearbeiteten Objekts (104a),
- Erstellen einer digitalen Identifikationskennung (108) der Mikroskopprobe (102) und/oder
- Ergänzen einer vorhandenen digitalen Identifikationskennung (108) der Mikroskopprobe (112) durch Fingerprinting (110) des wenigstens einen Abbildes des bearbeiten Objekts (104a) unter Verwendung optischer Marker (112) im wenigstens einen Abbild und/oder
- Ersetzen einer vorhandenen digitalen Identifikationskennung der Mikroskopprobe (102) durch Finger printing (110) des wenigstens einen Abbildes des bearbeiten Objekts (104a) unter Verwendung opti scher Marker (112) zur Erstellung einer digitalen Identifikationskennung (108).
22. Mikroskopierverfahren nach einem der Ansprüche 16 bis 21, umfassend folgenden Verfahrensschritt:
Verwenden wenigstens eines optischen Markers (112) zur Berechnung einer digitalen Identifikationskennung (110) als Positionsreferenz (142).
23. Vorrichtung (100) zur Durchführung des Mikroskopierverfahrens nach einem der Ansprüche 16 bis 22.
24. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Com- puter diesen veranlassen, das Verfahren nach einem der Ansprüche 16 bis 22 auszuführen.
25. Computerlesbarer Datenträger, auf dem das Computerprogrammprodukt nach Anspruch 24 gespeichert ist.
26. Neuronales Netzwerk (150) zur Verwendung mit wenigstens einem Mikroskop und zur Berechnung einer di gitalen Identifikationskennung, wobei das neuronale Netzwerk durch digitale Identifikationskennungen trai niert ist, die durch das Verfahren nach einem der Ansprüche 16 bis 22 berechnet sind.
27. Digitale Identifikationskennung (108) eines Abbildes (114) einer Mikroskopprobe (102), berechnet durch eine Vorrichtung (100) nach einem der Ansprüche 1 bis 15 und/oder einem Verfahren nach einem der Ansprüche 16 bis 22 und/oder unter Verwendung eines neuronalen Netzwerks (150) nach Anspruch 26.
EP21712983.2A 2020-03-13 2021-03-15 Verfahren und vorrichtung zur untersuchung von mikroskopproben unter verwendung optischer marker Pending EP4118478A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP25209822.3A EP4657136A3 (de) 2020-03-13 2021-03-15 Verfahren und vorrichtung zur untersuchung von mikroskopproben unter verwendung optischer marker

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020203290.4A DE102020203290A1 (de) 2020-03-13 2020-03-13 Verfahren und Vorrichtung zur Untersuchung von Mikroskopproben unter Verwendung optischer Marker
PCT/EP2021/056547 WO2021180982A1 (de) 2020-03-13 2021-03-15 Verfahren und vorrichtung zur untersuchung von mikroskopproben unter verwendung optischer marker

Related Child Applications (1)

Application Number Title Priority Date Filing Date
EP25209822.3A Division EP4657136A3 (de) 2020-03-13 2021-03-15 Verfahren und vorrichtung zur untersuchung von mikroskopproben unter verwendung optischer marker

Publications (1)

Publication Number Publication Date
EP4118478A1 true EP4118478A1 (de) 2023-01-18

Family

ID=75108319

Family Applications (2)

Application Number Title Priority Date Filing Date
EP25209822.3A Pending EP4657136A3 (de) 2020-03-13 2021-03-15 Verfahren und vorrichtung zur untersuchung von mikroskopproben unter verwendung optischer marker
EP21712983.2A Pending EP4118478A1 (de) 2020-03-13 2021-03-15 Verfahren und vorrichtung zur untersuchung von mikroskopproben unter verwendung optischer marker

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP25209822.3A Pending EP4657136A3 (de) 2020-03-13 2021-03-15 Verfahren und vorrichtung zur untersuchung von mikroskopproben unter verwendung optischer marker

Country Status (4)

Country Link
US (2) US12443025B2 (de)
EP (2) EP4657136A3 (de)
DE (1) DE102020203290A1 (de)
WO (1) WO2021180982A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021114307A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Digitale kontrastnachbearbeitung von mikroskopiebildern
US20250322678A1 (en) * 2024-04-11 2025-10-16 Fei Company Sample support grid recognition

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807979A (en) * 1986-01-24 1989-02-28 Geno Saccomanno Microscope slide marking device
WO2013011104A1 (en) * 2011-07-19 2013-01-24 Ovizio Imaging Systems N.V. An object database and object database improving method
DE102014202860A1 (de) * 2014-02-17 2015-08-20 Leica Microsystems Cms Gmbh Bereitstellen von Probeninformationen mit einem Lasermikrodissektionssystem
US20180045641A1 (en) * 2016-08-10 2018-02-15 Roche Molecular System, Inc. Plate with wells for chemical or biological reactions, and method for multiple imaging of such a plate by means of an imaging system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040085443A1 (en) * 2000-12-13 2004-05-06 Kallioniemi Olli P Method and system for processing regions of interest for objects comprising biological material
EP2796917A1 (de) * 2013-04-26 2014-10-29 Baden-Württemberg Stiftung gGmbH Verfahren für eine automatische plattform- und/oder referenzobjektunabhängige Erfassung von Positionsinformationen und Lokalisierung von interessierenden Objekten in einem Mikroskop

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807979A (en) * 1986-01-24 1989-02-28 Geno Saccomanno Microscope slide marking device
WO2013011104A1 (en) * 2011-07-19 2013-01-24 Ovizio Imaging Systems N.V. An object database and object database improving method
DE102014202860A1 (de) * 2014-02-17 2015-08-20 Leica Microsystems Cms Gmbh Bereitstellen von Probeninformationen mit einem Lasermikrodissektionssystem
US20180045641A1 (en) * 2016-08-10 2018-02-15 Roche Molecular System, Inc. Plate with wells for chemical or biological reactions, and method for multiple imaging of such a plate by means of an imaging system

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GRACE JEREMY ET AL: "Single-Molecule Imaging to Characterize the Transport Mechanism of the Nuclear Pore Complex", 1 January 2016 (2016-01-01), XP009540191, ISBN: 978-1-4939-6412-3, Retrieved from the Internet <URL:http://eprints.bbk.ac.uk/14935/1/14935.pdf> [retrieved on 20210102] *
SAPKOTA MANISH ET AL: "Deep Convolutional Hashing for Low-Dimensional Binary Embedding of Histopathological Images", IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, IEEE, PISCATAWAY, NJ, USA, vol. 23, no. 2, 1 March 2019 (2019-03-01), pages 805 - 816, XP011713067, ISSN: 2168-2194, [retrieved on 20190304], DOI: 10.1109/JBHI.2018.2827703 *
See also references of WO2021180982A1 *
ZHANG XIAOFAN ET AL: "Towards Large-Scale Histopathological Image Analysis: Hashing-Based Image Retrieval", IEEE TRANSACTIONS ON MEDICAL IMAGING, IEEE, USA, vol. 34, no. 2, 1 February 2015 (2015-02-01), pages 496 - 506, XP011571664, ISSN: 0278-0062, [retrieved on 20150130], DOI: 10.1109/TMI.2014.2361481 *

Also Published As

Publication number Publication date
US20230161146A1 (en) 2023-05-25
US20260072266A1 (en) 2026-03-12
EP4657136A2 (de) 2025-12-03
DE102020203290A1 (de) 2021-09-16
WO2021180982A1 (de) 2021-09-16
US12443025B2 (en) 2025-10-14
EP4657136A3 (de) 2026-03-11

Similar Documents

Publication Publication Date Title
Elsherbiny et al. Rapid grapevine health diagnosis based on digital imaging and deep learning
JP2022178892A (ja) 機械学習システム
US20260072266A1 (en) Method and device for examining microscope specimens using optical markers
DE102022121545A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen eines maschinell gelernten Modells zum Verarbeiten von Mikroskopdaten
Brodzicki et al. Pre-trained deep convolutional neural network for clostridioides difficile bacteria cytotoxicity classification based on fluorescence images
DE4211904A1 (de) Verfahren und vorrichtung zum erstellen einer artenliste fuer eine fluessige probe
Davaasuren et al. Automated 3D segmentation of guard cells enables volumetric analysis of stomatal biomechanics
DE102021125544A1 (de) Training eines maschinengelernten algorithmus zum zellzählen oder zur zellkonfluenzbestimmung
Hubbard et al. Accelerated EM connectome reconstruction using 3D visualization and segmentation graphs
Nemati et al. Automated defect analysis of additively fabricated metallic parts using deep convolutional neural networks
Millan-Solsona et al. Analysis of biofilm assembly by large area automated AFM
DE102014200448A1 (de) Verfahren zum Analysieren einer Probe mit einem Mikroskop
WO2023057362A1 (de) Strukturerfassung zur optimierung von ressourcennutzungen in physikalischen systemen
DE102021121635A1 (de) Automatisiertes trainieren eines maschinengelernten algorithmus basierend auf der überwachung einer mikroskopiemessung
DE102021125538A1 (de) Maschinengelerntes zellzählen oder zellkonfluenz für mehrere zellarten
DE202020006182U1 (de) Vorrichtung zur Untersuchung von Mikroskopproben unter Verwendung optischer Marker und Computerprogrammprodukt
US12432437B2 (en) Method and system for event-based imaging
DE112021008422T5 (de) Verfahren zur Bestimmung von ersten und zweiten abgebildeten Zielmerkmalen, die einem realen Zielmerkmal in einer mikroskopischen Probe entsprechen, und Implementierungsmittel
DE112023004968T5 (de) Fossil-erkennungsmethode mit deep-learning-verfahren
EP4446911A1 (de) Lichtmikroskopisches verfahren, vorrichtung und computerprogrammprodukt
WO2024094798A1 (de) Orchestrator-basiertes forschungs- und entwicklungssystem und verfahren zu dessen betrieb
WO2026022281A1 (de) Verfahren und vorrichtung zur untersuchung von mikroskop-proben
DE102024132022A1 (de) Mikroskopiesystem und computerimplementierte Verfahren zum Erzeugen von Bildverarbeitungsmodellen
DE102022119202A1 (de) Verfahren und System zur Koordination kollaborativer Roboter mit Nutzlast-/Ladungs-/Prioritätsbewusstsein sowie kollaborativer Roboter
DE102024118035A1 (de) Auffinden von prozessprotokollen zur erzeugung von organoidstrukturen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221010

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230414

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250206

TPAC Observations filed by third parties

Free format text: ORIGINAL CODE: EPIDOSNTIPA