EP4073567A1 - Verfahren zum konfigurieren eines automatisierten mikroskops und mittel zu dessen durchführung sowie mikroskopsystem - Google Patents

Verfahren zum konfigurieren eines automatisierten mikroskops und mittel zu dessen durchführung sowie mikroskopsystem

Info

Publication number
EP4073567A1
EP4073567A1 EP20830106.9A EP20830106A EP4073567A1 EP 4073567 A1 EP4073567 A1 EP 4073567A1 EP 20830106 A EP20830106 A EP 20830106A EP 4073567 A1 EP4073567 A1 EP 4073567A1
Authority
EP
European Patent Office
Prior art keywords
microscope
learning
settings
components
operating mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20830106.9A
Other languages
English (en)
French (fr)
Inventor
Jan Braun
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Publication of EP4073567A1 publication Critical patent/EP4073567A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing

Definitions

  • the invention relates to a method for configuring a sequence control of an automated microscope, means for carrying out a corresponding method and a microscope system set up to carry out the method.
  • Corresponding positions include, in particular, different positions in the plane of a microscope table, also referred to as x / y positions, which can be approached in automated microscopes by a corresponding motorized adjustment of a cross table, also referred to as x / y table, but also different distances of the objective to the object, also referred to as y-positions, which can be set in such automated microscopes by a corresponding motorized adjustment of a focus drive.
  • corresponding different positions can also be set manually in addition to an automated setting within the framework of a so-called sequence control. As is customary in the professional world and, for example, also by F.
  • a “process control” is defined as a control system with an inevitably step-by-step process understood, in which the step from one step to the next according to the program takes place depending on the step conditions.
  • the steps typically correspond to successive states of the device to be controlled, in the present case successive settings of an automated microscope.
  • the switching conditions can be specified by the device to be controlled, in which case one also speaks of a process-controlled sequence control. In the present case, it is possible, for example, to move on to the next step when a certain object area has been recorded or in a certain focal position.
  • time-controlled sequence control the transition conditions are solely dependent on the time. Mixed forms are also possible.
  • object should be understood here broadly and refer to any object which can be introduced into a microscope and examined there and which can be prepared for microscopy in any way.
  • object can be biological objects in the form of cuts or smears, but also non-biological natural objects such as rocks or minerals and artificially produced objects such as wafers.
  • the present invention is basically suitable for all areas of microscopy that can be carried out, for example, in incident light, transmitted light, with illumination and / or detection in the visible wavelength range and / or with fluorescence illumination and / or fluorescence detection as well as in wide field or scanning.
  • a method is proposed in which, when it is determined when querying the hardware for recognizing device components that these device components have not been clearly identified or excluded, the microscope user is asked for corresponding information by using the information provided in Possible alternatives to the device components are listed in a dialog window in the microscope control software, for example, and the microscope user can then decide which alternatives are applicable. After a decision by the microscope user, some of the alternatives can either be excluded or new device components can be added to the list of the remaining components, so that a new, complete device configuration is created for the microscope to be controlled after the configuration files have been run through.
  • EP 1 697 782 A1 also describes a device and a method for configuring a microscope.
  • the invention there is based on the object of creating a device for teaching-in and configuring individual components of an at least partially automated microscope.
  • the microscope stand should be able to react automatically to different microscopy methods.
  • the microscope at least one having configurable assembly with multiple positions for different elements, wherein the microscope is assigned a computer with a display and at least one input means, and wherein a database is implemented in the computer in which all possible and available elements for the at least one configurable assembly are stored .
  • corresponding configuration settings are made for a user via a user interface before a corresponding experiment is carried out with the microscope.
  • wavelengths or wavelength ranges can be set as a function of an examination method to be carried out.
  • a corresponding automatic optimization can also be carried out here.
  • DE 103 61 158 B4 discloses a microscope in which several assemblies can be configured using a user interface.
  • DE 39 33 064 C2 discloses a method in which user-specific and sample-specific presettings of a microscope can be made by means of a control device.
  • DE 102012 219 775 A1 proposes the creation of a sequence for the automatic recording of images using a recording device, for example a microscope.
  • a recording device for example a microscope.
  • an experiment sequence for carrying out a complex experiment with different recording dimensions should be able to be defined by the user before the experiment begins, as they will later then be processed automatically.
  • a time interval or the entire recording duration (or the number of points in time) of a time series can be defined.
  • an area in x and y and / or z Define direction in which the sample is scanned during image acquisition, fixed exposure times and / or a laser or LED intensity for different acquisition channels.
  • a recording program is set according to step a).
  • a parameter to be monitored is specified or selected.
  • conditions with regard to the parameter and actions can also be specified as a function of the fulfillment of the conditions.
  • a sequence control is defined on this basis. This procedure corresponds to a predefinition of a sequence of settings known per se, but extended by the monitoring of a parameter and corresponding reactions. In this way, the sequence, which is still completely predetermined in a conventional manner, can be expanded to include appropriate conditions.
  • the object of the present invention is to make the configuration of a sequence control of an automated microscope simpler and more user-friendly and in this way to create an improved automated microscope system.
  • the present invention proposes a method for configuring a sequence control of an automated microscope controllable microscope components, means for carrying out a corresponding method and a microscope system set up for carrying out the method with the respective features of the independent claims. Refinements are the subject matter of the dependent claims and the description below.
  • the operator can save settings of microscope components or setting sequences in the form of setting values.
  • the settings saved in this way can then be restored by the user if necessary, as already explained in principle with reference to the prior art.
  • microscope operations can also be managed by a suitable programming language and implemented in the course of a sequence control by a suitable interpreter in corresponding actions on the microscope.
  • the present invention overcomes these disadvantages in that in the method proposed according to the invention, in a learning operating mode, certain learning settings corresponding to different setting data sets are made automatically or manually for controllable microscope components one after the other, in that a user brings at least some of the microscope components into positions that each correspond to a specific one Sample area and / or a specific focus position, and each of these positions assigns one or more examination steps to be carried out by means of the mentioned or any further microscope components, and in which the teach-in settings are evaluated automatically or manually after the teach-in settings have been made.
  • the microscope components brought into the stated positions by the user can in particular be a sample table which positions the sample in relation to the objective in the X, Y and Z directions so that the sample area in the field of view of the objective can be lateral position as well as its focus position is determined.
  • any other components that allow such positioning can also be involved. If it is said here that the user "brings" the corresponding microscope components, this can be done either by direct action (for example by manual adjustment on the respective component) or indirect action (for example via an adjustment mechanism or by means of control signals on motors).
  • the examination step or steps that can be carried out using the same or any other microscope components in any combination are, for example, examination steps that involve certain lighting methods (transmitted light, incident light, fluorescent lighting, bright field lighting, dark field lighting, phase contrast lighting, etc.) and lighting intensities (e.g. an examination with lower and higher lighting one after the other), lighting pattern (e.g. examination with Fluorescent light, then light in the visible, then by means of a certain lighting method, or for example in the form of a scanning scan such as a spiral scan).
  • lighting e.g. examination with Fluorescent light, then light in the visible, then by means of a certain lighting method, or for example in the form of a scanning scan such as a spiral scan.
  • a temperature or the like can also be changed, for example.
  • the invention is not limited by the choice of the specific test method.
  • the setting data records associated with the learning settings are each stored, discarded and / or modified for subsequent use in the form of a suitable sequence control.
  • Complex sequence controls can then be defined by stringing together the saved teach-in settings.
  • the sequence control specifies a use of the stored setting data sets in the form of setting the microscope components in accordance with the setting data sets in an examination operating mode following the learning operating mode. They can be lined up in a defined sequence that can be specified either by a user or completely automatically.
  • the sequence control includes, in particular, advancing from one step to a following step in accordance with the program as a function of advancing conditions in the form of a step-by-step sequence.
  • the steps correspond to successive settings of the microscope according to the respective setting data records.
  • the switching conditions can be specified as part of a process-controlled sequence control, for example on the basis of detected sample properties or a return value, after which a previous step is ended.
  • the switching conditions can be specified solely on the basis of an elapsed time.
  • a “setting data record” is intended here to be a data unit which is provided, output, input, transmitted or stored in a suitable manner and which has one or more setting values with respect to one or in each case a teach-in setting.
  • the present invention creates a method in which the setting data records follow the learning operating mode in a time sequence by means of a sequence control
  • Examination operating mode can be implemented one after the other in settings of certain microscope components and an examination with associated examination steps.
  • the user does not need to know in detail within the scope of the present invention the setting values that are, for example, numerically or in the form of setting values and are still used internally in this way, but only needs to make appropriate settings, for example guide a microscope stage, change an objective, select an illumination brightness and / or a light color and / or adjust the focus drive.
  • the method according to the invention includes storing corresponding values corresponding to these learned settings in the respective setting data records so that they are available in a form that can be evaluated and used by a microscope system or a corresponding control unit or a computer and, in particular, define certain examination modes for corresponding settings.
  • the present invention makes it possible, through the automatic or manual evaluation of the setting data sets associated with the respective learning settings, to keep only valid or advantageous setting data sets available for subsequent use or to modify them for subsequent use if necessary. If the respective setting data records and the learning settings achieved with them are unusable, they can be discarded and a new one Teach-in setting can be made, for example, at the same or a different point on the object and / or with the same or different settings of the microscope.
  • the examination operating mode comprises one or more acquisition steps in which the one or more examination steps are carried out in the respective sample areas and / or with the respective focus positions, image data being obtained and stored by means of the one or more acquisition steps .
  • the image data are in particular optimized by the evaluation that has already been carried out.
  • the image data obtained and stored in the one or more acquisition steps are advantageously subjected to an image analysis in one or more evaluation steps, which in particular also works with information relating to the positions and / or the examination steps carried out. In this way, a targeted evaluation corresponding to the examination method can be carried out largely automatically in the sequence control.
  • the implementation of the one or more evaluation steps can be initiated as a reaction to a user input or automatically, so that either a user can generate correspondingly evaluated data if necessary or the method can be carried out completely automatically.
  • a user input can be evaluated in the one or more evaluation steps, which for example provides additional information.
  • the setting data records or the different learning settings can relate to any components of a microscope or microscope system Respectively.
  • a corresponding microscope or microscope system includes such components, for example in the form of one or more configurable assemblies, which can have one or more different elements that can be brought into different positions by means of corresponding setting values in the setting data sets used within the scope of the present invention, for example by means of suitable stepper motors or other electromechanical actuators.
  • a computer equipped with a display and at least one input means can be assigned to the microscope or microscope system.
  • Corresponding components can, for example, be a motorized tube and / or a motorized adjustable incident light axis, a motorized objective turret, a motorized z-drive for the focus adjustment, a motorized cross table, at least one illumination device for incident or transmitted light illumination, and / or a condenser as well as a large number of control buttons or any combination of the components mentioned.
  • certain learning settings of microscope components corresponding to different setting data sets are made one after the other automatically or manually and, after being carried out, are evaluated in particular automatically or manually.
  • the automatic assessment can be carried out, for example, by an optical assessment of a microscope image obtained, but also, for example, by appropriate image processing.
  • sharpness, contrast, brightness and / or color values or other image properties can be assessed, for example also in the form of a corresponding image comparison with previously or subsequently obtained images.
  • the setting data records associated with the training settings can be stored for subsequent use, otherwise they can be discarded and / or modified, if possible, in a suitable manner for subsequent use or for a modified setting of training settings.
  • the present invention comprises, as mentioned, that a user brings certain or all microscope components into certain positions or guides them to certain positions in order to carry out the learning settings, it being possible for him or her to automate components such as, for example, on an automatically controllable filter wheel or others controllable adjusting devices, filters, prisms, beam splitters or the like, but also, for example, lenses of an automatically controllable, motorized objective turret, swivels into the illumination or observation beam path or adjusts the brightness.
  • components such as, for example, on an automatically controllable filter wheel or others controllable adjusting devices, filters, prisms, beam splitters or the like, but also, for example, lenses of an automatically controllable, motorized objective turret, swivels into the illumination or observation beam path or adjusts the brightness.
  • the user or a correspondingly automated microscope or microscope system evaluates the learned settings made in this way on the basis of the criteria mentioned.
  • a corresponding manual or automated confirmation can be used to ensure that the microscope or microscope system "remembers" the setting values used for the corresponding teach-in settings but not entered directly by the user or stored in a file in the corresponding setting data records. so that they are available for the subsequent examination mode of operation.
  • the subsequent examination operating mode can use the individual setting data records, in particular in the form of an at least partially automated sequence control, which can of course offer any user interaction options, for example to stop or modify a corresponding sequence and / or to run Change of setting values. In this way, a particularly flexible method can be created within the scope of the present invention.
  • the present invention also extends to a microscope system with a microscope and a control device which is set up to operate the microscope in a learning operating mode and in an examination operating mode, the microscope system being set up in the learning operating mode for successively determined, in each case different, setting data records make corresponding learning settings of microscope components automatically or manually by a user bringing at least some of the microscope components into positions that each correspond to a specific sample area and / or a specific focus position, and each of these positions one or more, by means of the microscope components or other microscope components (2- 53) assigns the examination steps to be carried out, and to evaluate the teach-in settings automatically or manually after they have been made, as well as the settings associated with the teach-in settings depending on the evaluation to store, discard and / or modify ng data sets for subsequent use in a sequence control, the sequence control being set up to use the stored setting data sets in the form of a specification of a setting of the microscope components according to the setting data sets in an examination operating mode following the learning operating mode.
  • the present invention can be implemented using a wide variety of microscopy methods and correspondingly set up microscopes, for example using reflected light, transmitted light, light sheet, (laser) scanning or fluorescence microscopes.
  • the present invention also relates to a control unit for a microscope or microscope system, which can be set up to carry out a method, as has been explained above in different configurations. Reference is therefore expressly made here to the corresponding explanations. This also applies to the proposed computer program or a corresponding computer program product stored on a data carrier or a server or the like.
  • Some or all of the method steps can be carried out within the scope of the invention by (or using) a hardware device, for example comprising a processor, a microprocessor, a programmable computer or an electronic circuit. In some exemplary embodiments, one or more of the most important method steps can be carried out by such a device.
  • embodiments of the invention can be implemented in hardware or software.
  • the implementation can be carried out with a non-volatile storage medium such as a floppy disk, a DVD, a Blu-Ray disc, a CD, a ROM, a PROM and EPROM, an EEPROM or a FLASH memory, on which electronically readable Control signals are stored, which interact (or can interact) with a programmable computer system in such a way that the respective method is carried out. Therefore, the storage medium can be computer readable.
  • Some exemplary embodiments include a data carrier with electronically readable control signals which can interact with a programmable computer system so that one of the methods described herein is carried out.
  • exemplary embodiments of the present invention can be implemented as a computer program product with a program code, the program code being effective for executing one of the methods when the computer program product is running on a computer.
  • the program code can be stored on a machine-readable carrier, for example.
  • an embodiment of the present invention is therefore a computer program with a program code for carrying out one of the methods described herein when the computer program runs on a computer.
  • a further exemplary embodiment of the present invention is therefore a storage medium (or a data carrier or a computer-readable medium) which comprises a computer program stored thereon for executing one of the methods described herein when it is executed by a processor.
  • the data carrier, the digital storage medium or the recorded medium are usually tangible and / or not seamless.
  • Another embodiment of the present invention is an apparatus as described herein comprising a processor and the storage medium.
  • a further exemplary embodiment of the invention is therefore a data stream or a signal sequence which represents the computer program for carrying out one of the methods described herein.
  • the data stream or the signal sequence can be configured, for example, so that it has a
  • Another embodiment comprises a processing means, for example a computer, a control unit or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.
  • a processing means for example a computer, a control unit or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.
  • Another exemplary embodiment of the invention comprises a computer on which the computer program for executing one of the methods described herein or any configurations thereof is installed.
  • Another embodiment according to the present invention comprises an apparatus or a system that is configured to transmit (for example electronically or optically) a computer program for carrying out one of the methods described herein to a receiver.
  • the receiver can be, for example, a computer, a mobile device, a storage device, or the like.
  • the device or the system can for example comprise a file server for transmitting the computer program to the recipient.
  • a programmable logic device e.g., a field programmable gate array, FPGA
  • FPGA field programmable gate array
  • a field programmable gate array can cooperate with a microprocessor to perform one of the methods described herein .
  • the methods are preferably performed by any hardware device.
  • Embodiments of the present invention can be based on using a machine learning model or machine learning algorithm.
  • the evaluation carried out according to the invention can be affected by this.
  • Machine learning can rely on algorithms and statistical models that computer systems can use to perform a particular task without the use of explicit instructions, rather than relying on models and interference.
  • a transformation of data can be used that can be derived from an analysis of course and / or training data.
  • the content of images can be analyzed using a machine learning model or using a machine learning algorithm, and the evaluation according to the invention can thus be carried out.
  • the machine learning model can analyze the content of an image, for example, the machine learning model can be trained using training images as input and training content information as output.
  • the machine learning model By training the machine learning model with a large number of training images and / or training sequences (e.g. words or sentences) and assigned training content information (e.g. labels or annotations), the machine learning model "learns" to recognize the content of the images so that the content of images contained in the training data is not included can be recognized using the machine learning model.
  • the machine learning model By training a machine learning model using training sensor data and a desired output, the machine learning model “learns” a conversion between the sensor data and the output, which can be used to generate an output based on an provide the machine learning model provided non-training sensor data.
  • the data provided (for example sensor data, metadata and / or image data) can be preprocessed in order to obtain a feature vector which is used as an input for the machine learning model.
  • Machine learning models can be trained using training input data. The examples above use a training process called “supervised learning”.
  • the machine learning model is trained using a plurality of training samples, each sample being able to include a plurality of input data values and a plurality of desired output values, ie a desired output value is assigned to each training sample.
  • the machine learning model "learns" which output value to provide based on an input sample that is similar to the samples provided during training.
  • semi-supervised learning can also be used. In semi-supervised learning, some of the training samples lack a desired output value.
  • Supervised learning can be based on a supervised learning algorithm (for example a classification algorithm, a regression algorithm or a similarity learning algorithm).
  • Classification algorithms can be used when the outputs are constrained to a finite set of values (categorical variables), that is, the input is classified as one of the finite set of values.
  • Regression algorithms can be used when the outputs show any numerical value (within a range).
  • Similarity learning algorithms can be similar to both classification and regression algorithms, but are based on learning from examples using a similarity function that measures how similar or related two objects are.
  • unsupervised learning can be used to train the machine learning model.
  • unsupervised learning (only) input data may be provided and an unsupervised learning algorithm can be used to find a structure in the input data (e.g. by grouping or clustering the input data, finding similarities in the data).
  • Clustering is the assignment of input data that comprise a plurality of input values, in subsets (clusters), so that input values within the same cluster are similar according to one or more (predefined) similarity criteria, while they are dissimilar to input values included in other clusters.
  • Reinforcement learning is a third group of machine learning algorithms.
  • reinforcement learning can be used to train the machine learning model used.
  • one or more software actors are trained to take action in an environment.
  • a reward is calculated based on the actions taken.
  • Reinforcement learning is based on training the one or more software agents to select the actions so that the cumulative reward is increased, resulting in software agents who become better (as by increasing) at the task they are given Proven rewards).
  • feature learning can be used.
  • the machine learning model can be trained at least partially using feature learning, and / or the machine learning algorithm can comprise a feature learning component.
  • Feature learning algorithms called representation learning algorithms, can preserve the information in their input but transform it so that it becomes useful, often as a preprocessing stage before performing the classification or prediction.
  • feature learning can be based on a principal component analysis or a cluster analysis.
  • anomaly detection ie, outlier detection
  • Machine learning model can be trained at least in part using anomaly detection, and / or the machine learning algorithm can comprise an anomaly detection component.
  • the machine learning algorithm can use a decision tree as a predictive model.
  • the machine learning model can be based on a decision tree.
  • the observations on an item e.g., a set of input values
  • an output value corresponding to the item can be represented by the leaves of the decision tree.
  • Decision trees can support both discrete and continuous values as output values. If discrete values are used, the decision tree can be called a classification tree, whereas if continuous values are used, the decision tree can be called a regression tree.
  • Association rules are another technique that can be used in machine learning algorithms.
  • the machine learning model can be based on one or more association rules.
  • Association rules are created by identifying relationships between variables in large amounts of data.
  • the machine learning algorithm can identify and / or use one or more relationship rules that represent the knowledge derived from the data.
  • the rules can be used, for example, to store, manipulate or apply the knowledge.
  • Machine learning algorithms are usually based on a machine learning model.
  • the term “machine learning algorithm” can refer to a set of instructions that can be used to create, train, or use a machine learning model.
  • the term “machine learning model” can be a Identify data structure and / or a set of rules that represent the knowledge learned (e.g. based on the training carried out by the machine learning algorithm).
  • the use of a machine learning algorithm can imply the use of an underlying machine learning model (or a plurality of underlying machine learning models).
  • the use of a machine learning model can imply that the machine learning model and / or the data structure / set of rules which is / are the machine learning model is trained by a machine learning algorithm.
  • the machine learning model can be an artificial neural network (ANN).
  • ANN are systems inspired by biological neural networks such as those found in a retina or a brain.
  • ANNs comprise a plurality of interconnected nodes and a plurality of connections, so-called edges, between the nodes.
  • Each node can represent an artificial neuron.
  • Each edge can send information from one node to another.
  • the output of a node can be defined as a (nonlinear) function of the inputs (e.g. the sum of its inputs).
  • a node's inputs can be used in the function based on a "weight" of the edge or the node providing the input.
  • the weight of nodes and / or of edges can be adjusted in the learning process.
  • the training of an artificial neural network can comprise an adaptation of the weights of the nodes and / or edges of the artificial neural network, i. E. H. to achieve a desired output for a particular input.
  • the machine learning model can be a support vector machine, a random forest model or a gradient boosting model.
  • Support-Vector- Machines ie support vector networks
  • Support vector machines are supervised learning models with associated learning algorithms that can be used to analyze data (e.g. in a classification or regression analysis).
  • Support vector machines can be trained by providing input with a plurality of training input values belonging to one of two categories. The support vector machine can be trained to assign a new input value to one of the two categories.
  • the machine learning model can be a Bayesian network that is a probabilistic, directional, acyclic graphical model.
  • a Bayesian network can represent a set of random variables and their conditional dependencies using a directed acyclic graph.
  • the machine learning model can be based on a genetic algorithm, which is a search algorithm and heuristic technique that mimics the process of natural selection.
  • FIG. 1 shows an automatable upright microscope system that can be used within the scope of an embodiment of the present invention.
  • FIG. 2 shows an automatable inverted microscope system that can be used within the scope of an embodiment of the present invention.
  • FIG. 3 shows an automatable microscope system that can be used within the scope of an embodiment of the present invention in a different representation.
  • FIG. 4 illustrates a method according to an embodiment of the present invention in a learning operating mode.
  • elements that correspond to one another that is to say the same or similarly constructed elements or elements with an identical or comparable effect, are indicated with identical reference symbols and are not explained repeatedly for the sake of clarity.
  • FIGS. 1 and 2 show automatable microscope systems designated by 200 which can be used within the framework of embodiments of the present invention.
  • the microscopes are each designated by 1, FIG. 1 illustrating an upright microscope 1, while FIG. 2 illustrates an inverted microscope.
  • the microscopes 1 each include a stand 2, which in the configurations shown in FIGS. 1 and 2 each has a stand base 3 and a stand column 4.
  • two light sources 14 and, according to FIG. 2, one light source are provided in order to generate incident and transmitted light illumination in the embodiment according to FIG. 1 and only transmitted light illumination in the embodiment according to FIG.
  • a microscope stage 41 is provided on which, for example, a filter holder (not shown separately) can also be provided and which can be moved by means of a motor 42. Data can be stored in an internal memory 47 of the microscope 1.
  • drive buttons 28 can be provided on both sides of the stand 2, as shown here only in FIG. 3, with which, for example, a microscope stage 41 can be adjusted in its height (z-direction). It is also conceivable to also place other functions on the drive knob 28.
  • a plurality of control buttons can also be provided, via which microscope functions can also be switched.
  • the microscope functions are, for example, changing the filter, selecting the aperture, moving the turret, etc.
  • an objective 37 can be attached in an objective turret 36 (see FIG. 3).
  • a condenser 24 can be provided opposite the objective turret 36 (see also FIG. 3 in this regard).
  • a computer 17 is also assigned to the microscope 1.
  • the computer 17 is provided with input means 19 and a display 21.
  • the input means 19 comprise a keyboard and a mouse. It goes without saying, however, that further input means 19 can be used in addition to a keyboard.
  • the computer 17 represents a control device here; however, any other control devices or external control devices 80, for example integrated in the microscope 1, can also be provided.
  • a suitable camera 51 is arranged on a tube 51 or a corresponding camera outlet, which is located in the stand base 3 according to FIG. A sample is denoted by 60.
  • FIG. 3 schematically shows an automatable microscope system with a microscope 1 that can be used within the scope of an embodiment of the present invention. It can also be the microscope systems shown in FIGS. 1 and 2, which are shown again schematically here and explained in more detail.
  • the microscope 1 and the various configurable assemblies of the microscope 1 are illustrated here in some cases more schematically than before. Each of these assemblies can represent a component or microscope component that can be set within the scope of the invention, for which purpose the corresponding setting data records can be used.
  • the term “assembly” can therefore stand for one or more such microscope components which can be set according to the invention or for which setting data can be generated in corresponding setting data records. If one or more components are “taught-in” below, this can be done using a method according to an embodiment of the invention and include the multiple-mentioned steps for creating the teach-in data records.
  • One of the configurable assemblies is the already mentioned objective turret 36.
  • setting data records can be used which correspond to or have data on each individual objective 37 or which select a corresponding objective
  • the objective nosepiece 36 is motorized and is driven by a motor
  • each objective 37 is the objective magnification, the article number of the objective (a unique key for the respective order processing), the objective mode (for example dry objective, immersion objective or a combination of dry and immersion objective), the aperture which is used for the respective objective 37 optimal step size in the z direction (focus) and the optimal step size for the respective objective for an x / y shift (cross table).
  • the cross table 41 is assigned to the microscope 1 and a sample placed on the cross table 41 (not shown in FIG. 3) can be moved in a desired direction by means of the cross table.
  • a motor 42 is provided for moving the cross table 41 in the z direction (focus) and in the x and y directions.
  • the adjustment of the cross table 41 in the z direction can of course also be carried out manually at any time using the drive knob 28.
  • the lighting methods to be carried out with the respective objective 37 are taught in or a setting data set used in an embodiment of the invention can include control or setting values for the lighting.
  • a lamp 14 is assigned to the microscope 1 for an incident light axis 14a and a transmitted light axis 14b.
  • the illumination methods supported by the objectives 37 can, for example, be a bright field, a fluorescence difference contrast, a fluorescence phase contrast, a fluorescence an incident light polarization contrast, an incident light difference contrast, an incident light dark field, an incident light oblique light, a Including incident light bright field, transmitted light polarization contrast, transmitted light differential contrast, transmitted light dark field, transmitted light phase contrast or transmitted light bright field illumination.
  • the values of the light sources 14 are taught in for the individual lighting methods or the setting data records used in the context of the present invention can relate to them.
  • the values for the aperture diaphragm for transmitted light for the respective method and the luminous field diaphragm for transmitted light for the respective method are also taught in for the respective method, as well as the luminous field diaphragm for incident light for the respective method or the setting data records used in the context of the present invention can relate to these.
  • the position of an interference contrast disc to be set for the respective method can optionally be learned or the setting data records used in the context of the present invention can relate to them.
  • the position of the condenser to be set can be learned for the respective method or the setting data records used in the context of the present invention can relate to them.
  • the data for the illumination axis for fluorescence can also be learned in or can relate to the setting data sets used in the context of the present invention. These data are the name of the respective filter block, the article number of the filter block, the lighting method in which the filter block can be inserted into the beam path (or lighting axis) and what is known as dazzle protection.
  • a wheel position for interference contrast can also be taught in or the setting data sets used in the context of the present invention can relate to them.
  • the name of the respective filter block must be taught in for each position.
  • the data can be taught in for each position or the setting data sets used in the context of the present invention can relate to them. It is, for example, the name of the prism to be pivoted into the beam path 39 or the name of the phase ring to be pivoted into the beam path 39.
  • the condenser 24 can also be motorized in order to automatically pivot the prism and the phase ring in the beam path 39 of the condenser.
  • a magnification changer 46 can also be taught in or the setting data records used in the context of the present invention can relate to them.
  • the article number, the number of positions of the magnification changer 46 and the like can be learned.
  • the magnification values are also at the corresponding positions in the
  • the magnification changer is located between the tube and the objective nosepiece in the beam path.
  • the configuration of the tube 50 of the microscope 1 (motorized and / or mechanical) can be learned, or the setting data records used in the context of the present invention can relate to them.
  • an article number of the tube 50 can be entered. With the tube 50 used, the number of outputs is therefore decisive.
  • An output for a camera 51 and an output for an eyepiece 52 can be arranged on the tube 50, for example.
  • the light intensity can also be distributed to the various outputs. A distribution of the light intensity would be, for example, 50% of the light intensity on the visual exit and the remaining 50% on the exit to the photo tube. It can also be important to teach in the article number of the eyepieces used and, if necessary, the magnification associated with the eyepieces.
  • the article number of the camera mount used can also be taught in together with the enlargement of the camera mount, if necessary.
  • control buttons 30 or function keys can be located in the area around the drive button 28. These function keys can be assigned differently. For example, in a configuration within the scope of an embodiment of the invention, a short name for the key assignment can be entered. Furthermore, a command which is executed when a key is actuated can be determined by a configuration within the scope of an embodiment of the present invention. The command that is triggered when the function key is released can also be configured accordingly. In addition, there is the command repetition rate when the function key is held down.
  • FIG. 4 illustrates a method according to an embodiment of the present invention in a learning operating mode and in the form of a schematic flow chart 100 with a plurality of method steps plotted over a time axis 110.
  • the method 100 begins with a step 101, for example with an initialization or the provision of the electronic and software resources required for the method 100.
  • a step 102 a learning setting of microscope components corresponding to a first setting data set, as shown in FIG Figures explained above are shown, made automatically or manually in the manner explained above. It can be any of the previously explained and any other teach-in settings.
  • step 103 After the training settings have been made in step 102, these training settings are evaluated in a step 103, in particular automatically or manually. Depending on this evaluation in step 103, the setting data records associated with the training settings are each stored in a sequence control for subsequent use if they correspond to an expected value or the same, or otherwise discarded and / or modified.
  • the method can be continued with the making of second learning settings in a step 104 or the evaluation in a step 105; in the latter case, for example, the first teach-in settings can be carried out again (for example modified) in step 103.
  • the method 100 ends after any further learning settings have been made and their evaluation (summarized here with 105) in a step 106. An examination operating mode can then be carried out.
  • the present invention creates a method in which the setting data records follow the learning operating mode in a time sequence by means of a sequence control
  • Examination operating mode can be implemented successively in settings of certain microscope components.
  • the setting values which are present numerically or in the form of control values and are still used internally in this way, are not known in detail, but only has to make appropriate settings, for example guide a microscope stage, change an objective, an illumination brightness and / or a Select light color and / or adjust the focus drive.
  • the method according to the invention comprises storing corresponding values corresponding to these user settings in the respective setting data records so that they are provided in a form that can be evaluated and used by a microscope system or a corresponding control unit or a computer.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren (100) zur Konfiguration einer Ablaufsteuerung eines automatisierten Mikroskops (1), bei dem in einem Lernbetriebsmodus des Verfahrens (100) nacheinander jeweils Einstellungsdatensätzen entsprechende Anlerneinstellungen von Mikroskopkomponenten (2-53) automatisch oder manuell vorgenommen werden, indem ein Benutzer zumindest einen Teil der Mikroskopkomponenten (2-53) in Positionen bringt, die jeweils einem bestimmten Probenbereich und/oder einer bestimmten Fokuslage entsprechen, und jeder dieser Positionen einen oder mehrere, mittels der oder weiterer Mikroskopkomponenten (2-53) vorzunehmende Untersuchungsschritte zuweist, und bei dem die Anlerneinstellungen nach der Vornahme automatisch oder manuell bewertet werden, wobei in Abhängigkeit von der Bewertung werden die den Anlerneinstellungen zugehörigen Einstellungsdatensätze für eine nachfolgende Verwendung in der Ablaufsteuerung gespeichert, verworfen und/oder modifiziert werden, wobei die Ablaufsteuerung eine Verwendung der gespeicherten Einstellungsdatensätze in Form einer Einstellung der Mikroskopkomponenten (2- 53) gemäß den Einstellungsdatensätzen in einem dem Lernbetriebsmodus nachfolgenden Untersuchungsbetriebsmodus vorgibt. Mittel zur Implementierung des Verfahrens und ein Mikroskopsystem sind ebenfalls Gegenstand der vorliegenden Erfindung.

Description

Verfahren zum Konfigurieren einer Ablaufsteuerung eines automatisierten Mikroskops und Mittel zu dessen Durchführung sowie Mikroskopsystem
Die Erfindung betrifft ein Verfahren zum Konfigurieren einer Ablaufsteuerung eines automatisierten Mikroskops, Mittel zur Durchführung eines entsprechenden Verfahrens und ein zur Durchführung des Verfahrens eingerichtetes Mikroskopsystem.
Technischer Hintergrund
Im Zuge von Experimenten in der Mikroskopie ist es häufig erforderlich, eine zu untersuchende Probe nacheinander bzw. sequentiell mit unterschiedlichen Einstellungen und/oder an unterschiedlichen Positionen zu untersuchen sowie entsprechende Ergebnisse zu analysieren und zu bewerten.
Entsprechende Positionen umfassen insbesondere unterschiedliche Positionen in der Ebene eines Mikroskoptischs, auch als x-/y-Positionen bezeichnet, die in automatisierten Mikroskopen durch eine entsprechende motorisierte Verstellung eines Kreuztischs, auch als x-/y-Tisch bezeichnet, angefahren werden können, aber auch unterschiedliche Abstände des Objektivs zum Objekt, auch als y-Positionen bezeichnet, die in derartigen automatisierten Mikroskopen durch eine entsprechende motorisierte Verstellung eines Fokustriebs eingestellt werden können ln jedem Fall können entsprechende unterschiedliche Positionen neben einer automatisierten Einstellung im Rahmen einer sogenannten Ablaufsteuerung auch manuell eingestellt werden. Unter einer „Ablaufsteuerung“ wird hier, wie in der Fachwelt üblich und beispielsweise auch bei F. Tröster, „Regelungs- und Steuerungstechnik für Ingenieure: Band 2: Steuerungstechnik“, De Gruyter, 2015, definiert, eine Steuerung mit einem insbesondere zwangsläufig schrittweisen Ablauf verstanden, bei dem das Weiterschalten von einem Schritt auf den programmgemäß folgenden abhängig von Weiterschaltbedingungen erfolgt. Die Schritte entsprechen dabei typischerweise aufeinander folgenden Zuständen der zu steuernden Einrichtung, im vorliegenden Fall aufeinander folgenden Einstellungen eines automatisierten Mikroskops. Die Weiterschaltbedingungen können von der zu steuernden Einrichtung vorgegeben werden, in welchem Fall man auch von einer prozessgeführten Ablaufsteuerung spricht. Im vorliegenden Fall kann beispielsweise dann, wenn eine Aufnahme eines bestimmten Objektbereichs oder in einer bestimmten Fokuslage vorgenommen wurde, zum nächsten Schritt übergegangen werden. Bei einer zeitgeführten Ablaufsteuerung sind die Weiterschaltbedingungen alleine von der Zeit abhängig. Auch Mischformen sind möglich.
Der Begriff „Objekt“ soll hier breit verstanden werden und sich auf einen beliebigen, in ein Mikroskop einbringbaren und dort untersuchbaren Gegenstand beziehen, der in beliebiger Weise für die Mikroskopie vorbereitet sein kann. Beispielsweise kann es sich um biologische Objekte in Form von Schnitten oder Ausstrichen, aber auch um nichtbiologische natürliche Gegenstände wie Gesteine oder Mineralien sowie künstlich hergestellte Gegenstände wie beispielsweise Wafer handeln. Die vorliegende Erfindung eignet sich grundsätzlich für alle Gebiete der Mikroskopie, die beispielsweise im Auflicht, Durchlicht, mit Beleuchtung und/oder Detektion im sichtbaren Wellenlängenbereich und/oder mit Fluoreszenzbeleuchtung und/oder Fluoreszenzdetektion sowie im Weitfeld oder scannend durchgeführt werden kann.
Um unterschiedliche Mikroskope mittels einer Software richtig ansteuern zu können, benötigt diese Software, wie in der DE 102008016262 B4 angegeben, Informationen über die Gerätekonfiguration der anzusteuernden Mikroskope. Entsprechende Daten können mittels eines automatischen Suchlaufs ermittelt werden, der allerdings nicht immer zu richtigen Ergebnissen führen muss.
Daher wird in dieser Druckschrift in einer Ausgestaltung ein Verfahren vorgeschlagen, bei dem dann, wenn bei der Abfrage der Hardware zur Erkennung von Gerätekomponenten festgestellt wird, dass diese Gerätekomponenten nicht eindeutig erkannt oder ausgeschlossen wurden, der Mikroskopbenutzer nach entsprechenden Information gefragt wird, indem die in Frage kommenden Alternativen zu den Gerätekomponenten beispielsweise in einem Dialogfenster in der Mikroskopsteuersoftware aufgelistet werden und der Mikroskopbenutzer dann entscheiden kann, welche Alternativen anwendbar sind. Dabei können nach einer Entscheidung des Mikroskopbenutzers entweder schon ein Teil der Alternativen ausgeschlossen oder neue Gerätekomponenten zur Liste der verbleibenden Komponenten hinzugefügt werden, so dass dem nach Durchlauf der Konfigurationsdateien eine neue vollständige Gerätekonfiguration für das anzusteuernde Mikroskop erstellt wird.
Die DE 102008016262 B4 schafft damit ein Verfahren, das die grundlegende Konfiguration eines Mikroskops definiert, so dass die Grundlagen für eine spätere Ansteuerung geschaffen sind. Spezifische Einstellungen werden hier nicht vorgenommen. ln der EP 1 697 782 Al sind ebenfalls eine Vorrichtung und ein Verfahren zur Konfiguration eines Mikroskops beschrieben. Der dortigen Erfindung liegt die Aufgabe zugrunde, eine Einrichtung zum Einlernen und Konfigurieren einzelner Komponenten eines zumindest teilweise automatisierten Mikroskops zu schaffen. Das Stativ des Mikroskops soll dabei in der Lage sein, auf unterschiedliche Mikroskopierverfahren automatisiert zu reagieren.
Zur Lösung dieser Aufgabe wird in der genannten Druckschrift vorgeschlagen, eine Einrichtung zur Konfiguration eines zumindest teilweise automatisierten oder motorisierten Mikroskops bereitzustellen, wobei das Mikroskop mindestens eine konfigurierbare Baugruppe mit mehreren Positionen für unterschiedliche Elemente aufweist, wobei dem Mikroskop ein Computer mit einem Display und mindestens einem Eingabemittel zugeordnet ist, und wobei in dem Computer eine Datenbank implementiert ist, in der alle möglichen und verfügbaren Elemente für die mindestens eine konfigurierbare Baugruppe abgelegt sind.
In dem soeben angesprochenen Verfahren werden für einen Benutzer über ein Benutzerinterface entsprechende Konfigurationseinstellungen vorgenommen, bevor mit dem Mikroskop ein entsprechendes Experiment durchgeführt wird.
Wie beispielsweise in der US 7,593,158 B2 beschrieben, können in einem entsprechenden automatisierten Mikroskop beispielsweise Wellenlängen bzw. Wellenlängenbereiche in Abhängigkeit von einem vorzunehmenden Untersuchungsverfahren eingestellt werden. Hierbei kann auch eine entsprechende automatische Optimierung vorgenommen werden. In der DE 103 61 158 B4 ist ein Mikroskop offenbart, in dem mehrere Baugruppen unter Verwendung eines User-Interface konfiguriert werden können. Die DE 39 33 064 C2 offenbart ein Verfahren, bei dem mittels einer Steuereinrichtung benutzer- und probenspezifische Voreinstellungen eines Mikroskops vorgenommen werden können.
Die DE 102012 219 775 Al schlägt die Erstellung eines Ablaufs zur automatischen Aufnahme von Bildern unter Verwendung einer Aufnahmevorrichtung, z.B. eines Mikroskops, vor. Mittels einer Einstelleinheit soll dabei ein Experimentablauf zur Durchführung eines komplexen Experimentes mit verschiedenen Aufnahmedimensionen (Zeit, Dimension in x-, y- und z-Richtung, Farben und Kontraste, etc.) vor dem Experimentbeginn von dem Benutzer festgelegt werden können, wie sie später dann automatisch abgearbeitet werden. So kann ein Zeitintervall oder die gesamte Aufnahmedauer (oder die Anzahl der Zeitpunkte) einer Zeitserie definiert werden. Es ist auch möglich, mehrere Positionen auf dem Präparat in x-, y- und z-Richtung (räumlich), einen Bereich in x- und y- und/oder z- Richtung, in dem die Probe während der Bildaufnahme abgefahren wird, feste Belichtungszeiten und/oder eine Laser- oder LED-lntensität für verschiedene Aufnahmekanäle zu definieren.
Wie in dieser Druckschrift beansprucht, wird gemäß einem Schritt a) ein Aufnahmeprogramm eingestellt. Gemäß einem Schritt b) wird ein zu überwachender Parameter vorgegeben bzw. ausgewählt. Gemäß Schritt c) können auch Bedingungen hinsichtlich des Parameters und Aktionen in Abhängigkeit von der Erfüllung der Bedingungen vorgegeben werden. Gemäß Schritt c) wird auf dieser Grundlage eine Ablaufsteuerung definiert. Dieses Vorgehen entspricht einer per se bekannten Vordefinition eines Ablaufs von Einstellungen, jedoch erweitert um die Überwachung eines Parameters und entsprechende Reaktionen. Auf diese Weise kann der - aber noch vollständig in herkömmlicher Weise vorgegebene - Ablauf um entsprechende Bedingungen erweitert werden.
Die zitierten Druckschriften offenbaren damit einerseits die Bereitstellung möglichst vollständiger und korrekter Konfigurationsinformationen, die einer automatischen Ansteuerung zugrunde liegen können, und andererseits die Vordefinition eines automatischen Ablaufs, ggf. erweitert durch die Auswertung eines Parameters und eine entsprechende Reaktion hierauf. Die Erstellung des automatischen Ablaufs selbst wird hierdurch jedoch nicht verändert.
Die vorliegende Erfindung stellt sich die Aufgabe, die Konfiguration einer Ablaufsteuerung eines automatisierten Mikroskops einfacher und benutzerfreundlicher zu gestalten und auf diese Weise ein verbessertes automatisiertes Mikroskopsystem zu schaffen.
Offenbarung der Erfindung
Vor diesem Hintergrund schlägt die vorliegende Erfindung ein Verfahren zur Konfiguration einer Ablaufsteuerung eines automatisierten Mikroskops mit ansteuerbaren Mikroskopkomponenten, Mittel zur Durchführung eines entsprechenden Verfahrens und ein zur Durchführung des Verfahrens eingerichtetes Mikroskopsystem mit den jeweiligen Merkmalen der unabhängigen Patentansprüche vor. Ausgestaltungen sind jeweils Gegenstand der abhängigen Patentansprüche sowie der nachfolgenden Beschreibung.
Bei der Konfiguration automatisierter Mikroskope können beispielsweise vom Bediener Einstellungen von Mikroskopkomponenten oder Einstellsequenzen in Form von Einstellwerten gespeichert werden. Die auf diese Weise gespeicherten Einstellungen können anschließend bei Bedarf durch den Anwender wiederhergestellt werden, wie grundsätzlich bereits unter Bezugnahme auf den Stand der Technik erläutert.
Es ist weiterhin bekannt, alternativ oder zusätzlich zur automatisierten Erstellung von Makros die von dem Anwender getätigten Operationen am Mikroskop aufzuzeichnen und bei Bedarf abzurufen. Desweiteren können Mikroskopoperationen können auch durch eine geeignete Programmiersprache verwaltet und im Zuge einer Ablaufsteuerung durch einen geeigneten Interpreter in entsprechende Aktionen am Mikroskop umgesetzt werden.
Diese bekannten Verfahren weisen jedoch Nachteile auf. Bei der manuellen Speicherung von Einstellungen von Komponenten und deren Abruf kann zwar ggf. ein eingelernter und somit abgespeicherter Zustand wiederhergestellt werden, es ist aber keine Ablaufsteuerung durchführbar. Bei der Erstellung von Makros können zwar komplexere Sequenzen aufgezeichnet und wieder abgerufen werden, es besteht jedoch keine Möglichkeit, den vordefinierten Ablauf durch Benutzerinteraktionen zu beeinflussen, so dass auch falsche Einstellungen entsprechend vorgenommen werden. Die klassische Programmierung deckt zwar alle Freiheitsgrade ab, jedoch sind hier in der Regel ein Erlernen einer Programmiersprache und Grundkenntnisse zur Programmierung nötig. Die vorliegende Erfindung überwindet diese Nachteile dadurch, dass in dem erfindungsgemäß vorgeschlagenen Verfahren in einem Lernbetriebsmodus nacheinander jeweils bestimmte, unterschiedlichen Einstellungsdatensätzen entsprechende Anlerneinstellungen von ansteuerbaren Mikroskopkomponenten automatisch oder manuell vorgenommen werden, indem ein Benutzer zumindest einen Teil der Mikroskopkomponenten in Positionen bringt, die jeweils einem bestimmten Probenbereich und/oder einer bestimmten Fokuslage entsprechen, und jeder dieser Positionen einen oder mehrere, mittels der genannten oder beliebiger weiterer Mikroskopkomponenten vorzunehmende Untersuchungsschritte zuweist, und bei dem die Anlerneinstellungen nach der Vornahme der Anlerneinstellungen automatisch oder manuell bewertet werden.
Bei den von dem Benutzer in die genannten Positionen gebrachten Mikroskopkomponenten kann es sich insbesondere um einen Probentisch handeln, der die Probe gegenüber dem Objektiv in X-, Y- und Z-Richtung positioniert, so dass der im Betrachtungsfeld des Objektivs liegende Probenbereich sowohl hinsichtlich seiner lateralen Position als auch seiner Fokusposition festgelegt wird. Es kann sich jedoch auch um beliebige andere Komponenten handeln, die eine derartige Positionierung zulassen. Ist hier davon die Rede, dass der Benutzer die entsprechenden Mikroskopkomponenten "bringt", kann dies eine durch eine direkte Einwirkung (beispielsweise durch manuelle Verstellung an der jeweiligen Komponente) oder eine indirekte Einwirkung (beispielsweise über einen Verstellmechanismus oder mittels Ansteuersignale an Motoren) erfolgen.
Der oder die Untersuchungsschritte, die unter Verwendung derselben oder beliebiger weiterer Mikroskopkomponenten in beliebiger Kombination erfolgen können, handelt es sich beispielsweise um Untersuchungsschritte, die bestimmte Beleuchtungsverfahren (Durchlicht, Auflicht, Fluroeszenzbeleuchtung, Hellfeldbeleuchtung, Dunkelfeldbeleuchtung, Phasenkontrastbeleuchtung usw.) und Beleuchtungsintensitäten (z.B. eine Untersuchung mit geringerer und stärkerer Beleuchtung nacheinander), Beleuchtungsmuster (z.B. Untersuchung mit Fluoreszenzlicht, dann Licht im Sichtbaren, dann mittels eines bestimmtem Beleuchtungsverfahrens, oder beispielsweise in Form einer scannenden Abtastung wie eines Spiralscans) umfassen können. Neben der Beleuchtung kann auch beispielsweise eine Temperatur oder dergleichen geändert werden. Die Erfindung ist durch die Wahl des spezifischen Untersuchungsverfahrens nicht beschränkt. ln Abhängigkeit von dieser Bewertung werden die den Anlerneinstellungen zugehörigen Einstellungsdatensätze jeweils für eine nachfolgende Verwendung in Form einer geeigneten Ablaufsteuerung gespeichert, verworfen und/oder modifiziert. Durch Aneinanderreihen der gespeicherten Anlerneinstellungen können dann komplexe Ablaufsteuerungen definiert werden. Die Ablaufsteuerung gibt eine Verwendung der gespeicherten Einstellungsdatensätze in Form einer Einstellung der Mikroskopkomponenten gemäß den Einstellungsdatensätzen in einem dem Lernbetriebsmodus nachfolgenden Untersuchungsbetriebsmodus vor. Das Aneinanderreihen kann in einer definierten Reihenfolge erfolgen, die entweder von einem Benutzer oder aber vollständig automatisch vorgegeben werden kann.
Die Ablaufsteuerung umfasst insbesondere das Weiterschalten von einem Schritt auf einen programmgemäß folgenden Schritt in Abhängigkeit von Weiterschaltbedingungen in Form eines schrittweisen Ablaufs. Die Schritte entsprechen dabei aufeinander folgenden Einstellungen des Mikroskops gemäß den jeweiligen Einstellungsdatensätzen. Die Weiterschaltbedingungen können im Rahmen einer einer prozessgeführten Ablaufsteuerung vorgegeben werden, beispielsweise aufgrund detektierter Probeneigenschaften oder eines Rückgabewerts, wonach ein voriger Schritt beendet ist. Alternativ oder zusätzlich können in einer zeitgeführten Ablaufsteuerung die Weiterschaltbedingungen alleine auf Grundlage einer verstrichenen Zeit vorgegeben werden. Im Rahmen der vorliegenden Erfindung ist auch eine Mischform einer prozess- und einer zeitgeführten Ablaufsteuerung möglich. Ein „Einstellungsdatensatz“ soll hier eine in geeigneter Weise bereitgestellte, ausgegebene, eingegebene, übertragene oder gespeicherte Dateneinheit sein, die einen oder mehrere Einstellwerte bezüglich einer oder jeweils einer Anlerneinstellung aufweist.
Auf diese Weise schafft die vorliegende Erfindung ein Verfahren, bei dem in einer zeitlichen Abfolge, mittels einer Ablaufsteuerung, die Einstellungsdatensätze in einem sich an den Lernbetriebsmodus anschließenden
Untersuchungsbetriebsmodus nacheinander in Einstellungen von bestimmten Mikroskopkomponenten und eine Untersuchung mit zugehörigen Untersuchungsschritten umgesetzt werden können. Im Gegensatz zu einer manuellen Definition über Einstellwerte braucht der Benutzer dabei im Rahmen der vorliegenden Erfindung die beispielsweise numerisch bzw. in Form von Stellwerten vorliegenden und intern weiterhin auf diese Weise verwendeten Einstellwerte nicht im Detail zu kennen, sondern er muss lediglich entsprechende Einstellungen vornehmen, beispielsweise einen Mikroskoptisch führen, ein Objektiv wechseln, eine Beleuchtungshelligkeit und/oder eine Lichtfarbe wählen und/oder den Fokustrieb verstellen. Das erfindungsgemäße Verfahren umfasst, dass entsprechende, diesen Anlerneinstellungen entsprechende Werte in den jeweiligen Einstellungsdatensätze zu speichern, so dass diese in einer durch ein Mikroskopsystem bzw. eine entsprechende Steuereinheit oder einen Computer auswertbaren und verwendbaren Form bereitstehen und insbesondere zu entsprechenden Einstellungen bestimmte Untersuchungsmodi definieren.
Im Gegensatz zu Verfahren der Makroprogrammierung ermöglicht die vorliegende Erfindung es, durch die automatische oder manuelle Bewertung von den jeweiligen Anlerneinstellungen zugehörigen Einstellungsdatensätzen nur gültige bzw. vorteilhafte Einstellungsdatensätze für die nachfolgende Verwendung vorzuhalten bzw. diese für die nachfolgende Verwendung ggf. noch zu modifizieren. Falls die jeweiligen Einstellungsdatensätze und die damit erzielten Anlerneinstellungen unbrauchbar sind, können diese verworfen werden und eine neue Anlerneinstellung kann, beispielsweise an gleicher oder unterschiedlicher Stelle des Objekts und/oder mit gleichen oder anderen Einstellungen des Mikroskops, vorgenommen werden.
Besonders vorteilhaft ist, wenn der Untersuchungsbetriebsmodus einen oder mehrere Akquisitionsschritte umfasst, in dem oder denen der eine oder die mehreren Untersuchungsschritte in den jeweiligen Probenbereichen und/oder mit den jeweiligen Fokuslagen vorgenommen werden, wobei mittels des einen oder der mehreren Akquisitionsschritte Bilddaten erhalten und gespeichert werden. Die Bilddaten sind dabei durch die bereits zuvor vorgenommene Bewertung insbesondere optimiert.
Vorteilhafterweise werden die in dem einen oder in den mehreren Akquisitionsschritten erhaltenen und gespeicherten Bilddaten in einem oder mehreren Auswertungsschritten einer Bildanalyse unterworfen, die insbesondere auch mit Informationen bezüglich der Positionen und/oder der durchgeführten Untersuchungsschritte arbeitet. Auf diese Weise kann eine gezielte und dem Untersuchungsverfahren entsprechende Auswertung weitgehend automatisch in der Ablaufsteuerung vorgenommen werden.
Die Durchführung des einen oder der mehreren Auswertungsschritte kann dabei als Reaktion auf eine Benutzereingabe oder automatisch eingeleitet werden, so dass entweder ein Benutzer bei Bedarf entsprechend ausgewertete Daten generieren kann oder das Verfahren vollständig automatisch durchgeführt werden kann. Alternativ oder zusätzlich kann in dem einen oder den mehreren Auswertungsschritte eine Benutzereingabe ausgewertet werden, die beispielsweise Zusatzinformationen bereitstellt.
Die Einstellungsdatensätze bzw. die unterschiedlichen Anlerneinstellungen können sich im Rahmen der vorliegenden Erfindung, wie bereits zuvor mehrfach erwähnt auf beliebige Komponenten eines Mikroskops bzw. Mikroskopsystems beziehen. Ein entsprechendes Mikroskop bzw. Mikroskopsystem umfasst solche Komponenten beispielsweise in Form einer oder mehrfacher konfigurierbaren Baugruppe, die ein oder mehrere unterschiedliche Elemente aufweisen kann, die mittels entsprechender Einstellwerte in den im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätzen in unterschiedliche Positionen bringbar sind, beispielsweise mittels geeigneter Schrittmotoren oder anderer elektromechanischer Aktoren. Entsprechendes gilt für die Untersuchungsschritte, die den jeweiligen Positionen in der Ablaufsteuerung zugeordnet werden können. Dem Mikroskop bzw. Mikroskopsystem kann ein Computer, der mit einem Display und mindestens einem Eingabemittel ausgestattet ist, zugeordnet sein.
Entsprechende Komponenten können dabei beispielsweise einen motorisierten Tubus und/oder eine motorisiert verstellbare Auflichtachse, einen motorisierten Objektivrevolver, einen motorisierten z-Antrieb für die Fokuseinstellung einen motorisierten Kreuzisch, mindestens eine Beleuchtungseinrichtung für die Auflicht- oder Durchlichtbeleuchtung, und/oder einen Kondensor sowie eine Vielzahl von Bedienknöpfen oder beliebige Kombinationen der genannten Komponenten umfassen.
Wie erwähnt, werden in dem erfindungsgemäßen Verfahren in dem Lernbetriebsmodus nacheinander bestimmte, jeweils nacheinander unterschiedlichen Einstellungsdatensätzen entsprechende Anlerneinstellungen von Mikroskopkomponenten automatisch oder manuell vorgenommen und nach der Vornahme insbesondere automatisch oder manuell bewertet. Die automatische Bewertung kann dabei beispielsweise durch eine optische Beurteilung eines erhaltenen Mikroskopbilds vorgenommen werden, aber auch beispielsweise durch eine entsprechende Bildverarbeitung. Es können dabei insbesondere Schärfe-, Kontrast-, Helligkeits- und/oder Farbwerte oder andere Bildeigenschaften, beispielsweise auch in Form eines entsprechenden Bildvergleichs mit zuvor oder anschließend erhaltenen Bildern, beurteilt werden. Entsprechen diese bestimmten Erwartungswerten, die beispielsweise in Form von entsprechenden Schwellwerten elektronisch hinterlegt sein können, können die den Anlerneinstellungen zugehörigen Einstellungsdatensätze für die nachfolgende Verwendung gespeichert, anderenfalls können sie verworfen und/oder nach Möglichkeit in geeigneter Weise für die nachfolgende Verwendung oder für eine modifizierte Einstellung von Anlerneinstellungen modifiziert werden.
Die vorliegende Erfindung umfasst, wie erwähnt, dass ein Benutzer bestimmte oder alle Mikroskopkomponenten zur Vornahme der Anlerneinstellungen in bestimmte Positionen bringt bzw. an bestimmte Positionen führt, wobei dies umfassen kann, dass er oder sie Komponenten wie beispielsweise an einem automatisiert ansteuerbaren Filterrad oder anderen automatisiert ansteuerbaren Verstelleinrichtungen angebrachte Filter, Prismen, Strahlteiler oder dergleichen, aber auch beispielsweise Objektive einem automatisiert ansteuerbaren, motorisierten Objektivrevolver in den Beleuchtungs- oder Beobachtungsstrahlengang schwenkt oder eine Helligkeitseinstellung vornimmt.
Der Benutzer oder ein entsprechend automatisiertes Mikroskop bzw. Mikroskopsystem nimmt hieraufhin eine Bewertung der auf diese Weise vorgenommenen Anlerneinstellungen anhand der erwähnten Kriterien vor. Je nach dem Ergebnis dieser Bewertung kann durch eine entsprechende manuelle oder automatisierte Bestätigung sichergestellt werden, dass sich das Mikroskop bzw. Mikroskopsystem die für die entsprechenden Anlerneinstellungen verwendeten, aber vom Benutzer nicht direkt eingegebenen bzw. in einer Datei hinterlegten Einstellwerte in entsprechenden Einstellungsdatensätzen „merkt“, so dass diese für den nachfolgenden Untersuchungsbetriebsmodus verfügbar sind. Der nachfolgende Untersuchungsbetriebsmodus kann die einzelnen Einstellungsdatensätze verwenden, insbesondere in Form einer zumindest teilweise automatisierten Ablaufsteuerung, die aber selbstverständlich beliebige Benutzerinteraktionsmöglichkeiten bieten kann, beispielsweise zum Anhalten oder modifizierten Ablaufenlassen einer entsprechenden Sequenz und/oder zur Veränderung von Einstellwerten. Auf diese Weise kann im Rahmen der vorliegenden Erfindung ein besonders flexibles Verfahren geschaffen werden.
Die vorliegende Erfindung erstreckt sich auch auf ein Mikroskopsystem mit einem Mikroskop und einer Steuereinrichtung, die dafür eingerichtet ist, das Mikroskop in einem Lernbetriebsmodus und in einem Untersuchungsbetriebsmodus zu betreiben, wobei das Mikroskopsystem in dem Lernbetriebsmodus dafür eingerichtet ist, nacheinander bestimmte, jeweils nacheinander unterschiedlichen Einstellungsdatensätzen entsprechende Anlerneinstellungen von Mikroskopkomponenten automatisch oder manuell vorzunehmen, indem ein Benutzer zumindest einen Teil der Mikroskopkomponenten in Positionen bringt, die jeweils einem bestimmten Probenbereich und/oder einer bestimmten Fokuslage entsprechen, und jeder dieser Positionen einen oder mehrere, mittels der oder weiterer Mikroskopkomponenten (2-53) vorzunehmende Untersuchungsschritte zuweist, und die Anlerneinstellungen nach der Vornahme automatisch oder manuell zu bewerten, sowie in Abhängigkeit von der Bewertung die den Anlerneinstellungen zugehörigen Einstellungsdatensätze jeweils für eine nachfolgende Verwendung in einer Ablaufsteuerung zu speichern, zu verwerfen und/oder zu modifizieren, wobei die Ablaufsteuerung zur Verwendung der gespeicherten Einstellungsdatensätze in Form einer Vorgabe einer Einstellung der Mikroskopkomponenten gemäß den Einstellungsdatensätzen in einem dem Lernbetriebsmodus nachfolgenden Untersuchungsbetriebsmodus eingerichtet ist.
Wie erwähnt, kann die vorliegende Erfindung unter Verwendung unterschiedlichster Mikroskopierverfahren und entsprechend eingerichteter Mikroskope realisiert werden, beispielsweise unter Verwendung von Auflicht-, Durchlicht-, Lichtblatt-, (Laser-)Scan- oder Fluoreszenzmikroskopen. Je komplexer entsprechende Mikroskope aufgebaut sind, in desto größerem Umfang profitieren sie von den hier vorgeschlagenen Maßnahmen. Die vorliegende Erfindung betrifft ferner eine Steuereinheit für ein Mikroskop bzw. Mikroskopsystem, die zur Durchführung eines Verfahrens eingerichtet sein kann, wie es zuvor in unterschiedlichen Ausgestaltungen erläutert wurde. Auf die entsprechenden Erläuterungen wird daher hier ausdrücklich verwiesen. Dies gilt auch für das vorgeschlagene Computerprogramm bzw. ein entsprechendes, auf einem Datenträger oder einem Server oder dergleichen gespeichertes Computerprogrammprodukt.
Einige oder alle Verfahrensschritte können dabei im Rahmen der Erfindung durch (oder unter Verwendung) einer Hardwarevorrichtung ausgeführt werden, beispielsweise umfassend einen Prozessor, einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung. In einigen Ausführungsbeispielen können ein oder mehrere der wichtigsten Verfahrensschritte durch eine solche Vorrichtung ausgeführt werden.
Abhängig von bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder Software implementiert werden. Die Implementierung kann mit einem nicht-flüchtigen Speichermedium wie beispielsweise einer Diskette, einer DVD, einer Blu-Ray-Disc, einer CD, einem ROM, einem PROM und EPROM, einem EEPROM oder einem FLASH-Speicher, durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem so Zusammenwirken (oder Zusammenwirken können), dass das jeweilige Verfahren durchgeführt wird. Daher kann das Speichermedium computerlesbar sein.
Einige Ausführungsbeispiele umfassen einen Datenträger mit elektronisch lesbaren Steuersignalen, die mit einem programmierbaren Computersystem Zusammenwirken können, so dass eines der hierin beschriebenen Verfahren durchgeführt wird. Im Allgemeinen können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert werden, wobei der Programmcode für die Ausführung eines der Verfahren wirksam ist, wenn das Computerprogrammprodukt auf einem Computer läuft. Der Programmcode kann beispielsweise auf einem maschinenlesbaren Träger gespeichert werden.
Weitere Ausführungsbeispiele umfassen das Computerprogramm zur Durchführung eines der beschriebenen Verfahren, das auf einem maschinenlesbaren Träger gespeichert ist.
Mit anderen Worten ist eine Ausführungsform der vorliegenden Erfindung daher ein Computerprogramm mit einem Programmcode zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer läuft.
Ein weiteres Ausführungsbeispiel der vorliegenden Erfindung ist daher ein Speichermedium (oder ein Datenträger oder ein computerlesbares Medium), das ein darauf gespeichertes Computerprogramm zum Ausführen eines der hierin beschriebenen Verfahren umfasst, wenn es von einem Prozessor ausgeführt wird. Der Datenträger, das digitale Speichermedium oder das aufgezeichnete Medium sind in der Regel greifbar und/oder nicht übergangslos. Ein weiteres Ausführungsbeispiel der vorliegenden Erfindung ist eine Vorrichtung, wie hierin beschrieben, die einen Prozessor und das Speichermedium umfasst.
Ein weiteres Ausführungsbeispiel der Erfindung ist daher ein Datenstrom oder eine Signalfolge, die das Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren darstellt. Der Datenstrom oder die Signalfolge kann beispielsweise so konfiguriert werden, dass sie über eine
Datenkommunikationsverbindung, beispielsweise über das Internet, übertragen werden. Ein weiteres Ausführungsbeispiel umfasst ein Verarbeitungsmittel, zum Beispiel einen Computer, eine Steuereinheit oder eine programmierbare Logikvorrichtung, das konfiguriert oder angepasst ist, um eines der hierin beschriebenen Verfahren auszuführen.
Ein weiteres Ausführungsbeispiel der Erfindung umfasst einen Computer, auf dem das Computerprogramm zum Ausführen eines der hierin beschriebenen Verfahrens bzw. beliebiger Ausgestaltungen hiervon installiert ist.
Ein weiteres Ausführungsbeispiel gemäß der vorliegenden Erfindung umfasst eine Vorrichtung oder ein System, das konfiguriert ist, um (zum Beispiel elektronisch oder optisch) ein Computerprogramm zum Ausführen eines der hierin beschriebenen Verfahren an einen Empfänger zu übertragen. Der Empfänger kann beispielsweise ein Computer, eine mobile Vorrichtung, eine Speichervorrichtung oder dergleichen sein. Die Vorrichtung oder das System kann beispielsweise einen Dateiserver zum Übertragen des Computerprogramms an den Empfänger umfassen. ln einigen Ausführungsbeispielen der Erfindung kann eine programmierbare logische Vorrichtung (z.B. eine feldprogrammierbare Gatteranordnung, FPGA) verwendet werden, um einige oder alle Funktionalitäten der hierin beschriebenen Verfahren auszuführen ln einigen Ausführungsbeispielen kann eine feldprogrammierbare Gatteranordnung mit einem Mikroprozessor Zusammenarbeiten, um eines der hierin beschriebenen Verfahren durchzuführen. Im Allgemeinen werden die Verfahren vorzugsweise von jedem Hardwaregerät durchgeführt.
Ausführungsbeispiele der vorliegenden Erfindung können auf dem Verwenden eines Maschinenlernmodells oder Maschinenlern-Algorithmus basieren. Hiervon kann insbesondere die erfindungsgemäß vorgenommene Bewertung betroffen sein. Maschinelles Lernen kann sich auf Algorithmen und statistische Modelle beziehen, die Computersysteme verwenden können, um eine bestimmte Aufgabe ohne Verwendung expliziter Anweisungen auszuführen, anstatt sich auf Modelle und Interferenz zu verlassen.
Beim maschinellen Lernen kann beispielsweise anstatt einer auf Regeln basierenden Transformation von Daten, eine Transformation von Daten verwendet werden, die aus einer Analyse von Verlaufs- und/oder Trainingsdaten hergeleitet werden kann. Beispielsweise kann der Inhalt von Bildern unter Verwendung eines Maschinenlernmodells oder unter Verwendung eines Maschinenlernalgorithmus analysiert und damit die erfindungsgemäße Bewertung vorgenommen werden.
Damit das Maschinenlernmodell beispielsweise den Inhalt eines Bildes analysieren kann, kann das Maschinenlernmodell unter Verwendung von Trainingsbildern als Eingabe und Trainingsinhaltsinformation als Ausgabe trainiert werden. Durch Trainieren des Maschinenlernmodells mit einer großen Anzahl von Trainingsbildern und/oder Trainingssequenzen (z.B. Wörtern oder Sätzen) und zugeordneter Trainingsinhaltsinformation (z.B. Kennzeichnungen oder Anmerkungen) „lernt“ das Maschinenlernmodell, den Inhalt der Bilder zu erkennen, sodass der Inhalt von Bildern, die in den Trainingsdaten nicht umfasst sind, unter Verwendung des Maschinenlernmodells erkannt werden kann. Das gleiche Prinzip kann für andere Arten von Sensordaten ebenfalls verwendet werden: Durch Trainieren eines Maschinenlernmodells unter Verwendung von Trainingssensordaten und einer erwünschten Ausgabe „lernt“ das Maschinenlernmodell eine Umwandlung zwischen den Sensordaten und der Ausgabe, was verwendet werden kann, um eine Ausgabe basierend auf an das Maschinenlernmodell bereitgestellten Nichttrainings-Sensordaten bereitzustellen. Die bereitgestellten Daten (z.B. Sensordaten, Metadaten und/oder Bilddaten) können vorverarbeitet werden, um einen Merkmalsvektor zu erhalten, welcher als Eingang für das Maschinenlernmodell verwendet wird. Maschinenlernmodelle können unter Verwendung von Trainingseingabedaten trainiert werden. Die oben angeführten Beispiele verwenden ein Trainingsverfahren, das „Supervised Learning“ genannt wird. Beim Supervised Learning wird das Maschinenlernmodell unter Verwendung einer Mehrzahl von Trainingsabtastwerten trainiert, wobei jeder Abtastwert eine Mehrzahl von Eingab edatenwerten und eine Mehrzahl von erwünschten Ausgabewerten, d.h. jedem Trainingsabtastwert ist ein erwünschter Ausgabewert zugeordnet, umfassen kann. Durch Angeben sowohl von Trainingsabtastwerten als auch erwünschten Ausgabewerten „lernt“ das Maschinenlernmodell, welcher Ausgabewert basierend auf einem Eingabeabtastwert, der ähnlich zu den während des Trainings bereitgestellten Abtastwerten ist, bereitzustellen ist. Neben dem Supervised Learning kann auch Semi-Supervised Learning verwendet werden. Beim Semi-Supervised Learning fehlt einigen der Trainingsabtastwerte ein erwünschter Ausgabewert. Supervised Learning kann auf einem Supervised- Learning-Algorithmus basieren (z.B. einem Klassifizierungsalgorithmus, einem Regressionsalgorithmus oder einem Ähnlichkeitslernen-Algorithmus). Klassifizierungsalgorithmen können verwendet werden, wenn die Ausgaben auf eine begrenzte Menge von Werten (kategorische Variablen) beschränkt sind, d. h. die Eingabe ist als einer aus dem begrenzten Satz von Werten klassifiziert. Regressionsalgorithmen können verwendet werden, wenn die Ausgaben irgendeinen Zahlenwert (innerhalb eines Bereichs) ausweisen. Ähnlichkeitslernenalgorithmen können sowohl Klassifizierungs- als auch Regressionsalgorithmen ähnlich sein, basieren aber auf dem Lernen aus Beispielen unter Verwendung einer Ähnlichkeitsfunktion, die misst, wie ähnlich oder verwandt zwei Objekte sind. Neben dem Supervised Learning oder Semi- Supervised Learning kann Unsupervised Learning verwendet werden, um das Maschinenlernmodell zu trainieren. Beim Unsupervised Learning werden möglicherweise (nur) Eingabedaten bereitgestellt und ein Unsupervised-Learning- Algorithmus kann verwendet werden, um eine Struktur in den Eingabedaten zu finden (z.B. durch Gruppieren oder Clustern der Eingabedaten, Finden von Gemeinsamkeiten in den Daten). Clustern ist die Zuweisung von Eingabedaten, die eine Mehrzahl von Eingabewerten umfassen, in Teilmengen (Cluster), sodass Eingabewerte innerhalb desselben Clusters gemäß einem oder mehreren (vordefinierten) Ähnlichkeitskriterien ähnlich sind, während sie Eingabewerten, die in anderen Clustern umfasst sind, unähnlich sind.
Verstärkendes Lernen ist eine dritte Gruppe von Maschinenlernalgorithmen. Anders ausgedrückt kann verstärkendes Lernen verwendet werden, um das verwendete Maschinenlernmodell zu trainieren. Beim verstärkenden Lernen werden ein oder mehrere Softwareakteure (sogenannte „Software Agents“) trainiert, um Handlungen in einer Umgebung vorzunehmen. Basierend auf den vorgenommenen Handlungen wird eine Belohnung berechnet. Verstärkendes Lernen basiert auf dem Trainieren des einen oder der mehreren Software Agents, um die Handlungen auszuwählen, derart, dass die kumulative Belohnung erhöht wird, was zu Software Agents führt, die in der Aufgabe, die ihnen gegeben wird, besser werden (wie durch steigende Belohnungen nachgewiesen).
Ferner können einige Techniken auf einige der Maschinenlernalgorithmen angewandt werden. Zum Beispiel kann Feature Learning verwendet werden. Anders ausgedrückt kann das Maschinenlernmodell zumindest teilweise unter Verwendung von Feature Learning trainiert werden, und/oder der Maschinenlern- Algorithmus kann eine Feature-Learning-Komponente umfassen. Feature- Learning-Algorithmen, die Representation-Learning-Algorithmen genannt werden, können die Information in ihrer Eingabe erhalten, sie aber derart transformieren, dass sie nützlich wird, häufig als Vorverarbeitungsstufe vor dem Ausführen der Klassifizierung oder dem Vorhersagen. Feature Learning kann beispielsweise auf einer Hauptkomponenten-Analyse oder Cluster-Analyse basieren.
Bei einigen Beispielen kann eine Anomaliedetektion (d. h. Ausreißerdetektion) verwendet werden, die darauf abzielt, eine Identifizierung von Eingabewerten bereitzustellen, die Verdacht erregen, da sie sich erheblich von der Mehrheit von Eingabe- und Trainingsdaten unterscheiden. Anders ausgedrückt, kann das Maschinenlernmodell zumindest teilweise unter Verwendung von Anomaliedetektion trainiert werden, und/oder der Maschinenlernalgorithmus kann eine Anomaliedetektionskomponente umfassen.
Bei einigen Beispielen kann der Maschinenlernalgorithmus einen Entscheidungsbaum als Vorhersagemodell verwenden. Anders ausgedrückt, das Maschinenlernmodell kann auf einem Entscheidungsbaum basieren. Bei einem Entscheidungsbaum können die Beobachtungen zu einem Gegenstand (z.B. einer Menge von Eingab ewerten) durch die Zweige des Entscheidungsbaums dargestellt werden, und ein Ausgab ewert, der dem Gegenstand entspricht, kann durch die Blätter des Entscheidungsbaums dargestellt werden. Entscheidungsbäume können sowohl diskrete als auch fortlaufende Werte als Ausgabewerte unterstützen. Wenn diskrete Werte verwendet werden, kann der Entscheidungsbaum als Klassifizierungsbaum bezeichnet werden, wenn fortlaufende Werte verwendet werden, kann der Entscheidungsbaum dagegen als Regressionsbaum bezeichnet werden.
Assoziationsregeln sind eine weitere Technik, die bei Maschinenlernalgorithmen verwendet werden kann. Anders ausgedrückt kann das Maschinenlernmodell auf einer oder mehreren Assoziationsregeln basieren. Assoziationsregeln werden erstellt, indem Verhältnisse zwischen Variablen bei großen Datenmengen identifiziert werden. Der Maschinenlernalgorithmus kann eine oder mehrere Verhältnisregeln identifizieren und/oder nutzen, die das Wissen darstellen, dass aus den Daten hergeleitet ist. Die Regeln können z.B. verwendet werden, um das Wissen zu speichern, zu manipulieren oder anzuwenden.
Maschinenlernalgorithmen basieren normalerweise auf einem Maschinenlernmodell. Anders ausgedrückt kann der Begriff „Maschinenlernalgorithmus“ einen Satz von Anweisungen bezeichnen, die verwendet werden können, um ein Maschinenlernmodell zu erstellen, zu trainieren oder zu verwenden. Der Begriff „Maschinenlernmodell“ kann eine Datenstruktur und/oder einen Satz von Regeln bezeichnen, die/der das erlernte Wissen darstellt (z.B. basierend auf dem durch den Maschinenlernalgorithmus ausgeführten Training). Bei Ausführungsbeispielen kann die Verwendung eines Maschinenlernalgorithmus die Verwendung eines zugrundeliegenden Maschinenlernmodells (oder einer Mehrzahl von zugrundeliegenden Maschinenlernmodellen) implizieren. Die Verwendung eines Maschinenlernmodells kann implizieren, dass das Maschinenlernmodell und/oder die Datenstruktur/der Satz von Regeln, welche das Maschinenlernmodell ist/sind, durch einen Maschinenlernalgorithmus trainiert wird.
Beispielsweise kann das Maschinenlernmodell ein künstliches neuronales Netz (ANN; artificial neural network) sein. ANN sind Systeme, die durch biologische neuronale Netze inspiriert sind, wie sie in einer Netzhaut oder einem Gehirn zu finden sind. ANN umfassen eine Mehrzahl von zwischenverbundenen Knoten und eine Mehrzahl von Verbindungen, sogenannte Kanten (edges), zwischen den Knoten. Es gibt normalerweise drei Knotentypen, Eingabeknoten, die Eingabewerte empfangen, versteckte Knoten, die (nur) mit anderen Knoten verbunden sind, und Ausgabeknoten, die Ausgabewerte bereitstellen. Jeder Knoten kann ein künstliches Neuron darstellen. Jede Kante kann Information senden, von einem Knoten zum anderen. Die Ausgabe eines Knoten kann als eine (nichtlineare) Funktion der Eingaben definiert sein (z.B. der Summe seiner Eingaben). Die Eingaben eines Knoten können in der Funktion basierend auf einem „Gewicht“ der Kante oder des Knoten, der die Eingabe bereitstellt, verwendet werden. Das Gewicht von Knoten und/oder von Kanten kann in dem Lernprozess angepasst werden. Anders ausgedrückt, das Training eines künstlichen neuronalen Netzes kann ein Anpassen der Gewichte der Knoten und/oder Kanten des künstlichen neuronalen Netzes umfassen, d. h. um eine erwünschte Ausgabe für eine bestimmte Eingabe zu erreichen.
Alternativ kann das Maschinenlernmodell eine Support-Vector-Machine, ein Random-Forest-Modell oder ein Gradient-Boosting-Modell sein. Support-Vector- Machines (d. h. Stützvektornetze) sind Supervised-Learning-Modelle mit zugeordneten Lernalgorithmen, die verwendet werden können, um Daten zu analysieren (z.B. in einer Klassifizierungs- oder Regressionsanalyse). Support- Vector-Machines können durch Bereitstellen einer Eingabe mit einer Mehrzahl von Trainingseingabewerten, die zu einer von zwei Kategorien gehören, trainiert werden. Die Support-Vector-Machine kann trainiert werden, um einer der beiden Kategorien einen neuen Eingabewert zuzuweisen. Alternativ kann das Maschinenlernmodell ein bayessches Netz sein, das ein probabilistisches, gerichtetes, azyklisches graphisches Modell ist. Ein bayessches Netz kann einen Satz von Zufallsvariablen und ihre bedingten Abhängigkeiten unter Verwendung eines gerichteten azyklischen Graphen darstellen. Alternativ kann im Rahmen der vorliegenden Erfindung das Maschinenlernmodell auf einem genetischen Algorithmus basieren, der ein Suchalgorithmus und heuristische Technik ist, die den Prozess der natürlichen Selektion imitiert.
Der Begriff „und/oder“, sofern zuvor verwendet, umfasst alle Kombinationen eines oder mehrerer der zugehörigen aufgeführten Elemente.
Obwohl einige Aspekte der vorliegenden Erfindung zuvor im Zusammenhang mit einem Verfahren beschrieben wurden, versteht sich, dass die entsprechende Beschreibung auch für eine entsprechende Vorrichtung gilt und umgekehrt, wobei ein Verfahrensschritt beispielsweise unter Verwendung einer entsprechenden Vorrichtungskomponente implementiert sein kann.
Die Erfindung und Ausgestaltungen der vorliegenden Erfindung werden nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Kurze Beschreibung der Zeichnungen
Figur 1 zeigt ein im Rahmen einer Ausgestaltung der vorliegenden Erfindung einsetzbares automatisierbares aufrechtes Mikroskopsystem. Figur 2 zeigt ein im Rahmen einer Ausgestaltung der vorliegenden Erfindung einsetzbares automatisierbares inverses Mikroskopsystem.
Figur 3 zeigt ein im Rahmen einer Ausgestaltung der vorliegenden Erfindung einsetzbares automatisierbares Mikroskopsystem in anderer Darstellung.
Figur 4 veranschaulicht ein Verfahren gemäß einer Ausgestaltung der vorliegenden Erfindung in einem Anlernbetriebsmodus. ln den Figuren sind einander entsprechende, d.h. gleich oder ähnlich aufgebaute Elemente oder Elemente mit identischer oder vergleichbarer Wirkung, mit identischen Bezugszeichen angegeben und werden der Übersichtlichkeit halber nicht wiederholt erläutert.
Ausführliche Beschreibung der Zeichnungen
Die Figuren 1 und 2 zeigen im Rahmen von Ausgestaltungen der vorliegenden Erfindung einsetzbare automatisierbare, mit 200 bezeichnete Mikroskopsysteme. Die Mikroskope sind jeweils mit 1 bezeichnet, wobei die Figur 1 ein aufrechtes, die Figur 2 dagegen ein inverses Mikroskop 1 veranschaulicht. Die Mikroskope 1 umfassen jeweils ein Stativ 2, das in den in den Figuren 1 und 2 dargestellten Ausgestaltungen jeweils einen Stativfuß 3 und eine Stativsäule 4 aufweist.
Es sind gemäß Figur 1 zwei Lichtquellen 14 bzw. gemäß Figur 2 eine Lichtquelle vorgesehen, um in der Ausgestaltung gemäß Figur 1 eine Auf- und Durchlichtbeleuchtung und in der Ausgestaltung gemäß Figur 2 nur eine Durchlichtbeleuchtung zu erzeugen. Ein Mikroskoptisch 41 ist vorgesehen, an dem beispielsweise auch ein nicht gesondert gezeigter Filterhalter vorgesehen sein kann, und der mittels eines Motors 42 bewegbar ist. Daten können in einem internen Speicher 47 des Mikroskops 1 abgelegt werden. In den Ausgestaltungen gemäß den Figuren 1 und 2 können an dem Stativ 2 beidseitig Triebknöpfe 28 vorgesehen sein, wie hier aber nur in Figur 3 veranschaulicht, womit z.B. ein Mikroskoptisch 41 in seiner Höhe (z-Richtung) verstellt werden kann. Ebenso ist es denkbar, auf den Triebknopf 28 zusätzlich noch andere Funktionen zu legen. Im Bereich um den Triebknopf 28 können auch mehrere in den Figuren 1 und 2 nicht veranschaulichte Bedienknöpfe vorgesehen sein, über die ebenfalls Mikroskopfunktionen schaltbar sind. Die Mikroskopfunktionen sind z.B. Filterwechsel, Blendenwahl, Revolverbewegung usw. Optional in einem nicht veranschaulichten Objektivrevolver 36 (siehe dazu Figur 3) kann ein Objektiv 37 angebracht sein. Gegenüber dem Objektivrevolver 36 kann (siehe dazu ebenfalls Figur 3) ein Kondensor 24 vorgesehen sein.
Dem Mikroskop 1 ist ferner ein Computer 17 zugeordnet. Der Computer 17 ist mit Eingabemitteln 19 und einem Display 21 versehen. In dem hier dargestellten Ausführungsbeispiel umfassen die Eingabemittel 19 eine Tastatur und eine Maus. Es ist jedoch selbstverständlich, dass neben einer Tastatur weitere Eingabemittel 19 benutzt werden können. Der Computer 17 stellt hier eine Steuereinrichtung dar; es können jedoch auch beliebige andere, beispielsweise in dem Mikroskop 1 integrierte Steuereinrichtungen oder externe Steuereinrichtungen 80 vorgesehen sein. An einem Tubus 51 bzw. einem entsprechenden Kameraabgang, ist gemäß Figur 1 eine geeignete Kamera 51 angeordnet, die sich gemäß Figur 2 im Stativfuß 3 befindet. Eine Probe ist mit 60 bezeichnet.
Figur 3 zeigt schematisch ein im Rahmen einer Ausgestaltung der vorliegenden Erfindung einsetzbares automatisierbares Mikroskopsystem mit einem Mikroskop 1. Es kann sich auch jeweils um die in Figur 1 bzw. 2 dargestellten Mikroskopsysteme handeln, die hier nochmals schematisch dargestellt sind und genauer erläutert werden. Das Mikroskop 1 und die verschiedenen, konfigurierbaren Baugruppen des Mikroskops 1 sind hier teilweise schematischer als zuvor veranschaulicht. Jede dieser Baugruppen kann eine Komponente bzw. Mikroskopkomponente darstellen, die im Rahmen der Erfindung eingestellt werden kann, wozu die entsprechenden Einstellungsdatensätze verwendet werden können. Der Begriff „Baugruppe“ kann daher nachfolgend für eine oder mehrerer solcher Mikroskopkomponente stehen, die erfindungsgemäß einstellbar sind bzw. zu der Einstellungsdaten in entsprechenden Einstellungsdatensätzen generiert werden können. Ist nachfolgend von einem „Einlernen“ einer oder mehreren Komponenten die Rede, kann dies unter Verwendung eines Verfahrens gemäß einer Ausgestaltung der Erfindung erfolgen und die mehrfach erwähnten Schritte zur Erstellung der Einlerndatensätze umfassen.
Eine der konfigurierbaren Baugruppen ist der bereits erwähnte Objektivrevolver 36. Durch ein Verfahren gemäß der vorliegenden Erfindung können beispielsweise Einstellungsdatensätze verwendet werden, die Daten zu jedem einzelnen Objektiv 37 entsprechen oder aufweisen bzw. die die Wahl eines entsprechenden Objektivs
37 vorgeben. Der Objektivrevolver 36 ist motorisiert und wird durch einem Motor
38 gedreht, so dass ein ausgewähltes Objektiv in die optische Achse 39 des Mikroskops verbracht wird. Die Daten, die ein jedes Objektiv 37 charakterisieren, sind die Objektivvergrößerung, die Artikelnummer des Objektivs (ein für die jeweilige Auftragsbearbeitung eindeutiger Schlüssel), der Objektivmodus (beispielsweise Trockenobjektiv, Immersionsobjektiv oder eine Kombination aus Trocken- und Immersionsobjektiv), die Apertur, die für das jeweilige Objektiv 37 optimale Schrittweite in z- Richtung (Fokus) und die für das jeweilige Objektiv optimale Schrittweite für eine x-/y-Verschiebung (Kreutzisch). Der Kreuztisch 41 ist dem Mikroskop 1 zugeordnet und mittels des Kreuztischs kann eine auf dem Kreuztisch 41 aufgelegte Probe (in Figur 3 nicht dargestellt) in einer gewünschten Richtung verfahren werden kann. Zum Verfahren des Kreuztischs 41 in z- Richtung (Fokus) und in x- und y-Richtung ist jeweils ein Motor 42 vorgesehen. Die Verstellung des Kreuztischs 41 in z-Richtung kann jederzeit selbstverständlich auch zusätzlich manuell mit dem Triebknopf 28 vorgenommen werden. Ferner werden auch die mit dem jeweiligen Objektiv 37 durchzuführenden Beleuchtungsverfahren eingelernt bzw. ein in einer Ausgestaltung der Erfindung verwendeter Einstellungsdatensatz kann Ansteuer- bzw. Einstellwerte für die Beleuchtung umfassen. Entsprechend hierzu ist dem Mikroskop 1 jeweils für eine Auflichtachse 14a und eine Durchlichtachse 14b eine Lampe 14 zugeordnet. Die von den Objektiven 37 unterstützten Beleuchtungsverfahren können beispielsweise eine Hellfeld-, eine Fluoreszenz -Differenzkontrast, eine Fluoreszenz Phasenkontrast-, eine Fluoreszenz-eine Auflicht- Polarisationskontrast-, eine Auflicht-Differenzkontrast, eine Auflicht-Dunkelfeld-, eine Auflicht-Schieflicht-, eine Auflicht-Hellfeld-, eine Durchlicht- Polarisationskontrast-, eine Durchlicht-Differenzkontrast-, eine Durchlicht- Dunkelfeld-, eine Durchlicht-Phasenkontrast- oder eine Durchlicht- Hellfeldbeleuchtung umfassen. Ebenso werden die Werte der Lichtquellen 14 zu den einzelnen Beleuchtungsverfahren eingelernt bzw. können die im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätze diese betreffen.
Hinzu kommen die Werte für die Aperturblende für Durchlicht zu dem jeweiligen Verfahren sowie die Leuchtfeldblende für Durchlicht zu dem jeweiligen Verfahren. Selbstverständlich werden auch die Werte für die Apertur der Blende für Auflicht zum jeweiligen Verfahren eingelernt sowie die Leuchtfeldblende für Auflicht zum jeweiligen Verfahren bzw. können die im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätze diese betreffen. Je nach Verfahren ist die einzustellende Position einer Interferenzkontrastscheibe zum jeweiligen Verfahren ggf. einlernbar bzw. können die im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätze diese betreffen. Ferner ist die einzustellende Position des Kondensors zum jeweiligen Verfahren einlernbar bzw. können die im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätze diese betreffen. Die Daten für die Beleuchtungsachse für Fluoreszenz können ebenfalls eingelernt werden bzw. können die im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätze diese betreffen. Diese Daten sind der Name des jeweiligen Filterblocks, die Artikelnummer des Filterblocks, die Beleuchtungsverfahren, bei denen der Filterblock in den Strahlengang (bzw. Beleuchtungsachse) eingefahren werden kann und eine sogenannte Dazzle Protection.
Eine Radstellung für Interferenzkontrast kann ebenfalls eingelernt werden bzw. können die im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätze diese betreffen. Für jede Position muss der Name des jeweiligen Filterblocks eingelernt werden.
Für den Kondensor 24 des Mikroskops 1 können die Daten für jede Position eingelernt werden bzw. können die im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätze diese betreffen. Es handelt sich beispielsweise um den Namen des in den Strahlengang 39 zu verschwenkenden Prismas oder den Namen des in den Strahlengang 39 zu verschwenkenden Phasenrings. Selbstverständlich kann der Kondensor 24 auch motorisiert sein, um so das Prisma und den Phasenring in der Strahlengang 39 des Kondensors automatisch zu verschwenken.
Ein Vergrößerungswechsler 46 kann ebenfalls eingelernt werden bzw. können die im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätze diese betreffen. Einlernbar sind dabei die Artikelnummer, die Anzahl der Positionen des Vergrößerungswechslers 46 und dergleichen. Ebenso sind die Vergrößerungswerte an den entsprechenden Positionen im
Vergrößerungswechsler einzugeben bzw. können die im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätze diese betreffen. Bei dem erwähnten aufrechten Mikroskop befindet sich der Vergrößerungswechsler zwischen dem Tubus und dem Objektivrevolver im Strahlengang. Die Konfiguration des Tubus 50 des Mikroskops 1 (motorisch und/oder mechanisch) ist einlernbar bzw. können die im Rahmen der vorliegenden Erfindung verwendeten Einstellungsdatensätze diese betreffen. Dabei kann beispielsweise eine Artikelnummer des Tubus 50 eingegeben werden. Mit dem verwendeten Tubus 50 ist folglich die Anzahl der Ausgänge bestimmend. Am Tubus 50 kann z.B. ein Ausgang für eine Kamera 51 und ein Ausgang für ein Okular 52 angeordnet sein. Ebenso kann die Lichtintensität auf die verschiedenen Ausgänge verteilt werden. Eine Verteilung der Lichtintensität wäre z.B. 50% der Lichtintensität auf den visuellen Ausgang und die restlichen 50% auf den Ausgang zum Fototubus. Ebenso kann es wichtig sein, die Artikelnummer der verwendeten Okulare einzulernen und ggf. auch die mit den Okularen verbundene Vergrößerung. Die Artikelnummer der verwendeten Kamerabefestigung kann ggf. zusammen mit der Vergrößerung der Kamerabefestigung ebenfalls eingelernt werden.
Wie erwähnt, können sich im Bereich um den Triebknopf 28 mehrere Bedienknöpfe 30 bzw. Funktionstasten befinden. Diese Funktionstasten können verschieden belegt werden. So kann beispielsweise bei einer Konfiguration im Rahmen einer Ausgestaltung der Erfindung ein Kurzname der Tastenbelegung eingegeben werden. Ferner kann ein Kommando, welches bei Tastenbetätigung ausgeführt wird, durch eine Konfiguration im Rahmen einer Ausgestaltung der vorliegenden Erfindung festgelegt werden. Ebenso kann das Kommando, welches beim Loslassen der Funktionstaste ausgelöst wird, entsprechend konfiguriert werden. Hinzu kommt die Kommandowiederholrate bei Halten der Funktionstaste.
Figur 4 veranschaulicht ein Verfahren gemäß einer Ausgestaltung der vorliegenden Erfindung in einem Anlernbetriebsmodus und in Form eines schematischen Ablaufplans 100 mit mehreren, über eine Zeitachse 110 aufgetragenen Verfahrensschritten. Das Verfahren 100 gemäß der hier veranschaulichten Ausgestaltung beginnt mit einem Schritt 101 beispielsweise mit einer Initialisierung bzw. der Bereitstellung der für das Verfahren 100 benötigten elektronischen und Software-Ressourcen ln einem Schritt 102 wird eine einem ersten Einstellungsdatensatz entsprechende Anlerneinstellung von Mikroskopkomponenten, wie sie in den zuvor erläuterten Figuren gezeigt sind, in der zuvor erläuterten Weise automatisch oder manuell vorgenommen. Es kann sich dabei um beliebige der zuvor erläuterten und beliebige weitere Anlerneinstellungen handeln.
Nach der Vornahme der Anlerneinstellungen in dem Schritt 102 werden diese Anlerneinstellungen in einem Schritt 103 insbesondere automatisch oder manuell bewertet ln Abhängigkeit von dieser Bewertung in Schritt 103 werden die den Anlerneinstellungen zugehörigen Einstellungsdatensätze jeweils für eine nachfolgende Verwendung in einer Ablaufsteuerung gespeichert, wenn sie einem Erwartungswert oder dergleichen entsprechen, oder ansonsten verworfen und/oder modifiziert ln ersterem Fall kann das Verfahren mit der Vornahme zweiter Anlerneinstellungen in einem Schritt 104 bzw. der Bewertung in einem Schritt 105 fortgesetzt werden; in letzterem Fall kann beispielsweise eine erneute (beispielsweise modifizierte) Vornahme der ersten Anlerneinstellungen in dem Schritt 103 vorgenommen werden.
Das Verfahren 100 endet nach der Vornahme beliebiger weiterer Anlerneinstellungen und deren Bewertung (hier mit 105 zusammengefasst) in einem Schritt 106. Im Anschluss hieran kann ein Untersuchungsbetriebsmodus vorgenommen werden.
Auf diese Weise schafft die vorliegende Erfindung ein Verfahren, bei dem in einer zeitlichen Abfolge mittels einer Ablaufsteuerung, die Einstellungsdatensätze in einem sich an den Lernbetriebsmodus anschließenden
Untersuchungsbetriebsmodus nacheinander in Einstellungen von bestimmten Mikroskopkomponenten umgesetzt werden können. Im Gegensatz zu einer manuellen Definition über Einstellwerte braucht der Benutzer dabei im Rahmen der vorliegenden Erfindung die beispielsweise numerisch bzw. in Form von Stellwerten vorliegenden und intern weiterhin auf diese Weise verwendeten Einstellwerte nicht im Detail zu kennen, sondern er muss lediglich entsprechende Einstellungen vornehmen, beispielsweise einen Mikroskoptisch führen, ein Objektiv wechseln, eine Beleuchtungshelligkeit und/oder eine Lichtfarbe wählen und/oder den Fokustrieb verstellen. Das erfindungsgemäße Verfahren umfasst, dass entsprechende, diesen Benutzereinstellungen entsprechende Werte in den jeweiligen Einstellungsdatensätze zu speichern, so dass diese in einer durch ein Mikroskopsystem bzw. eine entsprechende Steuereinheit oder einen Computer auswertbaren und verwendbaren Form bereitstellen.

Claims

Patentansprüche
1. Verfahren (100) zur Konfiguration einer Ablaufsteuerung eines automatisierten Mikroskops (1), bei dem in einem Lernbetriebsmodus nacheinander jeweils Einstellungsdatensätzen entsprechende Anlerneinstellungen von Mikroskopkomponenten (2-53) des Mikroskops (1) automatisch oder manuell vorgenommen werden, indem ein Benutzer zumindest einen Teil der Mikroskopkomponenten (2-53) in Positionen bringt, die jeweils einem bestimmten Probenbereich und/oder einer bestimmten Fokuslage entsprechen, und jeder dieser Positionen einen oder mehrere, mittels der oder weiterer Mikroskopkomponenten (2-53) vorzunehmende Untersuchungsschritte zuweist, und bei dem die Anlerneinstellungen nach der Vornahme automatisch oder manuell bewertet werden, wobei in Abhängigkeit von der Bewertung die den Anlerneinstellungen zugehörigen Einstellungsdatensätze für eine nachfolgende Verwendung in der Ablaufsteuerung gespeichert, verworfen und/oder modifiziert werden, wobei die Ablaufsteuerung eine Verwendung der gespeicherten Einstellungsdatensätze in Form einer Einstellung der Mikroskopkomponenten (2-53) gemäß den Einstellungsdatensätzen in einem dem Lernbetriebsmodus nachfolgenden Untersuchungsbetriebsmodus vorgibt.
2. Verfahren (100) nach Anspruch 1, bei dem der Untersuchungsbetriebsmodus einen oder mehrere Akquisitionsschritte umfasst, in dem oder denen der eine oder die mehreren Untersuchungsschritte in den jeweiligen Probenbereichen und/oder mit den jeweiligen Fokuslagen vorgenommen werden, wobei mittels des einen oder der mehreren Akquisitionsschritte Bilddaten erhalten und gespeichert werden.
3. Verfahren (100) nach Anspruch 2, bei dem die in dem einen oder in den mehreren Akquisitionsschritten erhaltenen und gespeicherten Bilddaten in einem oder mehreren Auswertungsschritten einer Bildanalyse unterworfen werden.
4. Verfahren (100) nach Anspruch 3, bei dem eine Durchführung des einen oder der mehreren Auswertungsschritte als Reaktion auf eine Benutzereingabe oder automatisch eingeleitet wird, und/oder bei dem in dem einen oder den mehreren Auswertungsschritte eine Benutzereingabe ausgewertet wird.
5. Verfahren (100) nach einem der vorstehenden Ansprüche, bei dem die Verwendung der Einstellungsdatensätze in der Ablaufsteuerung ein Aneinanderreihen der gespeicherten Anlerneinstellungen umfasst.
6. Verfahren (100) nach Anspruch 5, bei dem eine Reihenfolge, in der das Aneinanderreihen der gespeicherten Anlerneinstellungen erfolgt, automatisch oder von einem Benutzer vorgebbar ist.
7. Verfahren (100) nach einem der vorstehenden Ansprüche, bei dem die Mikroskopkomponenten (2-53) einen motorisierten Tubus und/oder eine motorisiert verstellbare Auflichtachse, einen motorisierten Objektivrevolver, einen motorisierten z-Antrieb für die Fokuseinstellung, einen motorisierten Kreuzisch, mindestens eine Beleuchtungseinrichtung für die Auflicht- oder Durchlichtbeleuchtung und/oder einen Kondensor sowie eine Vielzahl von Bedienknöpfen oder zumindest eine oder eine beliebige Kombinationen der genannten Komponenten umfassen.
8. Verfahren (100) nach einem der vorstehenden Ansprüche, bei dem die automatische oder manuelle Bewertung durch eine optische Beurteilung eines mit dem Mikroskop (1) erhaltenen Mikroskopbilds und/oder auf Grundlage einer automatischen Bildverarbeitung durchgeführt wird.
9. Verfahren (100) nach Anspruch 8, bei dem Schärfe-, Kontrast-, Helligkeits und/oder Farbwerte oder andere Bildeigenschaften, insbesondere in Form eines Bildvergleichs mit zuvor oder anschließend erhaltenen Bildern, beurteilt werden.
10. Mikroskopsystem (200) mit einem Mikroskop (1) und einer Steuereinrichtung (80), die dafür eingerichtet ist, das Mikroskop (1) in einem Lernbetriebsmodus und in einem Untersuchungsbetriebsmodus zu betreiben, wobei das Mikroskopsystem (200) in dem Lernbetriebsmodus dafür eingerichtet ist, nacheinander bestimmte, jeweils Einstellungsdatensätzen entsprechende Anlerneinstellungen von Mikroskopkomponenten (2-52) automatisch oder manuell vorzunehmen, indem ein Benutzer zumindest einen Teil der Mikroskopkomponenten (2-53) in Positionen bringt, die jeweils einem bestimmten Probenbereich und/oder einer bestimmten Fokuslage entsprechen, und jeder dieser Positionen einen oder mehrere, mittels der oder weiterer Mikroskopkomponenten (2-53) vorzunehmende Untersuchungsschritte zuweist, und die Anlerneinstellungen nach der Vornahme automatisch oder manuell zu bewerten, sowie in Abhängigkeit von der Bewertung die den Anlerneinstellungen zugehörigen Einstellungsdatensätze jeweils für eine nachfolgende Verwendung in einer Ablaufsteuerung zu speichern, zu verwerfen und/oder zu modifizieren, wobei die Ablaufsteuerung zur Verwendung der gespeicherten Einstellungsdatensätze in Form einer Vorgabe einer Einstellung der Mikroskopkomponenten (2-53) gemäß den Einstellungsdatensätzen in einem dem Lernbetriebsmodus nachfolgenden Untersuchungsbetriebsmodus eingerichtet ist.
11. Mikroskopsystem nach Anspruch 10, bei dem das Mikroskop (1) als Auflicht-, Durchlicht-, Lichtblatt-, Scan- oder Fluoreszenzmikroskop ausgebildet ist.
12. Mikroskopsystem nach Anspruch 10 oder 11, das zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9 eingerichtet ist.
13. Steuereinheit (80) für ein Mikroskopsystem (200), insbesondere einem Mikroskopsystem (200) nach einem der Ansprüche 10 bis 12, die zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9 eingerichtet ist.
14. Computerprogramm mit Programmcodemitteln, das, wenn es auf einer Recheneinheit, insbesondere einer Steuereinheit (80) gemäß Anspruch 13, ausgeführt wird, ein Verfahren gemäß einem der Ansprüche 1 bis 9 durchführt.
15. Computerprogrammprodukt einem Datenträger, auf dem ein Computerprogramm gemäß Anspruch 14 gespeichert ist.
EP20830106.9A 2019-12-12 2020-12-11 Verfahren zum konfigurieren eines automatisierten mikroskops und mittel zu dessen durchführung sowie mikroskopsystem Pending EP4073567A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019134217.1A DE102019134217A1 (de) 2019-12-12 2019-12-12 Verfahren zum Konfigurieren eines automatisierten Mikroskops und Mittel zu dessen Durchführung sowie Mikroskopsystem
PCT/EP2020/085820 WO2021116439A1 (de) 2019-12-12 2020-12-11 Verfahren zum konfigurieren eines automatisierten mikroskops und mittel zu dessen durchführung sowie mikroskopsystem

Publications (1)

Publication Number Publication Date
EP4073567A1 true EP4073567A1 (de) 2022-10-19

Family

ID=74104048

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20830106.9A Pending EP4073567A1 (de) 2019-12-12 2020-12-11 Verfahren zum konfigurieren eines automatisierten mikroskops und mittel zu dessen durchführung sowie mikroskopsystem

Country Status (5)

Country Link
US (1) US20230003989A1 (de)
EP (1) EP4073567A1 (de)
CN (1) CN114830008A (de)
DE (1) DE102019134217A1 (de)
WO (1) WO2021116439A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934201A (zh) * 2022-12-22 2023-04-07 徕卡显微系统科技(苏州)有限公司 一种显微镜配置方法及显微镜系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3933064C2 (de) * 1988-10-05 1994-02-10 Olympus Optical Co Steuervorrichtung für ein Mikroskop
US7030351B2 (en) * 2003-11-24 2006-04-18 Mitutoyo Corporation Systems and methods for rapidly automatically focusing a machine vision inspection system
DE10361158B4 (de) * 2003-12-22 2007-05-16 Leica Microsystems Einrichtung und Verfahren zur Konfiguration eines Mikroskops
DE102005059338A1 (de) * 2005-12-08 2007-06-14 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Untersuchung von Proben
DE102008016262B4 (de) * 2008-03-29 2016-05-04 Carl Zeiss Microscopy Gmbh Verfahren zur Ermittlung der Konfiguration eines Mikroskops
DE102012219775A1 (de) * 2012-10-29 2014-04-30 Carl Zeiss Microscopy Gmbh Einstelleinheit und Verfahren zum Einstellen eines Ablaufs zur automatischen Aufnahme von Bildern eines Objekts mittels einer Aufnahmevorrichtung und Aufnahmevorrichtung mit einer solchen Einstelleinheit
US9444995B2 (en) * 2013-10-11 2016-09-13 Mitutoyo Corporation System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system
DE102014102080B4 (de) * 2014-02-19 2021-03-11 Carl Zeiss Ag Verfahren zur Bildaufnahme und Bildaufnahmesystem
CN107430265A (zh) * 2015-01-30 2017-12-01 分子装置有限公司 高内涵成像系统以及操作高内涵成像系统的方法
US10061972B2 (en) * 2015-05-28 2018-08-28 Tokitae Llc Image analysis systems and related methods
US9961253B2 (en) * 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens
DE102017214189A1 (de) * 2017-08-15 2019-02-21 Carl Zeiss Microscopy Gmbh Verfahren zum Betrieb einer Mikroskopieranordnung und Mikroskopieranordnung mit einem ersten Mikroskop und mindestens einem weiteren Mikroskop
US20200183140A1 (en) * 2018-12-11 2020-06-11 Reametrix, Inc. Dual parallel optical axis modules sharing sample stage for bioburden testing
DE102019102959B3 (de) * 2019-02-06 2020-06-10 Leica Microsystems Cms Gmbh Verfahren zur Bilderzeugung mittels eines Mikroskops und entsprechendes Mikroskop

Also Published As

Publication number Publication date
DE102019134217A1 (de) 2021-06-17
US20230003989A1 (en) 2023-01-05
CN114830008A (zh) 2022-07-29
WO2021116439A1 (de) 2021-06-17

Similar Documents

Publication Publication Date Title
DE102020214610B4 (de) Verfahren zum Steuern eines Mikroskops und Mikroskop
DE102018219867B4 (de) Lernender Autofokus
EP3867798A1 (de) Inferenz mikroskopie
EP3575890B1 (de) Assistenzsystem zur unterstützung der planung von automatisierungssystemen
DE102019114117B3 (de) Automatische Workflows basierend auf einer Erkennung von Kalibrierproben
DE102020210352A1 (de) Verfahren und Vorrichtung zum Transferlernen zwischen modifizierten Aufgaben
EP3867799A1 (de) Optimierung von arbeitsabläufen von mikroskopen
DE102023125820B3 (de) Mikroskopiesystem und zugehöriges Verfahren sowie Computerprogramm
EP3112919B1 (de) Mikroskop mit einem optikmodul, das mindestens ein optisches element aufweist
CH714206A2 (de) Verfahren und Vorrichtungen zum Entwerfen optischer Systeme.
DE102020106607A1 (de) Maschinelles Lernsystem für eine Zustandserkennung einer Operation und Assistenzfunktion
EP4073567A1 (de) Verfahren zum konfigurieren eines automatisierten mikroskops und mittel zu dessen durchführung sowie mikroskopsystem
WO2017055558A1 (de) Mikroskopsteuerungsverfahren und mikroskop
DE102021121635A1 (de) Automatisiertes trainieren eines maschinengelernten algorithmus basierend auf der überwachung einer mikroskopiemessung
EP3977340A1 (de) System zur ermittlung der wirkung von wirkstoffen an acariformes, insekten und anderen organismen einer testplatte mit kavitäten
EP3629252A1 (de) Verfahren und vorrichtung zum betreiben eines steuerungssystems
DE112021008422T5 (de) Verfahren zur Bestimmung von ersten und zweiten abgebildeten Zielmerkmalen, die einem realen Zielmerkmal in einer mikroskopischen Probe entsprechen, und Implementierungsmittel
DE102023103635A1 (de) Computersystem für die Anzeige von Probenbildern, Mikroskopsystem und Verfahren hierfür
DE102023104144A1 (de) Vorrichtung zur Datenverarbeitung für ein digitales Bildgebungsgerät, Mikroskop und Mikroskopieverfahren
DE10250503A1 (de) Mikroskopsystem und Verfahren zur Detektion und Kompensation von Veränderungen eines aufgenommenen Bildinhalts
DE202020104727U1 (de) Vorrichtung zum Transferlernen zwischen modifizierten Aufgaben
DE102023119496B3 (de) Verfahren zum Einstellen eines optischen Fokus und medizinisches Gerät
DE102023005466A1 (de) Mikroskopiesystem und zugehörige Verfahren
DE102006009564B4 (de) Verfahren zur Bearbeitung einer Masse mittels eines Laserstrahls und entsprechende Vorrichtung
DE102024123662A1 (de) Verfahren und System zum Bestimmen von Befehlen zum Steuern eines Betriebs eines Mikroskops

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220711

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230414

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250306