EP4616242A1 - Optisches abbildungssystem mit einer scannenden abbildungsvorrichtung, verfahren, system und computerprogramm - Google Patents

Optisches abbildungssystem mit einer scannenden abbildungsvorrichtung, verfahren, system und computerprogramm

Info

Publication number
EP4616242A1
EP4616242A1 EP23805916.6A EP23805916A EP4616242A1 EP 4616242 A1 EP4616242 A1 EP 4616242A1 EP 23805916 A EP23805916 A EP 23805916A EP 4616242 A1 EP4616242 A1 EP 4616242A1
Authority
EP
European Patent Office
Prior art keywords
optical imaging
imaging device
geometry
representation
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23805916.6A
Other languages
English (en)
French (fr)
Inventor
Kai Ritschel
Mate BELJAN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Publication of EP4616242A1 publication Critical patent/EP4616242A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0048—Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0031—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for scanning purposes

Definitions

  • Embodiments of the present invention relate to an optical imaging system with a scanning imaging device, as well as to a method, a system and a computer program for such an optical imaging system.
  • confocal microscopy which is an example of scanning microscopy
  • the two movements of the mirror are preferably precisely coordinated so that the imaged area of a single pixel in x and y (i.e. along two lateral dimensions) is the same size, otherwise the image contains strong distortions.
  • an image distorted in this way has, for example, an influence on a point spread function that is used in a deconvolution operation to process the sensor data of the confocal microscope.
  • a distorted image is also called a non-isotropic image. The isotropy of the image becomes even more important when the confocal imaging is to be registered with other modalities, such as a wide-field image provided by a camera sensor of the microscope.
  • a calibration standard that is built into the scanner is used to calibrate confocal microscopes.
  • This calibration standard is used to set the control of the galvanometer scanners (or “galvos” for short) of the confocal microscope.
  • the technical service can ensure an isotropic representation.
  • a double-cross calibration target is usually used for this, which has no periodic properties.
  • Such a double-cross calibration target cannot be displayed by means of a camera of the confocal microscope, since it is arranged outside the beam path of the camera.
  • an identical field of view i.e.
  • an identical imaged area) of the two imaging devices is also desired, as well as knowledge of the scaling of the image data of the imaging device so that a suitable optical overlay can be generated if necessary, which is superimposed on the image data of the imaging device.
  • a suitable optical overlay can be generated if necessary, which is superimposed on the image data of the imaging device.
  • a laborious calibration procedure is therefore carried out manually in production to try to set the field of view identically and at the same time isotropically via the Galvo control (via the parameters scaling in the x-dimension, scaling in the x-dimension, offset in the x-dimension and offset in the y-dimension).
  • the quality assessment is only carried out visually (by means of superimposed representations of a technical sample). Simultaneous setting and evaluation of the four parameters mentioned above is necessary because the parameters cannot be viewed independently of one another.
  • Manual calibration takes a long time, is complicated and potentially prone to errors. It is an iterative process because offset and scaling cannot be visually evaluated independently of one another.
  • Manual calibration checks the isotropy of the confocal scan only relative to the wide-field image and not independently of it (by means of the overlay display).
  • Deviations can also have a negative impact on subsequent alignment and its quality.
  • a confocally scanned dye can appear in a different place compared to an IMC image (Imaging Mass Cytometry) and may cover a different shape, which would rule out existing colocalization.
  • IMC image Imaging Mass Cytometry
  • Various embodiments of the present disclosure are based on the finding that a geometric analysis of a calibration pattern is suitable for achieving isotropy in image data from a scanning imaging device, such as a confocal microscope, by determining suitable calibration parameters for the scanner mirror(s).
  • this geometric analysis for example when applied to both image data from the scanning imaging device and image data from another optical (camera-based) imaging device, can also be used to harmonize the fields of view of the two imaging devices. This avoids the time-consuming manual calibration of the optical imaging system, and achieves higher calibration accuracy and lower susceptibility to errors.
  • the calibration can be repeated in the field without the need for a technician, so that the isotropy and the match of the fields of view can be guaranteed even after a longer period of use.
  • Various aspects of the present disclosure relate to a method for an optical imaging system with a scanning imaging device.
  • the method comprises obtaining sensor data from a detector of the scanning imaging device.
  • the sensor data comprise a representation of a pattern recorded by the detector.
  • the method further comprises determining a characteristic geometry of the representation of the pattern.
  • the method further comprises comparing the characteristic geometry with a reference geometry to determine a comparison result.
  • the method further comprises determining at least one calibration parameter for calibrating at least one control unit for moving a beam-guiding element of the scanning imaging device based on the comparison result.
  • the method further comprises operating the at least one control unit based on the at least one calibration parameter.
  • the characteristic geometry By determining the characteristic geometry and comparing it with the reference geometry, it is possible to determine mathematically in a simple manner to what extent the representation of the pattern differs from a reference representation of the pattern (for example with regard to isotropy). In addition, if desired, it is possible to determine to what extent the field of view of the scanning imaging device differs from a reference field of view. Through these determinations, one or more suitable calibration parameters can be determined, which can be used to control the beam-guiding element in such a way that the scanning imaging device generates sensor data corresponding to the specifications of the reference geometry in the future.
  • the reference geometry can be generated by the optical imaging system.
  • the method can also include determining the reference geometry.
  • the present concept is suitable, for example, for harmonizing the fields of view of a camera-based imaging device and a scanning imaging device.
  • the camera-based optical imaging device can be used to determine the reference geometry.
  • the method can also include obtaining further sensor data from a further optical imaging sensor of the optical imaging system.
  • the further sensor data includes a further representation of the pattern that was recorded by the further optical imaging sensor.
  • the method can include determining the reference geometry based on the further representation of the pattern. Accordingly, the at least one calibration parameter can be determined here such that the representation of the scanning imaging device is adapted to the representation of the further optical imaging sensor.
  • the method can include adapting, for example scaling, the representation based on the comparison result.
  • the x and y offset hereinafter referred to as the difference value
  • the difference value the difference value between the adapted representation and the further representation generated by the further optical imaging sensor.
  • the method may include determining a difference value between the adjusted representation and the further representation, and determining the at least one calibration parameter further based on the difference value.
  • this difference value can also be obtained after application of the at least one calibration parameter based on newly obtained image data of the scanning imaging device.
  • the method can comprise obtaining the sensor data again with the representation of the pattern, determining a difference value between the newly obtained representation and the further representation, and determining the at least one calibration parameter further based on the difference value. This allows the offset between the fields of view of the two imaging devices to be determined and (further) reduced.
  • the reference geometry can be determined based on sensor data of the scanning imaging device, for example in order to be able to automatically perform the calibration again after a longer period of use of the imaging system.
  • the method can include determining the reference geometry based on sensor data of the scanning imaging device after a factory calibration of the scanning imaging device.
  • the reference geometry can be specified at the factory or by another scanning imaging device.
  • the reference geometry can be a reference geometry defined at the factory or a geometry determined by another scanning imaging device that is stored in a memory of the optical imaging system. This allows uniform calibration to be achieved across devices.
  • the at least one calibration parameter can be determined such that, after applying the at least one calibration parameter, a field of view of the scanning imaging device corresponds to a field of view of another optical imaging sensor of the optical imaging system within a tolerance range. This allows the operation of the optical imaging system to seamlessly switch between image data from the scanning imaging device and image data from the optical imaging sensor.
  • the characteristic geometry of the scanning imaging device can be brought into line with the reference geometry.
  • the at least one calibration parameter can be determined such that, after applying the at least one calibration parameter and again obtaining the sensor data and determining the characteristic geometry, the characteristic geometry corresponds to the reference geometry within a tolerance range. This can be used as an indicator that the calibration was successfully performed.
  • the accuracy of the calibration can be increased if necessary by iteratively repeating the proposed procedure so that the difference between the characteristic geometry and the reference geometry is iteratively reduced.
  • the comparison result can be determined repeatedly and at least one calibration parameter can be repeatedly adjusted.
  • the beam-guiding element cannot be controlled as desired to align the fields of view (or achieve isotropy) due to aging-related effects.
  • a warning can be issued to signal to the user of the optical imaging system that repair and/or replacement of the respective component is necessary.
  • the method can further comprise providing a warning if the characteristic geometry does not correspond to the reference geometry within a tolerance range after repeated adjustment of the at least one calibration parameter. In this way, operation of the optical imaging system with a faulty component can be prevented.
  • a characteristic geometry is calculated and compared with a reference geometry.
  • One way to determine this characteristic geometry is to determine distances between elements of the pattern.
  • the pattern is a periodic pattern, ie, a pattern in which elements occur repeatedly according to a predetermined periodicity.
  • the pattern can be a periodic pattern and the characteristic geometry can include a periodicity of the representation of the periodic pattern.
  • the periodicity is a numerical value that can be easily compared with a periodicity of the reference geometry and that can be used (directly) to set the aforementioned scaling.
  • the periodicity can be calculated, for example, with little computational effort and without segmenting the sensor data by calculating an auto-phase correlation. Consequently, the periodicity can be determined by calculating an auto-phase correlation.
  • an object to be scanned is usually scanned according to a two-dimensional scanning pattern.
  • the beam-guiding element is moved accordingly in two dimensions, which can be calibrated separately. Consequently, the pattern can be a two-dimensional periodic pattern.
  • the characteristic geometry can be a periodicity of the representation of the two-dimensional periodic pattern in two dimensions.
  • the beam-guiding element can also be movable in two dimensions by the control unit.
  • the at least one calibration parameter can comprise at least a first scaling factor for scaling the movement of the beam-guiding element in a first dimension and a second scaling factor for scaling the movement of the beam-guiding element in a second dimension. This allows the calibration of the scanning imaging device for scanning according to the two-dimensional scanning pattern to be carried out.
  • Calibration can be performed at different times.
  • the characteristic geometry and comparison result can be performed at startup of the scanning imaging device.
  • automatic calibration can be performed at (or every) startup of the scanning imaging device so that the measurement accuracy (and compliance with the field of view of the optical imaging sensor) is continuously ensured.
  • calibration can be carried out sporadically, for example after a shock to the optical imaging system. Consequently, the characteristic Geometry and the comparison result are determined after detection of a vibration of the optical imaging system. This is recommended because the vibration is expected to cause a change in the characteristics of the movement of the beam-guiding element and/or a change in the field of view of the optical imaging sensor.
  • the characteristic geometry and the comparison result can be determined according to a predetermined schedule.
  • the measurement accuracy and agreement with the field of view of the optical imaging sensor
  • Some aspects of the present disclosure relate to a system for an optical imaging system with a scanning imaging device.
  • the system comprises one or more processors and one or more memory devices.
  • the system is designed to carry out the method presented above.
  • Some aspects of the present disclosure further relate to an optical imaging system comprising a scanning imaging device and the system presented above.
  • the term scanning imaging device is used.
  • scanning imaging devices are scanning electron microscopes and two-photon microscopes.
  • the scanning imaging device can, as mentioned at the beginning, be a confocal imaging device, such as a confocal microscope (confocal laser scanning microscope, CLSM).
  • the pattern can be placed in various locations.
  • the pattern can be imaged on a sample carrier, which can be inserted into a sample holder of the optical imaging system for calibration, or it can be placed on a sample stage of the optical imaging system.
  • the sample stage of the optical imaging system can include the pattern. This allows calibration to be performed without a sample carrier with the pattern having to be inserted by a user.
  • the optical imaging system may comprise a housing, wherein the pattern is located within the housing and outside a field of view of the scanning Imaging device that is accessible to users of the optical imaging system.
  • the system can be designed to control the control unit so that the pattern outside the field of view that is accessible to users of the optical imaging system is detected by the detector of the scanning imaging device. This allows the pattern to be recorded for calibration outside the field of view of the scanning imaging device that is accessible to users of the optical imaging system without it interfering with normal use of the scanning imaging device.
  • Some aspects of the present disclosure also relate to a computer program with a program code for carrying out the method presented above.
  • Figs. 1a and 1b show flow charts of examples of a method for an optical imaging system with a scanning imaging device
  • FIGS. 2a and 2b show schematic drawings of examples of an optical imaging system with a scanning imaging device
  • Fig. 3 shows a flowchart of an example of a flow of the calibration method
  • Fig. 4 shows a schematic representation of the effect of calibration
  • Fig. 5 shows a schematic representation of a system with an optical imaging device and a computer system.
  • aspects have been described in the context of a device, it is clear that these aspects also represent a description of the corresponding method, wherein a block or device corresponds to a method step or a function of a method step. Analogously, aspects described in the context of a method step also represent a description of a corresponding block or element or a property of a corresponding device.
  • Figs. 1a and 1b show flow charts of examples of a method for an optical imaging system 200a; 200b with a scanning imaging device 220 (the reference numerals of the optical imaging system refer to Figs. 2a and 2b).
  • the method includes obtaining 130 sensor data from a detector 222 of the scanning imaging device 220.
  • the sensor data includes a representation of a pattern 10; 20; 30 (shown in Figs. 2a and 2b, respectively) that was recorded by the detector.
  • the method further comprises determining 140 a characteristic geometry of the representation of the pattern.
  • the method further comprises comparing 150 the characteristic geometry with a reference geometry to determine a comparison result.
  • the method further comprises determining 180 at least one calibration parameter for calibrating at least one control unit 224 for moving a beam-guiding element 226 of the scanning imaging device based on the comparison result.
  • the method further comprises operating 190 the at least one control unit based on the at least one calibration parameter.
  • FIG. 1a A basic first version of the method is shown in Fig. 1a.
  • the method can further comprise optional additional features which are shown in Fig. 1b as blocks with dashed lines and which are explained in the course of the further description of Figs. 1a to 2b.
  • the method of Figs. 1a and 1b relates to an optical imaging system.
  • Figs. 2a and 2b show schematic drawings of examples of such an optical imaging system 200a; 200b with a scanning imaging device.
  • the optical imaging systems 200; 200b each comprise the scanning imaging device 220 and a system 210 that is designed to carry out the method of Figs. 1a and/or 1b.
  • the system 210 can be implemented as a computer system.
  • the system 210 comprises one or more processors and one or more memory devices 216.
  • the system 210 can further comprise one or more interfaces 212.
  • the one or more processors 214 are coupled to the one or more memory devices and to the one or more interfaces 212.
  • the one or more processors 214 are designed to provide the functionality of the system 210 in interaction with the one or more interfaces 212 (for exchanging information with other components of the optical imaging system, such as the detector 220 of the scanning imaging device, an optical imaging sensor 230 (shown in Fig. 2b), or a screen of the optical imaging system (not shown)) and with the one or more storage devices 216 (for storing and retrieving information, such as machine-readable instructions comprising program code for the one or more processors 214).
  • the functionality of the one or more processors 214 can be implemented by the one or more processors 214 by the one or more multiple processors that execute machine-readable instructions. Accordingly, functionality attributed to the one or more processors 214 may be defined by one or more instructions from a plurality of machine-readable instructions.
  • the system 210 may include the machine-readable instructions, e.g., in the one or more storage devices 216.
  • the present concept relates to an optical imaging system with a scanning imaging device.
  • the imaging system can be a microscope system or an exoscope system, whereby an exoscope system is an optical imaging system that, in contrast to the microscope system, is used exclusively via a screen or a head-mounted display (screen that is worn like glasses).
  • an exoscope is usually used from a greater distance.
  • optical imaging system is used to clarify that, on the one hand, it is a system with optical components, and on the other hand, in addition to the optical components, it includes other components, such as the system 210.
  • the optical imaging system can have other components, such as an input device (such as a touch-sensitive screen, a keyboard or control buttons), a screen, a sample table, a housing, etc.
  • the optical imaging system comprises at least one optical component.
  • the optical imaging system comprises as optical component at least the scanning imaging device 220.
  • the optical imaging system as shown in Fig. 2b, may also include another optical imaging sensor 230.
  • a scanning imaging device is an optical component configured to generate image data by scanning a plurality of positions of a sample.
  • An example of a scanning imaging device is a confocal microscope.
  • the scanning imaging device may be a confocal imaging device, such as a confocal microscope.
  • Other examples of scanning imaging devices are the two-photon microscope and the scanning electron microscope.
  • a beam is directed by a beam-guiding element to the aforementioned plurality of positions of the sample.
  • One or more detectors are used to detect interactions of the beam with the sample, such as reflection, photoemission (in the case of fluorescence), emitted radiation or electrons.
  • the beam is a laser beam, in the case of scanning electron microscopy, an electron beam.
  • This beam is directed to the different positions of the sample (according to a grid) by means of the beam-guiding element.
  • a mirror or other reflective element is usually used (as shown in Fig. 2a), while in the case of scanning electron microscopy, coils are used to direct the electron beam.
  • the present disclosure deals with the calibration of the control of this beam-guiding element by means of the control unit.
  • control unit can, for example, comprise a so-called galvo motor or a micro-electro-mechanical system (MEMS) that carries out the movement of the beam-guiding element.
  • control unit can comprise a control circuit for controlling the coils.
  • Fig. 2a shows the characteristic structure of a confocal microscope.
  • the laser emitter 228 is shown, which emits laser light onto the mirror 226, which mirror is moved by the control unit 224 to scan the pattern 10.
  • several mirrors are used instead of one mirror, each of which is controlled by a control unit.
  • the calibration of the control of the beam-conducting element by the control unit is based on the evaluation of sensor data from the detector (which detects the interactions of the beam with the sample) of the scanning imaging device.
  • a characteristic geometry of a representation of a pattern is determined, compared with a reference geometry, and based on the comparison, calibration parameters are determined for calibrating the control unit.
  • a confocal microscope is used as an example as a scanning imaging device.
  • the principle can also be transferred to other scanning imaging devices.
  • the sensor data of the detector are evaluated. For example, image data that includes the representation of the pattern can be generated from the sensor data. The image data is analyzed using image processing to determine the characteristic geometry based on the representation of the pattern contained in the image data.
  • the characteristic geometry can, for example, correspond to an absolute or relative extent of one or more geometric elements of the pattern in the representation of the pattern, which can be determined using image processing.
  • the characteristic geometry corresponds to or comprises a periodicity of elements of the pattern.
  • the pattern can be a periodic pattern, i.e. a pattern in which one or more elements (such as dots, lines, triangles, squares, etc.) are repeated at regular intervals along at least one lateral dimension of the pattern.
  • the pattern (there the calibration standard 310) can be, for example, a two-dimensional periodic pattern, such as a two-dimensional periodic pattern of dots.
  • the characteristic geometry can be a periodicity of the representation of the two-dimensional periodic pattern in two dimensions.
  • the periodicity corresponds to the distance between two adjacent elements of the repeatedly represented elements of the pattern, such as the distance between the centers of two horizontally or vertically adjacent points in the pattern shown in Fig. 3.
  • Such a periodicity can be calculated, for example, by calculating an auto-phase correlation.
  • the method can comprise calculating 145 an auto-phase correlation, as shown in Fig. 1b.
  • calculating the auto- Phase correlation involves applying a 2D Fourier transform to the image data and calculating the cross power spectrum between the 2D Fourier transform version of the image data and the 2D Fourier transform version of the image data (ie, between the same 2D Fourier transform version of the image data, making it an auto-phase correlation).
  • the result is back transformed by an inverse Fourier transform.
  • the periodicity can now be determined by determining the distances between the peaks in the back transformed version.
  • This characteristic geometry (e.g. the determined periodicity in one or two lateral dimensions) is then compared with the reference geometry to determine the comparison result.
  • the reference geometry can also correspond to an absolute or relative extension of one or more geometric elements of the pattern, or, preferably, a reference periodicity in one or two lateral dimensions.
  • the reference geometry can come from various sources.
  • the reference geometry can be a factory-defined reference geometry or a geometry determined by another scanning imaging device that is stored in a memory 216 (i.e., in a storage device 216 of the one or more storage devices of the system) of the optical imaging system. This can be specified at the factory for a large number of optical imaging systems or, in the laboratory of the user of the optical imaging system, have been created by an optical imaging system for a fleet of similar optical imaging systems.
  • the reference geometry can be determined by means of the optical imaging system.
  • the method can include determining 120 the reference geometry.
  • the scanning imaging device can be manually calibrated and, in the calibrated state, used to determine the reference geometry.
  • the method can include determining 120 the reference geometry based on sensor data of the scanning imaging device after a factory calibration of the scanning imaging device.
  • the characteristic geometry can be determined and used from then on as the reference geometry.
  • the reference geometry can be stored in a memory 216 of the optical imaging system.
  • the present concept can also be used in particular not only to ensure the isotropy of the image data that can be obtained from the sensor data of the scanning imaging device, but also to adapt a field of view of the scanning imaging device to a field of view of another imaging device (the further optical imaging sensor 230 in Fig. 2b).
  • Fig. 2b shows an optical imaging system that includes a first scanning imaging device (a confocal microscope 220) and a second optical imaging device (formed by the further optical imaging sensor 230).
  • a first scanning imaging device a confocal microscope 220
  • a second optical imaging device formed by the further optical imaging sensor 230.
  • the sensor data of the optical imaging sensor 230 is used for this purpose, since the field of view of the optical imaging sensor cannot be corrected to the field of view of the scanning imaging device without loss of image quality, but the other way around is possible.
  • Ensuring isotropy is also less of a problem in the sensor data/image data of the optical imaging sensor, in contrast to the sensor data of the scanning imaging device.
  • the method can further comprise obtaining 110 further sensor data from the further optical imaging sensor 230 of the optical imaging system.
  • the further sensor data comprise a further representation of the pattern recorded by the further optical imaging sensor.
  • a characteristic geometry (as previously explained) of the further representation of the pattern can now also be determined and used as a reference geometry and, optionally, stored.
  • the method can comprise determining 120 the reference geometry based on the further representation of the pattern. A more detailed example of this is discussed, for example, in connection with Figs. 3 and 4.
  • the determination of the characteristic geometry or the reference geometry is based on the recording of the pattern by the respective imaging device.
  • the pattern can be arranged at different locations in the optical imaging system. In Fig. 2b Two locations are shown by way of example. So that the pattern can be "seen" by both imaging devices, the pattern 30 can be imaged on a sample carrier, for example.
  • the sample carrier can in turn be introduced into a sample holder (not shown) of the optical imaging system for calibration or can be arranged on a sample table 250 of the optical imaging system.
  • the sample table 250 can comprise the pattern 30, ie the pattern can be printed or glued onto the sample table.
  • the pattern 20 can also be arranged inside a housing 240, but outside the field of view that can be used by a user, as also shown in Fig. 2b.
  • the beam-guiding element can be tilted further for calibration in order to increase the field of view of the scanning imaging device 220 during calibration.
  • the method can now include controlling the control unit such that the pattern outside the field of view that is accessible to users of the optical imaging system is detected by the detector of the scanning imaging device.
  • the subsequent comparison 150 of the characteristic geometry with the reference geometry can be carried out in order to determine the comparison result.
  • a ratio between the characteristic geometry and the reference geometry for example between the periodicities, can be formed. This ratio can, for example, be determined separately for both lateral dimensions. Consequently, the comparison result can include a ratio between the characteristic geometry and the reference geometry (in two dimensions). This ratio can then in turn be used to determine the at least one calibration parameter.
  • a key aspect of the calibration is the scaling of the movement, i.e. how far the mirror moves for a given input value.
  • the beam-guiding element is movable in two dimensions by the control unit.
  • the at least one calibration parameter can now include at least a first scaling factor for scaling the movement of the beam-guiding element in a first (lateral) dimension and a second scaling factor for scaling the movement of the beam-guiding element in a second (lateral dimension orthogonal to the first dimension). These scaling factors determine how far the mirror moves for a given input value. Since the reference geometry is the target of the calibration, ie if the characteristic geometry corresponds to the reference geometry, then no further calibration is necessary, the relationship between the characteristic geometry and the reference geometry can be used to determine to what extent the scaling is to be adjusted in each case.
  • a lateral offset between the fields of view must also be taken into account.
  • This can be seen, for example, in Fig. 4, where the elements of the representations 410; 420 of the pattern not only have different scales, but are also laterally offset in two dimensions.
  • This (two-dimensional) offset can be determined on the one hand by adjusting (i.e. scaling) the representation of the pattern according to the determined scaling factors and determining the offset based on the adjusted version. For example, as further shown in Fig.
  • the method can further comprise adjusting 160 the representation based on the comparison result and determining 165 a difference value (such as a lateral offset) between the adjusted representation and the further representation.
  • the offset can be determined by applying the scaling parameters, obtaining new sensor data of the optical imaging device with a new representation of the pattern and comparing the characteristic geometry of the new representation with the reference geometry.
  • the method can comprise obtaining 130 the sensor data again with the representation of the pattern and determining 165 the difference value between the newly obtained representation and the further representation.
  • the at least one calibration parameter can now be further determined 180 based on the difference value.
  • the at least one calibration parameter (which includes the scaling factors and the offset in two lateral dimensions) is ideally determined such that, after calibration, the (newly determined) characteristic geometry corresponds to the reference geometry.
  • the at least one calibration parameter can be determined such that, after applying the at least one calibration parameter and again obtaining the sensor data and determining the characteristic geometry, the characteristic geometry corresponds to the reference geometry within a suitable tolerance range. If this is the case, and in particular the offset is also taken into account, the field of view of the scanning imaging device should correspond to the field of view of the wide optical imaging sensor.
  • the at least one calibration parameter can be determined such that, after applying the at least one calibration parameter, a field of view of the scanning imaging device corresponds to a field of view of a further optical imaging sensor of the optical imaging system within a suitable tolerance range.
  • the respective tolerance ranges depend on the application and the selected reference value.
  • the at least one calibration parameter cannot be determined in one run such that the result lies within the aforementioned tolerance range. This may be due, for example, to measurement inaccuracies and non-linearities in the control of the movement of the beam-guiding element. Therefore, the at least one calibration parameter can be adjusted iteratively until the desired precision is achieved.
  • the comparison result can be repeatedly determined 150 (by re-obtaining the sensor data, determining the characteristic geometry and comparing it with the reference geometry) and the at least one calibration parameter can be repeatedly adjusted 185 (based on the adjusted comparison result).
  • the method may further comprise providing 170 a warning if the characteristic geometry does not correspond to the reference geometry within the tolerance range after repeatedly adjusting the at least one calibration parameter.
  • the at least one calibration parameter can be used in operation.
  • the calibration presented here is versatile. Especially when the pattern is not manually inserted by a user of the optical imaging system. If calibration is required, calibration may be performed automatically and periodically, such as according to a predetermined schedule or upon (or each) start-up of the scanning imaging device. To do so, the system may trigger calibration upon start-up or according to the schedule. If the pattern is mounted on a sample carrier, it may be necessary for a user to insert the sample carrier or arrange it on the sample table. Alternatively, or in addition to regular calibration, calibration may also be performed as needed. Such a need arises in particular when a new optical imaging sensor 230 is mounted or its position is changed, or when the optical imaging system is transported or shocked. The shock may be detected, for example, by the system 210 and the system may perform calibration in response to the shock.
  • an optical imaging sensor 230 is used, which is also referred to as a camera. Accordingly, the optical imaging sensor can be designed to generate the further sensor data, which are imaging sensor data.
  • the one optical imaging sensor of the stereoscopic imaging device can comprise or correspond to an APS (Active Pixel Sensor) or a CCD (Charge-Coupled Device)-based image sensor.
  • APS-based image sensors for example, the light at each pixel is detected using a photodetector and an active amplifier of the pixel.
  • APS-based image sensors are often based on CMOS (Complementary Metal-Oxide-Semiconductor) or S-CMOS (Scientific CMOS) technology.
  • CCD-based image sensors incoming photons are converted into electron charges at a semiconductor-oxide interface, which are then moved by an image sensor circuit between capacitive bins (sinks) in the image sensors to perform imaging.
  • the system 210 may be configured to obtain (ie, receive or read out) the sensor data of the detector 222 from the detector of the scanning imaging device 220 and/or to obtain (ie, receive or read out) the further sensor data of the optical imaging sensor 230 from the optical imaging sensor 230, for example via the interface 212.
  • the one or more interfaces 212 of the system 210 may correspond to one or more inputs and/or outputs for receiving and/or transmitting information, which may be in digital (bit) values according to a specific code within a module, between modules, or between modules of different units.
  • the one or more interfaces 212 may, for example, comprise interface circuits configured for receiving and/or transmitting information.
  • the one or more processors 214 of the system 210 may be implemented by one or more processing units, one or more processing devices, any means of processing such as a processor, a computer, or a programmable hardware component operable with appropriately adapted software.
  • the described function of the one or more processors 214 may also be implemented in software that is then executed on one or more programmable hardware components.
  • Such hardware components may include a general-purpose processor (such as a central processing unit), a digital signal processor (DSP), a microcontroller, etc.
  • the one or more storage devices 216 of the system 210 may include at least one member of the group of computer-readable storage media, such as a magnetic or optical storage medium, e.g., a hard disk drive, a flash memory, a floppy disk, a random access memory (RAM), a programmable read-only memory (PROM), an erasable programmable read-only memory (EPROM), an electrically erasable programmable read-only memory (EEPROM), or a network storage.
  • a magnetic or optical storage medium e.g., a hard disk drive, a flash memory, a floppy disk, a random access memory (RAM), a programmable read-only memory (PROM), an erasable programmable read-only memory (EPROM), an electrically erasable programmable read-only memory (EEPROM), or a network storage.
  • a magnetic or optical storage medium e.g., a hard disk drive, a flash memory, a floppy disk, a random
  • the method, the system, the computer program, the optical imaging system and the scanning imaging device may comprise one or more additional optional features that one or more correspond to several aspects of the proposed concept or the examples described as described before or after.
  • Various aspects of the present disclosure relate to an apparatus for automatically calibrating the field of view of an optical imaging device or an optical imaging system, such as a microscope or microscope system, using image processing.
  • an optical imaging device or an optical imaging system such as a microscope or microscope system
  • some embodiments deal with automatically calibrating a field of view of multiple imaging devices.
  • a shared calibration target (such as the pattern used in connection with Figs. 1a to 2b) is used for both modalities.
  • the calibration target can be designed as a sample slide.
  • a calibration target can be used which represents a periodic (in x and y dimensions) pattern.
  • This periodicity can then be determined, for example, via an auto-phase correlation.
  • the periodicity can, for example, correspond to the characteristic geometry discussed in connection with Figs. 1a to 2b, or represent an aspect of the characteristic geometry.
  • the advantage of using auto-phase correlation is the low technical effort. Segmentation can be dispensed with if necessary. A reduced sensitivity to noise compared to conventional targets and algorithms should also be highlighted.
  • the same target can be imaged in the wide field (by a camera-based imaging device, such as the further optical imaging sensor 230 of Fig. 2b) and confocally.
  • the deviation between the confocal image area and the wide field image area can be determined.
  • the wide field image can be used as a reference for the scaling to be achieved by the confocal scanner (with regard to the scaling in the x-dimension and the y-dimension), since the camera sensors (such as CCD sensors) do not allow modification.
  • Fig. 3 shows a flow chart of an example of a sequence of the calibration method.
  • the calibration standard 310 for example the pattern discussed in connection with Figs. 1a to 2b, which can be a periodic point grid
  • a wide-field image is taken, which is used as the reference image 320.
  • the modality of the microscope is then changed to confocal, with the calibration standard 310 remaining inserted.
  • Another image of the south is taken with the confocal scanner in order to obtain the confocal image 350 (also CLSM image, confocal laser scanning microscope).
  • the period (periodicity) of the sample in the x-dimension and y-dimension is determined using autophase correlation 330; 360 and other morphological operations.
  • the widefield image is used below as the reference/target value 340 because the camera cannot offer parameterization of this type and is therefore unchangeable.
  • the deviation of the periods in the confocal image compared to the widefield image allows the relevant settings of the galvo control to be adjusted 370.
  • the x-offset, the y-offset, the x-scaling and the y-scaling are calculated. Adjusting these values leads to a modified mirror movement so that the calibration standard images as identically as possible in confocal and widefield. As a result, the image area and the scaling are set identically to the reference image.
  • a confocal image is taken again and processed using the same method.
  • the deviation from the wide-field image may only be within a certain tolerance range.
  • a further iteration 380 can be carried out based on the confocal image.
  • an older confocal image can be used to determine the reference 340, for example if the proposed concept is used to compensate for aging phenomena or to readjust the image area when changing between different tripods.
  • Fig. 4 shows a schematic representation of the effect of the calibration.
  • the reference image 410 of the calibration standard and on the other hand, the confocal image 420.
  • the confocal image has a larger scaling in the x-dimension and an insignificantly smaller scaling in the y-dimension.
  • a precise overlay 440 of the representations of the calibration standard is achieved.
  • the proposed method can be further used to test the settings of the confocal scanner on a captured image using periodicity, such as isotropy, distortion, acquisition errors that may arise due to different scanning speeds (isotropy should be preserved at different scanning speeds), etc.
  • This calibration can be carried out automatically or used to evaluate the current settings and as an aid for manual adjustment.
  • the independent evaluation of the scaling and offset values provides added value compared to manual calibration. Significant time savings can also be achieved in the production of the optical imaging system, while simultaneously increasing quality and reducing calibration costs.
  • Calibration validation can also be automated and quantified compared to manual, purely visual evaluation.
  • present embodiments of the application of the concept to a microscope system comprising a confocal microscope and a wide-field microscope are described.
  • the present concept can also be applied to other optical imaging systems and scanning imaging devices, such as other optical imaging systems comprising a scanning imaging device and a camera-based imaging device.
  • the device for automatic calibration of the field of view may comprise one or more additional optional features corresponding to one or more aspects of the proposed concept or the examples described previously or subsequently.
  • Some embodiments relate to an optical imaging system or an optical imaging device, such as a microscope system or a microscope comprising a system as described in connection with one or more of FIGS. 1a to 4.
  • an optical imaging device such as a microscope, can be part of a system as described in connection with one or more of FIGS. 1a to 4, or can be connected to the same.
  • the system 500 comprises an optical imaging device 510, such as a microscope (such as a scanning microscope or a non-scanning microscope), and a computer system 520.
  • the optical imaging device 510 is designed to take images and is connected to the computer system 520.
  • the computer system 520 is designed to carry out at least part of a method described herein.
  • the computer system 520 can be designed to execute a machine learning algorithm.
  • the computer system 520 and the optical imaging device 510 may be separate units, but may also be integrated together in a common housing.
  • the computer system 520 could be part of a central processing system of the optical imaging device 510 and/or the computer system 520 could be part of a subcomponent of the optical imaging device 510, such as a sensor, an actuator, a camera or an illumination unit, etc. of the optical imaging device 510.
  • the computer system 520 may be a local computing device (e.g., personal computer, laptop, tablet computer, or cell phone) having one or more processors and one or more storage devices, or may be a distributed computing system (e.g., a cloud computing system having one or more processors or one or more storage devices distributed at different locations, for example, at a local client and/or one or more remote server farms and/or data centers).
  • the computer system 520 may include any circuit or combination of circuits.
  • the computer system 520 may include one or more processors, which may be of any type.
  • processor may mean any type of computing circuit, such as, but not limited to, a microprocessor, a microcontroller, a complex instruction set microprocessor (CISC), a reduced instruction set microprocessor (RISC), a very long instruction word (VLIW) microprocessor, a Graphics processor, a digital signal processor (DSP), a multi-core processor, a field programmable gate array (FPGA), e.g. of a microscope or microscope component (e.g. camera), or any other type of processor or processing circuit.
  • CISC complex instruction set microprocessor
  • RISC reduced instruction set microprocessor
  • VLIW very long instruction word
  • GPU digital signal processor
  • FPGA field programmable gate array
  • Other types of circuitry that may be included in the computer system 520 may be a custom-built circuit, an application specific integrated circuit (ASIC), or the like, such as one or more circuits (e.g.
  • the computer system 520 may include one or more storage devices, which may include one or more storage elements suitable for the particular application, such as main memory in the form of random access memory (RAM), one or more hard drives, and/or one or more drives that handle removable media such as CDs, flash memory cards, DVDs, and the like.
  • the computer system 520 may also include a display device, one or more speakers, and a keyboard and/or controller, which may include a mouse, trackball, touch screen, voice recognition device, or any other device that allows a system user to enter information into and receive information from the computer system 520.
  • Some or all of the method steps may be performed by (or using) a hardware device, such as a processor, a microprocessor, a programmable computer, or an electronic circuit. In some embodiments, one or more of the key method steps may be performed by such a device.
  • a hardware device such as a processor, a microprocessor, a programmable computer, or an electronic circuit. In some embodiments, one or more of the key method steps may be performed by such a device.
  • embodiments of the invention may be implemented in hardware or software.
  • the implementation may be performed with a non-volatile storage medium such as a digital storage medium such as a floppy disk, a DVD, a Blu-Ray, a CD, a ROM, a PROM and EPROM, an EEPROM or a FLASH memory, on which electronically readable control signals are stored that cooperate (or can cooperate) with a programmable computer system to perform the respective method. Therefore, the digital storage medium may be computer readable.
  • Some embodiments according to the invention comprise a data carrier with electronically readable control signals that can interact with a programmable computer system so that one of the methods described herein is carried out.
  • embodiments of the present invention can be implemented as a computer program product with a program code, wherein the program code is effective for carrying out one of the methods when the computer program product is running on a computer.
  • the program code can be stored, for example, on a machine-readable carrier.
  • an embodiment of the present invention is therefore a computer program with a program code for carrying out one of the methods described herein when the computer program runs on a computer.
  • Another embodiment of the present invention is therefore a storage medium (or a data carrier or a computer-readable medium) comprising a computer program stored thereon for carrying out one of the methods described herein when executed by a processor.
  • the data carrier, digital storage medium or recorded medium is typically tangible and/or non-transitory.
  • Another embodiment of the present invention is an apparatus as described herein comprising a processor and the storage medium.
  • a further embodiment of the invention is therefore a data stream or a signal sequence that represents the computer program for carrying out one of the methods described herein.
  • the data stream or the signal sequence can, for example, be configured to be transmitted via a data communication connection, for example via the Internet.
  • Another embodiment includes a processing means, for example a computer or a programmable logic device, configured or adapted to perform any of the methods described herein.
  • a further embodiment comprises a computer on which the computer program for carrying out one of the methods described herein is installed.
  • a further embodiment according to the invention comprises a device or a system configured to transmit (for example electronically or optically) a computer program for carrying out one of the methods described herein to a recipient.
  • the recipient may for example be a computer, a mobile device, a storage device or the like.
  • the device or the system may for example comprise a file server for transmitting the computer program to the recipient.
  • a programmable logic device e.g., a field programmable gate array, FPGA
  • FPGA field programmable gate array
  • a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein. In general, the methods are preferably performed by any hardware device.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein optisches Abbildungssystem mit einer scannenden Abbildungsvorrichtung, sowie auf ein Verfahren, ein System und ein Computerprogramm für ein solches optisches Abbildungssystem. Das Verfahren umfasst ein Erhalten (130) von Sensordaten eines Detektors der scannenden Abbildungsvorrichtung. Die Sensordaten umfassten eine Darstellung eines Musters, die von dem Detektor aufgenommen wurde. Das Verfahren umfasst ferner ein Bestimmen (140) einer charakterisischen Geometrie der Darstellung des Musters. Das Verfahren umfasst ferner ein Vergleichen (150) der charakteristischen Geometrie mit einer Referenzgeometrie, um ein Vergleichsergebnis zu bestimmen. Das Verfahren umfasst ferner ein Bestimmen (180) von zumindest einem Kalibrierungsparameter zum Kalibrieren zumindest einer Ansteuerungseinheit zum Bewegen eines Strahl-leitenden Elements der scannenden Abbildungsvorrichtung basierend auf dem Vergleichsergebnis. Das Verfahren umfasst ferner ein Betreiben (190) der zumindest einen Ansteuerungseinheit basierend auf dem zumindest einen Kalibrierungsparameter.

Description

Optisches Abbildungssystem mit einer Scannenden Abbildungsvorrichtung, Verfahren, System und Computerprogramm
Technisches Gebiet
Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein optisches Abbildungssystem mit einer scannenden Abbildungsvorrichtung, sowie auf ein Verfahren, ein System und ein Computerprogramm für ein solches optisches Abbildungssystem.
Hintergrund
Die Technologie der Konfokal-Mikroskopie, welche ein Beispiel für die scannende (aus dem Englischen, „rasternde“) Mikroskopie darstellt, beruht in vielen Implementierungen auf einem zweidimensional schwenkbaren Spiegel. Die beiden Bewegungen des Spiegeln werden vorzugsweise genau aufeinander abgestimmt, damit der abgebildete Bereich eines einzelnen Bildpunktes in x und y (d.h. entlang zweier lateraler Dimensionen) gleich groß ist, da sonst die Darstellung starke Verzerrungen enthält. Eine solchermaßen verzerrte Abbildung hat, je nach verwendetem Algorithmus, beispielsweise einen Einfluss auf eine Punktspreizfunktion, die in einer Entfaltungs-Operation zur Verarbeitung der Sensordaten des Konfokal-Mikro- skops zum Einsatz kommt. Eine verzerrte Abbildung nennt man auch eine nicht-isotrope Abbildung. Die Isotropie der Abbildung gewinnt weiter an Wichtigkeit, wenn die konfokale Bildgebung mit anderen Modalitäten registriert werden soll, wie etwa einem Weitfeld-Bild, das von einem Kamera-Sensor des Mikroskops bereitgestellt wird.
Im Allgemeinen wird für die Kalibration von Konfokal-Mikroskopen ein Kalibriemormal verwendet, welches im Scanner verbaut ist. Dieses Kalibriernormal wird verwendet, um die Ansteuerung der Galvanometer-Scanner (kurz „Galvos“) des Konfokal-Mikroskops einzustellen. Durch Verwendung des Kalibriernormals kann der technische Service eine isotrope Darstellung sicherstellen. Hierbei wird zumeist ein Doppelkreuz-Kalibriertarget verwendet, welches keine periodischen Eigenschaften aufweist.
Ein solches Doppelkreuz-Kalibriertarget, wie es zumeist verwendet wird, kann nicht mittels einer Kamera des Konfokal-Mikroskops dargestellt werden, da es außerhalb des Strahlengangs der Kamera angeordnet ist. Dies bedeutet eine Einschränkung in optischen Abbildungssystemen, die neben einer scannenden Abbildungsvorrichtung, wie etwa einem Konfokalmikroskop, auch eine Kamera-basierte Abbildungsvorrichtung aufweisen, etwa zur Bereitstellung einer Weitfeld-Darstellung. In manchen dieser optischen Abbildungssystemen kann es gewünscht sein, nahtlos zwischen der scannenden Abbildungsvorrichtung und der Kamera-basierten Abbildungsvorrichtung wechseln zu können. Dafür wird neben der Isotropie der Abbildungen auch ein identisches Sichtfeld (d.h. ein identischer abgebildeter Bereich, auch engl. Field of View) der beiden Abbildungsvorrichtungen angestrebt, sowie ein Wissen über die Skalierung der Bilddaten der Abbildungsvorrichtung, damit ggf. eine passende optische Überlagerung, die den Bilddaten der Abbildungsvorrichtung überlagert wird, erzeugt werden kann. Ohne ein gemeinsames Kalibriertarget ist es jedoch schwierig, sicherzustellen, dass das Sichtfeld, d.h. der abgebildete Bereich der beiden Modalitäten identisch wird.
Aktuell wird daher, in manchen Systemen, in der Fertigung von Hand eine mühselige Kalibrierungsprozedur durchgeführt, um zu versuchen, das Sichtfeld identisch und gleichzeitig isotrop über die Gal vo- Steuerung (über die Parameter Skalierung in der x-Dimension, Skalierung in der x-Dimension, Versatz in der x-Dimension und Versatz in der y-Dimension) einzustellen. Die Qualitätsbewertung wird dabei lediglich visuell (mittels übereinandergelegter Darstellungen einer technischen Probe) ausgeführt. Eine gleichzeitige Einstellung und Bewertung der vier zuvor genannten Parameter ist dabei notwendig, da die Parameter nicht unabhängig voneinander betrachtet werden können. Die manuelle Kalibrierung dauert lange, ist kompliziert und möglicherweise fehleranfällig. Es ist ein iterativer Prozess, weil sich Versatz und Skalierung visuell nicht unabhängig voneinander bewerten lassen. Die manuelle Kalibrierung prüft dabei die Isotropie des konfokalen Scans nur relativ zu dem Weitfeld-Bild und nicht unabhängig davon (mittels der Überlagerungs-Anzeige).
Mögliche Fehler in der Kalibrierung führen dabei zu schwer zu identifizierenden Darstellungsabweichungen, die - unbemerkt- im schlimmsten Fall zu einer fehlerhaften Interpretation der Bilddaten führen können. Abweichungen können ferner eine spätere Ausrichtung (engl. alignment) und deren Qualität negativ beeinflussen. So kann beispielsweise ein konfokal gescannter Farbstoff im Vergleich mit einem IMC-Bild (engl. Imaging Mass Cytometry, Bildgebende Massenzytometrie) an einer anderen Stelle auftauchen und ggf. eine geänderte Form abdecken, so dass eine existierende Kolokalisation ausgeschlossen werden würde. Es besteht der Bedarf nach einem verbesserten Konzept zur Kalibrierung von scannenden Abbildungsvorrichtungen, insbesondere von scannenden Abbildungsvorrichtungen in optischen Abbildungssystem mit mehreren Abbildungsvorrichtungen, etwa um das Sichtfeld der beiden Abbildungsvorrichtungen in Einklang zu bringen.
Zusammenfassung
Diesem Bedarf wird durch den Gegenstand der unabhängigen Ansprüche Rechnung getragen.
Verschiedene Ausführungsbeispiele der vorliegenden Offenbarung basieren auf der Erkenntnis, dass eine geometrische Analyse eines Kalibrierungsmusters geeignet ist, um Isotropie in Bilddaten einer scannenden Abbildungsvorrichtung, wie etwa einem Konfokalmikroskop, durch Ermittlung geeigneter Kalibrierungsparameter für den oder die Scanner spiegel zu erreichen. Darüber hinaus kann diese geometrische Analyse, etwa wenn sie sowohl auf Bilddaten der scannenden Abbildungsvorrichtung als auch auf Bilddaten einer weiteren optischen (Kamera-basierten) Abbildungsvorrichtung angewandt wird, auch dafür genutzt werden, um die Sichtfelder der beiden Abbildungsvorrichtungen in Einklang zu bringen. Hierdurch kann die zeitaufwendige manuelle Kalibrierung des optischen Abbildungssystems vermieden werden, eine höhere Kalibrierungsgenauigkeit sowie eine geringere Anfälligkeit für Fehler erreicht werden. Zudem kann die Kalibrierung im Feld wiederholt werden, ohne dass dafür ein Technikereinsatz notwendig ist, so dass auch nach längerer Einsatzzeit die Isotropie sowie die Übereinstimmung der Sichtfelder gewährleistet werden kann.
Verschiedene Aspekte der vorliegenden Offenbarung beziehen sich auf ein Verfahren für ein optisches Abbildungssystem mit einer scannenden Abbildungsvorrichtung. Das Verfahren umfasst ein Erhalten von Sensordaten eines Detektors der scannenden Abbildungsvorrichtung. Die Sensordaten umfassten eine Darstellung eines Musters, die von dem Detektor aufgenommen wurde. Das Verfahren umfasst ferner ein Bestimmen einer charakteristischen Geometrie der Darstellung des Musters. Das Verfahren umfasst ferner ein Vergleichen der charakteristischen Geometrie mit einer Referenzgeometrie, um ein Vergleichsergebnis zu bestimmen. Das Verfahren umfasst ferner ein Bestimmen von zumindest einem Kalibrierungsparameter zum Kalibrieren zumindest einer Ansteuerungseinheit zum Bewegen eines Strahlleitenden Elements der scannenden Abbildungsvorrichtung basierend auf dem Vergleichsergebnis. Das Verfahren umfasst ferner ein Betreiben der zumindest einen Ansteuerungseinheit basierend auf dem zumindest einen Kalibrierungsparameter. Durch das Bestimmen der charakteristischen Geometrie und den Vergleich mit der Referenzgeometrie kann mathematisch einfach festgestellt werden, inwiefern sich die Darstellung des Musters von einer Referenzdarstellung des Musters unterscheidet (etwa bezüglich Isotropie). Zudem kann, falls gewünscht, festgestellt werden, inwiefern sich das Sichtfeld der scannenden Abbildungsvorrichtung von einem Referenzsichtfeld unterscheidet. Durch diese Feststellungen können ein oder mehrere geeignete Kalibrierungsparameter bestimmt werden, die genutzt werden können, um das Strahl -leitende Element so anzusteuern, dass die scannende Abbildungsvorrichtung zukünftig den Maßgaben der Referenzgeometrie entsprechende Sensordaten erzeugt.
Grundsätzlich gibt es mehrere Möglichkeiten, um die Referenzgeometrie zu erhalten. So kann die Referenzgeometrie beispielsweise durch das optische Abbildungssystem erzeugt werden. Entsprechend kann das Verfahren auch ein Bestimmen der Referenzgeometrie umfassen. Wie zuvor geschrieben ist das vorliegende Konzept beispielsweise geeignet, um die Sichtfelder einer Kamera-basierten Abbildungsvorrichtung und einer scannenden Abbildungsvorrichtung in Einklang zu bringen. Dabei kann beispielsweise die Kamera-basierte optische Abbildungsvorrichtung genutzt werden, um die Referenzgeometrie zu bestimmen. So kann das Verfahren ferner ein Erhalten von weiteren Sensordaten eines weiteren optischen Abbildungssensors des optischen Abbildungssystems umfassen. Dabei umfassen die weiteren Sensordaten eine weitere Darstellung des Musters, die von dem weiteren optischen Abbildungssensor aufgenommen wurde. Das Verfahren kann ein Bestimmen der Referenzgeometrie basierend auf der weiteren Darstellung des Musters umfassen. Entsprechend kann hier der zumindest eine Kalibrierungsparameter so ermittelt werden, dass die Darstellung der scannenden Abbildungsvorrichtung an die Darstellung des weiteren optischen Abbildungssensors angepasst wird.
Durch den Vergleich der charakterlichen Geometrie mit der Referenzgeometrie kann primär ermittelt werden, dass zum Kalibrieren der zumindest einer Ansteuerungseinheit geeignete Skalierungsfaktoren verwendet werden. Wendet man diese Skalierungsfaktoren auf die Darstellung an, so kann eine angepasste Darstellung mit korrekter Skalierung berechnet werden. Entsprechend kann das Verfahren ein Anpassen, etwa ein Skalieren, der Darstellung basierend auf dem Vergleichsergebnis umfassen. Hiernach kann nun auch der x- und y-Versatz (nachfolgend Unterschiedswert genannt) zwischen der angepassten Darstellung und der durch den weiteren optischen Abbildungssensor erzeugten weiteren Darstellung ermittelt werden. Mittels des Unterschiedswerts kann nun auch das Sichtfeld der scannenden Abbildungsvorrichtung verschoben werden, so dass die Sichtfelder in Einklang gebracht werden können. Beispielsweise kann das Verfahren ein Bestimmen eines Unterschiedswerts zwischen der angepassten Darstellung und der weiteren Darstellung, und ein Bestimmen des zumindest einen Kalibrierungsparameters ferner basierend auf dem Unterschiedswert umfassen.
Zusätzlich, oder alternativ, kann dieser Unterschiedswert auch nach Anwendung des zumindest einen Kalibrierungsparamete basierend auf neu gewonnenen Bilddaten der scannenden Abbildungsvorrichtung gewonnen werden. Beispielsweise kann das Verfahren nach Anwenden des zumindest einen Kalibrierungsparameters ein erneutes Erhalten der Sensordaten mit der Darstellung des Musters, ein Bestimmen eines Unterschiedswerts zwischen der neu erhaltenen Darstellung und der weiteren Darstellung, und ein Bestimmen des zumindest einen Kalibrierungsparameters ferner basierend auf dem Unterschiedswert umfassen. Hierdurch kann der Versatz zwischen den Sichtfeldem der beiden Abbildungsvorrichtungen ermittelt und (weiter) reduziert werden.
Alternativ kann die Referenzgeometrie basierend auf Sensordaten der scannenden Abbildungsvorrichtung ermittelt werden, etwa um die Kalibrierung nach einem längeren Gebrauch des Abbildungssystems automatisiert erneut durchführen zu können. Beispielsweise kann das Verfahren ein Bestimmen der Referenzgeometrie basierend auf Sensordaten der scannenden Abbildungsvorrichtung nach einer Werkskalibrierung der scannenden Abbildungsvorrichtung umfassen.
Weiter alternativ kann die Referenzgeometrie werksseitig oder durch eine weitere scannende Abbildungsvorrichtung vorgegeben werden. Beispielsweise kann die Referenzgeometrie eine werksseitig definierte Referenzgeometrie oder eine mittels einer anderen scannenden Abbildungsvorrichtung bestimmte Geometrie sein, die in einem Speicher des optischen Abbildungssystems gespeichert ist. Hierdurch kann geräteübergreifend eine einheitliche Kalibrierung erreicht werden.
Wie zuvor ausgeführt ist ein mögliches Ziel, das Sichtfeld der scannenden Abbildungsvorrichtung in Einklang zu bringen mit dem Sichtfeld einer Kamera-basierten Abbildungsvorrichtung. So kann der zumindest eine Kalibrierungsparameter beispielweise so bestimmt werden, dass, nach Anwenden des zumindest einen Kalibrierungsparameters, ein Sichtfeld der scannenden Abbildungsvorrichtung einem Sichtfeld eines weiteren optischen Abbildungssensors des optischen Abbildungssystems innerhalb eines Toleranzbereichs entspricht. Hierdurch kann bei der Operation des optischen Abbildungssystems nahtlos zwischen Bilddaten der scannenden Abbildungsvorrichtung und Bilddaten des optischen Abbildungssensors gewechselt werden.
Dies kann dadurch erreicht werden, dass die charakteristische Geometrie der scannenden Abbildungsvorrichtung in Einklang gebracht wird mit der Referenzgeometrie. Beispielsweise kann der zumindest eine Kalibrierungsparameter so bestimmt wird, dass, nach Anwenden des zumindest einen Kalibrierungsparameters und erneutem Erhalten der Sensordaten und Bestimmen der charakteristischen Geometrie, die charakteristische Geometrie der Referenzgeometrie innerhalb eines Toleranzbereichs entspricht. Dies kann als Indikator dafür genutzt werden, dass die Kalibrierung erfolgreich durchgeführt wurde.
Die Genauigkeit der Kalibrierung kann gegebenenfalls dadurch erhöht werden, dass das vorgeschlagene Vorgehen iterativ wiederholt wird, so dass der Unterschied zwischen charakteristischer Geometrie und Referenzgeometrie iterativ verkleinert wird. Beispielsweise kann das Vergleichsergebnis wiederholt bestimmt werden und der zumindest eine Kalibrierungsparameter wiederholt angepasst werden.
In manchen Fällen kann es vorkommen, dass das Strahl-leitenden Element durch alterungsbedingte Effekte nicht wie gewünscht angesteuert werden kann, um die Sichtfelder in Einklang zu bringen (oder Isotropie zu erreichen). In diesen Fällen kann eine Warnung ausgegeben werden, um dem Benutzer des optischen Abbildungssystems zu signalisieren, dass eine Reparatur und/oder ein Austausch der jeweiligen Komponente notwendig ist. Beispielsweise kann das Verfahren ferner ein Bereitstellen einer Warnung, falls die charakteristische Geometrie nach wiederholtem Anpassen des zumindest einen Kalibrierungsparameters nicht der Referenzgeometrie innerhalb eines Toleranzbereichs entspricht, umfassen. So kann ein Betrieb des optischen Abbildungssystems mit einer fehlerhaften Komponente verhindert werden.
Im vorliegenden Konzept wird eine charakteristische Geometrie berechnet und mit einer Referenzgeometrie verglichen. Eine Möglichkeit, um diese charakteristische Geometrie zu Bestimmen ist die Bestimmung von Abständen zwischen Elementen des Musters. Dies wird wiederum dadurch erleichtert, dass das Muster ein periodisches Muster ist, d.h., ein Muster, in dem Elemente entsprechend einer vorgegebenen Periodizität wiederholt auftreten. Beispielsweise kann das Muster ein periodisches Muster sein und die charakteristische Geometrie eine Periodizität der Darstellung des periodischen Musters umfassen. Die Periodizität ist ein numerischer Wert, der einerseits einfach mit einer Periodizität der Referenzgeometrie verglichen werden kann, und der andererseits (direkt) verwendet werden kann, um die zuvor genannte Skalierung einzustellen. Die Periodizität lässt sich beispielsweise mit geringem Rechenaufwand und ohne Segmentierung der Sensordaten durch die Berechnung einer Auto- Phasenkorrelation berechnen. Folglich kann die Periodizität durch Berechnen einer Auto- Phasenkorrelation bestimmt werden.
In scannenden Abbildungsvorrichtungen wird ein zu scannendes Objekt meist gemäß eines zweidimensionalen Abtastmusters gescannt. Hierbei wird das Strahl -leitende Element entsprechend in zwei Dimensionen bewegt, die getrennt voneinander kalibriert werden können. Folglich kann das Muster ein zweidimensionales periodisches Muster sein. Die charakteristische Geometrie kann eine Periodizität der Darstellung des zweidimensionalen periodischen Musters in zwei Dimensionen sein.
Entsprechend kann auch das Strahl -leitende Element in zwei Dimensionen durch die Ansteuerungseinheit bewegbar sein. Der zumindest eine Kalibrierungsparameter kann zumindest einen ersten Skalierungsfaktor zum Skalieren der Bewegung des Strahl -leitenden Elements in einer ersten Dimension und einen zweiten Skalierungsfaktor zum Skalieren der Bewegung des Strahl-leitenden Elements in einer zweiten Dimension umfassen. Hierdurch kann die Kalibrierung der scannenden Abbildungsvorrichtung zum Scannen gemäß des zweidimensionalen Abtastmusters durchgeführt werden.
Die Kalibrierung kann zu verschiedenen Zeitpunkten durchgeführt werden. Beispielsweise kann die charakteristische Geometrie und das Vergleichsergebnis bei einem Aufstarten der scannenden Abbildungsvorrichtung durchgeführt werden. So kann beispielsweise eine automatische Kalibrierung bei dem (oder jedem) Start der scannenden Abbildungsvorrichtung durchgeführt werden, so dass die Messgenauigkeit (und Übereinstimmung mit dem Sichtfeld des optischen Abbildungssensors) kontinuierlich gewährleistet wird.
Alternativ oder zusätzlich kann die Kalibrierung sporadisch durchgeführt werden, etwa nach einer Erschütterung des optischen Abbildungssystems. Folglich kann die charakteristische Geometrie und das Vergleichsergebnis nach Detektion einer Erschütterung des optischen Abbildungssystems bestimmt werden. Dies empfiehlt sich, da die Erschütterung etwa eine Veränderung der Charakteristik der Bewegung des Strahl-leitenden Elements und/oder eine Veränderung des Sichtfelds des optischen Abbildungssensors zu erwarten ist.
Zusätzlich, oder alternativ hierzu, kann die charakteristische Geometrie und das Vergleichsergebnis gemäß eines vorgegebenen Zeitplans bestimmt werden. Auch hier kann die Messgenauigkeit (und Übereinstimmung mit dem Sichtfeld des optischen Abbildungssensors) kontinuierlich gewährleistet werden.
Manche Aspekte der vorliegenden Offenbarung beziehen sich auf ein System für ein optisches Abbildungssystem mit einer scannenden Abbildungsvorrichtung. Das System umfasst ein oder mehrere Prozessoren und ein oder mehrere Speichereinrichtungen. Das System ist ausgebildet zum Durchführen des zuvor vorgestellten Verfahrens. Manche Aspekte der vorliegenden Offenbarung beziehen sich ferner auf ein optisches Abbildungssystem, das eine scannende Abbildungsvorrichtung und das zuvor vorgestellte System umfasst.
In der vorliegenden Offenbarung wird der Begriff der scannenden Abbildungsvorrichtung verwendet. Beispiele für scannende Abbildungsvorrichtungen sind Rasterelektronenmikroskope und zwei-Photonen-Mikroskope. Insbesondere kann die die scannende Abbildungsvorrichtung jedoch, wie eingangs erwähnt, eine konfokale Abbildungsvorrichtung sein, etwa ein Konfokalmikroskop (engl. Confocal Laser Scanning Microscope, CLSM, konfokales Laserrastermikroskop).
Es gibt verschiedene Orte, an denen das Muster angeordnet werden kann. Beispielsweise kann das Muster auf einem Proben-Träger abgebildet sein, wobei die Proben-Träger zur Kalibrierung in eine Probenhalterung des optischen Abbildungssystems eingeführt werden kann oder auf einem Probentisch des optischen Abbildungssystems angeordnet werden kann. Alternativ kann der Probentisch des optischen Abbildungssystems das Muster umfassen. Dadurch kann die Kalibrierung durchgeführt werden, ohne dass ein Proben-Träger mit dem Muster durch einen Benutzer eingeführt werden muss.
Alternativ kann das optische Abbildungssystem ein Gehäuse umfassen, wobei das Muster innerhalb des Gehäuses und außerhalb eines Sichtbereichs der scannenden Abbildungsvorrichtung, der für Benutzer des optischen Abbildungssystems zugänglich ist, angeordnet sein. Auch dies ermöglicht eine automatische Kalibrierung ohne Mitwirkung eines Nutzers des optischen Abbildungssystems. In diesem Fall kann das System ausgebildet sein, um die Ansteuerungseinheit so zu steuern, dass das Muster außerhalb des Sichtbereichs, der für Benutzer des optischen Abbildungssystems zugänglich ist, von dem Detektor der scannenden Abbildungsvorrichtung erfasst wird. Hierdurch kann zur Kalibrierung des Musters außerhalb des Sichtbereichs der scannenden Abbildungsvorrichtung, der für Benutzer des optischen Abbildungssystems zugänglich ist, aufgenommen werden, ohne dass es bei normaler Benutzung der scannenden Abbildungsvorrichtung stört.
Manche Aspekte der vorliegenden Offenbarung beziehen sich zudem auf ein Computerprogramm mit einem Programmcode zum Durchführen des zuvor vorgestellten Verfahrens.
Figurenkurzbeschreibung
Einige Beispiele von Vorrichtungen und/oder Verfahren werden nachfolgend bezugnehmend auf die beiliegenden Figuren lediglich beispielhaft näher erläutert. Es zeigen:
Fign. la und 1b zeigen Flussdiagramme von Beispielen eines Verfahrens für ein optisches Abbildungssystem mit einer scannenden Abbildungsvorrichtung;
Fign. 2a und 2b zeigen schematische Zeichnungen von Beispielen eines optischen Abbildungssystems mit einer scannenden Abbildungsvorrichtung;
Fig. 3 zeigt ein Flussdiagramm eines Beispiels eines Ablaufs des Kalibrierungsverfahrens;
Fig. 4 zeigt eine schematische Darstellung des Effekts einer Kalibrierung; und
Fig. 5 zeigt eine schematische Darstellung eines Systems mit einer optischen Abbildungsvorrichtung und einem Computersystem.
Beschreibung Einige Beispiele werden nun ausführlicher Bezug nehmend auf die beiliegenden Figuren beschrieben. Weitere mögliche Beispiele sind jedoch nicht auf die Merkmale dieser detailliert beschriebenen Ausführungsformen beschränkt. Ferner soll die Terminologie, die hierin zum Beschreiben bestimmter Beispiele verwendet wird, nicht einschränkend für weitere mögliche Beispiele sein.
Wenn zwei Elemente A und B unter Verwendung eines „oder“ kombiniert werden, ist dies so zu verstehen, dass alle möglichen Kombinationen offenbart sind, d. h. nur A, nur B sowie A und B, sofern nicht im Einzelfall ausdrücklich anders definiert. Als alternative Formulierung für die gleichen Kombinationen kann „zumindest eines von A und B“ oder „A und/oder B“ verwendet werden. Das gilt Äquivalent für Kombinationen von mehr als zwei Elementen. Der Begriff "und/oder" umfasst alle Kombinationen von einem oder mehreren der zugehörigen aufgeführten Elemente und kann mit "/" abgekürzt werden.
Wenn eine Singularform, z. B. „ein, eine“ und „der, die, das“ verwendet wird und die Verwendung nur eines einzelnen Elements weder explizit noch implizit als verpflichtend definiert ist, können weitere Beispiele auch mehrere Elemente verwenden, um die gleiche Funktion zu implementieren. Wenn eine Funktion im Folgenden als unter Verwendung mehrerer Elemente implementiert beschrieben ist, können weitere Beispiele die gleiche Funktion unter Verwendung eines einzelnen Elements oder einer einzelnen Verarbeitungsentität implementieren.
Obwohl einige Aspekte im Rahmen einer Vorrichtung beschrieben wurden, ist es klar, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, wobei ein Block oder eine Vorrichtung einem Verfahrensschritt oder einer Funktion eines Verfahrensschritts entspricht. Analog dazu stellen Aspekte, die im Rahmen eines Verfahrensschritts beschrieben werden, auch eine Beschreibung eines entsprechenden Blocks oder Elements oder einer Eigenschaft einer entsprechenden Vorrichtung dar.
Fign. la und 1b zeigen Flussdiagramme von Beispielen eines Verfahrens für ein optisches Abbildungssystem 200a; 200b mit einer scannenden Abbildungsvorrichtung 220 (die Bezugszeichen des optischen Abbildungssystems beziehen sich auf die Fign. 2a und 2b). Das Verfahren umfasst ein Erhalten 130 von Sensordaten eines Detektors 222 der scannenden Abbildungsvorrichtung 220. Dabei umfassen die Sensordaten eine Darstellung eines Musters 10; 20; 30 (in den Fign. 2a bzw. 2b gezeigt), die von dem Detektor aufgenommen wurde. Das Verfahren umfasst ferner ein Bestimmen 140 einer charakteristischen Geometrie der Darstellung des Musters. Das Verfahren umfasst ferner ein Vergleichen 150 der charakteristischen Geometrie mit einer Referenzgeometrie, um ein Vergleichsergebnis zu bestimmen. Das Verfahren umfasst ferner ein Bestimmen 180 von zumindest einem Kalibrierungsparameter zum Kalibrieren zumindest einer Ansteuerungseinheit 224 zum Bewegen eines Strahl -leitenden Elements 226 der scannenden Abbildungsvorrichtung basierend auf dem Vergleichsergebnis. Das Verfahren umfasst ferner ein Betreiben 190 der zumindest einen Ansteuerungseinheit basierend auf dem zumindest einen Kalibrierungsparameter.
In Fig. la ist eine grundlegende erste Fassung des Verfahrens gezeigt. Das Verfahren kann ferner optionale weitere Merkmale umfassen, die in Fig. 1b als Blöcke mit gestrichelten Linien gezeigt sind und die im Laufe der weitergehenden Beschreibung der Fign. la bis 2b erläutert werden.
Das Verfahren der Fign. la und 1b bezieht sich auf ein optisches Abbildungssystem. In den Fign. 2a und 2b sind schematische Zeichnungen von Beispielen eines solchen optischen Abbildungssystems 200a; 200b mit einer scannenden Abbildungsvorrichtung gezeigt. Die optischen Abbildungssysteme 200; 200b umfassen jeweils die scannende Abbildungsvorrichtung 220 sowie ein System 210, das ausgebildet ist, um das Verfahren der Fign. la und/oder 1b auszuführen. Dabei kann das System 210 als Computersystem implementiert werden. Beispielsweise umfasst das System 210 ein oder mehrere Prozessoren und ein oder mehrere Speichereinrichtungen 216. Optional kann das System 210 ferner ein oder mehrere Schnittstellen 212 umfassen. Der eine oder die mehreren Prozessoren 214 sind mit der einen oder den mehreren Speichereinrichtungen und mit der einen oder den mehreren Schnittstellen 212 gekoppelt. Dabei sind der eine oder die mehreren Prozessoren 214 ausgebildet, um die Funktionalität des Systems 210 bereitzustellen, im Zusammenspiel mit der einen oder den mehreren Schnittstellen 212 (zum Austausch von Informationen mit anderen Komponenten des optischen Abbildungssystems, wie etwa dem Detektor 220 der scannenden Abbildungsvorrichtung, einem optischen Abbildungssensor 230 (in Fig. 2b gezeigt), oder einem Bildschirm des optischen Abbildungssystems (nicht gezeigt)) und mit der einen oder den mehreren Speichereinrichtungen 216 (zum Speichern und Abrufen von Informationen, wie etwa maschinenlesbaren Instruktionen, die Programmcode für die ein oder mehreren Prozessoren 214 umfassen). Im Allgemeinen kann die Funktionalität des einen oder der mehreren Prozessoren 214 durch den einen oder die mehreren Prozessoren 214 implementiert werden, indem der ein oder die mehreren Prozessoren die maschinenlesbare Befehle ausführen. Dementsprechend kann eine Funktionalität, die dem einen oder den mehreren Prozessoren 214 zugeschrieben wird, durch eine oder mehrere Anweisungen aus einer Vielzahl von maschinenlesbaren Anweisungen definiert werden. Das System 210 kann die maschinenlesbaren Anweisungen enthalten, z. B. in dem einen oder den mehreren Speichereinrichtungen 216.
Im Folgenden werden die Merkmale des Verfahrens der Fign. la und 1b, des Systems, eines entsprechenden Computerprogramms sowie der optischen Abbildungssysteme 200a; 200b der Fign. 2a und 2b vorwiegend mit Bezug auf das Verfahren und das optische Abbildungssystem erläutert. Dabei ist offensichtlich, dass Merkmale, die im Zusammenhang mit dem Verfahren erläutert werden, auch auf das entsprechende System und Computerprogramm übertragen werden können, da das System ausgebildet ist, um das Verfahren auszuführen und das Computerprogramm eine Implementierung des Verfahrens darstellt. Auch wirken sich Merkmale, die mit Bezug auf die optische Abbildungssysteme 200; 200b erläutert werden, ebenso auf das Verfahren, das System und das Computerprogramm aus.
Das vorliegende Konzept bezieht sich auf ein optisches Abbildungssystem mit einer scannenden Abbildungsvorrichtung. Dabei werden diese Begriffe verwendet, da das vorliegende Konzept auf eine Vielzahl von verschiedenen optischen Abbildungssystemen angewandt werden kann. Beispielsweise kann das Abbildungssystem ein Mikroskopsystem oder ein Exoskopsys- tem sein, wobei ein Exoskopsystem ein optisches Abbildungssystem ist, das, im Gegensatz zum Mikroskopsystem, ausschließlich über einen Bildschirm oder ein Head-Mounted Display (Bildschirm, der ähnlich einer Brille getragen wird) genutzt wird. Zudem wird ein Exoskop meist aus größerer Distanz genutzt. Dabei wird der Begriff des optischen Abbildungssystems verwendet, um zu verdeutlichen, dass es sich einerseits um ein System mit optischen Komponenten handelt, und es andererseits, neben den optischen Komponenten, weitere Komponenten umfasst, wie etwa das System 210. Das optische Abbildungssystem kann, zusätzlich zu den optischen Komponenten und dem System 210, weitere Komponenten aufweisen, wie etwa eine Eingabeeinrichtung (wie etwa einen berührungsempfindlichen Bildschirm, eine Tastatur oder Bedienknöpfe), einen Bildschirm, einen Probentisch, ein Gehäuse etc.
Das optische Abbildungssystem umfasst zumindest eine optische Komponente. In dem vorliegenden Fall umfasst das optische Abbildungssystem als optische Komponente zumindest die scannende Abbildungsvorrichtung 220. Ferner kann das optische Abbildungssystem, wie in Fig. 2b gezeigt, auch einen weiteren optischen Abbildungssensor 230 umfassen.
Eine scannende Abbildungsvorrichtung ist eine optische Komponente, die ausgebildet ist, um Bilddaten durch Scannen (engl. für rastern) einer Vielzahl von Positionen einer Probe zu erzeugen. Ein Beispiel für eine scannende Abbildungsvorrichtung ist ein Konfokalmikroskop. In anderen Worten kann die scannende Abbildungsvorrichtung eine konfokale Abbildungsvorrichtung sein, wie etwa ein konfokales Mikroskop. Weitere Beispiele für scannende Abbildungsvorrichtungen sind das zwei-Photonen-Mikroskop und das Rasterelektronenmikroskop. In allen Fällen wird ein Strahl durch ein Strahl-leitendes Element auf die zuvor erwähnte Vielzahl von Positionen der Probe gelenkt. Ein oder mehrere Detektoren werden verwendet, um Wechselwirkungen des Strahls mit der Probe, wie etwa Reflektion, Photoemission (im Fall von Fluoreszenz), emittierte Strahlung oder Elektronen, zu detektieren. Im Falle der Konfokalmikroskopie und der zwei-Photonen-Mikroskopie ist der Strahl ein Laserstrahl, im Falle der Rasterelektrononenmikroskopie ein Elektronenstrahl. Dieser Strahl wird mittels des Strahl -leitenden Elements auf die verschiedenen Positionen der Probe gelenkt (gemäß eines Rasters). Dabei wird, im Falle der Konfokalmikroskopie und der zwei-Photonen-Mikroskopie meist ein Spiegel oder anderes reflektierendes Element genutzt (wie in Fig. 2a gezeigt), im Falle der Rasterelektronenmikroskopie werden Spulen verwendet, um den Elektronenstrahl zu lenken. Die vorliegende Offenbarung befasst sich mit der Kalibrierung der Steuerung dieses Strahl -leitenden Elements mittels der Ansteuerungseinheit. Im Falle der Konfokalmikroskopie und der zwei-Photonen-Mikroskopie kann die Ansteuerungseinheit beispielsweise einen sog. Galvo-Motor oder ein Mikro-Elektro-Mechanisches System (MEMS) umfassen, das die Bewegung des Strahl -leitenden Elements durchführt. Im Falle der Rasterelektronenmikroskopie kann die Ansteuerungseinheit eine Steuerungsschaltung zum Steuern der Spulen umfassen.
In Fig. 2a ist beispielsweise der charakteristische Aufbau eines Konfokalmikroskops gezeigt. Auf der linken Seite ist der Laseremitter 228 gezeigt, der Laserlicht auf den Spiegel 226 emittiert, wobei der Spiegel durch die Ansteuerungseinheit 224 bewegt wird, um das Muster 10 zu rastern. In manchen anderen scannenden Abbildungsvorrichtungen werden anstelle eines Spiegels mehrere Spiegel verwendet, die jeweils von einer Ansteuerungseinheit gesteuert werden. Die Kalibrierung der Ansteuerung des Strahl -leitenden Elements durch die Ansteuerungseinheit basiert auf der Auswertung von Sensordaten des Detektors (der die Wechselwirkungen des Strahls mit der Probe detektiert) der scannenden Abbildungsvorrichtung. Dabei wird eine charakteristische Geometrie einer Darstellung eines Musters ermittelt, mit einer Referenzgeometrie verglichen, und basierend auf dem Vergleich werden Kalibrierungsparameter zum Kalibrieren der Ansteuerungseinheit ermittelt.
Im Folgenden wird als Beispiel ein Konfokalmikroskop als scannende Abbildungsvorrichtung verwendet. Das Prinzip ist entsprechend aber auch auf andere scannende Abbildungsvorrichtungen übertragbar.
Zur Bestimmung der charakteristischen Geometrie der Darstellung des Musters werden die Sensordaten des Detektors ausgewertet. Beispielsweise können aus den Sensordaten Bilddaten generiert werden, die die Darstellung des Musters umfassen. Mittels Bildverarbeitung werden die Bilddaten analysiert, um basierend auf der Darstellung des Musters, die in den Bilddaten enthalten ist, die charakteristische Geometrie zu bestimmen. Dabei kann die charakteristische Geometrie beispielsweise einer absolute oder relativen Ausdehnung eines oder mehrere geometrischer Elemente des Musters in der Darstellung des Musters entsprechen, die mittels Bildverarbeitung ermittelt werden können.
Vorzugsweise entspricht oder umfasst die charakteristische Geometrie jedoch einer Periodizität von Elementen des Musters. Beispielsweise kann das Muster ein periodisches Muster sein, d.h. ein Muster, in dem ein oder mehrere Elemente (wie etwa Punkte, Striche, Dreiecke, Quadrate etc.) in regelmäßigen Abständen entlang zumindest einer lateralen Dimension des Musters wiederholt werden. Wie in Fig. 3 gezeigt ist, kann das Muster (dort das Kalibriernormal 310) beispielsweise ein zweidimensionales periodisches Muster sein, etwa ein zweidimensionales periodisches Muster von Punkten. Somit kann die charakteristische Geometrie eine Periodizität der Darstellung des zweidimensionalen periodischen Musters in zwei Dimensionen sein. Dabei entspricht die Periodizität dem Abstand zwischen zwei benachbarten Elementen der wiederholt dargestellten Elemente des Musters, etwa dem Abstand zwischen den Zentren zweier waagrecht oder senkrecht benachbarter Punkte in dem Muster, das in Fig. 3 gezeigt ist. Eine solche Periodizität kann beispielsweise durch Berechnen einer Auto-Phasenkorrelation berechnet werden. Entsprechend kann das Verfahren, wie in Fig. 1b gezeigt, ein Berechnen 145 einer Auto-Phasenkorrelation umfassen. Bei dem Berechnen der Auto- Phasenkorrelation wird eine 2D-Fouriertransformation auf die Bilddaten angewandt und das Kreuzleistungspektrum zwischen der 2D-Fouriertransformationen Version der Bilddaten und der 2D-Fouriertransformationen Version der Bilddaten (d.h., zwischen der gleichen 2D-Fou- riertransformationen Version der Bilddaten, wodurch es zur Auto-Phasenkorrelation wird) berechnet. Das Ergebnis wird durch eine inverse Fouriertransformation zurücktransformiert. Die Periodizität kann nun durch Ermitteln der Abstände zwischen den Peaks in der zurücktransformierten Fassung ermittelt werden.
Diese charakteristische Geometrie (etwa die ermittelte Periodizität in ein oder zwei lateralen Dimensionen) wird nun mit der Referenzgeometrie verglichen, um das Vergleichsergebnis zu bestimmen. Dabei kann die Referenzgeometrie ebenfalls einer absoluten oder relativen Ausdehnung eines oder mehrere geometrischer Elemente des Musters entsprechen, oder, vorzugsweise, einer Referenzperiodizität in ein oder zwei lateralen Dimensionen.
Die Referenzgeometrie kann dabei aus verschiedenen Quellen stammen. Beispielsweise kann die Referenzgeometrie eine werksseitig definierte Referenzgeometrie oder eine mittels einer anderen scannenden Abbildungsvorrichtung bestimmte Geometrie sein, die in einem Speicher 216 (d.h., in einer Speichereinrichtung 216 der ein oder mehreren Speichereinrichtungen des Systems) des optischen Abbildungssystems gespeichert ist. Diese kann werksseitig für eine Vielzahl von optischen Abbildungssystemen vorgegeben werden oder aber, im Labor des Nutzers des optischen Abbildungssystems, von einem optischen Abbildungssystem für eine Flotte von gleichartigen optischen Abbildungssystem erstellt worden sein.
Alternativ kann die Referenzgeometrie mittels des optischen Abbildungssystems ermittelt werden. Somit kann das Verfahren, wie in Fig. 1b ferner gezeigt ist, ein Bestimmen 120 der Referenzgeometrie umfassen. Beispielsweise kann die scannende Abbildungsvorrichtung manuell kalibriert werden, und, im kalibrierten Zustand, zur Bestimmung der Referenzgeometrie genutzt werden. In anderen Worten kann das Verfahren ein Bestimmen 120 der Referenzgeometrie basierend auf Sensordaten der scannenden Abbildungsvorrichtung nach einer Werkskalibrierung der scannenden Abbildungsvorrichtung umfassen. Dazu kann, wie oben beschrieben, die charakteristische Geometrie bestimmt werden und fortan als Referenzgeometrie verwendet werden. Zu diesem Zweck kann die Referenzgeometrie in einem Speicher 216 des optischen Abbildungssystems gespeichert werden. Wie bereits zuvor erläutert kann das vorliegende Konzept insbesondere auch dazu verwendet werden, um nicht nur die Isotropie der Bilddaten, die aus den Sensordaten der scannenden Abbildungsvorrichtung gewonnen werden können zu gewährleisten, sondern auch um ein Sichtfeld der scannenden Abbildungsvorrichtung an ein Sichtfeld einer weiteren Abbildungsvorrichtung (der weitere optische Abbildungssensor 230 in Fig. 2b) anzupassen.
Fig. 2b zeigt ein optisches Abbildungssystem, das eine erste, scannende Abbildungsvorrichtung (ein Konfokalmikroskop 220) sowie eine zweite optische Abbildungsvorrichtung (durch den weiteren optischen Abbildungssensor 230 gebildet) umfasst. Um eine intuitive Bedienung eines optischen Abbildungssystems mit zwei Abbildungsvorrichtungen zu schaffen kann es wünschenswert sein, dass sich die Sichtfelder der beiden Abbildungsvorrichtungen entsprechen. Dies kann durch das vorgeschlagene Konzept ermöglicht werden, indem die Sensordaten der zweiten optischen Abbildungsvorrichtung genutzt werden, um die Referenzgeometrie zu definieren. Vorliegend werden hierzu die Sensordaten des optischen Abbildungssensors 230 verwendet, da das Sichtfeld des optische Abbildungssensors nicht ohne Verlust von Bildqualität auf das Sichtfeld der scannenden Abbildungsvorrichtung korrigiert werden kann, dies andersherum jedoch möglich ist. Auch ist das Gewährleisten der Isotropie ein geringeres Problem in den Sensordaten/Bilddaten des optischen Abbildungssensors, im Gegensatz zu den Sensordaten der scannenden Abbildungsvorrichtung.
Somit kann das Verfahren, wie in Fig. 1b ferner gezeigt ist, ferner ein Erhalten 110 von weiteren Sensordaten des weiteren optischen Abbildungssensors 230 des optischen Abbildungssystems umfassen. Dabei umfassen die weiteren Sensordaten eine weitere Darstellung des Musters, die von dem weiteren optischen Abbildungssensor aufgenommen wurde. Basierend auf diesen weiteren Sensordaten, die Bilddaten entsprechen können, kann nun ebenfalls eine charakteristische Geometrie (wie zuvor erläutert) der weiteren Darstellung des Musters bestimmt werden und als Referenzgeometrie verwendet und, optional, gespeichert werden. Entsprechend kann das Verfahren ein Bestimmen 120 der Referenzgeometrie basierend auf der weiteren Darstellung des Musters umfassen. Ein detaillierteres Beispiel dafür wird beispielsweise im Zusammenhang mit den Fign. 3 und 4 diskutiert.
Die Bestimmung der charakteristischen Geometrie bzw. der Referenzgeometrie basiert auf der Aufnahme des Musters durch die jeweilige Abbildungsvorrichtung. Dabei kann das Muster an unterschiedlichen Orten des optischen Abbildungssystems angeordnet sein. In Fig. 2b sind beispielhaft zwei Orte gezeigt. Damit das Muster von beiden Abbildungsvorrichtungen „gesehen“ werden kann, kann das Muster 30 beispielsweise auf einem Proben-Träger abgebildet sein. Der Proben-Träger kann wiederum zur Kalibrierung in eine Probenhalterung (nicht gezeigt) des optischen Abbildungssystems eingeführt werden oder auf einem Probentisch 250 des optischen Abbildungssystems angeordnet werden. Alternativ kann der Probentisch 250 das Muster 30 umfassen, d.h., das Muster kann auf den Probentisch gedruckt oder aufgeklebt sein.
Alternativ, etwa im Fall, dass die Referenzinformation nicht mittels des weiteren optischen Abbildungssensors 230 bestimmt werden soll, kann das Muster 20, wie in Fig. 2b ferner gezeigt, auch innerhalb eines Gehäuses 240, aber außerhalb des für einen Benutzer nutzbaren Sichtbereichs angeordnet sein. Dazu kann das Strahl -leitende Element zur Kalibrierung weiter abgekippt werden, um den Sichtbereich der scannenden Abbildungsvorrichtung 220 während der Kalibrierung zu vergrößern. Das Verfahren kann nun umfassen, die Ansteuerungseinheit so zu steuern, dass das Muster außerhalb des Sichtbereichs, der für Benutzer des optischen Abbildungssystems zugänglich ist, von dem Detektor der scannenden Abbildungsvorrichtung erfasst wird.
Sind charakteristische Geometrie, und optional die Referenzgeometrie, ermittelt, so kann der nachfolgende Vergleich 150 der charakteristischen Geometrie mit der Referenzgeometrie durchgeführt werden, um das Vergleichsergebnis zu bestimmen. Dabei kann beispielsweise ein Verhältnis zwischen der charakteristischen Geometrie und der Referenzgeometrie, etwa zwischen den Periodizitäten, gebildet werden. Dieses Verhältnis kann beispielsweise separat für beide laterale Dimensionen ermittelt werden. Folglich kann das Vergleichsergebnis ein Verhältnis zwischen der charakteristischen Geometrie und der Referenzgeometrie (in zwei Dimensionen) umfassen. Dieses Verhältnis kann nun wiederum verwendet werden, um den zumindest einen Kalibrierungsparameter zu bestimmen.
Die Nutzung eines Verhältnisses zwischen den Geometrien ist der Natur der Bewegung des Strahl -leitenden Elements geschuldet. Ein wesentlicher Aspekt der Kalibrierung ist dabei die Skalierung der Bewegung, d.h., wie weit sich der Spiegel für einen gegebenen Eingabewert bewegt. So ist das Strahl -leitende Element beispielsweise in zwei Dimensionen durch die Ansteuerungseinheit bewegbar. Der zumindest eine Kalibrierungsparameter kann nun zumindest einen ersten Skalierungsfaktor zum Skalieren der Bewegung des Strahl -leitenden Elements in einer ersten (lateralen) Dimension und einen zweiten Skalierungsfaktor zum Skalieren der Bewegung des Strahl -leitenden Elements in einer zweiten (zu der ersten Dimension orthogonalen lateralen) Dimension umfassen. Diese Skalierungsfaktoren bestimmen nun, wie weit sich der Spiegel für einen gegebenen Eingabewert bewegt. Da die Referenzgeometrie das Ziel der Kalibrierung darstellt, d.h., entspricht die charakteristische Geometrie der Referenzgeometrie, dann ist keine weitere Kalibrierung notwendig, kann durch das Verhältnis zwischen der charakteristischen Geometrie und der Referenzgeometrie ermittelt werden, inwiefern die Skalierung jeweils anzupassen ist.
Ist das Ziel der Kalibrierung, das Sichtfeld der scannenden Abbildungsvorrichtung mit dem Sichtfeld des weiteren optischen Abbildungssensors in Einklang zu bringen, dann ist, neben dem Skalierungsfaktor, auch ein lateraler Versatz zwischen den Sichtfeldern zu beachten. Dies ist beispielsweise in Fig. 4 zu sehen, wo die Elemente der Darstellungen 410; 420 des Musters nicht nur unterschiedliche Skalierungen haben, sondern auch lateral in zwei Dimensionen versetzt sind. Dieser (zweidimensionale) Versatz kann einerseits dadurch ermittelt werden, dass die Darstellung des Musters entsprechend den ermittelten Skalierungsfaktoren angepasst (d.h. skaliert) wird und der Versatz basierend auf der angepassten Version ermittelt wird. Beispielsweise kann das Verfahren, wie ferner in Fig. 1b gezeigt, ferner ein Anpassen 160 der Darstellung basierend auf dem Vergleichsergebnis und ein Bestimmen 165 eines Unterschiedswerts (etwa eines lateralen Versatzes) zwischen der angepassten Darstellung und der weiteren Darstellung umfassen. Andererseits kann der Versatz dadurch ermittelt werden, dass die Skalierungsparameter angewandt werden, neue Sensordaten der optischen Abbildungsvorrichtung mit einer neuen Darstellung des Musters erhalten werden und die charakteristische Geometrie der neuen Darstellung mit der Referenzgeometrie verglichen wird. In anderen Worten kann das Verfahren nach Anwenden des zumindest einen Kalibrierungsparameters ein erneutes Erhalten 130 der Sensordaten mit der Darstellung des Musters und ein Bestimmen 165 des Unterschiedswerts zwischen der neu erhaltenen Darstellung und der weiteren Darstellung umfassen. Der zumindest eine Kalibrierungsparameters kann nun ferner basierend auf dem Unterschiedswert bestimmt 180 werden.
Der zumindest eine Kalibrierungsparameter, der die Skalierungsfaktoren und den Versatz in zwei lateralen Dimensionen umfassen), wird idealerweise so bestimmt, dass, nach der Kalibrierung, die (neu ermittelte) charakteristische Geometrie der Referenzgeometrie entspricht. In anderen Worten kann der zumindest eine Kalibrierungsparameter so bestimmt werden, dass, nach Anwenden des zumindest einen Kalibrierungsparameters und erneutem Erhalten der Sensordaten und Bestimmen der charakteristischen Geometrie, die charakteristische Geometrie der Referenzgeometrie innerhalb eines geeigneten Toleranzbereichs entspricht. Ist dies der Fall, und wird insbesondere auch der Versatz berücksichtigt, sollte das Sichtfeld der scannenden Abbildungsvorrichtung mit dem Sichtfeld des weiten optischen Abbildungssensors übereinstimmen. In anderen Worten kann der zumindest eine Kalibrierungsparameter so bestimmt wird, dass, nach Anwenden des zumindest einen Kalibrierungsparameters, ein Sichtfeld der scannenden Abbildungsvorrichtung einem Sichtfeld eines weiteren optischen Abbildungssensors des optischen Abbildungssystems innerhalb eines geeigneten Toleranzbereichs entspricht. Die jeweiligen Toleranzbereiche sind abhängig von der Anwendung und der gewählten Bezugsgröße.
In manchen Fällen kann es vorkommen, dass der zumindest eine Kalibrierungsparameter nicht in einem Durchlauf so ermittelt werden, dass das Ergebnis innerhalb des zuvor genannten Toleranzbereichs liegt. Dies kann beispielsweise durch Messungenauigkeiten und nicht- linearitäten in der Steuerung der Bewegung des Strahl-leitenden Elements begründet sein. Daher kann der zumindest eine Kalibrierungsparameter iterativ angepasst werden, bis die gewünschte Präzision erreicht ist. In anderen Worten kann das Vergleichsergebnis wiederholt bestimmt 150 werden (durch erneutes Erhalten der Sensordaten, Bestimmen der charakteristischen Geometrie und Vergleichen mit der Referenzgeometrie) und der zumindest eine Kalibrierungsparameter wiederholt (basierend auf dem angepassten Vergleichsergebnis) angepasst 185 werden. Jedoch kann auch ein solches iteratives Verfahren nicht zwangsläufig erfolgreich sein, etwa falls die Sichtfelder sich zu sehr unterscheiden oder falls Galvo-Motoren aufgrund zunehmenden Alters zu ungenau arbeiten. In diesem Fall kann das Verfahren, wie in Fig. 1b gezeigt, ferner ein Bereitstellen 170 einer Warnung, falls die charakteristische Geometrie nach wiederholtem Anpassen des zumindest einen Kalibrierungsparameters nicht der Referenzgeometrie innerhalb des Toleranzbereichs entspricht, umfassen.
Wird jedoch zumindest ein Kalibrierungsparameter ermittelt, der eine ausreichend genaue Kalibrierung gewährleistet, kann der zumindest eine Kalibrierungsparameter im Betrieb genutzt werden.
Die hier vorgestellten Kalibrierung ist vielseitig einsetzbar. Insbesondere dann, wenn das Muster nicht manuell von einem Benutzer des optischen Abbildungssystems eingelegt werden muss, kann die Kalibrierung automatisch und regelmäßig durchgeführt werden, etwa gemäß eines vorgegebenen Zeitplans oder bei einem (oder jedem) Aufstarten der scannenden Abbildungsvorrichtung. Dazu kann das System die Kalibrierung jeweils auslösen, bei dem Aufstarten oder gemäß des Zeitplans. Ist das Muster auf einem Proben-Träger angebracht, so ist es ggf. notwendig, dass ein Benutzer den Probenträger einlegt oder auf dem Probentisch anordnet. Alternativ oder zusätzlich zu einer regelmäßigen Kalibrierung kann die Kalibrierung auch nach Bedarf durchgeführt werden. Ein solcher Bedarf besteht insbesondere dann, wenn ein neuer optischer Abbildungssensor 230 montiert wird oder dessen Position verändert wird, oder aber wenn das optische Abbildungssystem transportiert wird oder durch einen Stoß erschüttert wird. Dabei kann die Erschütterung etwa durch das System 210 erfasst werden und das System, in Reaktion auf die Erschütterung, die Kalibrierung durchführen.
In dem vorgeschlagenen optischen Abbildungssystem wird, in manchen Abbildungssystemen, ein optischer Abbildungssensor 230 verwendet, der auch als Kamera bezeichnet wird. Dementsprechend kann der optische Abbildungssensor ausgebildet sein um die weiteren Sensordaten, welche Abbildungssensordaten sind, zu erzeugen. Beispielsweise kann der eine optische Abbildungssensor der stereoskopischen Bildgebungsvorrichtung einen APS (Active Pixel Sensor, Aktivpixel sensor) - oder einen CCD (Charge-Coupled-Device, Ladungsgekoppeltes Gerät)-basierten Bildsensor umfassen oder einem solchen entsprechen. Bei APS-basierten Bildsensoren wird beispielsweise das Licht an jedem Pixel mit Hilfe eines Fotodetektors und eines aktiven Verstärkers des Pixels erfasst. APS-basierte Bildsensoren basieren häufig auf der CMOS- (Complementary Metal-Oxide-Semiconductor, Komplementäre Metall-Oxid- Halbleiter) oder S-CMOS-Technologie (Scientific CMOS, Wissenschaftliche Komplementäre Metall-Oxid-Halbleiter). In CCD-basierten Bildsensoren werden eintreffende Photonen an einer Halbleiter-Oxid-Grenzfläche in Elektronenladungen umgewandelt, die anschließend von einer Schaltung der Bildsensoren zwischen kapazitiven Bins (Senken) in den Bildsensoren bewegt werden, um die Bildgebung durchzuführen.
Das System 210 kann ausgebildet sein, um die Sensordaten des Detektors 222 von dem Detektor der scannenden Abbildungsvorrichtung 220 zu erhalten (d.h. zu empfangen oder auszulesen) und/oder um die weiteren Sensordaten des optischen Abbildungssensors 230 von dem optischen Abbildungssensor 230 zu erhalten (d.h. zu empfangen oder auszulesen), etwa über die Schnittstelle 212. Die eine oder mehreren Schnittstellen 212 des Systems 210 können einem oder mehreren Eingängen und/oder Ausgängen zum Empfangen und/oder Übertragen von Informationen entsprechen, die in digitalen (Bit-)Werten gemäß einem bestimmten Code innerhalb eines Moduls, zwischen Modulen oder zwischen Modulen verschiedener Einheiten vorliegen können. Die eine oder mehreren Schnittstellen 212 können beispielsweise Schnittstellenschaltungen umfassen, die für den Empfang und/oder die Übertragung von Informationen ausgebildet sind.
Der eine oder die mehreren Prozessoren 214 des Systems 210 können durch eine oder mehrere Verarbeitungseinheiten, ein oder mehrere Verarbeitungsgeräte, ein beliebiges Mittel zur Verarbeitung, wie einen Prozessor, einen Computer oder eine programmierbare Hardwarekomponente, die mit entsprechend angepasster Software betrieben werden kann, implementiert werden. Mit anderen Worten: Die beschriebene Funktion des einen oder der mehreren Prozessoren 214 kann auch in Software implementiert werden, die dann auf einer oder mehreren programmierbaren Hardwarekomponenten ausgeführt wird. Solche Hardwarekomponenten können einen universal verwendbarer Prozessor (etwa eine Zentralprozessoreinheit), einen Digitalen Signalprozessor (DSP), einen Mikrocontroller usw. umfassen.
Die eine oder mehreren Speichereinrichtungen 216 des Systems 210 können mindestens ein Element aus der Gruppe der computerlesbaren Speichermedien umfassen, wie z. B. ein magnetisches oder optisches Speichermedium, z. B. ein Festplattenlaufwerk, einen Flash-Speicher, eine Diskette, einen Direktzugriffsspeicher (RAM, Random Access Memory), einen programmierbaren Festwertspeicher (PROM, Programmable Read-Only Memory), einen löschbaren programmierbaren Festwertspeicher (EPROM, Erasable Programmable Read- Only Memory), einen elektronisch löschbaren programmierbaren Festwertspeicher (EEPROM, Electrically Erasable Programmable Read-Only Memory) oder einen Netzwerkspeicher.
Mehr Details und Aspekte des Verfahrens, des Systems, eines entsprechenden Computerprogramms, des optischen Abbildungssystems und der scannenden Abbildungsvorrichtung werden in Verbindung mit dem Konzept oder Beispielen genannt, die vorher oder nachher (etwa im Zusammenhang mit den Fign. 3 bis 5) beschrieben werden. Das Verfahren, das System, das Computerprogramm, das optische Abbildungssystem und die scannende Abbildungsvorrichtung können ein oder mehrere zusätzliche optionale Merkmale umfassen, die ein oder mehreren Aspekten des vorgeschlagenen Konzepts oder der beschriebenen Beispiele entsprechen, wie sie vorher oder nachher beschrieben wurden.
Verschiedene Aspekte der vorliegenden Offenbarung beziehen sich auf eine Vorrichtung zur automatischen Kalibration des Sichtfelds einer optischen Abbildungsvorrichtung oder eines optischen Abbildungssystems, wie etwa eines Mikroskops oder Mikroskopsystems, mittels Bildverarbeitung. Insbesondere befassen sich manche Ausführungsbeispiele mit der automatischen Kalibrierung eines Sichtfelds mehrerer Abbildungsvorrichtungen.
Hierzu wird ein gemeinsam genutztes Kalibrierungstarget (etwa das im Zusammenhang mit den Fign. la bis 2b genutzte Muster) für beide Modalitäten genutzt. Dabei kann das Kalibrierungstarget etwa als Proben-Slide ausgelegt sein. Beispielsweise kann ein Kalibrierungstarget verwendet werden, welches ein periodisches (in x und y-Dimension) Muster darstellt. Diese Periodizität kann dann beispielsweise über eine Auto-Phasenkorrelation bestimmt werden. Die Periodizität kann beispielsweise der charakteristischen Geometrie, die im Zusammenhang mit den Fign. la bis 2b diskutiert wurde, entsprechen oder einen Aspekt der charakteristischen Geometrie darstellen. Vorteil der Nutzung der Auto-Phasenkorrelation ist der geringe technische Aufwand. Dabei kann ggf. auf eine Segmentierung verzichtet werden. Auch ist eine reduzierte Rauschempfindlichkeit gegenüber herkömmlichen Targets und Algorithmen hervorzuheben.
Dasselbe Target kann dabei durch im Weitfeld (durch eine Kamera-basierte Abbildungsvorrichtung, wie etwa den weiteren optischen Abbildungssensor 230 von Fig. 2b) und konfokal aufgenommen werden. Die Abweichung zwischen dem Konfokal-Bildbereich und dem Weitfeld-Bildbereich kann ermittelt werden. Beispielsweise kann das Weitfeld-Bild als Referenz für die zu erreichende Skalierung des konfokalen Scanners (bezüglich der Skalierung in der x-Dimension und der y-Dimension) verwendet werden, da die Kamerasensoren (etwa CCD- Sensoren) keine Modifikation erlauben.
Hierdurch kann das Konfokal-Bild auf den identischen Bildbereich (der Weitfeld-Kamera) eingegrenzt werden. Gleichzeitig kann die Isotropie der Aufnahme gewährleistet werden, oder alternativ zumindest identisch zum Weitfeld-Sensor eingestellt werden. Fig. 3 zeigt ein Flussdiagramm eines Beispiels eines Ablaufs des Kalibrierungsverfahrens. In dem Beispiel von Fig. 3 wird zunächst das Kalibriernormal 310 (etwa das im Zusammenhang mit den Fign. la bis 2b diskutierte Muster, welches ein periodisches Punktgitter sein kann) eingelegt. Dann wird eine Weitfeld-Aufnahme durchgeführt, die als Referenz-Abbildung 320 verwendet wird. Danach wird die Modalität des Mikroskops auf Konfokal gewechselt, das Kalibriernormal 310 bleibt dabei eingelegt. Eine weitere Aufnahme des Südes wird mit dem Konfokal Scanner durchgeführt, um die Konfokal -Abbildung 350 (auch CLSM- Abbildung, engl. Confocal Laser Scanning Microscope, Konfokales Laser- Scannendes Mikroskop) zu erhalten.
Für beide Aufnahmen 320; 350, wird jeweils mittels Autophasenkorrelation 330; 360 und weiteren morphologischen Operationen die Periode (Periodizität) der Probe in x-Dimension und y-Dimension ermittelt. Die Weitfeld-Aufnahme wird im Folgenden als Referenz/Zielwert 340 verwendet, da die Kamera keine Parametrisierung dieser Art anbieten kann und damit unveränderlich ist. Die Abweichung der Perioden im Konfokal-Bild im Vergleich mit dem Weitfeld-Bild erlauben es die relevanten Einstellungen der Gal vo- Steuerung anzupassen 370. Dabei werden beispielsweise sowohl der x-Versatz, der y-Offset, die x-Skalierung und die y- Skalierung berechnet. Die Anpassung dieser Werte führt zu einer modifizierten Spiegelbewegung, so dass das Kalibriernormal, so gut möglich, identisch in konfokal und Weitfeld abbildet. Als Ergebnis sind der Bildbereich und die Skalierung identisch zur Referenzaufnahme eingestellt.
Zur Verifikation wird nach dem Einstellen der Werte erneut ein Konfokal-Bild aufgenommen und mit derselben Methode verarbeitet. Die Abweichung zum Weitfeld-Bild darf dabei nur noch in einem gewissen Toleranzbereich liegen. Dabei kann optional das eine weitere Iteration 380 basierend auf dem Konfokal-Bild durchgeführt werden.
Alternativ kann auch eine ältere Konfokal-Aufnahme verwendet werden, um die Referenz 340 zu bestimmen, etwa, wenn das vorgeschlagene Konzept verwendet wird, um Alterungserscheinungen auszugleichen, oder um den Bildbereich bei dem Wechsel zwischen unterschiedlichen Stativen neu einzustellen.
Fig. 4 zeigt eine schematische Darstellung des Effekts der Kalibrierung. In Fig. 4 ist einerseits die Referenz- Aufnahme 410 des Kalibriernormals und andererseits die Konfokal-Aufnahme 420 gezeigt. In einer ursprünglichen Überlagerung 430, bevor die Kalibrierung durchgeführt wird, ist zu erkennen, dass die Konfokal-Aufnahme in der x-Dimension eine größere Skalierung und in der y-Dimension eine unwesentlich geringere Skalierung aufweist. Zudem ist ein Versatz vorhanden. Nach der Korrektur des Bildbereichs wird eine präzise Überlagerung 440 der Darstellungen des Kalibriernormals erreicht.
Die vorgeschlagene Methode kann im Weiteren verwendet werden, um mittels der Periodizität die Einstellungen des konfokalen Scanners anhand eines aufgenommenen Bildes zu testen, wie etwa die Isotropie, Verzerrung, Aufnahmefehler, die etwa durch unterschiedliche Scangeschwindigkeiten entstehen können (die Isotropie sollte bei unterschiedlichen Scangeschwindigkeiten erhalten bleiben) etc.
Diese Kalibrierung kann automatisch ausgeführt werden oder als Bewertung der aktuellen Einstellungen und als Hilfestellung zum manuellen Nachstellen verwendet werden. Dabei ergibt sich ein Mehrwert durch die unabhängige Auswertung der Skalierungs- und Versatzwerte im Vergleich zur manuellen Kalibrierung. Auch kann ein erheblicher Zeitgewinn in der Produktion des optischen Abbildungssystems, bei gleichzeitiger Erhöhung der Qualität erreicht werden und Senkung der Kosten für die Kalibrierung. Auch wird eine Validierung der Kalibrierung automatisierbar und quantifizierbar, verglichen mit der manuellen, rein visuellen Bewertung.
Vorliegend werden vorliegende Ausführungsbeispiele der Anwendung des Konzepts auf ein Mikroskopsystem beschrieben, das ein Konfokal-Mikroskop sowie ein Weitfeld-Mikroskop umfasst. Das vorliegende Konzept kann jedoch auch auf andere optische Abbildungssysteme und scannende Abbildungsvorrichtungen angewandt werden, etwa andere optische Abbildungssysteme die, eine scannende Abbildungsvorrichtung und eine Kamera-basierte Abbildungsvorrichtung umfassen.
Mehr Details und Aspekte der Vorrichtung zur automatischen Kalibration des Sichtfelds werden in Verbindung mit dem Konzept oder Beispielen genannt, die vorher (z.B. Fign. la bis 2b) beschrieben wurden. Die Vorrichtung zur automatischen Kalibration des Sichtfelds kann ein oder mehrere zusätzliche optionale Merkmale umfassen, die ein oder mehreren Aspekten des vorgeschlagenen Konzepts oder der beschriebenen Beispiele entsprechen, wie sie vorher oder nachher beschrieben wurden. Einige Ausführungsbeispiele beziehen sich auf ein optisches Abbildungssystem oder eine optische Abbildungsvorrichtung, wie etwa ein Mikroskopsystem oder ein Mikroskop, das ein System umfasst, wie in Verbindung mit einer oder mehrerer der Fign. la bis 4 beschrieben. Alternativ kann eine optische Abbildungsvorrichtung, wie etwa ein Mikroskop, Teil eines Systems, wie in Verbindung mit einer oder mehrerer der Fign. la bis 4 beschrieben, sein oder mit demselben verbunden sein. Fig. 5 zeigt eine schematische Darstellung eines Systems 500, das ausgebildet ist zum Ausführen eines hierin beschriebenen Verfahrens. Das System 500 umfasst eine optische Abbildungsvorrichtung 510, wie etwa ein Mikroskop (etwa ein scannendes Mikroskop oder ein nicht-scannendes Mikroskop), und ein Computersystem 520. Die optische Abbildungsvorrichtung 510 ist ausgebildet zum Aufnehmen von Bildern und ist mit dem Computer system 520 verbunden. Das Computer system 520 ist ausgebildet zum Ausführen von zumindest einem Teil eines hierin beschriebenen Verfahrens. Das Computersystem 520 kann ausgebildet sein zum Ausführen eines Maschineniem- Algorithmus. Das Computersystem 520 und die optische Abbildungsvorrichtung 510 können getrennte Einheiten sein, können aber auch zusammen in einem gemeinsamen Gehäuse integriert sein. Das Computersystem 520 könnte Teil eines zentralen Verarbeitungssystems der optischen Abbildungsvorrichtung 510 sein und/oder das Computersystem 520 könnte Teil einer Teilkomponente der optischen Abbildungsvorrichtung 510 sein, wie eines Sensor, eines Aktuator, einer Kamera oder einer Beleuchtungseinheit, usw. der optischen Abbildungsvorrichtung 510.
Das Computersystem 520 kann eine lokale Computervorrichtung (z. B. Personalcomputer, Laptop, Tablet-Computer oder Mobiltelefon) mit einem oder mehreren Prozessoren und einer oder mehreren Speichervorrichtungen oder kann ein verteiltes Computersystem (z. B. ein Cloud-Computing-System mit einem oder mehreren Prozessoren oder einer oder mehreren Speichervorrichtungen, die an verschiedenen Stellen verteilt sind, zum Beispiel an einem lokalen Client und/oder einer oder mehreren Remote-Server-Farms und/oder Datenzentren) sein. Das Computersystem 520 kann irgendeine Schaltung oder Kombination von Schaltungen umfassen. Bei einem Ausführungsbeispiel kann das Computersystem 520 einen oder mehrere Prozessoren umfassen, die von irgendeinem Typ sein können. Nach hiesigem Gebrauch kann Prozessor irgendein Typ von Rechenschaltung bedeuten, wie beispielsweise, aber nicht beschränkt auf, ein Mikroprozessor, ein Mikrocontroller, ein Mikroprozessor mit komplexem Befehlssatz (CISC), ein Mikroprozessor mit reduziertem Befehlssatz (RISC), ein Sehr-langes-Anweisungswort- (Very Long Instruction Word; VLIW) Mikroprozessor, ein Graphikprozessor, ein digitaler Signalprozessor (DSP), ein Multi-Core-Prozessor, ein feldprogrammierbares Gate-Array (FPGA), z.B. eines Mikroskops oder einer Mikroskopkomponente (z. B. Kamera) oder irgendein anderer Typ von Prozessor oder Verarbeitungsschaltung. Andere Typen von Schaltungen, die in dem Computersystem 520 umfasst sein können, können eine speziell angefertigte Schaltung, eine anwendungsspezifische integrierte Schaltung (ASIC) oder Ähnliches, wie beispielsweise eine oder mehrere Schaltungen (z. B. eine Kommunikationsschaltung) zur Verwendung bei drahtlosen Vorrichtungen wie z. B. Mobiltelefonen, Tablet-Computern, Laptop-Computern, Funksprechgeräten und ähnlichen elektronischen Systemen sein. Das Computersystem 520 kann eine oder mehrere Speichervorrichtungen umfassen, die ein oder mehrere Speicherelemente umfassen können, die für die jeweilige Anwendung geeignet sind, wie beispielsweise einen Hauptspeicher in der Form eines Direktzugriffsspeichers (RAM, Random Access Memory), eine oder mehrere Festplatten und/oder ein oder mehrere Laufwerke, die entfernbare Medien, wie beispielsweise CDs, Flash-Speicherkarten, DVD und Ähnliches handhaben. Das Computersystem 520 kann auch eine Anzeigevorrichtung, einen oder mehrere Lautsprecher, und eine Tastatur und/oder Steuerung umfassen, die eine Maus, Trackball, Touchscreen, Stimmerkennungsvorrichtung oder irgendeine andere Vorrichtung umfassen kann, die es einem Systemnutzer erlaubt, Information in das Computersy stem 520 einzugeben und Information von demselben zu empfangen.
Einige oder alle Verfahrensschritte können durch (oder unter Verwendung) einer Hardwarevorrichtung ausgeführt werden, wie es zum Beispiel ein Prozessor, ein Mikroprozessor, ein programmierbarer Computer oder eine elektronische Schaltung sein kann. In einigen Ausführungsbeispielen können ein oder mehrere der wichtigsten Verfahrensschritte durch eine solche Vorrichtung ausgeführt werden.
Abhängig von bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder Software implementiert werden. Die Implementierung kann mit einem nicht-flüchtigen Speichermedium wie einem digitalen Speichermedium, wie beispielsweise einer Diskette, einer DVD, einem Blu-Ray, einer CD, einem ROM, einem PROM und EPROM, einem EEPROM oder einem FLASH-Speicher, durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem so Zusammenwirken (oder Zusammenwirken können), dass das jeweilige Verfahren durchgeführt wird. Daher kann das digitale Speichermedium computerlesbar sein. Einige Ausführungsbeispiele gemäß der Erfindung umfassen einen Datenträger mit elektronisch lesbaren Steuersignalen, die mit einem programmierbaren Computersystem Zusammenwirken können, so dass eines der hierin beschriebenen Verfahren durchgeführt wird.
Im Allgemeinen können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert werden, wobei der Programmcode für die Ausführung eines der Verfahren wirksam ist, wenn das Computerprogrammprodukt auf einem Computer läuft. Der Programmcode kann beispielsweise auf einem maschinenlesbaren Träger gespeichert werden.
Weitere Ausführungsbeispiele umfassen das Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren, das auf einem maschinenlesbaren Träger gespeichert ist.
Mit anderen Worten, ein Ausführungsbeispiel der vorliegenden Erfindung ist daher ein Computerprogramm mit einem Programmcode zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer läuft.
Ein weiteres Ausführungsbeispiel der vorliegenden Erfindung ist daher ein Speichermedium (oder ein Datenträger oder ein computerlesbares Medium), das ein darauf gespeichertes Computerprogramm zum Ausführen eines der hierin beschriebenen Verfahren umfasst, wenn es von einem Prozessor ausgeführt wird. Der Datenträger, das digitale Speichermedium oder das aufgezeichnete Medium sind in der Regel greifbar und/oder nicht übergangslos. Eine weiteres Ausführungsbeispiel der vorliegenden Erfindung ist eine Vorrichtung, wie hierin beschrieben, die einen Prozessor und das Speichermedium umfasst.
Ein weiteres Ausführungsbeispiel der Erfindung ist daher ein Datenstrom oder eine Signalfolge, die das Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren darstellt. Der Datenstrom oder die Signalfolge kann beispielsweise so konfiguriert werden, dass sie über eine Datenkommunikationsverbindung, beispielsweise über das Internet, übertragen werden.
Ein weiteres Ausführungsbeispiel umfasst ein Verarbeitungsmittel, zum Beispiel einen Computer oder eine programmierbare Logikvorrichtung, das konfiguriert oder angepasst ist, um eines der hierin beschriebenen Verfahren auszuführen. Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Ausfuhren eines der hierin beschriebenen Verfahren installiert ist. Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, das konfiguriert ist, um (zum Beispiel elektronisch oder optisch) ein Computerprogramm zum Ausführen eines der hierin beschriebenen Verfahren an einen Empfänger zu übertragen. Der Empfänger kann beispielsweise ein Computer, eine mobile Vorrichtung, eine Speichervorrichtung oder dergleichen sein. Die Vorrichtung oder das System kann beispiels- weise einen Dateiserver zum Übertragen des Computerprogramms an den Empfänger umfassen.
In einigen Ausführungsbeispielen kann eine programmierbare logische Vorrichtung (z.B. eine feldprogrammierbare Gatteranordnung, FPGA) verwendet werden, um einige oder alle Funk- tionalitäten der hierin beschriebenen Verfahren auszuführen. In einigen Ausführungsbeispielen kann eine feldprogrammierbare Gatteranordnung mit einem Mikroprozessor Zusammenarbeiten, um eines der hierin beschriebenen Verfahren durchzuführen. Im Allgemeinen werden die Verfahren vorzugsweise von jedem Hardwaregerät durchgeführt.
Bezugszeichen
10; 20; 30 Muster
110 Erhalten von weiteren Sensordaten
120 Bestimmen einer Referenzgeometrie
130 Erhalten von Sensordaten
140 Bestimmen einer charakteristischen Geometrie
150 Vergleichen der charakteristischen Geometrie mit der Referenzgeometrie
160 Anpassung einer Darstellung des Musters
165 Bestimmen eines Unterschiedswerts
170 Bereitstellen einer Warnung
180 Bestimmen zumindest eines Kalibrierungsparameters
185 Anpassen des zumindest einen Kalibrierungsparameters
190 Betreiben zumindest einer Ansteuerungseinheit
200a; 200b Optisches Abbildungssystem
210 System
212 Ein oder mehrere Schnittstellen
214 Ein oder mehrere Prozessoren
216 Ein oder mehrere Speichereinrichtungen
220 scannende Abbildungsvorrichtung
222 Detektor
224 Ansteuerungseinheit
226 Licht-leitendes Element, Spiegel
228 Laseremitter
230 weiterer optischer Abbildungssensor
240 Gehäuse
250 Probentisch
310 Kalibriernormal
320 Referenz- Abbildung
330 Auto-Phasenkorrel ati on
340 Referenz
350 Konfokal-Abbildung
360 Auto-Phasenkorrel ati on
370 Anpassung der Gal vo- Steuerung
380 Weitere Iteration 410 Referenz- Aufnahme
420 Konfokal-Aufnahme
430 Ursprüngliche Überlagerung
440 Überlagerung nach Kalibrierung 500 System
510 Optische Abbildungsvorrichtung
520 Computersy stem

Claims

Patentansprüche Ein Verfahren für ein optisches Abbildungssystem (200a; 200b; 500) mit einer scannenden Abbildungsvorrichtung (220; 510), das Verfahren umfassend:
Erhalten (130) von Sensordaten eines Detektors (222) der scannenden Abbildungsvorrichtung (220), wobei die Sensordaten eine Darstellung eines Musters (10; 20; 30) umfassen, die von dem Detektor aufgenommen wurde;
Bestimmen (140) einer charakteristischen Geometrie der Darstellung des Musters;
Vergleichen (150) der charakteristischen Geometrie mit einer Referenzgeometrie, um ein Vergleichsergebnis zu bestimmen;
Bestimmen (180) von zumindest einem Kalibrierungsparameter zum Kalibrieren zumindest einer Ansteuerungseinheit (224) zum Bewegen eines Strahl -leitenden Elements (226) der scannenden Abbildungsvorrichtung basierend auf dem Vergleichsergebnis; und
Betreiben (190) der zumindest einen Ansteuerungseinheit basierend auf dem zumindest einen Kalibrierungsparameter. Das Verfahren gemäß Anspruch 1, wobei das Verfahren ferner ein Erhalten (110) von weiteren Sensordaten eines weiteren optischen Abbildungssensors (230) des optischen Abbildungssystems, wobei die weiteren Sensordaten eine weitere Darstellung des Musters umfassen, die von dem weiteren optischen Abbildungssensor aufgenommen wurde, und ein Bestimmen (120) der Referenzgeometrie basierend auf der weiteren Darstellung des Musters umfasst. Das Verfahren gemäß Anspruch 2, wobei das Verfahren ferner ein Anpassen (160) der Darstellung basierend auf dem Vergleichsergebnis, ein Bestimmen (165) eines Unterschiedswerts zwischen der angepassten Darstellung und der weiteren Darstellung, und ein Bestimmen (180) des zumindest einen Kalibrierungsparameters ferner basierend auf dem Unterschiedswert umfasst. Das Verfahren gemäß einem der Ansprüche 2 oder 3, wobei das Verfahren nach Anwenden des zumindest einen Kalibrierungsparameters ein erneutes Erhalten (130) der Sensordaten mit der Darstellung des Musters, ein Bestimmen (165) eines Unterschiedswerts zwischen der neu erhaltenen Darstellung und der weiteren Darstellung, und ein Bestimmen (180) des zumindest einen Kalibrierungsparameters ferner basierend auf dem Unterschiedswert umfasst. Das Verfahren gemäß einem der Ansprüche 1 bis 4, wobei die Referenzgeometrie eine werksseitig definierte Referenzgeometrie oder eine mittels einer anderen scannenden Abbildungsvorrichtung bestimmte Geometrie ist, die in einem Speicher (216) des optischen Abbildungssystems gespeichert ist. Das Verfahren gemäß einem der Ansprüche 1 bis 5, wobei der zumindest eine Kalibrierungsparameter so bestimmt wird, dass, nach Anwenden des zumindest einen Kalibrierungsparameters, ein Sichtfeld der scannenden Abbildungsvorrichtung einem Sichtfeld eines weiteren optischen Abbildungssensors des optischen Abbildungssystems innerhalb eines Toleranzbereichs entspricht. Das Verfahren gemäß einem der Ansprüche 1 bis 6, wobei der zumindest eine Kalibrierungsparameter so bestimmt wird, dass, nach Anwenden des zumindest einen Kalibrierungsparameters und erneutem Erhalten der Sensordaten und Bestimmen der charakteristischen Geometrie, die charakteristische Geometrie der Referenzgeometrie innerhalb eines Toleranzbereichs entspricht. Das Verfahren gemäß einem der Ansprüche 1 bis 7, wobei das Vergleichsergebnis wiederholt bestimmt (150) wird und der zumindest eine Kalibrierungsparameter wiederholt angepasst (185) wird. Das Verfahren gemäß Anspruch 8, wobei das Verfahren ferner ein Bereitstellen (170) einer Warnung, falls die charakteristische Geometrie nach wiederholtem Anpassen des zumindest einen Kalibrierungsparameters nicht der Referenzgeometrie innerhalb eines Toleranzbereichs entspricht, umfasst. Das Verfahren gemäß einem der Ansprüche 1 bis 9, wobei das Muster ein periodisches Muster ist und die charakteristische Geometrie eine Periodizität der Darstellung des periodischen Musters umfasst. Das Verfahren gemäß Anspruch 10, wobei die Periodizität durch Berechnen (145) einer Auto-Phasenkorrelation bestimmt wird. Das Verfahren gemäß einem der Ansprüche 1 bis 11, wobei das Muster ein zweidimensionales periodisches Muster und die charakteristische Geometrie eine Periodizität der Darstellung des zweidimensionalen periodischen Musters in zwei Dimensionen ist. Das Verfahren gemäß einem der Ansprüche 1 bis 12, wobei das Strahl -leitende Element in zwei Dimensionen durch die Ansteuerungseinheit bewegbar ist und der zumindest eine Kalibrierungsparameter zumindest einen ersten Skalierungsfaktor zum Skalieren der Bewegung des Strahl -leitenden Elements in einer ersten Dimension und einen zweiten Skalierungsfaktor zum Skalieren der Bewegung des Strahl -leitenden Elements in einer zweiten Dimension umfasst. Das Verfahren gemäß einem der Ansprüche 1 bis 13, wobei die charakteristische Geometrie und das Vergleichsergebnis bei einem Aufstarten der scannenden Abbildungsvorrichtung, nach Detektion einer Erschütterung des optischen Abbildungssystems, und/oder gemäß eines vorgegebenen Zeitplans bestimmt werden. Ein System (210; 520) für ein optisches Abbildungssystem (200; 500) mit einer scannenden Abbildungsvorrichtung (220; 510), wobei das System ein oder mehrere Prozessoren (214) und ein oder mehrere Speichereinrichtungen (216) umfasst, wobei das System ausgebildet ist zum Durchführen des Verfahrens gemäß einem der vorhergehenden Ansprüche.
EP23805916.6A 2022-11-09 2023-11-09 Optisches abbildungssystem mit einer scannenden abbildungsvorrichtung, verfahren, system und computerprogramm Pending EP4616242A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022129551.6A DE102022129551A1 (de) 2022-11-09 2022-11-09 Optisches Abbildungssystem mit einer Scannenden Abbildungsvorrichtung, Verfahren, System und Computerprogramm
PCT/EP2023/081294 WO2024100189A1 (de) 2022-11-09 2023-11-09 Optisches abbildungssystem mit einer scannenden abbildungsvorrichtung, verfahren, system und computerprogramm

Publications (1)

Publication Number Publication Date
EP4616242A1 true EP4616242A1 (de) 2025-09-17

Family

ID=88833683

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23805916.6A Pending EP4616242A1 (de) 2022-11-09 2023-11-09 Optisches abbildungssystem mit einer scannenden abbildungsvorrichtung, verfahren, system und computerprogramm

Country Status (4)

Country Link
EP (1) EP4616242A1 (de)
JP (1) JP2025537556A (de)
DE (1) DE102022129551A1 (de)
WO (1) WO2024100189A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005047200B4 (de) * 2005-10-01 2021-05-06 Carl Zeiss Microscopy Gmbh Verfahren zur Korrektur einer Steuerung eines optischen Scanners in einer Vorrichtung zur scannenden Abbildung einer Probe und Vorrichtung zur Erzeugung eines Bildes einer Probe durch Abscannen der Probe
DE102006034906A1 (de) * 2006-07-28 2008-01-31 Carl Zeiss Microimaging Gmbh Laser-Scanning-Mikroskop und Verfahren zu seinem Betrieb
US8305432B2 (en) * 2007-01-10 2012-11-06 University Of Washington Scanning beam device calibration
DE102010061612B4 (de) * 2010-12-29 2023-12-28 Leica Microsystems Cms Gmbh Verfahren zum Ermitteln von Scankoordinaten zum Betreiben einer Scaneinheit eines konfokalen Scan-Mikroskops und konfokales Scan-Mikroskop
DE202019103800U1 (de) * 2019-07-10 2020-01-07 Perkinelmer Cellular Technologies Germany Gmbh Systeme für die automatisierte Darstellung von dreidimensionalen Gegenständen
DE102020006975A1 (de) * 2020-11-11 2022-05-12 Carl Zeiss Microscopy Gmbh Laser-Scanning-Mikroskop und Verfahren zum Justieren eines Laser-Scanning-Mikroskops

Also Published As

Publication number Publication date
DE102022129551A1 (de) 2024-05-16
JP2025537556A (ja) 2025-11-18
WO2024100189A1 (de) 2024-05-16

Similar Documents

Publication Publication Date Title
EP2619525B1 (de) Verfahren zum optischen antasten einer kante in oder an einem oberlächenbereich
DE102021127403A1 (de) Qualitätsüberwachungssystem für stanzstreckenfehler und verfahren zum überwachen von stanzstreckenfehlern
DE102016107900B4 (de) Verfahren und Vorrichtung zur Kantenermittlung eines Messobjekts in der optischen Messtechnik
EP2472302A2 (de) Verfahren zur Korrektur von Bildverzeichnungen bei einem konfokalen Scan-Mikroskop
DE102014207095A1 (de) Kantenmessungs-Videowerkzeug mit robustem Kantenunterscheidungs-Spielraum
DE102020120887B4 (de) Verfahren zum erfassen einer einhängeposition eines auflagestegs und flachbettwerkzeugmaschine
DE102015103785A1 (de) Verfahren und Vorrichtung zur Kalibration einer Kamera
EP4227636A1 (de) Bestimmung von tiefenwerten eines oberflächenbereichs eines werkstücks
DE102021105020A1 (de) Mikroskopiesystem und Verfahren zum Verarbeiten eines Mikroskopbildes
DE102023100439A1 (de) Mikroskopiesystem und Verfahren zum Berechnen eines Ergebnisbildes durch ein ordinales Klassifikationsmodell
DE112022001773T5 (de) Systeme und Verfahren zur Bestimmung eines adaptiven Bereichs von Interesse (ROI) für die Berechnung von Bildmetriken
EP2534521A1 (de) Verfahren und vorrichtung zum einstellen eines geeigneten auswerteparameters für ein fluoreszenzmikroskop
DE10037783A1 (de) Verfahren und Vorrichtung zur Phasenkorrektur von Positions- und Detektionssignalen in der Scanmikroskopie und Scanmikroskop
EP4616242A1 (de) Optisches abbildungssystem mit einer scannenden abbildungsvorrichtung, verfahren, system und computerprogramm
EP3889895A1 (de) Verfahren zur kantenfindung von objektkanten eines messobjektes
DE112020001064T5 (de) System und verfahren zur einstellbaren produktionslinienprüfung
EP4165456B1 (de) Verfahren, recheneinheit und system zum bestimmen jeweils eines werts für wenigstens drei einstellparameter mittels einer eingabeeinheit in form einer graphischen benutzer-schnittstelle
DE102014111150B3 (de) Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild
WO2021175739A1 (de) Steuerungssystem für ein mikroskop, mikroskopanordnung und verfahren zur bildgebenden positionierungsunterstützung
EP3859658B1 (de) Bildbearbeitung zur verbesserung der schärfentiefe insbesondere bei objektvermessungen
WO2021073907A1 (de) Kalibrierung eines aktiven optischen sensorsystems
BE1030440B1 (de) System und verfahren zum auswählen einer bemessungsfunktion und bemessen eines objekts
DE19517178C1 (de) Hintergrundbereinigung bei elektronisch abgetasteten Bildern
EP3798969A1 (de) Verfahren zur verarbeitung von tiefenbildern, bildverarbeitungsvorrichtung und tiefenkamera
EP1814079A1 (de) Verfahren und Vorrichtung zur Korrektur der Helligkeit eines durch eine Sensormatrix erzeugten Rohbilds

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250610

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)