EP4469753A1 - Verfahren zum kalibrieren eines stereoskopischen medizinischen mikroskops und medizinische mikroskopanordnung - Google Patents

Verfahren zum kalibrieren eines stereoskopischen medizinischen mikroskops und medizinische mikroskopanordnung

Info

Publication number
EP4469753A1
EP4469753A1 EP23702401.3A EP23702401A EP4469753A1 EP 4469753 A1 EP4469753 A1 EP 4469753A1 EP 23702401 A EP23702401 A EP 23702401A EP 4469753 A1 EP4469753 A1 EP 4469753A1
Authority
EP
European Patent Office
Prior art keywords
images
calibration data
data
calibration
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23702401.3A
Other languages
English (en)
French (fr)
Inventor
Felicia Walz
Dominik Scherer
Stefan Saur
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Publication of EP4469753A1 publication Critical patent/EP4469753A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • A61B2560/0228—Operational features of calibration, e.g. protocols for calibrating sensors using calibration standards
    • A61B2560/0233—Optical standards
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions

Definitions

  • the invention relates to a method for calibrating a stereoscopic medical microscope and a medical microscope arrangement.
  • the aim of digital visualization in surgery and microsurgery is to show a surgeon an optimal three-dimensional image of the surgical field during an operation and, if necessary, an optimal three-dimensional overlay of additionally generated information on the field of view on the monitors of the medical microscope.
  • captured camera images are processed by digital image processing with defined calibration data.
  • Three-dimensional calibration objects are known from DE 102019 131 646 A1.
  • the three-dimensional calibration objects have, for example, a transparent body and calibration marks embedded in the volume of the transparent body.
  • the object of the invention is to improve a method for calibrating a stereoscopic medical microscope and a medical microscope arrangement.
  • a basic idea of the invention is to combine a three-dimensional calibration with a two-dimensional calibration and thereby achieve an overall improved, in particular optimal, result of the calibration. This is done by capturing images of at least one three-dimensional calibration object using cameras of a stereo camera system of the medical microscope.
  • each of the cameras of the stereo camera system captures at least one image.
  • the images are recorded in particular in such a way that images from the two cameras of the stereo camera system are linked to one another for the same operating points of the medical microscope, that is to say they are assigned to one another or can be assigned to one another.
  • calibration data are generated and stored for correction.
  • further images of at least one two-dimensional calibration object are recorded using the cameras of the stereo camera system.
  • further images are also recorded in particular in such a way that the further images of the two cameras of the stereo camera system are linked to one another for the same operating points, that is to say are in particular assigned or can be assigned to one another.
  • the images and the further images are recorded here in particular at the same working points.
  • further calibration data are generated and stored for correction.
  • storing the calibration data includes, in particular, the calibration data being stored in a memory provided for this purpose in order to be retrieved from it and used as required.
  • the stored calibration data and the stored further calibration data can be applied to images (and sequences of images, in particular videos) subsequently recorded, in particular during an operation, so that these images can be corrected by the calibration data and further calibration data and then by a surgeon and/or or other persons can be recorded.
  • a method for calibrating a stereoscopic medical microscope comprising: a) capturing images of at least one three-dimensional calibration object using cameras of a stereo camera system of the medical microscope, b) generating calibration data based on the recorded images, the generated calibration data being stored for correction, c) recording additional images of at least one two-dimensional calibration object using the cameras of the stereo camera system, d) generating additional calibration data based on the recorded additional images, wherein the other calibration data are stored for correction.
  • a medical microscope arrangement comprising a stereoscopic medical microscope with a stereo camera system comprising cameras and storable calibration data, and a data processing device, wherein the data processing device is set up to generate calibration data based on images of at least one three-dimensional calibration object captured by the cameras of the stereo camera system and to store for correction, and to generate further calibration data based on further images of at least one two-dimensional calibration object captured by means of the cameras of the stereo camera system and to store for correction.
  • One advantage of the method and of the medical microscope arrangement is that an overall calibration of the stereoscopic medical microscope can be achieved by a combination of a three-dimensional and a two-dimensional calibration and associated two-dimensional and three-dimensional calibration objects. After the overall calibration data has been generated, images corrected by means of these calibration data can be provided to a surgeon and/or other persons. Superimposition for stereoscopic viewing of these respectively corrected images is improved compared to the non-corrected images, so that information transfer during an operation is improved as a result, and disruptions due to inadequate superimposition and/or image errors and the associated impairments in the workflow during an operation and signs of fatigue can be reduced.
  • the calibration data and the further calibration data are generated in particular by the captured images and captured further images being evaluated.
  • features on the respective calibration objects recognized and evaluated.
  • the calibration data and the other calibration data can be generated, in particular determined, based on the known properties and the evaluated captured images and other images.
  • the respective features and their properties in particular a location (position and orientation), geometric arrangement, shape, color, brightness, etc., are known and can therefore be recognized in the images and other images.
  • the calibration data and the other calibration data can be determined in a manner known per se using known calibration methods by comparing the known target properties of the respective features in the images and other images and the actual properties.
  • the evaluation takes place in particular by means of the data processing device.
  • known methods of computer vision, pattern recognition and/or machine learning can be used.
  • a medical microscope is in particular a surgical microscope.
  • a medical microscope can also be a microscope used for medical examinations and/or for diagnostic purposes, for example in the field of ophthalmology or in other fields.
  • a medical microscope arrangement is in particular a surgical microscope arrangement.
  • Calibration data and further calibration data can basically be of the same or different type and relate to different properties and/or effects and/or faults and/or devices of the medical microscope.
  • the distinction between calibration data and other calibration data was chosen in particular for linguistic differentiation.
  • a two-dimensional calibration object can have shapes and patterns known per se, for example a two-dimensional checkerboard pattern, line markings, crosshairs and the like.
  • a three-dimensional calibration object has, in particular, three-dimensional structures.
  • a three-dimensional calibration object can have structures that are arranged in several planes perpendicular to an optical axis of the imaging system of the medical microscope and can be illuminated, for example, by irradiation and/or by a defined intrinsic illumination with the medical microscope or by means of the cameras can be detected.
  • this High contrast markings arranged in two orthogonal planes to provide depth information with respect to the optical axis (see eg Figure 2 in King et al.).
  • a three-dimensional calibration object therefore has, for example, a transparent body and calibration marks embedded in the volume of the transparent body.
  • a three-dimensional calibration object in one of the embodiments described in DE 102019 131 646 A1 is essentially a cube-shaped 3D calibration body made up of transparent layers.
  • the 3D calibration body is made up of stacked light guides.
  • the light guides are formed by alternating transparent layers, the layers having a higher refractive index than layers arranged in between. Light is coupled into the layers by means of selectively switchable light sources in such a way that it is totally reflected at the interfaces between the layers.
  • the procedure is then basically the same.
  • Parts of the medical microscope arrangement can be designed individually or combined as a combination of hardware and software, for example as a Program code that runs on a microcontroller or microprocessor.
  • the data processing device can include a computing device in the form of a microprocessor or microcontroller and a memory.
  • ASIC application-specific integrated circuit
  • FPGA field-programmable gate array
  • the data processing device can also be part of the medical microscope. In principle, however, the data processing device can also be designed separately from the medical microscope, for example as a desktop, laptop or tablet computer or also as a cloud-based solution.
  • step a) and/or step c) to be carried out at different working points of the medical microscope, with the calibration data in step b) and/or the further calibration data in step d) being generated for each of the different working points.
  • calibration data can be generated over a larger, in particular over an entire, working and/or operating range of the medical microscope.
  • a working point includes in particular one or more of the following parameters: a location (position and/or orientation) of the camera(s) and/or an enlargement (zoom) and/or a working distance (focus or a position of the focusing lens) and/or or a position of a diaphragm and/or a value of a diaphragm opening (aperture stop) and/or presence of a drape lens on the microscope (yes/no). Provision can be made here for calibration data and further calibration data for working points for which no images and/or further images were recorded to be generated from calibration data and/or further calibration data from adjacent working points, in particular by interpolation and/or extrapolation. Provision can also be made for calibration data for such working points to be estimated with the aid of a function which is adapted to the calibration data which were generated on the basis of working points to be measured.
  • the calibration data generated in step b) and/or the further calibration data generated in step d) are used for correction at least partially on the captured images and/or the captured further images, with step b) for the corrected images is carried out and/or repeated and/or step d) for the corrected further images carried out and/or repeated.
  • the calibration data and/or the further calibration data can be optimized step by step, since calibration data and/or further calibration data that have already been generated are applied to the captured images and/or the captured further images. In this way, in particular, several different effects that lead to interference between the images and/or the further images and that can influence one another can be taken into account.
  • a distortion error in an image captured by a left camera of the stereo camera system can affect an offset between the captured images of the left and a right camera of the stereo camera system and vice versa. If the distortion error is corrected before the offset is determined, the effect of the distortion error when the offset is determined can be minimized or even eliminated.
  • step d) provision is made for the calibration data generated in step b) to be applied at least partially to the further images captured for correction before step d) is carried out.
  • step d) can be carried out with captured further images that have already been corrected by the calibration data.
  • an effect of mutually influencing interference can be reduced as a result.
  • the correction and steps c) and d) are repeated until at least one predetermined optimization criterion is met.
  • the at least one specified optimization criterion is, for example, a specified maximum value (e.g. +/-1 picture element) for an (x/y) offset between the further images captured by the two cameras of the stereo camera system and/or a specified maximum value (e.g. +/-0.001 ° with respect to an image center) for a rotation between the captured further images of the two cameras of the stereo camera system.
  • step b) it is also possible to correct the images recorded in step a) using the further calibration data generated in step d) before step b) is performed.
  • the procedure here is basically analogous to the procedure described above.
  • the calibration data generated are checked by at least partially applying them to the captured images and/or the captured further images and evaluating a result of the application, with steps a) to d) being repeated at least partially if an evaluation result at least one specified criterion is not met.
  • An evaluation result can, for example, include values for deviations that are determined for selected variables.
  • the selected variables can include, for example, one or more of the following variables: an offset, a rotation, a difference in brightness, a distortion, etc.
  • a specified criterion includes, for example, specified limit values for the respective evaluation results, i.e. in particular maximum permissible values for the respective deviations. Provision can also be made for individual assessment results for the selected variables to be aggregated into a single assessment result and compared with the at least one criterion (eg with a maximum value for an aggregated deviation).
  • step b) and/or d) includes one or more of the following measures: determining extrinsic calibration data, determining intrinsic calibration data, determining directory correction field data, determining edge drop correction data, determining chromatic displacement field correction data .
  • camera projection matrices are determined for the extrinsic calibration data and/or intrinsic calibration data using methods known per se.
  • Methods for the extrinsic and intrinsic calibration of cameras are known, for example, from one of the documents mentioned at the outset (Reg G. Willson, 1994).
  • a suitable calibration object in the simplest case, for example, a calibration object with a plurality of straight lines perpendicular to one another within a plane that is perpendicular to the optical axis of the medical microscope, or a checkerboard pattern, is used to determine, in particular, a distortion of the captured images and on the basis of the distortion determined, a desaturation field is determined, from which the directory correction field data are then derived.
  • a desaturation field is determined, from which the directory correction field data are then derived.
  • three-dimensional structures of the three-dimensional calibration object are recorded and evaluated when determining the directory correction field data. This is for example in King et al. described.
  • a (camera) vignetting in the captured images is determined in particular, which is corrected by the edge drop correction data in such a way that brightness values in the captured images do not fall in the direction of the edge of the captured images.
  • images of a homogeneously self-illuminating three-dimensional calibration object are recorded for different working points (working distance, zoom, etc.).
  • a brightness profile is determined in the recorded images and, based on the determined brightness profile, the edge drop correction data are determined in such a way that recorded images of the homogeneously self-luminous three-dimensional calibration object corrected using the edge drop correction data have a constant over the entire calibration object, the means to have homogeneous brightness.
  • a lateral chromatic aberration is to be corrected by means of the chromatic displacement field correction data, that is to say in particular a color fringe, which can be seen in particular at edges, is to be corrected.
  • a color channel-dependent evaluation of the recorded images of a three-dimensional calibration object takes place.
  • an offset e.g. x/y offset
  • an offset field is determined for the captured images for each color channel. For example, due to chromatic aberration, an edge with a color fringe has a slightly different position in the captured image in each color channel.
  • the correction field generated from the offset field then specifies how the captured image in the respective color channel must be shifted so that the images of all color channels are superimposed with pixel accuracy and the color fringe disappears as a result.
  • the correction fields of all color channels then result in the displacement field correction data.
  • step b) includes a determination of the respective focal position of the cameras of the stereo camera system and an adjustment of the respective focal position.
  • the focus position is set in particular on the basis of the figures determined for the cameras of the stereo camera system focal positions.
  • the aim of the determination and adjustment is that the cameras always have the same (actual) focus position at every working point.
  • the focal position is set, for example, by a technician, to whom the values determined for the focal positions based on the recorded images are displayed on a display device of the medical microscope.
  • the technician then adjusts the focus positions in such a way that the (actual) focus positions are always the same at the various working points for both cameras of the stereo camera system.
  • an automated adjustment can also take place, for example by means of actuators of the medical microscope set up for this purpose.
  • step d) includes determining an offset between the captured further images of the cameras of the stereo camera system and determining offset correction data and/or determining a rotation between the captured further images of the cameras of the stereo camera system and determining rotation correction data .
  • An offset e.g. x/y offset
  • a rotation between the captured additional images of the cameras are determined in particular with reference to a respective image center of the captured additional images.
  • step a) or c) when capturing at least some of the images, different operating points of a movable lens system of the stereoscopic medical microscope are selected, with step b) or d) for each of the operating points of the movable lens system, an offset value is determined, the calibration data and/or further calibration data being generated taking into account the offset values determined in each case.
  • an offset value denotes an (x/y) offset value of pixels in images captured by the two cameras.
  • a position of the lenses within the lens system in particular changes as a result of the selection of different operating points.
  • an optical axis of the lens system changes here, for example due to tolerances and inaccuracies in the mechanics and in an actuator used, imaging errors can occur, which lead to an offset between the captured images and/or captured additional images of the two cameras of the stereo camera system can.
  • a such an offset can then be corrected at each working point using the generated calibration data and/or further calibration data.
  • Calibration data and/or further calibration data can be generated by interpolation or extrapolation for operating points for which no offset values have been determined.
  • At least one additional image of a homogeneously reflecting and/or remitting calibration object is also captured by means of the stereo camera system, illumination correction data for correcting an illumination geometry of at least one light source of the medical microscope being generated on the basis of the captured at least one additional image and during generation the calibration data and/or the further calibration data are taken into account.
  • illumination correction data can be included in the calibration data or further calibration data.
  • the homogeneously reflecting and/or remitting calibration object can also be part of the at least one three-dimensional or the at least one two-dimensional calibration object.
  • FIG. 1 shows a schematic representation of an embodiment of the medical microscope arrangement
  • FIG. 2a shows schematic representations of a three-dimensional calibration object and a two-dimensional calibration object in a side view
  • 2b schematic representations of the three-dimensional calibration object and the two-dimensional calibration object in a plan view
  • 3 shows a schematic flowchart of an embodiment of the method for calibrating a stereoscopic medical microscope.
  • the medical microscope arrangement 100 comprises a stereoscopic medical microscope 1, for example a surgical microscope, and a data processing device 2. The method described in this disclosure is explained below on the basis of the medical microscope arrangement 100.
  • the stereoscopic medical microscope 1 includes a stereo camera system 3 including a left camera 3I and a right camera 3r.
  • the cameras 3I, 3r capture a capture area imaged via stereoscopic imaging optics 4 (shown only schematically) of the medical microscope 1 .
  • calibration data 30 and further calibration data 31 can be stored for the imaging optics 4 , for example for an actuator system 5 which is set up to change properties of the imaging optics 4 .
  • the medical microscope 1 comprises a signal processing device 6, which processes a raw signal 101 provided by an image sensor of the left camera 3I and a raw signal 10r provided by an image sensor of the right camera 10r and generates images 20 and further images 21 from the raw signals 101, 10r and provides.
  • the images 20 , 21 can be displayed, for example, on at least one display device 7 , for example one or more monitors or a display device that can be worn on the head (Head Mounted Display, HMD), which can in particular also be part of the medical microscope 1 .
  • the signal processing can in particular include a pixel-dependent change in brightness and/or generation of an offset and/or rotation around an image center (or another point) and other manipulations (filtering, color correction, etc.).
  • Calibration data 30, 31 can be stored in the signal processing device 6 in order to correct the raw signals 101, 10r.
  • the data processing device 2 includes a computing device 2-1, for example a microprocessor or microcontroller, and a memory 2-2.
  • the data processing device 2 can also be part of the medical microscope 1 .
  • the data processing device 2 is set up to generate the calibration data 30 based on images 20 of at least one three-dimensional calibration object 40 captured by the cameras 3I, 3r of the stereo camera system 3 and to store them for correction. Furthermore, the data processing device 2 is set up to generate the further calibration data 31 based on further images 21 of at least one two-dimensional calibration object 41 captured by the cameras 3I, 3r of the stereo camera system 3 and to store them for correction.
  • the medical microscope assembly 100 is used to carry out a method for calibrating the stereoscopic medical microscope 1, comprising: a) capturing images 20 of the at least one three-dimensional calibration object 40 using the cameras 3I, 3r of the stereo camera system 3 of the medical microscope 1, b) generating the Calibration data 30 based on the captured images 20, with the calibration data 30 generated being stored for correction, c) capturing further images 21 of the at least one two-dimensional calibration object 41 using the cameras 3I, 3r of the stereo camera system 3, d) generating the further calibration data 31 based on from the recorded further images 21, the further calibration data 31 being stored for correction.
  • a working point can in particular include parameters for the following settings: a position (position and/or orientation) of the camera(s) and/or an enlargement (zoom), a working distance (focus or a position of the focusing lens), a position of a Aperture, a value of an aperture opening (aperture stop), a presence of a drape lens (yes/no) etc.
  • the various operating points can be set both manually and automatically.
  • parameters of the medical microscope 1 are displayed to a technician, for example, so that he can set the parameters for each operating point.
  • the data processing device 2 can be set up to generate suitable control parameters and to feed them to the medical microscope 1, in particular the actuator system 5, for adjusting the various operating points.
  • the correction can take place both in the signal processing device 6 and in the data processing device 2 .
  • the correction and steps c) and d) are repeated until at least one predetermined optimization criterion is met.
  • the further calibration data 31 is stored in the medical microscope 1 before each repetition, in particular in the image processing device 6. Steps c) and d) are then carried out again with changed further calibration data 31 be improved iteratively.
  • step b) includes one or more of the following measures: determining extrinsic calibration data, determining intrinsic calibration data, determining directory correction field data, determining edge falloff correction data, determining chromatic displacement field correction data.
  • the generated calibration data 30 then comprises the extrinsic calibration data and/or intrinsic calibration data and/or directory correction field data and/or edge falloff correction data and/or chromatic displacement field correction data.
  • step b) includes a determination of the respective focal position of the cameras 3I, 3r of the stereo camera system 3 and an adjustment of the respective focal position.
  • the (actual) focus position can be set or adjusted based on a value determined in each case for the focus position. In principle, this can be done either manually by a technician or in an automated and/or motorized manner by means of the actuator system 5 .
  • the goal is that the focal position of both cameras 3I, 3r is always the same at different working points.
  • step d) determines an offset between the captured further images 21 of the cameras 3I, 3r of the stereo camera system 3 and a determination of displacement correction data and/or a determination of a rotation between the captured further images 21 of the cameras 3I, 3r of the stereo camera system 3 and determining rotation correction data.
  • the generated additional calibration data 31 then include the offset correction data and/or the rotation correction data.
  • steps a) or c) when capturing at least some of the images 20, 21, different operating points of a movable lens system of the stereoscopic medical microscope 1 are selected, with steps b) or d) for each of the operating points of the movable lens system, an offset value is determined, with the calibration data 30 and/or the further calibration data 31 being generated taking into account the offset values determined in each case.
  • the illumination correction data are determined using the data processing device 2 .
  • the data processing device 2 determines a brightness curve in the acquired at least one additional image 22, in particular for different operating points. Since a brightness in the acquired at least one additional image 22 should be constant
  • the lighting correction data are generated based on the respective brightness curve, in particular determined from the brightness curve.
  • the illumination correction data are stored in the signal processing device 6 in particular as calibration data 30, 31 for correction during ongoing operation. The signal processing device 6 then applies the illumination correction data to the raw signals 101, 10r.
  • the acquisition of the at least one additional image 22 of the homogeneously reflecting and/or remitting calibration object 42 and the generation of the illumination correction data takes place in particular after steps a) to d).
  • a correction based on the edge drop correction data can already have been carried out before the brightness profile and the illumination correction data are determined.
  • the homogeneously reflecting and/or remitting calibration object 42 is part of the two-dimensional calibration object 41 .
  • the acquisition of the at least one additional image 22 of the homogeneously reflecting and/or remitting calibration object 42 can then also take place simultaneously with other steps, for example with step c).
  • Figures 2a and 2b show schematic representations of embodiments of the three-dimensional calibration object 40 and the two-dimensional calibration object 41.
  • Fig. 2a shows a side view
  • Fig. 2b shows a top view, which corresponds to a view of how the medical microscope 1 the calibration objects 40, 41 would be captured by the cameras 3I, 3r.
  • the three-dimensional calibration object 40 has a triangular shape with an inclined surface (it can therefore also be referred to as an “oblique target”), so that different distances (eg z-direction) can be recorded simultaneously.
  • the two-dimensional calibration object 41 has a checkerboard pattern on an upper side.
  • an offset (eg x/y direction) and a rotation between the (further) images 20, 21 captured by the cameras 3I, 3r of the stereo camera system 3 can be determined with the aid of the checkerboard pattern.
  • the two-dimensional calibration object 41 can additionally or alternatively also have other suitable structures, such as rectangles, lines and/or other suitable two-dimensional shapes, etc.
  • the calibration objects 40, 41 are shown together as a combined object.
  • the calibration objects 40, 41 can also be designed separately from one another and/or used separately from one another.
  • the three-dimensional calibration object 40 is designed according to one of the embodiments as described in DE 10 2019 131 646 A1, in particular according to an embodiment of FIG. 5 or 6 shown there.
  • FIG. 3 shows a schematic flowchart of an embodiment of the method for calibrating a stereoscopic medical microscope. The method is carried out, for example, using a medical microscope arrangement, as is shown in FIG. 1 .
  • images of at least one three-dimensional calibration object are captured in a method step 201 using cameras of a stereo camera system of the medical microscope.
  • a method step 201 is carried out for different operating points of the medical microscope.
  • a data processing device is used to generate calibration data based on the captured images, in particular determined based on the captured images.
  • the calibration data generated are stored for correction, in particular in a memory of the medical microscope provided for this purpose, for example in a memory of a signal processing device and/or a control device and/or an actuator of the medical microscope.
  • the calibration data is generated, in particular determined, in particular for the various operating points.
  • the generated, in particular determined, calibration data include in particular camera projection matrices (extrinsic calibration data and/or intrinsic calibration data) and/or directory correction field data and/or edge drop correction data and/or chromatic displacement field correction data.
  • image are then recorded for each of the three-dimensional calibration objects, in particular at different operating points.
  • a method step 203 images of at least one three-dimensional calibration object are recorded using the cameras of the stereo camera system. This takes place in particular with the aid of the three-dimensional calibration object 40 (“oblique target”), which is shown in FIG. 2a. Due to the inclined surface, a blur course in a captured image along the optical axis (z-direction) can be evaluated, so that a respective focal position of the cameras can be determined. The detection can take place in particular for different working points, in particular for different working distances from the three-dimensional calibration object. Based on the captured images, the respective focus positions of the cameras of the stereo camera system are determined.
  • a method step 204 the focal positions of the cameras are set or adjusted to one another based on the determined values. In particular, this is done manually by a technician. In particular, this is done in such a way that the focus positions at the various working points (in particular working distances) are always the same for both cameras.
  • step 205 further images of at least one two-dimensional calibration object are captured using the cameras of the stereo camera system.
  • a method step 206 further calibration data are generated, in particular determined, based on the further images recorded.
  • an offset (x/y offset) between the captured further images of the cameras of the stereo camera system and offset correction data and a rotation between the captured further images of the cameras of the stereo camera system and rotation correction data are determined.
  • the generated, in particular determined, further calibration data are stored for correction, in particular in a memory of the medical microscope provided for this purpose, for example in a memory of a signal processing device and/or a control device and/or an actuator of the medical microscope.
  • method step 205 images are then recorded for each of the two-dimensional calibration objects, in particular at different operating points.
  • a method step 207 the calibration data and the additional calibration data are applied to the recorded additional images of the two-dimensional calibration object; in particular, the further images recorded are hereby corrected.
  • This can be done, for example, using the signal processing device 6 (FIG. 1) by correcting the raw signals 101, 10r using the stored calibration data and the stored further calibration data and providing the results, ie the images corrected in this way.
  • method steps 205, 206 and 207 are then repeated.
  • method steps 205, 206 and 207 are repeated until at least one predetermined optimization criterion is met.
  • predefined optimization criteria can be, for example, maximum values for an offset and/or a rotation (e.g. +/-1 picture element and/or +/-0.001°) between the images of the two cameras of the stereo camera system.
  • the calibration data generated are checked by at least partially applying them to the captured images and/or the captured further images and evaluating a result of the application, with method steps 201 to 207 being repeated at least partially if an evaluation result at least one specified criterion is not met.
  • the at least one specified criterion can include, for example, maximum values for an offset and/or a rotation between the images of the two cameras of the stereo camera system, maximum values for distortion of the cameras and/or maximum values for an edge drop in brightness (camera vignetting), etc . If the calibration data are optimized and/or checked, the calibration data and the other calibration data are stored in a method step 208 for use in the field in the medical microscope. The procedure is then ended 209.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops (1), umfassend: a) Erfassen von Abbildungen (20) mindestens eines dreidimensionalen Kalibrierobjekts (40) mittels Kameras (3l,3r) eines Stereokamerasystems (3) des medizinischen Mikroskops (1), b) Erzeugen von Kalibrierdaten (30) ausgehend von den erfassten Abbildungen (20), wobei die erzeugten Kalibrierdaten (30) zum Korrigieren hinterlegt werden, c) Erfassen von weiteren Abbildungen (21) mindestens eines zweidimensionalen Kalibrierobjekts (41) mittels der Kameras (3l,3r) des Stereokamerasystems (3), d) Erzeugen von weiteren Kalibrierdaten (31) ausgehend von den erfassten weiteren Abbildungen (21), wobei die weiteren Kalibrierdaten (31) zum Korrigieren hinterlegt werden. Ferner betrifft die Erfindung eine medizinische Mikroskopanordnung (100).

Description

Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops und medizinische Mikroskopanordnung
Die Erfindung betrifft ein Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops und eine medizinische Mikroskopanordnung.
Das Ziel einer digitalen Visualisierung in der Chirurgie und Mikrochirurgie ist es, einem Chirurgen während einer Operation ein optimales dreidimensionales Bild des Operationsfeldes sowie gegebenenfalls eine optimale dreidimensionale Überlagerung zusätzlich generierter Informationen auf das Sichtfeld an den Monitoren des medizinischen Mikroskops anzuzeigen. Um dies zu erreichen, werden erfasste Kamerabilder durch digitale Bildverarbeitung mit definiert erzeugten Kalibrierdaten verarbeitet.
Verfahren zur extrinsischen und intrinsischen Kalibrierung von Kameras verbunden mit einer Erzeugung von Verzeichnungsfeldern sind beispielsweise aus Reg G. Willson, Modeling and Calibration of Automated Zoom Lenses, PhD-Dissertation, The Robotics Institute, Carnegie Mellon University, Pittsburgh, Pennsylvania, USA, 1994 bekannt. Ferner sind Verfahren zur Kalibrierung mehrerer Arbeitspunkteinstellungen (Zoom und Fokus) mit dem Ziel einer „Stereo Augmented Reality“ aus A. P. King et al., Stereo Augmented Reality in the Surgical Microscope, Presence, Vol. 9, No. 4, August 2000, 360-368, Massachusetts Institute of Technology, bekannt.
Aus der DE 102019 131 646 A1 sind dreidimensionale Kalibrierobjekte bekannt. Die dreidimensionalen Kalibrierobjekte weisen beispielsweise einen transparenten Körper und im Volumen des transparenten Körpers eingebettete Kalibriermarken auf.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops und eine medizinische Mikroskopanordnung zu verbessern.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine medizinische Mikroskopanordnung mit den Merkmalen des Patentanspruchs 11 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Es ist ein Grundgedanke der Erfindung, eine dreidimensionale Kalibrierung mit einer zweidimensionalen Kalibrierung zu verknüpfen und hierdurch insgesamt ein verbessertes, insbesondere optimales, Ergebnis der Kalibrierung zu erreichen. Dies erfolgt, indem Abbildungen mindestens eines dreidimensionalen Kalibrierobjekts mittels Kameras eines Stereokamerasystems des medizinischen Mikroskops erfasst werden. Insbesondere erfasst jede der Kameras des Stereokamerasystems mindestens eine Abbildung. Die Abbildungen werden insbesondere derart erfasst, dass Abbildungen der beiden Kameras des Stereokamerasystems für gleiche Arbeitspunkte des medizinischen Mikroskops miteinander verknüpft sind, das heißt, insbesondere einander zugeordnet sind oder einander zugeordnet werden können. Ausgehend von den erfassten Abbildungen werden Kalibrierdaten erzeugt und zum Korrigieren hinterlegt. Ferner werden weitere Abbildungen mindestens eines zweidimensionalen Kalibrierobjekts mittels der Kameras des Stereokamerasystems erfasst. Auch diese weiteren Abbildungen werden insbesondere derart erfasst, dass die weiteren Abbildungen der beiden Kameras des Stereokamerasystems für gleiche Arbeitspunkte miteinander verknüpft sind, das heißt, insbesondere einander zugeordnet sind oder zugeordnet werden können. Die Abbildungen und die weiteren Abbildungen werden hierbei insbesondere an den gleichen Arbeitspunkten erfasst. Ausgehend von den erfassten weiteren Abbildungen werden weitere Kalibrierdaten erzeugt und zum Korrigieren hinterlegt. Ein Hinterlegen der Kalibrierdaten umfasst hierbei insbesondere, dass die Kalibrierdaten in einem hierfür vorgesehenen Speicher gespeichert werden, um bei Bedarf aus diesem abgerufen und angewandt zu werden. Die hinterlegten Kalibrierdaten und die hinterlegten weiteren Kalibrierdaten können auf nachfolgend, insbesondere während einer Operation, erfasste Abbildungen (und Abfolgen von Abbildungen, insbesondere Videos) angewendet werden, sodass diese Abbildungen durch die Kalibrierdaten und weiteren Kalibrierdaten korrigiert werden können und anschließend von einem Chirurgen und/oder weiteren Personen erfasst werden können.
Insbesondere wird ein Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops zur Verfügung gestellt, umfassend: a) Erfassen von Abbildungen mindestens eines dreidimensionalen Kalibrierobjekts mittels Kameras eines Stereokamerasystems des medizinischen Mikroskops, b) Erzeugen von Kalibrierdaten ausgehend von den erfassten Abbildungen, wobei die erzeugten Kalibrierdaten zum Korrigieren hinterlegt werden, c) Erfassen von weiteren Abbildungen mindestens eines zweidimensionalen Kalibrierobjekts mittels der Kameras des Stereokamerasystems, d) Erzeugen von weiteren Kalibrierdaten ausgehend von den erfassten weiteren Abbildungen, wobei die weiteren Kalibrierdaten zum Korrigieren hinterlegt werden.
Ferner wird insbesondere eine medizinische Mikroskopanordnung geschaffen, umfassend ein stereoskopisches medizinisches Mikroskop mit einem Kameras umfassenden Stereokamerasystem und hinterlegbaren Kalibrierdaten, und eine Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, Kalibrierdaten ausgehend von mittels der Kameras des Stereokamerasystems erfassten Abbildungen mindestens eines dreidimensionalen Kalibrierobjekts zu erzeugen und zum Korrigieren zu hinterlegen, und weitere Kalibrierdaten ausgehend von mittels der Kameras des Stereokamerasystems erfassten weiteren Abbildungen mindestens eines zweidimensionalen Kalibrierobjekts zu erzeugen und zum Korrigieren zu hinterlegen.
Ein Vorteil des Verfahrens und der medizinischen Mikroskopanordnung ist, dass durch eine Kombination einer dreidimensionalen und einer zweidimensionalen Kalibrierung und zugehöriger zweidimensionaler und dreidimensionaler Kalibrierobjekte eine gesamtheitliche Kalibrierung des stereoskopischen medizinischen Mikroskops erreicht werden kann. Nach dem Erzeugen der gesamtheitlichen Kalibrierdaten können mittels dieser Kalibrierdaten korrigierte Abbildungen einem Chirurgen und/oder weiteren Personen bereitgestellt werden. Eine Überlagerung für eine stereoskopische Betrachtung dieser jeweils korrigierten Abbildungen ist gegenüber den nicht korrigierten Abbildungen verbessert, sodass hierdurch auch eine Informationsvermittlung während einer Operation verbessert ist und Störungen durch eine mangelhafte Überlagerung und/oder durch Bildfehler sowie hiermit einhergehenden Beeinträchtigungen im Arbeitsablauf während einer Operation und Ermüdungserscheinungen verringert werden können.
Das Erzeugen der Kalibrierdaten und der weiteren Kalibrierdaten erfolgt insbesondere, indem die erfassten Abbildungen und erfassten weiteren Abbildungen ausgewertet werden. Hierbei werden insbesondere Merkmale auf den jeweiligen Kalibrierobjekten erkannt und ausgewertet. Da die Kalibrierobjekte bekannte Eigenschaften aufweisen, können ausgehend von den bekannten Eigenschaften und den ausgewerteten erfassten Abbildungen und weiteren Abbildungen die Kalibrierdaten und die weiteren Kalibrierdaten erzeugt, insbesondere bestimmt, werden. Insbesondere sind die jeweiligen Merkmale und deren Eigenschaften, insbesondere eine Lage (Position und Orientierung), geometrische Anordnung, Form, Farbe, Helligkeit etc., bekannt, und können daher in den Abbildungen und weiteren Abbildungen erkannt werden. Über einen Vergleich der bekannten Soll- Eigenschaften der jeweiligen Merkmale in den Abbildungen und weiteren Abbildungen und den Ist-Eigenschaften können die Kalibrierdaten und die weiteren Kalibrierdaten in an sich bekannter Weise mittels bekannter Kalibrierverfahren bestimmt werden. Das Auswerten erfolgt insbesondere mittels der Datenverarbeitungseinrichtung. Hierbei können insbesondere an sich bekannte Verfahren der Computer Vision, der Mustererkennung und/oder des Maschinenlernens zum Einsatz kommen.
Ein medizinisches Mikroskop ist insbesondere ein Operationsmikroskop. Ein medizinisches Mikroskop kann jedoch auch ein Mikroskop sein, das für medizinische Untersuchungen und/oder zu Diagnosezwecken verwendet wird, beispielsweise im Bereich der Augenheilkunde oder auf anderen Gebieten. Eine medizinische Mikroskopanordnung ist insbesondere eine Operationsmikroskopanordnung.
Kalibrierdaten und weitere Kalibrierdaten können grundsätzlich gleicher oder unterschiedlicher Art sein und unterschiedliche Eigenschaften und/oder Effekte und/oder Störungen und/oder Einrichtungen des medizinischen Mikroskops betreffen. Die Unterscheidung zwischen Kalibrierdaten und weiteren Kalibrierdaten wurde insbesondere zur sprachlichen Unterscheidung gewählt.
Ein zweidimensionales Kalibrierobjekt kann an sich bekannte Formen und Muster aufweisen, beispielsweise ein zweidimensionales Schachbrettmuster, Strichmarkierungen, Fadenkreuze und dergleichen. Ein dreidimensionales Kalibrierobjekt weist insbesondere dreidimensionale Strukturen auf. Insbesondere kann ein dreidimensionales Kalibrierobjekt strukturen aufweisen, die in Bezug auf eine optische Achse des Abbildungssystems des medizinischen Mikroskops in mehreren senkrecht auf dieser Achse stehenden Ebenen angeordnet sind und beispielsweise durch Bestrahlung und/oder durch eine definierte intrinsische Beleuchtung mit dem medizinischen Mikroskop bzw. mittels der Kameras erfasst werden können. Beispielsweise können dies Markierungen mit einem hohen Kontrast sein, die in zwei senkrecht aufeinander stehenden Ebenen angeordnet sind, um eine Tiefeninformation in Bezug auf die optische Achse zu schaffen (vgl. z.B. Fig. 2 in King et al.). Dreidimensionale Kalibrierobjekte sind beispielsweise auch in der DE 102019 131 646 A1 beschrieben. Ein dreidimensionales Kalibrierobjekt weist daher beispielsweise einen transparenten Körper und im Volumen des transparenten Körpers eingebettete Kalibriermarken auf. Ein dreidimensionales Kalibrierobjekt in einer der in der DE 102019 131 646 A1 beschriebenen Ausführungsformen ist im Wesentlichen ein würfelförmiger und aus transparenten Schichten aufgebauter 3D-Kalibrierkörper. Der 3D-Kalibrierkörper ist aus gestapelten Lichtleitern aufgebaut. Die Lichtleiter sind durch einander abwechselnde transparente Schichten gebildet, wobei die Schichten einen höheren Brechungsindex als dazwischen angeordnete Schichten aufweisen. In die Schichten wird mittels selektiv schaltbarer Lichtquellen Licht derart eingekoppelt, dass es an Grenzflächen zwischen den Schichten total reflektiert wird. Aufgrund der Total reflektion an den Grenzflächen zwischen den Schichten erfolgt eine Lichtausbreitung, d. h. ein Ausbreiten der elektromagnetischen Wellen des Lichtes, nur innerhalb der jeweiligen Lichtleiter. Um in den Lichtleitern des 3D- Kalibrierkörpers Kalibriermarken darstellen zu können, sind in bestimmten Abständen auf den Schichten dünne Filme aufgebracht. Der Brechungsindex dieser Filme ist dabei so gewählt, dass an diesen Stellen die Totalreflektion unterdrückt wird, sodass eine Lichtausbreitung in die Schichten mit niedrigem Brechungsindex stattfindet. Wenn nun Licht in einem der Lichtleiter eingekoppelt wird, wird das Licht an denjenigen Stellen, an denen die Filme aufgebracht sind, aus dem Lichtleiter ausgekoppelt, sodass leuchtende Stellen im Volumen des aus den Schichten aufgebauten transparenten Körpers entstehen, die als Kalibriermarken dienen. Abhängig davon, welche Lichtquelle eingeschaltet ist, entstehen die leuchtenden Stellen in unterschiedlichen Tiefen des transparenten Körpers.
Es kann auch vorgesehen sein, dass mindestens ein zweidimensionales Kalibrierobjekt und mindestens ein dreidimensionales Kalibrierobjekt kombiniert werden zu einem kombinierten Kalibrierobjekt. Der Ablauf des Verfahrens ist dann grundsätzlich der gleiche.
Teile der medizinischen Mikroskopanordnung, insbesondere die Datenverarbeitungseinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Beispielsweise kann die Datenverarbeitungseinrichtung eine Recheneinrichtung in Form eines Mikroprozessors oder Mikrocontrollers und einen Speicher umfassen. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) und/oder feldprogrammierbares Gatterfeld (FPGA) ausgebildet sind. Die Datenverarbeitungseinrichtung kann auch Teil des medizinischen Mikroskops sein. Grundsätzlich kann die Datenverarbeitungseinrichtung aber auch separat vom medizinischen Mikroskop ausgebildet sein, beispielsweise als Desktop-, Laptop- oder Tabletcomputer oder auch als cloudbasierte Lösung.
In einer Ausführungsform ist vorgesehen, dass Schritt a) und/oder Schritt c) bei verschiedenen Arbeitspunkten des medizinischen Mikroskops durchgeführt werden, wobei die Kalibrierdaten in Schritt b) und/oder die weiteren Kalibrierdaten in Schritt d) für jeden der verschiedenen Arbeitspunkte erzeugt werden. Hierdurch können Kalibrierdaten über einen größeren, insbesondere über einen gesamten, Arbeits- und/oder Betriebsbereich des medizinischen Mikroskops erzeugt werden. Ein Arbeitspunkt umfasst hierbei insbesondere einen oder mehrere der folgenden Parameter: eine Lage (Position und/oder Orientierung) der Kamera(s) und/oder eine Vergrößerung (Zoom) und/oder einen Arbeitsabstand (Fokus bzw. eine Position der Fokussierlinse) und/oder eine Position einer Blende und/oder einen Wert einer Blendenöffnung (Aperturblende) und/oder ein Vorhandensein einer Drapelinse am Mikroskop (ja/nein). Es kann hierbei vorgesehen sein, dass Kalibrierdaten und weitere Kalibrierdaten für Arbeitspunkte, für die keine Abbildungen und/oder weiteren Abbildungen erfasst wurden, aus Kalibrierdaten und/oder weiteren Kalibrierdaten von angrenzenden Arbeitspunkten erzeugt werden, insbesondere durch Interpolation und/oder Extrapolation. Es kann auch vorgesehen sein, dass Kalibrierdaten für solche Arbeitspunkte mit Hilfe einer Funktion geschätzt werden, die an die Kalibrierdaten angepasst wird, die ausgehend von vermessenden Arbeitspunkten erzeugt wurden.
In einer Ausführungsform ist vorgesehen, dass die in Schritt b) erzeugten Kalibrierdaten und/oder die in Schritt d) erzeugten weiteren Kalibrierdaten zum Korrigieren zumindest teilweise auf die erfassten Abbildungen und/oder die erfassten weiteren Abbildungen angewendet werden, wobei der Schritt b) für die korrigierten Abbildungen durchgeführt und/oder wiederholt wird und/oder der Schritt d) für die korrigierten weiteren Abbildungen durchgeführt und/oder wiederholt wird. Hierdurch können die Kalibrierdaten und/oder die weiteren Kalibrierdaten schrittweise optimiert werden, da bereits erzeugte Kalibrierdaten und/oder weitere Kalibrierdaten auf die erfassten Abbildungen und/oder die erfassten weiteren Abbildungen angewendet werden. Insbesondere können hierdurch mehrere unterschiedliche Effekte, welche zu Störungen zwischen den Abbildungen und/oder den weiteren Abbildungen führen und die einander beeinflussen können, berücksichtigt werden. So kann beispielsweise ein Verzeichnungsfehler in einer mittels einer linken Kamera des Stereokamerasystems erfassten Abbildung einen Versatz zwischen den erfassten Abbildungen der linken und einer rechten Kamera des Stereokamerasystems beeinflussen und umgekehrt. Wird der Verzeichnungsfehler vor dem Bestimmen des Versatzes korrigiert, so kann der Effekt des Verzeichnungsfehlers beim Bestimmen des Versatzes minimiert oder sogar eliminiert werden.
Insbesondere ist vorgesehen, dass erst die in Schritt b) erzeugten Kalibrierdaten zum Korrigieren zumindest teilweise auf die erfassten weiteren Abbildungen angewendet werden, bevor Schritt d) ausgeführt wird. Hierdurch kann Schritt d) mit bereits durch die Kalibrierdaten korrigierten erfassten weiteren Abbildungen durchgeführt werden. Insbesondere kann ein Effekt von sich gegenseitig beeinflussenden Störungen hierdurch reduziert werden.
In einer weiterbildenden Ausführungsform ist vorgesehen, dass das Korrigieren und die Schritte c) und d) solange wiederholt werden, bis mindestens ein vorgegebenes Optimierungskriterium erfüllt ist. Hierdurch können die weiteren Kalibrierdaten schrittweise verbessert werden. Das mindestens eine vorgegebene Optimierungskriterium ist beispielsweise ein vorgegebener Maximalwert (z.B. +/-1 Bildelement) für einen (x-/y- )Versatz zwischen den erfassten weiteren Abbildungen der beiden Kameras des Stereokamerasystems und/oder ein vorgegebener Maximalwert (z.B. +/-0,001° bezüglich eines Bildmittelpunktes) für eine Rotation zwischen den erfassten weiteren Abbildungen der beiden Kameras des Stereokamerasystems.
Werden die Schritte des Verfahrens in der Reihenfolge c), d), a), b) ausgeführt, so ist es ebenfalls möglich, die in Schritt a) erfassten Abbildungen mittels der in Schritt d) erzeugten weiteren Kalibrierdaten zu korrigieren, bevor Schritt b) ausgeführt wird. Das Vorgehen ist hierbei grundsätzlich analog zum voranstehend beschriebenen Vorgehen. In einer Ausführungsform ist vorgesehen, dass die erzeugten Kalibrierdaten durch zumindest teilweises Anwenden auf die erfassten Abbildungen und/oder die erfassten weiteren Abbildungen und Bewerten eines Ergebnisses der Anwendung überprüft werden, wobei die Schritte a) bis d) zumindest teilweise wiederholt werden, sofern ein Bewertungsergebnis mindestens ein vorgegebenes Kriterium nicht erfüllt. Ein Bewertungsergebnis kann beispielsweise Werte für Abweichungen umfassen, die für ausgewählte Größen bestimmt werden. Die ausgewählten Größen können beispielsweise eine oder mehrere der folgenden Größen umfassen: einen Versatz, eine Rotation, einen Helligkeitsunterschied, eine Verzeichnung etc. Ein vorgegebenes Kriterium umfasst beispielsweise vorgegebene Grenzwerte für die jeweiligen Bewertungsergebnisse, das heißt, insbesondere maximal zulässige Werte für die jeweiligen Abweichungen. Es kann ferner vorgesehen sein, dass einzelne Bewertungsergebnisse für die ausgewählten Größen aggregiert werden zu einem einzigen Bewertungsergebnis und mit dem mindestens einen Kriterium verglichen werden (z.B. mit einem Maximalwert für eine aggregierte Abweichung).
In einer Ausführungsform ist vorgesehen, dass Schritt b) und/oder d) eine oder mehrere der folgenden Maßnahmen umfasst: ein Bestimmen von extrinsischen Kalibrierdaten, ein Bestimmen von intrinsischen Kalibrierdaten, ein Bestimmen von Verzeichniskorrekturfelddaten, ein Bestimmen von Randabfallkorrekturdaten, ein Bestimmen von chromatischen Verschiebungsfeldkorrekturdaten.
Für die extrinsischen Kalibrierdaten und/oder intrinsischen Kalibrierdaten werden insbesondere Kameraprojektionsmatrizen mittels an sich bekannter Verfahren bestimmt. Verfahren zur extrinsischen und intrinsischen Kalibrierung von Kameras sind beispielsweise aus einer der eingangs genannten Druckschriften (Reg G. Willson, 1994) bekannt.
Zum Bestimmen der Verzeichniskorrekturfelddaten wird mittels eines geeigneten Kalibrierobjekts, im einfachsten Fall beispielsweise mittels eines Kalibrierobjekts mit mehreren senkrecht aufeinander stehenden Geraden innerhalb einer Ebene, die senkrecht auf der optischen Achse des medizinischen Mikroskops steht, oder mittels eines Schachbrettmusters, insbesondere eine Verzeichnung der erfassten Abbildungen bestimmt und anhand der bestimmten Verzeichnung ein Entzeichnungsfeld bestimmt, aus dem dann die Verzeichniskorrekturfelddaten abgeleitet werden. Zum verbesserten Bestimmen der Verzeichniskorrekturfelddaten werden insbesondere dreidimensionale Strukturen des dreidimensionalen Kalibrierobjekts erfasst und ausgewertet. Dies ist beispielsweise in King et al. beschrieben.
Zum Bestimmen der Randabfallkorrekturdaten wird insbesondere eine (Kamera- )Vignettierung in den erfassten Abbildungen bestimmt, welche durch die Randabfallkorrekturdaten derart korrigiert wird, dass Helligkeitswerte in den erfassten Abbildungen nicht in Richtung des Randes der erfassten Abbildungen abfallen. Insbesondere werden hierzu Abbildungen eines homogen selbstleuchtenden dreidimensionalen Kalibrierobjekts für verschiedene Arbeitspunkte (Arbeitsabstand, Zoom etc.) erfasst. Im Rahmen einer in Schritt b) durchgeführten Auswertung wird ein Helligkeitsverlauf in den erfassten Abbildungen bestimmt und ausgehend von dem bestimmten Helligkeitsverlauf werden die Randabfallkorrekturdaten derart bestimmt, dass mittels der Randabfallkorrekturdaten korrigierte erfasste Abbildungen des homogen selbstleuchtenden dreidimensionalen Kalibrierobjekts über das gesamte Kalibrierobjekt hinweg eine konstante, das heißt, homogene Helligkeit aufweisen.
Mittels der chromatischen Verschiebungsfeldkorrekturdaten soll insbesondere eine laterale chromatische Aberration korrigiert werden, das heißt, insbesondere soll ein Farbsaum, der insbesondere an Kanten zu sehen ist, korrigiert werden. Zum Bestimmen der chromatischen Verschiebungsfeldkorrekturdaten erfolgt insbesondere eine farbkanalabhängige Auswertung der erfassten Abbildungen eines dreidimensionalen Kalibrierobjekts. Insbesondere wird farbkanalabhängig ein Versatz (z.B. x-/y-Versatz) bestimmt und für jeden Farbkanal ein Versatzfeld für die erfassten Abbildungen bestimmt. Durch die chromatische Aberration hat beispielsweise eine Kante mit Farbsaum in jedem Farbkanal eine leicht unterschiedliche Position in der erfassten Abbildung. Das jeweils aus dem Versatzfeld erzeugte Korrekturfeld gibt dann an, wie die erfasste Abbildung im jeweiligen Farbkanal verschoben werden muss, damit die Abbildungen aller Farbkanäle bildelementgenau übereinanderliegen und der Farbsaum hierdurch verschwindet. Die Korrekturfelder aller Farbkanäle ergeben dann die Verschiebungsfeldkorrekturdaten.
In einer Ausführungsform ist vorgesehen, dass Schritt b) ein Bestimmen der jeweiligen Fokuslage der Kameras des Stereokamerasystems und ein Einstellen der jeweiligen Fokuslage umfasst. Das Einstellen der Fokuslage erfolgt insbesondere auf Grundlage der jeweils für die Kameras des Stereokamerasystems aus den Abbildungen bestimmten Fokuslagen. Ziel des Bestimmens und Einstellens ist es, dass die Kameras bei jedem Arbeitspunkt stets die gleiche (Ist-)Fokuslage aufweisen. Das Einstellen der Fokuslage erfolgt beispielsweise durch einen Techniker, dem die anhand der erfassten Abbildungen bestimmten Werte für die Fokuslagen auf einer Anzeigeeinrichtung des medizinischen Mikroskops angezeigt werden. Der Techniker justiert die Fokuslagen dann derart, dass die (Ist-)Fokuslagen bei den verschiedenen Arbeitspunkten für beide Kameras des Stereokamerasystems stets gleich sind. Grundsätzlich kann jedoch auch ein automatisiertes Justieren erfolgen, beispielsweise mittels einer hierfür eingerichteten Aktorik des medizinischen Mikroskops.
In einer Ausführungsform ist vorgesehen, dass Schritt d) ein Bestimmen eines Versatzes zwischen den erfassten weiteren Abbildungen der Kameras des Stereokamerasystems und ein Bestimmen von Versatzkorrekturdaten und/oder ein Bestimmen einer Rotation zwischen den erfassten weiteren Abbildungen der Kameras des Stereokamerasystems und ein Bestimmen von Rotationskorrekturdaten umfasst. Ein Versatz (z.B. x-/y-Versatz) und/oder eine Rotation zwischen den erfassten weiteren Abbildungen der Kameras werden insbesondere mit Bezug auf eine jeweilige Bildmitte der erfassten weiteren Abbildungen bestimmt.
In einer Ausführungsform ist vorgesehen, dass im Rahmen von Schritt a) oder c) beim Erfassen zumindest eines Teils der Abbildungen verschiedene Arbeitspunkte eines beweglichen Linsensystems des stereoskopischen medizinischen Mikroskops angewählt werden, wobei im Rahmen von Schritt b) oder d) für jeden der Arbeitspunkte des beweglichen Linsensystems ein Versatzwert bestimmt wird, wobei die Kalibrierdaten und/oder weiteren Kalibrierdaten unter Berücksichtigung der jeweils bestimmten Versatzwerte erzeugt werden. Hierdurch kann auch ein durch das bewegliche Linsensystem hervorgerufener Versatz über verschiedene Arbeitspunkte des beweglichen Linsensystems hinweg korrigiert werden. Ein Versatzwert bezeichnet insbesondere einen (x-/y-)Versatzwert von Bildelementen in Abbildungen, die von den beiden Kameras erfasst wurden. Durch das Anwählen verschiedener Arbeitspunkte verändert sich insbesondere eine Position der Linsen innerhalb des Linsensystems. Ändert sich hierbei eine optische Achse des Linsensystems, beispielsweise durch Toleranzen und Ungenauigkeiten in der Mechanik und in einer verwendeten Aktorik, so kann es zu Abbildungsfehlern kommen, welche zu einem Versatz zwischen den erfassten Abbildungen und/oder erfassten weiteren Abbildungen der beiden Kameras des Stereokamerasystems führen können. Ein solcher Versatz kann dann bei jedem Arbeitspunkt mittels der erzeugten Kalibrierdaten und/oder weiteren Kalibrierdaten korrigiert werden. Für Arbeitspunkte, für die keine Versatzwerte bestimmt wurden, können Kalibrierdaten und/oder weitere Kalibrierdaten durch Inter- oder Extrapolation erzeugt werden.
In einer Ausführungsform ist vorgesehen, dass ferner mindestens eine Zusatzabbildung eines homogen reflektierenden und/oder remittierenden Kalibrierobjektes mittels des Stereokamerasystems erfasst wird, wobei ausgehend von der erfassten mindestens einen Zusatzabbildung Beleuchtungskorrekturdaten zum Korrigieren von einer Beleuchtungsgeometrie mindestens einer Lichtquelle des medizinischen Mikroskops erzeugt werden und beim Erzeugen der Kalibrierdaten und/oder der weiteren Kalibrierdaten berücksichtigt werden. Hierdurch kann auch eine inhomogene Beleuchtungsgeometrie der mindestens einen Lichtquelle korrigiert werden. Die Beleuchtungskorrekturdaten können von den Kalibrierdaten oder weiteren Kalibrierdaten umfasst sein. Das homogen reflektierende und/oder remittierende Kalibrierobjekt kann auch Teil des mindestens einen dreidimensionalen oder des mindestens einen zweidimensionalen Kalibrierobjektes sein.
Weitere Merkmale zur Ausgestaltung der medizinischen Mikroskopanordnung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der medizinischen Mikroskopanordnung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
Fig. 1 eine schematische Darstellung einer Ausführungsform der medizinischen Mikroskopanordnung;
Fig. 2a schematische Darstellungen eines dreidimensionalen Kalibrierobjekts und eines zweidimensionalen Kalibrierobjekts in einer Seitenansicht;
Fig. 2b schematische Darstellungen des dreidimensionalen Kalibrierobjekts und des zweidimensionalen Kalibrierobjekts in einer Draufsicht; Fig. 3 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Kalibrieren eines stereoskopischen medizinischen Mikroskops.
In der Fig. 1 ist eine schematische Darstellung einer Ausführungsform einer medizinischen Mikroskopanordnung 100 gezeigt. Die medizinische Mikroskopanordnung 100 umfasst ein stereoskopisches medizinisches Mikroskop 1 , beispielsweise ein Operationsmikroskop und eine Datenverarbeitungseinrichtung 2. Nachfolgend wird das in dieser Offenbarung beschriebene Verfahren anhand des medizinischen Mikroskopanordnung 100 erläutert.
Das stereoskopische medizinische Mikroskop 1 umfasst ein Stereokamerasystem 3, das eine linke Kamera 3I und eine rechte Kamera 3r umfasst. Die Kameras 3I, 3r erfassen einen über eine stereoskopische Abbildungsoptik 4 (nur schematisch dargestellt) des medizinischen Mikroskops 1 abgebildeten Erfassungsbereich. Zum Korrigieren von insbesondere Fehlern in einer Justage können für die Abbildungsoptik 4 Kalibrierdaten 30 und weitere Kalibrierdaten 31 , beispielsweise für eine Aktorik 5, welche dazu eingerichtet ist, Eigenschaften der Abbildungsoptik 4 zu verändern, hinterlegt werden.
Ferner umfasst das medizinische Mikroskop 1 eine Signalverarbeitungseinrichtung 6, welche ein von einem Bildsensor der linken Kamera 3I bereitgestelltes Rohsignal 101 und ein von einem Bildsensor der rechten Kamera 10r bereitgestelltes Rohsignal 10r verarbeitet und aus den Rohsignalen 101, 10r Abbildungen 20 und weitere Abbildungen 21 erzeugt und bereitstellt. Die Abbildungen 20, 21 können beispielsweise auf mindestens einer Anzeigeeinrichtung 7, beispielsweise einem oder mehreren Monitoren oder einer am Kopf tragbaren Anzeigeeinrichtung (engl. Head Mounted Display, HMD), welche insbesondere auch Teil des medizinischen Mikroskops 1 sein können, angezeigt werden. Die Signalverarbeitung kann insbesondere ein bildelementabhängiges Verändern einer Helligkeit und/oder ein Erzeugen eines Versatzes und/oder eine Rotation um einen Bildmittelpunkt (oder einen sonstigen Punkt) sowie weitere Manipulationen (Filterung, Farbkorrektur etc.) umfassen. Zum Korrigieren der Rohsignale 101, 10r können Kalibrierdaten 30, 31 in der Signalverarbeitungseinrichtung 6 hinterlegt werden.
Es kann auch vorgesehen sein, dass die Kalibrierdaten 30, 31 nur in der Bildverarbeitungseinrichtung 6 hinterlegt werden. Die Datenverarbeitungseinrichtung 2 umfasst eine Recheneinrichtung 2-1 , beispielsweise einen Mikroprozessor oder Mikrocontroller, und einen Speicher 2-2. Die Datenverarbeitungseinrichtung 2 kann auch Teil des medizinischen Mikroskops 1 sein.
Die Datenverarbeitungseinrichtung 2 ist dazu eingerichtet, die Kalibrierdaten 30 ausgehend von mittels der Kameras 3I, 3r des Stereokamerasystems 3 erfassten Abbildungen 20 mindestens eines dreidimensionalen Kalibrierobjekts 40 zu erzeugen und zum Korrigieren zu hinterlegen. Ferner ist die Datenverarbeitungseinrichtung 2 dazu eingerichtet, die weiteren Kalibrierdaten 31 ausgehend von mittels der Kameras 3I, 3r des Stereokamerasystems 3 erfassten weiteren Abbildungen 21 mindestens eines zweidimensionalen Kalibrierobjekts 41 zu erzeugen und zum Korrigieren zu hinterlegen.
Insbesondere wird mittels der medizinischen Mikroskopanordnung 100 ein Verfahren zum Kalibrieren des stereoskopischen medizinischen Mikroskops 1 ausgeführt, umfassend: a) Erfassen von Abbildungen 20 des mindestens einen dreidimensionalen Kalibrierobjekts 40 mittels der Kameras 3I, 3r des Stereokamerasystems 3 des medizinischen Mikroskops 1 , b) Erzeugen der Kalibrierdaten 30 ausgehend von den erfassten Abbildungen 20, wobei die erzeugten Kalibrierdaten 30 zum Korrigieren hinterlegt werden, c) Erfassen von weiteren Abbildungen 21 des mindestens einen zweidimensionalen Kalibrierobjekts 41 mittels der Kameras 3I, 3r des Stereokamerasystems 3, d) Erzeugen der weiteren Kalibrierdaten 31 ausgehend von den erfassten weiteren Abbildungen 21, wobei die weiteren Kalibrierdaten 31 zum Korrigieren hinterlegt werden.
Es kann vorgesehen sein, dass Schritt a) und/oder Schritt c) bei verschiedenen Arbeitspunkten des medizinischen Mikroskops 1 durchgeführt werden, wobei die Kalibrierdaten 30 in Schritt b) und/oder die weiteren Kalibrierdaten 31 in Schritt d) für jeden der verschiedenen Arbeitspunkte erzeugt werden. Ein Arbeitspunkt kann hierbei insbesondere Parameter für die folgenden Einstellungen umfassen: eine Lage (Position und/oder Orientierung) der Kamera(s) und/oder eine Vergrößerung (Zoom), einen Arbeitsabstand (Fokus bzw. eine Position der Fokussierlinse), eine Position einer Blende, einen Wert einer Blendenöffnung (Aperturblende), ein Vorhandensein einer Drapelinse (ja/nein) etc. Die verschiedenen Arbeitspunkte können hierbei sowohl manuell als auch automatisiert eingestellt werden. Beim manuellen Einstellen kann vorgesehen sein, dass Parameter des medizinischen Mikroskops 1 beispielsweise einem Techniker angezeigt werden, sodass dieser die Parameter für jeden Arbeitspunkt einstellen kann. Beim automatisierten Einstellen kann die Datenverarbeitungseinrichtung 2 dazu eingerichtet sein, geeignete Steuerparameter zu erzeugen und dem medizinischen Mikroskop 1, insbesondere der Aktorik 5, zum Einstellen der verschiedenen Arbeitspunkte zuzuführen.
Es kann vorgesehen sein, dass die in Schritt b) erzeugten Kalibrierdaten 30 und/oder die in Schritt d) erzeugten weiteren Kalibrierdaten 31 zum Korrigieren zumindest teilweise auf die erfassten Abbildungen 20 und/oder die erfassten weiteren Abbildungen 21 angewendet werden, wobei der Schritt b) für die korrigierten Abbildungen 20 durchgeführt und/oder wiederholt wird und/oder der Schritt d) für die korrigierten weiteren Abbildungen 21 durchgeführt und/oder wiederholt wird. Das Korrigieren kann in diesem Fall sowohl in der Signalverarbeitungseinrichtung 6 als auch in der Datenverarbeitungseinrichtung 2 erfolgen.
Es kann vorgesehen sein, dass das Korrigieren und die Schritte c) und d) solange wiederholt werden, bis mindestens ein vorgegebenes Optimierungskriterium erfüllt ist. Hierzu werden insbesondere die weiteren Kalibrierdaten 31 vor jeder Wiederholung im medizinischen Mikroskop 1 hinterlegt, insbesondere in der Bildverarbeitungseinrichtung 6. Das erneute Durchführen der Schritte c) und d) erfolgt dann mit geänderten weiteren Kalibrierdaten 31. Hierdurch kann eine Kalibrierung des medizinischen Mikroskops 1 sukzessive und iterativ verbessert werden.
Insbesondere ist vorgesehen, dass Schritt b) eine oder mehrere der folgenden Maßnahmen umfasst: ein Bestimmen von extrinsischen Kalibrierdaten, ein Bestimmen von intrinsischen Kalibrierdaten, ein Bestimmen von Verzeichniskorrekturfelddaten, ein Bestimmen von Randabfallkorrekturdaten, ein Bestimmen von chromatischen Verschiebungsfeldkorrekturdaten. Die erzeugten Kalibrierdaten 30 umfassen dann die extrinsischen Kalibrierdaten und/oder intrinsischen Kalibrierdaten und/oder Verzeichniskorrekturfelddaten und/oder Randabfallkorrekturdaten und/oder chromatischen Verschiebungsfeldkorrekturdaten. Es kann vorgesehen sein, dass Schritt b) ein Bestimmen der jeweiligen Fokuslage der Kameras 3I, 3r des Stereokamerasystems 3 und ein Einstellen der jeweiligen Fokuslage umfasst. Die (Ist-)Fokuslage kann basierend auf einem jeweils für die Fokuslage bestimmten Wert eingestellt bzw. justiert werden. Dies kann grundsätzlich sowohl manuell durch einen Techniker als auch automatisiert und/oder motorisiert mittels der Aktorik 5 erfolgen. Ziel ist es, dass die Fokuslage beider Kameras 3I, 3r bei verschiedenen Arbeitspunkten stets die gleiche ist.
Es kann vorgesehen sein, dass Schritt d) ein Bestimmen eines Versatzes zwischen den erfassten weiteren Abbildungen 21 der Kameras 3I, 3r des Stereokamerasystems 3 und ein Bestimmen von Versatzkorrekturdaten und/oder ein Bestimmen einer Rotation zwischen den erfassten weiteren Abbildungen 21 der Kameras 3I, 3r des Stereokamerasystems 3 und ein Bestimmen von Rotationskorrekturdaten umfasst. Die erzeugten weiteren Kalibrierdaten 31 umfassen dann die Versatzkorrekturdaten und/oder die Rotationskorrekturdaten.
Es kann vorgesehen sein, dass im Rahmen der Schritte a) oder c) beim Erfassen zumindest eines Teils der Abbildungen 20, 21 verschiedene Arbeitspunkte eines beweglichen Linsensystems des stereoskopischen medizinischen Mikroskops 1 angewählt werden, wobei im Rahmen der Schritte b) oder d) für jeden der Arbeitspunkte des beweglichen Linsensystems ein Versatzwert bestimmt wird, wobei die Kalibrierdaten 30 und/oder die weiteren Kalibrierdaten 31 unter Berücksichtigung der jeweils bestimmten Versatzwerte erzeugt werden.
Es kann vorgesehen sein, dass ferner mindestens eine Zusatzabbildung 22 eines homogen reflektierenden und/oder remittierenden Kalibrierobjektes 42 mittels des Stereokamerasystems 3 erfasst wird, wobei ausgehend von der erfassten mindestens einen Zusatzabbildung 22 Beleuchtungskorrekturdaten zum Korrigieren von einer Beleuchtungsgeometrie mindestens einer Lichtquelle (nicht gezeigt) des medizinischen Mikroskops 1 erzeugt werden und beim Erzeugen der Kalibrierdaten 30 und/oder der weiteren Kalibrierdaten 31 berücksichtigt werden. Die Beleuchtungskorrekturdaten werden hierfür mittels der Datenverarbeitungseinrichtung 2 bestimmt. Hierzu bestimmt die Datenverarbeitungseinrichtung 2 in der erfassten mindestens einen Zusatzabbildung 22 einen Helligkeitsverlauf, insbesondere für verschiedene Arbeitspunkte. Da eine Helligkeit in der erfassten mindestens einen Zusatzabbildung 22 konstant sein sollte, können ausgehend von dem jeweiligen Helligkeitsverlauf die Beleuchtungskorrekturdaten erzeugt, insbesondere aus dem Helligkeitsverlauf bestimmt werden. Die Beleuchtungskorrekturdaten werden zum Korrigieren im laufenden Betrieb insbesondere als Kalibrierdaten 30, 31 in der Signalverarbeitungseinrichtung 6 hinterlegt. Die Signalverarbeitungseinrichtung 6 wendet die Beleuchtungskorrekturdaten dann auf die Rohsignale 101, 10r an.
Das Erfassen der mindestens einen Zusatzabbildung 22 des homogen reflektierenden und/oder remittierenden Kalibrierobjektes 42 und das Erzeugen der Beleuchtungskorrekturdaten erfolgt insbesondere im Anschluss an die Schritte a) bis d). Insbesondere kann eine Korrektur auf Grundlage von den Randabfallkorrekturdaten (zur Korrektur von einer Kamera-Vignettierung) bereits durchgeführt worden sein, bevor der Helligkeitsverlauf und die Beleuchtungskorrekturdaten bestimmt werden. Es kann jedoch auch vorgesehen sein, dass das homogen reflektierende und/oder remittierende Kalibrierobjekt 42 Teil des zweidimensionalen Kalibrierobjekts 41 ist. Das Erfassen der mindestens einen Zusatzabbildung 22 des homogen reflektierenden und/oder remittierenden Kalibrierobjektes 42 kann dann auch gleichzeitig mit anderen Schritten, beispielsweise mit Schritt c), erfolgen.
Die Figuren 2a und 2b zeigen schematische Darstellungen von Ausführungsformen des dreidimensionalen Kalibrierobjekts 40 und des zweidimensionalen Kalibrierobjekts 41. Die Fig. 2a zeigt hierbei eine Seitenansicht, die Fig. 2b eine Draufsicht, welche einer Ansicht entspricht, wie das medizinische Mikroskop 1 die Kalibrierobjekte 40, 41 mittels der Kameras 3I, 3r erfassen würde. Das dreidimensionale Kalibierobjekt 40 weist eine dreieckige Form mit einer geneigten Fläche auf (es kann daher auch als „Schrägtarget“ bezeichnet werden), sodass verschiedene Abstände (z.B. z-Richtung) gleichzeitig erfasst werden können. Das zweidimensionale Kalibrierobjekt 41 weist auf einer Oberseite ein Schachbrettmuster auf. Mit Hilfe des Schachbrettmusters können insbesondere ein Versatz (z.B. x-/y-Richtung) und eine Rotation zwischen den von den Kameras 3I, 3r des Stereokamerasystems 3 erfassten (weiteren) Abbildungen 20, 21 bestimmt werden. Grundsätzlich kann das zweidimensionale Kalibrierobjekt 41 zusätzlich oder alternativ auch andere geeignete Strukturen aufweisen, wie beispielsweise Rechtecke, Linien und/oder sonstige geeignete zweidimensionale Formen etc. Im gezeigten Beispiel sind die Kalibrierobjekte 40, 41 gemeinsam als kombiniertes Objekt dargestellt. Die Kalibrierobjekte 40, 41 können jedoch auch separat voneinander ausgebildet sein und/oder separat voneinander verwendet werden.
Es kann insbesondere auch vorgesehen sein, dass das dreidimensionale Kalibrierobjekt 40 gemäß einer der Ausführungsformen ausgebildet ist, wie diese in der DE 10 2019 131 646 A1 beschrieben sind, insbesondere gemäß einer Ausführungsform der dort gezeigten Fig. 5 oder Fig. 6.
In der Fig. 3 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Kalibrieren eines stereoskopischen medizinischen Mikroskops gezeigt. Das Verfahren wird beispielsweise mittels einer medizinischen Mikroskopanordnung ausgeführt, wie diese in der Fig. 1 gezeigt ist.
Nach dem Start 200 des Verfahrens, der beispielsweise durch einen Techniker ausgelöst werden kann, werden in einem Verfahrensschritt 201 Abbildungen von mindestens einem dreidimensionalen Kalibrierobjekt mittels Kameras eines Stereokamerasystems des medizinischen Mikroskops erfasst. Vor dem Erfassen wird hierzu (mindestens) ein dreidimensionales Kalibrierobjekt im Erfassungsbereich des medizinischen Mikroskops angeordnet. Es ist insbesondere vorgesehen, dass Verfahrensschritt 201 für verschiedene Arbeitspunkte des medizinischen Mikroskops durchgeführt wird.
In einem Verfahrensschritt 202 werden mittels einer Datenverarbeitungseinrichtung Kalibrierdaten ausgehend von den erfassten Abbildungen erzeugt, insbesondere ausgehend von den erfassten Abbildungen bestimmt. Die erzeugten Kalibrierdaten werden zum Korrigieren hinterlegt, insbesondere in einem hierfür vorgesehenen Speicher des medizinischen Mikroskops, beispielsweise in einem Speicher einer Signalverarbeitungseinrichtung und/oder einer Steuereinrichtung und/oder einer Aktorik des medizinischen Mikroskops. Das Erzeugen, insbesondere Bestimmen, der Kalibrierdaten erfolgt insbesondere jeweils für die verschiedenen Arbeitspunkte. Die erzeugten, insbesondere bestimmten, Kalibrierdaten umfassen insbesondere Kameraprojektionsmatrizen (extrinsische Kalibrierdaten und/oder intrinsische Kalibrierdaten) und/oder Verzeichniskorrekturfelddaten und/oder Randabfallkorrekturdaten und/oder chromatische Verschiebungsfeldkorrekturdaten. Je nach Art der zu bestimmenden Kalibrierdaten kann vorgesehen sein, jeweils unterschiedliche dreidimensionale Kalibrierobjekte zu verwenden. Für jedes der dreidimensionalen Kalibrierobjekte werden in Verfahrensschritt 201 dann Abbildungen, insbesondere bei verschiedenen Arbeitspunkten, erfasst.
In einem Verfahrensschritt 203 werden Abbildungen mindestens eines dreidimensionalen Kalibrierobjekts mittels der Kameras des Stereokamerasystems erfasst. Dies erfolgt insbesondere mit Hilfe des dreidimensionalen Kalibrierobjekts 40 („Schrägtargets“), welches in der Fig. 2a gezeigt ist. Durch die geneigte Fläche kann ein Unschärfeverlauf in einer erfassten Abbildung entlang der optischen Achse (z-Richtung) bewertet werden, sodass eine jeweilige Fokuslage der Kameras bestimmt werden kann. Das Erfassen kann insbesondere für verschiedene Arbeitspunkte erfolgen, insbesondere bei verschiedenen Arbeitsabständen zum dreidimensionalen Kalibrierobjekt. Ausgehend von den erfassten Abbildungen werden jeweilige Fokuslagen der Kameras des Stereokamerasystems bestimmt.
In einem Verfahrensschritt 204 werden die Fokuslagen der Kameras basierend auf den bestimmten Werten eingestellt bzw. aneinander angeglichen. Dies erfolgt insbesondere manuell durch einen Techniker. Insbesondere erfolgt dies derart, dass die Fokuslagen bei den verschiedenen Arbeitspunkten (insbesondere Arbeitsabständen) für beide Kameras stets gleich sind.
In einem Verfahrensschritt 205 werden weitere Abbildungen mindestens eines zweidimensionalen Kalibrierobjekts mittels der Kameras des Stereokamerasystems erfasst.
In einem Verfahrensschritt 206 werden ausgehend von den erfassten weiteren Abbildungen weitere Kalibrierdaten erzeugt, insbesondere bestimmt. Insbesondere ist vorgesehen, dass ein Versatz (x-/y-Versatz) zwischen den erfassten weiteren Abbildungen der Kameras des Stereokamerasystems und Versatzkorrekturdaten sowie eine Rotation zwischen den erfassten weiteren Abbildungen der Kameras des Stereokamerasystems und Rotationskorrekturdaten bestimmt werden. Die erzeugten, insbesondere bestimmten, weiteren Kalibrierdaten werden zum Korrigieren hinterlegt, insbesondere in einem hierfür vorgesehenen Speicher des medizinischen Mikroskops, beispielsweise in einem Speicher einer Signalverarbeitungseinrichtung und/oder einer Steuereinrichtung und/oder einer Aktorik des medizinischen Mikroskops.
Je nach Art der zu bestimmenden Kalibrierdaten kann vorgesehen sein, jeweils unterschiedliche zweidimensionale Kalibrierobjekte zu verwenden. Für jedes der zweidimensionalen Kalibrierobjekte werden in Verfahrensschritt 205 dann Abbildungen, insbesondere bei verschiedenen Arbeitspunkten, erfasst.
In einem Verfahrensschritt 207 werden die Kalibrierdaten und die weiteren Kalibrierdaten auf die erfassten weiteren Abbildungen des zweidimensionalen Kalibrierobjekts angewendet; insbesondere werden die erfassten weiteren Abbildungen hiermit korrigiert. Dies kann beispielsweise mittels der Signalverarbeitungseinrichtung 6 (Fig. 1) erfolgen, indem diese die Rohsignale 101, 10r mittels der hinterlegten Kalibrierdaten und der hinterlegten weiteren Kalibrierdaten korrigiert und die Ergebnisse, das heißt, die derart korrigierten Abbildungen bereitstellt.
Es kann vorgesehen sein, dass die Verfahrensschritte 205, 206 und 207 anschließend wiederholt werden. Insbesondere ist hierbei vorgesehen, dass die Verfahrensschritte 205, 206 und 207 solange wiederholt werden, bis mindestens ein vorgegebenes Optimierungskriterium erfüllt ist. Vorgegebene Optimierungskriterien können hierbei beispielsweise Maximalwerte für einen Versatz und/oder eine Rotation (z.B. +/-1 Bildelement und/oder +/-0,001 °) zwischen den Abbildungen der beiden Kameras des Stereokamerasystems sein.
Es kann in Verfahrensschritt 207 vorgesehen sein, dass die erzeugten Kalibrierdaten durch zumindest teilweises Anwenden auf die erfassten Abbildungen und/oder die erfassten weiteren Abbildungen und Bewerten eines Ergebnisses der Anwendung überprüft werden, wobei die Verfahrensschritte 201 bis 207 zumindest teilweise wiederholt werden, sofern ein Bewertungsergebnis mindestens ein vorgegebenes Kriterium nicht erfüllt. Das mindestens eine vorgegebene Kriterium kann beispielsweise Maximalwerte für einen Versatz und/oder eine Rotation zwischen den Abbildungen der beiden Kameras des Stereokamerasystems, jeweils Maximalwerte für eine Verzeichnung der Kameras und/oder jeweils Maximalwerte für einen Randabfall der Helligkeit (Kamera- Vignettierung) usw. umfassen. Sind die Kalibrierdaten optimiert und/oder überprüft, so werden die Kalibrierdaten und die weiteren Kalibrierdaten in einem Verfahrensschritt 208 zur Anwendung im Feld im medizinischen Mikroskop hinterlegt. Das Verfahren ist dann beendet 209.
Bezugszeichenliste
1 Medizinisches Mikroskop
2 Datenverarbeitungseinrichtung
2-1 Recheneinrichtung
2-2 Speicher
3 Stereokamerasystem
3I linke Kamera
3r rechte Kamera
4 Abbildungsoptik
5 Aktorik
6 Signalverarbeitungseinrichtung
7 Anzeigeeinrichtung
101 Rohsignal (linke Kamera)
10r Rohsignal (rechte Kamera)
20 Abbildung
21 weitere Abbildung
22 Zusatzabbildung
30 Kalibrierdaten
31 weitere Kalibrierdaten
40 dreidimensionales Kalibrierobjekt
41 zweidimensionales Kalibrierobjekt
42 homogen reflektierendes und/oder remittierendes Kalibrierobjekt
100 Medizinische Mikroskopanordnung
200-209 Verfahrensschritte des Verfahrens

Claims

Patentansprüche
1. Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops (1), umfassend: a) Erfassen von Abbildungen (20) mindestens eines dreidimensionalen Kalibrierobjekts (40) mittels Kameras (3l,3r) eines Stereokamerasystems (3) des medizinischen Mikroskops (1), b) Erzeugen von Kalibrierdaten (30) ausgehend von den erfassten Abbildungen (20), wobei die erzeugten Kalibrierdaten (30) zum Korrigieren hinterlegt werden, c) Erfassen von weiteren Abbildungen (21) mindestens eines zweidimensionalen Kalibrierobjekts (41) mittels der Kameras (3l,3r) des Stereokamerasystems (3), d) Erzeugen von weiteren Kalibrierdaten (31) ausgehend von den erfassten weiteren Abbildungen (21), wobei die weiteren Kalibrierdaten (31) zum Korrigieren hinterlegt werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Schritt a) und/oder Schritt c) bei verschiedenen Arbeitspunkten des medizinischen Mikroskops (1) durchgeführt werden, wobei die Kalibrierdaten (30) in Schritt b) und/oder die weiteren Kalibrierdaten (31) in Schritt d) für jeden der verschiedenen Arbeitspunkte erzeugt werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die in Schritt b) erzeugten Kalibrierdaten (30) und/oder die in Schritt d) erzeugten weiteren Kalibrierdaten (31) zum Korrigieren zumindest teilweise auf die erfassten Abbildungen (20) und/oder die erfassten weiteren Abbildungen (21) angewendet werden, wobei der Schritt b) für die korrigierten Abbildungen (20) durchgeführt und/oder wiederholt wird und/oder der Schritt d) für die korrigierten weiteren Abbildungen (21) durchgeführt und/oder wiederholt wird.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Korrigieren und die Schritte c) und d) solange wiederholt werden, bis mindestens ein vorgegebenes Optimierungskriterium erfüllt ist. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die erzeugten Kalibrierdaten (30) durch zumindest teilweises Anwenden auf die erfassten Abbildungen (20) und/oder die erfassten weiteren Abbildungen (21) und Bewerten eines Ergebnisses der Anwendung überprüft werden, wobei die Schritte a) bis d) zumindest teilweise wiederholt werden, sofern ein Bewertungsergebnis mindestens ein vorgegebenes Kriterium nicht erfüllt. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Schritt b) und/oder d) eine oder mehrere der folgenden Maßnahmen umfasst: ein Bestimmen von extrinsischen Kalibrierdaten, ein Bestimmen von intrinsischen Kalibrierdaten, ein Bestimmen von Verzeichniskorrekturfelddaten, ein Bestimmen von Randabfallkorrekturdaten, ein Bestimmen von chromatischen Verschiebungsfeldkorrekturdaten. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Schritt b) ein Bestimmen der jeweiligen Fokuslage der Kameras (3l,3r) des Stereokamerasystems (3) und ein Einstellen der jeweiligen Fokuslage umfasst. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Schritt d) ein Bestimmen eines Versatzes zwischen den erfassten weiteren Abbildungen (21) der Kameras (3l,3r) des Stereokamerasystems (3) und ein Bestimmen von Versatzkorrekturdaten und/oder ein Bestimmen einer Rotation zwischen den erfassten weiteren Abbildungen (21) der Kameras (3l,3r) des Stereokamerasystems (3) und ein Bestimmen von Rotationskorrekturdaten umfasst. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Rahmen von Schritt a) oder c) beim Erfassen zumindest eines Teils der Abbildungen (20,21) verschiedene Arbeitspunkte eines beweglichen Linsensystems des stereoskopischen medizinischen Mikroskops (1) angewählt werden, wobei im Rahmen von Schritt b) oder d) für jeden der Arbeitspunkte des beweglichen Linsensystems ein Versatzwert bestimmt wird, wobei die Kalibrierdaten (30) und/oder weiteren Kalibrierdaten (31) unter Berücksichtigung der jeweils bestimmten Versatzwerte erzeugt werden. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass ferner mindestens eine Zusatzabbildung (22) eines homogen reflektierenden und/oder remittierenden Kalibrierobjektes (42) mittels des Stereokamerasystems (3) erfasst wird, wobei ausgehend von der erfassten mindestens einen Zusatzabbildung (22) Beleuchtungskorrekturdaten zum Korrigieren von einer Beleuchtungsgeometrie mindestens einer Lichtquelle des medizinischen Mikroskops (1) erzeugt werden und beim Erzeugen der Kalibrierdaten (30) und/oder der weiteren Kalibrierdaten (31) berücksichtigt werden. Medizinische Mikroskopanordnung (100), umfassend: ein stereoskopisches medizinisches Mikroskop (1) mit einem Kameras (3l,3r) umfassenden Stereokamerasystem (3) und hinterlegbaren Kalibrierdaten (30,31), und eine Datenverarbeitungseinrichtung (2), wobei die Datenverarbeitungseinrichtung (2) dazu eingerichtet ist, i) Kalibrierdaten (30) ausgehend von mittels der Kameras (3l,3r) des Stereokamerasystems (3) erfassten Abbildungen (20) mindestens eines dreidimensionalen Kalibrierobjekts (40) zu erzeugen und zum Korrigieren zu hinterlegen, und ii) weitere Kalibrierdaten (31) ausgehend von mittels der Kameras (3l,3r) des Stereokamerasystems (3) erfassten weiteren Abbildungen (21) mindestens eines zweidimensionalen Kalibrierobjekts (41) zu erzeugen und zum Korrigieren zu hinterlegen.
EP23702401.3A 2022-01-25 2023-01-24 Verfahren zum kalibrieren eines stereoskopischen medizinischen mikroskops und medizinische mikroskopanordnung Pending EP4469753A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022200821.9A DE102022200821B9 (de) 2022-01-25 2022-01-25 Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops und medizinische Mikroskopanordnung
PCT/EP2023/051629 WO2023144121A1 (de) 2022-01-25 2023-01-24 Verfahren zum kalibrieren eines stereoskopischen medizinischen mikroskops und medizinische mikroskopanordnung

Publications (1)

Publication Number Publication Date
EP4469753A1 true EP4469753A1 (de) 2024-12-04

Family

ID=84534168

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23702401.3A Pending EP4469753A1 (de) 2022-01-25 2023-01-24 Verfahren zum kalibrieren eines stereoskopischen medizinischen mikroskops und medizinische mikroskopanordnung

Country Status (5)

Country Link
US (1) US20240386609A1 (de)
EP (1) EP4469753A1 (de)
CN (1) CN118984924A (de)
DE (1) DE102022200821B9 (de)
WO (1) WO2023144121A1 (de)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10149750A1 (de) 2001-03-09 2002-09-19 Tecmath Ag Handgeführter 3D-Scanner
US6819805B2 (en) * 2001-05-02 2004-11-16 Agilent Technologies, Inc. Method and apparatus for brightness equalization of images taken with point source illumination
DE10225193B4 (de) 2002-06-06 2004-08-12 Leica Microsystems (Schweiz) Ag Verfahren zur Kalibrierung der Vergrößerung eines Mikroskops sowie kalibrierbares Mikroskop
DE102004020663A1 (de) 2004-04-24 2005-11-10 Carl Zeiss Meditec Ag Einrichtung zur Beleuchtung organischer Objekte
DE102004041115A1 (de) 2004-08-24 2006-03-09 Tbs Holding Ag Verfahren und Anordnung zur Erfassung biometrischer Daten
EP2119397B1 (de) 2008-05-15 2013-12-18 Brainlab AG Bestimmung einer Kalibrier-Information für ein Röntgengerät
WO2013103870A1 (en) * 2012-01-04 2013-07-11 The Trustees Of Dartmouth College Method and apparatus for calibration of stereo-optical three-dimensional surface-mapping system
DE102012102915A1 (de) 2012-04-03 2013-10-10 Gea Farm Technologies Gmbh Verfahren und Vorrichtung zur optischen Bestimmung einer Position und/oder Orientierung eines Objekts im Raum
DE102014210099B3 (de) * 2014-05-27 2015-10-22 Carl Zeiss Meditec Ag Verfahren zur bildbasierten Kalibrierung von Mehrkamerasystemen mit einstellbarem Fokus und / oder Zoom
DE102015219709A1 (de) * 2015-10-12 2017-04-13 Carl Zeiss Microscopy Gmbh Bildkorrekturverfahren und Mikroskop
CA2981726C (en) 2017-10-06 2018-12-04 Synaptive Medical (Barbados) Inc. Surgical optical zoom system
DE102018101162B4 (de) 2018-01-19 2023-09-21 Hochschule Reutlingen Messsystem und Verfahren zur extrinsischen Kalibrierung
JP7379373B2 (ja) 2018-04-27 2023-11-14 アルコン インコーポレイティド 立体視覚化カメラ及び統合ロボットプラットフォーム
DE102018125422B4 (de) * 2018-10-15 2020-12-24 Karl Storz Se & Co. Kg Verfahren zum Prüfen oder Kalibrieren einer Stereo-Bilderfassungsvorrichtung
DE102019131646A1 (de) 2019-11-22 2021-05-27 Carl Zeiss Meditec Ag Stativ für eine optische Beobachtungseinheit, optisches Beobachtungsgerät, Verfahren zum Kalibrieren eines optischen Beobachtungsgeräts sowie Computerprogramm

Also Published As

Publication number Publication date
WO2023144121A1 (de) 2023-08-03
CN118984924A (zh) 2024-11-19
DE102022200821B3 (de) 2023-01-12
DE102022200821B9 (de) 2023-05-25
US20240386609A1 (en) 2024-11-21

Similar Documents

Publication Publication Date Title
EP3557523B1 (de) Verfahren zur erzeugung eines korrekturmodells einer kamera zur korrektur eines abbildungsfehlers
EP0799434B1 (de) Mikroskop, insbesondere stereomikroskop und verfahren zum überlagern zweier bilder
EP2887117B1 (de) Mikroskop und Verfahren zur SPIM Mikroskopie
DE102014210099B3 (de) Verfahren zur bildbasierten Kalibrierung von Mehrkamerasystemen mit einstellbarem Fokus und / oder Zoom
DE102011082756A1 (de) Autofokussierverfahren und -einrichtung für ein Mikroskop
EP2472302B1 (de) Verfahren zur Korrektur von Bildverzeichnungen bei einem konfokalen Scan-Mikroskop
EP3166312A1 (de) Vorrichtung und verfahren zum justieren und/oder kalibrieren eines multi-kamera moduls sowie verwendung einer solchen vorrichtung
EP3293558B1 (de) Vorrichtung zum erfassen eines stereobilds
EP3121556A1 (de) Verfahren zur korrektur eines oct-bildes, bildbearbeitungseinrichtung und kombinationsmikroskop
DE102019131646A1 (de) Stativ für eine optische Beobachtungseinheit, optisches Beobachtungsgerät, Verfahren zum Kalibrieren eines optischen Beobachtungsgeräts sowie Computerprogramm
EP3159727B1 (de) Elektronisches (operations)mikroskop
DE102016217792A1 (de) Justiersystem
DE102017110816A1 (de) Optisches Beobachtungsgerät und Verfahren zum effizienten Ausführen eines automatischen Fokussieralgorithmus
EP3123228A1 (de) Konfokales mikroskop mit aperturkorrelation
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
EP4379445A2 (de) Bestimmung von tiefenwerten eines oberflächenbereichs eines werkstücks
DE102022109398A1 (de) Autofokus-Verfahren und zugehöriges optisches Abbildungssystem
DE102014107445B4 (de) Optisches Beobachtungsgerät und Verfahren zum Aufnehmen von Bild- oder Videodaten von einem Beobachtungsobjekt mit Hilfe eines optischen Beobachtungsgerätes
DE102018125422B4 (de) Verfahren zum Prüfen oder Kalibrieren einer Stereo-Bilderfassungsvorrichtung
EP4067809A2 (de) Computerimplementiertes verfahren, verfahren, messgerät und computerprogrammprodukt
DE102022200821B9 (de) Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops und medizinische Mikroskopanordnung
DE102022125662B3 (de) Verfahren und Steuereinrichtung zum Justieren und/oder Kalibrieren des Fokuswertes eines Operationsmikroskops, Operationsmikroskop und computerimplementiertes Verfahren
DE102023200474A1 (de) Verfahren zum Justieren und/oder Kalibrieren eines medizinischen Mikroskops und medizinisches Mikroskop
DE102018110640B4 (de) Verfahren und Mikroskop zum Abbilden eines Objekts
DE102021126658B3 (de) Medizinisches Visualisierungsystem und Verfahren zur Video-Stabilisierung bei einem solchen System

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240806

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20260204