EP4440405A1 - Messvorrichtung und messverfahren zum überprüfen eines messbildzustandes - Google Patents

Messvorrichtung und messverfahren zum überprüfen eines messbildzustandes

Info

Publication number
EP4440405A1
EP4440405A1 EP23701901.3A EP23701901A EP4440405A1 EP 4440405 A1 EP4440405 A1 EP 4440405A1 EP 23701901 A EP23701901 A EP 23701901A EP 4440405 A1 EP4440405 A1 EP 4440405A1
Authority
EP
European Patent Office
Prior art keywords
image
measurement
stereo
measurement image
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23701901.3A
Other languages
English (en)
French (fr)
Inventor
Lukas Buschle
Simon Haag
Jasmin Keuser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz SE and Co KG
Original Assignee
Karl Storz SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz SE and Co KG filed Critical Karl Storz SE and Co KG
Publication of EP4440405A1 publication Critical patent/EP4440405A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Definitions

  • the present invention relates to a measurement system and a measurement method for checking a measurement image condition and/or a calibration quality of a stereo measurement image, in particular an endoscopic and/or exoscopic and/or microscopic and/or laryngoscopic stereo measurement image, according to the respective preamble of independent claims 1 and 15.
  • Optical visualization systems such as microscopes, exoscopes and endoscopes enable a scene and/or a work area to be displayed in which fine motor work and/or visual checks are carried out.
  • the working area is, for example, an operating area in an inner area, for example inside a thorax or a head, of the human body.
  • Exoscopy describes observing and, if necessary, illuminating an operating field on a patient and/or an object field on any object, starting from a remote location, i. H. outside, a patient's body or away from the object.
  • Endoscopy describes an imaging technique in which an endoscope is inserted into a cavity.
  • the specialist who carries out such an intervention with an endoscope looks at the image recorded by the endoscope on the screen and can direct his actions based on this image.
  • an endoscope is inserted into the body in order to capture an internal image of the body and display it on the screen. Due to the often required, precise way of working of the specialist personnel, it is desirable that the most accurate, high-resolution image possible of the cavity and/or the work area on which the check and/or the operation is to be carried out is conveyed.
  • the images captured by the endoscope and displayed on a display device are usually two-dimensional, so that even specialists are unable to precisely determine the dimensions and/or measurements of an observed object in the imaged scene due to the lack of depth information.
  • three-dimensional stereo endoscopes and/or stereoexoscopes and/or microscopes are also known, in which a scene consists of two different Viewing angles is recorded by two image acquisition units.
  • the two image capturing units record one image each of the scene to be observed, preferably synchronized per time unit and viewing angle.
  • stereo reconstruction describes the determination of depth information for all or many points in a captured scene, which results in a depth map of the scene being obtained.
  • the focal length and stereo basis i.e. the distance between a first and a second image acquisition device
  • a pixel offset between a respective pixel in the measurement image recorded by the first image acquisition device and a corresponding pixel in a measurement image recorded by the second image acquisition device can be used to determine the distance of this pixel or image point from the measuring device.
  • the offset is called the disparity.
  • Objects at a great distance show a low disparity, i.e.
  • a type of depth map for the stereo-reconstructed stereo measurement image is calculated from the disparity with knowledge of optical parameters of the image acquisition device(s), which depth map includes, for example, pixel-by-pixel depth information of the object to be observed. With the help of the depth information, it is possible, for example, to determine a distance between any two pixels in Euclidean space.
  • the stereo reconstruction is based on known mathematical stereo reconstruction algorithms, for example using so-called semi-global matching algorithms (available at: Hirschmüller, Heiko (2005), "Accurate and efficient stereo processing by semi-global matching and mutual information". IEEE Conference on Computer Vision and Pattern Recognition, pp. 807-814).
  • a stereo measuring device in particular a 3D camera
  • the calibration corrects distortions in a measurement image that would otherwise falsify the disparity values to be determined.
  • calibration measurement images of a chessboard pattern with a precisely known chess field size are preferably recorded.
  • a calculation of the calibration parameters can be done, for example, using the open source library openCV, which is available at the following link: https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html.
  • US 2020/0242806 A1 and WO 2020/041717 A1 disclose storage of calibration parameters in a measuring device, for example in a camera housing.
  • Current calibration data or calibration parameters e.g. a color and/or an optical distortion or distortion of a stereoendoscopic image alignment and properties of an image sensor used
  • the storage enables the device-specific availability of these parameters, so that they can be included in any stereo-reconstructing evaluation.
  • a stereo endoscope is also known from EP 3 656 334 A1, in which data relating to a positional relationship between a navigation tracker and one or more image sensors are stored in the stereo endoscope in order to use them in the later measurement.
  • US 2022/0400938 A1 discloses a medical observation system with a plurality of sensors for measuring properties of a body interior. A possible impairment of one of the sensors should be detected and it should be determined which of the sensors is used for the measurement.
  • measurement errors can occur not only due to incorrect and/or inaccurate calibration of the measuring device, but also due to a large number of other external disturbance variables, such as dirt and/or clouding of a lens, etc. Making information about such disturbance variables in the area of the measuring devices available appears desirable to the user, but has so far only been implemented to an insufficient extent in the prior art.
  • the present invention is therefore based on the object of improving the disadvantages known from the prior art and in particular of proposing a measuring device and a measuring method which enable optimized status feedback from the device to a user.
  • the object is solved by a measuring system with the features of independent claim 1 .
  • the object is also achieved by a measurement method having the features of independent claim 15 .
  • a measurement system for checking a measurement image state and/or a calibration quality of a stereo measurement image, in particular a nes endoscopic and/or exoscopic and/or microscopic and/or laryngoscopic stereo measurement image provided.
  • the measurement system comprises a first image acquisition device which is set up to acquire at least one first measurement image of a measurement object in a scene from a first viewing angle.
  • the measuring device comprises a second image capturing device, which is spaced apart from the first image capturing device and is set up to capture at least one second measurement image of the measurement object in the scene from a second viewing angle, which differs from the first viewing angle.
  • the measuring device also includes an output device and an evaluation device.
  • the evaluation device is designed to use stereo reconstruction to generate a stereo measurement image from the at least first measurement image and the at least second measurement image, which includes depth information for individual pixels, preferably all pixels, of the stereo measurement image.
  • the depth information for each picture element or pixel preferably means a distance of a real point of the measurement object and/or the scene represented by this picture element in the first and/or second measurement image from the first and/or second image acquisition device.
  • the distance can preferably be defined by a length of a perpendicular from the stereo basis to the respective real point.
  • the measuring device is characterized in that the evaluation unit is designed to check a measured image state of the at least first measured image and/or the at least second measured image for the presence of at least one detection defect; and/or to check the calibration quality of the stereo measurement image on the basis of calibration parameters, in particular on the basis of at least one calibration parameter, of the first and/or second image acquisition device; and, if the at least one detection defect, in particular one that reduces measurement accuracy, exceeds or falls below a predetermined threshold value, to transmit a first warning to the output device, and/or if the calibration quality exceeds or falls below a predetermined quality limit value, to transmit a second warning to the output device, with the output device being set up to output the first and/or second warning.
  • the evaluation unit is designed to check a measured image state of the at least first measured image and/or the at least second measured image for the presence of at least one detection defect; and/or to check the calibration quality of the stereo measurement image on the basis of calibration parameters, in particular on the basis of at least one calibration parameter, of
  • a measurement method for checking a measurement image state and/or a calibration quality of a stereo measurement image in particular an endoscopic and/or exoscopic and/or microscopic and/or laryngoscopic stereo measurement image.
  • the method according to the invention comprises at least the following steps: capturing at least one first measurement image of a measurement object in a scene from a first viewing angle; Capturing at least one second measurement image of the measurement object in the scene from a second perspective, the differs from the first point of view; and generating a stereo measurement image from the at least first measurement image and the at least second measurement image by stereo reconstruction, depth information being included in the stereo measurement image for individual pixels of the stereo measurement image.
  • the method according to the invention is characterized by the steps: checking a measurement image state of the at least first measurement image and/or the at least second measurement image for the presence of at least one detection defect, in particular one that reduces measurement accuracy; and/or checking the calibration quality of the stereo measurement image on the basis of calibration parameters, in particular on the basis of at least one calibration parameter; and, if the at least one detection defect exceeds or falls below a predetermined threshold value, displaying a first warning notice, and/or if the calibration quality falls below a predetermined quality limit value, displaying a second warning notice.
  • a state or a display quality of the first and/or second recorded measurement image is preferably continuously checked to see whether there is a recording defect in the at least first and/or second measurement image that would impair the particularly two-dimensional or three-dimensional recording of the measurement object by the measurement system.
  • a detection defect may not be able to be recognized with sufficient accuracy by a user from a visual point of view, since the user is fundamentally guided by a very limited field of vision within the scene in which he is planning and/or observing and/or controlling the work process, for example during an operation on the human or animal body.
  • the user cannot perceive detection defects in edge areas of the first and/or second measurement image with sufficient accuracy and possibly quickly.
  • this is improved in that at least the first warning about the presence or existence and/or impending detection defect is preferably continuously displayed to the user.
  • the solution according to the invention is particularly relevant when the user is working in a 2D mode and, for example, a lens of the first and/or second image capturing device has contamination that he cannot see with the naked eye. From a technical point of view, by taking into account the detection defect and/or the calibration quality when calculating measured values, accuracy in the three-dimensional stereo recording and/or stereo representation of the measurement object can be improved. Measurement errors in relation to the measurement object are also avoided in this way.
  • the first warning may include an action that restricts and/or deactivates one or more functions of the measurement system, for example if the value falls below the predetermined threshold value.
  • the choice of the threshold value is inherently dependent on the conspired detection defect together. If the detection defect is dirt, for example, the threshold value can specify the number of pixels that can still be covered by the dirt without impairing the detection and measurement quality or the measured image state in an unreasonable manner.
  • the threshold value can also be predetermined on the basis of color and/or brightness values, contrast, blurring or similar optical factors.
  • a quality of a match and thus also a quality of the stereo measurement between the at least first measurement image and the at least second measurement image can be determined by including the calibration parameters.
  • Poor calibration quality, predetermined by the quality limit value can become noticeable in a deviation, for example because the calibration data no longer match a current measurement situation, which occurs as a vertical offset when determining the match between a predetermined measurement point in the first measurement image and a corresponding pixel in the second measurement image.
  • the calibration quality achieved during the measurement or detection of the measurement object is preferably determined and preferably output to a user.
  • depth information determined at least for the first and/or second measurement image is preferably compared by the evaluation device with ideal depth information expected with regard to an ideally calibrated state of the measurement system.
  • a quality of the determination of the depth information is therefore preferably specified.
  • the user can be shown, for example, whether and how the stereo measurement is deteriorating, in order to inform the user that a calibration of the first and/or second image acquisition device is no longer sufficient.
  • the calibration quality is preferably checked continuously and/or automatically during the stereo measurement.
  • the user preferably always receives information as to whether the quality of the measurement is still sufficient or whether the measuring device needs to be recalibrated.
  • a quality index of the calibration can thus preferably be output to the user for each application of the measuring system.
  • This status information is preferably displayed to the user, with an update of the calibration parameters being recommended if necessary.
  • the quality of the calibration is no longer sufficient, and in particular the calibration parameters of the first and/or second image acquisition device deviate significantly from the actual optical properties, for example a measurement function of the measurement system is at least partially restricted or at least temporarily deactivated in order to avoid incorrect measurements.
  • the evaluation device is preferably set up to check the calibration quality continuously, particularly preferably in real time, so that a status of the stereo measurement image can be output to the user preferably continuously and in real time.
  • the calibration parameters can preferably be distortion and/or tilting and/or other optical and/or mechanical properties of the first and/or second image acquisition device.
  • the first and second viewing angles preferably do not change in relation to one another during the operation of the measuring system or the implementation of the measuring method.
  • the first and second image capturing devices are preferably at a predetermined distance from one another, represented in particular by the stereo base, and are each aligned with the scene to be captured or with the measurement object.
  • a change in the first and/or second viewing angle can result in an undesirable manner in that when using the measuring system, one or more settings and/or an alignment of the first and/or second image acquisition device changes compared to a calibrated state, for example due to mechanical and/or thermal external influences.
  • a threshold value is predetermined for each individual detection defect, preferably depending on the type and extent, so that the first and/or second measurement image can be checked by the evaluation device in parallel and/or in succession in time for the presence of a large number of different detection defects.
  • the output of the first and/or the second warning is not limited to a haptic and/or visual and/or acoustic output.
  • the output of the first and/or second warning can consist, for example, in an execution of at least one predetermined control command, by means of which one or more functions of the measuring system can be restricted and/or deactivated at least temporarily.
  • the evaluation device is preferably a camera control unit (CCU).
  • the first and/or the second image capturing device each includes an imaging sensor and/or a camera.
  • the first and the second image capturing device together form a stereo camera.
  • Distal imaging sensors are particularly preferably used in the measurement system as the first and second image acquisition device, since these enable better robustness of the calibration with respect to mechanical and thermal influences.
  • the at least one stereo measurement image is processed by the above-mentioned stereo reconstruction of a respective stereo image pair, for example the stereo image pair defined by the first and the second measurement image, on the basis of optical and/or dimensional parameters of the image acquisition device.
  • the stereo reconstruction preferably includes a calculation, in particular pixel by pixel, of depth information for pixels of the at least one stereo measurement image in order to enable, for example, a dimensional measurement between at least two measurement points selected from a recording scene.
  • the stereo reconstruction preferably includes a correction of distortion effects and/or a transformation in each stereo image pair (rectification).
  • the first and the second measurement image are preferably recorded synchronously in terms of time, i. H. so preferably have an identical time stamp.
  • the calibration parameters of the first and/or second image capturing device or the individual calibration data for each image capturing device due to production are stored in the measuring device, for example in a memory unit.
  • the memory unit is particularly preferably designed to overwrite stored calibration parameters with new calibration parameters, for example after a new calibration.
  • the calibration parameters are preferably transmitted together with the stereo-reconstructed image data of the stereo measurement image from the camera control unit (CCU) to a further documentation system, in order to be analyzed by this, preferably subsequently.
  • CCU camera control unit
  • an accurate calibration can be carried out both intra-operatively and retrospectively for each (stereo) measurement image.
  • the calibration parameters for the first and the second image acquisition device are preferably stored in a form that can be clearly distinguished from one another. In this case, storage on two separate storage units is also possible and possibly advantageous. Storage on a device-internal memory, an external memory and/or on a server can also be advantageous, with data transfer via a network being possible in a particularly preferred manner.
  • the first and the second image acquisition device are each set up to generate a continuous video recording of the measurement object, the first and the second measurement image each defining a synchronously recorded stereo image pair as individual images of a stereo video recording.
  • the evaluation device is set up to continuously check the state of the measurement image and/or the calibration quality during the stereo video recording.
  • the output device is particularly preferably set up to output the measurement image state in the form of the first warning and/or the calibration quality in the form of the second warning, in particular continuously.
  • the output can take place, for example, as a graphic overlay in the graphic representation of the stereo video recording of the scene or of the at least one measurement object.
  • the at least one stereo measurement image is preferably an individual stereo measurement image from a large number of temporally consecutive stereo measurement images, which are each composed of a measurement image pair and which, when lined up, result in a video recording of the at least one measurement object or scene.
  • a time interval between the individual stereo measurement images is preferably determined by a predetermined image acquisition frequency (frame rate).
  • the stereo measurement image can in principle be any individual stereo measurement image of such a video recording and/or video sequence and of course does not have to be restricted to an initially recorded image.
  • the first and second measurement image are each individual images of video recordings made by the first and the second image acquisition device, preferably synchronized in time, of the measurement object.
  • Two measurement images each with the same time stamp preferably define a stereo measurement image pair from which a stereo measurement image can be determined or formed.
  • the stereo reconstruction includes a correction of distortion effects and/or a rectification in the at least first and the at least second measurement image and/or a pixel-by-pixel, in particular algorithmic, evaluation of depth information of the scene and/or the at least one measurement object, in particular in relation to the geometry of the first and/or second image acquisition device.
  • the algorithmic evaluation can preferably be carried out on the basis of a semi-global matching algorithm with the first and second measurement image.
  • Other known methods of stereo reconstruction which are used to determine depth information from a pair of stereo images, are also included here without being explicitly mentioned.
  • the at least one detection defect describes at least partial soiling and/or smearing and/or at least partial fogging of a lens or a distal window of the first image capturing device and/or a lens or a distal window or cover glass of the second image capturing device.
  • a cover glass of this type closes the medical instrument in a vapour-tight manner, for example, so that no moisture can penetrate into the optics during cleaning.
  • the at least one detection defect describes the presence of a smoke gas in the scene and/or overexposure or underexposure of the scene and/or insufficient depth of field of the first image capturing device and/or the second image capturing device for capturing the at least one measurement object in the scene.
  • the at least one detection defect describes an insufficient light and/or color ratio in the scene.
  • the evaluation device is preferably designed to check and/or classify at least the first and second measurement image, preferably a large number of recorded first and second measurement images, independently of one another by using an algorithm with regard to possible contamination, in particular at least one lens or window. As a result of this check, the evaluation device can determine whether at least one lens is contaminated. If one or both lenses or windows are dirty, the first warning appears, for example, in a display menu of the output device, which can be used to limit and/or deactivate at least one measurement function.
  • the evaluation device can also be set up to check the measurement images for the presence of a plurality of detection defects in any combination with one another, preferably simultaneously.
  • training images could be manually sorted and/or classified into the above detection defects.
  • a neural network can preferably be trained on the basis of these training images, so-called multiclass classification.
  • the evaluation device is set up to check the first and/or second measurement image for the presence of the at least one detection defect by averaging the at least one detection defect over at least one predetermined image segment in the first and/or second measurement image.
  • the evaluation device it is preferably possible for the evaluation device to be designed to evaluate the first and/or second measurement image in segments for the presence of a detection defect, in order to enable an exact localization of the detection defect in this way. This gives the user the opportunity to correct the detection defect through a corresponding interaction based on the determined image segment.
  • the user can activate a fluid nozzle, which is consequently set up to direct a jet of compressed air or water at a part of the lens or window that corresponds in the first and/or second measurement image to the image segment in which the detection defect, for example a contamination, was determined.
  • the evaluation device is set up to compare the first and second measurement images with one another at least in segments with regard to the presence of the at least one detection defect. Such a comparison, at least between the first and the second measurement image, is advantageous because it enables a plausibility check on the one hand. On the other hand, this comparison can improve the localization of a detection defect in the scene or thereby indirectly on at least one lens or a window of the first and/or second image detection device.
  • the evaluation device is set up to check the first and/or second measurement image for the presence of the at least one detection defect on the basis of artificial intelligence and/or on the basis of an algorithmic evaluation of image data of the first and/or second measurement image.
  • a computer vision algorithm for example using a Laplace filter
  • the algorithm that is used to evaluate the detection defects can be, for example, an algorithm that evaluates contrast ratios in the first and second measurement images.
  • the algorithm it is possible for the algorithm to include a classifier based on artificial intelligence. All known methods of artificial intelligence, in particular machine learning, assisted learning, etc., can be used here.
  • the evaluation device is set up to check, by evaluating the depth information, the chronologically successive first measurement images and/or the chronologically successive second measurement images of the stereo video recording of the at least one measurement object, whether the first and/or second image acquisition device maintains a predetermined safety distance from the at least one measurement object.
  • a measurement system moving relative to the measurement object in particular a stereo video camera, can be examined.
  • depth information for a measurement point under consideration on the measurement object decreases continuously as the first and/or second image capturing device approaches.
  • the evaluation device can be designed, for example, to recognize whether the first and/or second measurement image and/or image segments contained therein become blurry when approaching. If, for example, a predetermined sharpness limit value is exceeded or not reached, the evaluation device can preferably instruct the output device to issue a warning to the user in the form of the first warning signal.
  • This embodiment is particularly suitable for robotic applications of the measurement system, in which, for example, a movement of at least part of the measurement system relative to the measurement object is guided and controlled by at least one robot.
  • the robot movement of at least part of the measuring system can be stopped at least semi-automatically and/or at least one direction of movement can be changed.
  • a collision with the measurement object can thus be effectively prevented, which is particularly advantageous in medical-surgical applications.
  • the distance between the measurement system and the measurement object is too small, it can make it more difficult to determine the depth map if the measurement images (e.g. the first and second measurement image) cannot be displayed sharply.
  • the evaluation device is set up to check the plausibility of the depth information determined from the first and the second measurement image, preferably pixel by pixel, on the basis of the calibration parameters of the first and/or second image acquisition device. In particular, it is checked whether there is a vertical offset mentioned above between a measurement point in relation to the first measurement image and a measurement point corresponding to this in the second measurement image, and whether this vertical offset, for example, exceeds a predetermined quality limit value, preferably determined in pixels (ptx). If the predetermined quality limit value, which preferably determines the vertical offset, is exceeded, the accuracy of the measurement is no longer sufficient and immediate or immediate recalibration of the measurement system is necessary.
  • the evaluation unit is set up to compare, during the plausibility check, the depth information determined from the first and second measurement image, preferably pixel by pixel, with depth information that is to be expected in an ideally calibrated state of the first and/or the second image capturing device on the basis of the calibration parameters of the first and/or second image capturing device.
  • the calibration quality of the stereo-reconstructed stereo measurement image can preferably be determined on the basis of this plausibility check. If, for example, with regard to a measuring point determined in relation to the measuring object, a vertical offset between its image point-based representation found in the first and the second measurement image, it can be concluded that the calibration quality has decreased with respect to an initial calibration. If such an offset exceeds the predetermined quality limit value or threshold value, the second warning is transmitted to the output device.
  • the evaluation device is set up to include the determined calibration quality in a display of at least one measurement result that is to be displayed in relation to the at least one measurement object. It is thus possible to correct a measurement error that occurs due to insufficient calibration quality, at least in the representation of a measurement result associated with it. Such a correction can take place, for example, until the predetermined quality limit value is exceeded.
  • a vertical pixel offset between a measurement point in the first measurement image and a corresponding pixel in the second measurement image which is caused by insufficient calibration quality, can be corrected, at least with regard to a display to a user.
  • the output of the first and/or second warning at least includes that at least one predetermined operating function of the measuring system is at least temporarily deactivated; and/or that there is an indication that at least one predetermined operating function of the measuring system is at least temporarily deactivated; and/or that there is an indication of what type of detection defect is present in which image segment of the first and/or second measurement image; and/or that an indication is given as to how a user can remedy the detected detection defect; and/or that there is an indication of the extent to which the calibration quality of the first and/or second measurement image deviates from an ideal state; and/or that there is an indication that the first and/or second image capturing device needs to be calibrated.
  • first and/or the second warning notice is merely of an exemplary nature and are not to be understood as limiting.
  • the first and/or the second warning can also be issued in any other form without departing from the scope of the present invention.
  • the first and/or the second warning is preferably output to a user continuously, particularly preferably in real time.
  • the output device is designed to output the first and/or second warning in optical and/or acoustic and/or haptic form.
  • a different type of output for example as a control command that controls one or more functions of the measuring system, is also possible.
  • the measuring device is included in a stereo endoscope and/or in a stereo exoscope and/or in a stereo microscope and/or in a laryngoscope.
  • the measuring device is preferably designed as a stereo endoscope and/or as a stereo exoscope and/or as a stereo microscope and/or as a laryngoscope.
  • the output device includes a screen and/or glasses or 3D glasses or augmented reality glasses.
  • FIG. 1 shows a schematic view of an exemplary embodiment of a measuring device according to the invention
  • FIG. 2 shows a first flow chart for representing an exemplary calibration process of a measuring system
  • FIG. 3 shows a second flow chart for representing an exemplary calibration process of a measuring system
  • FIG. 4 shows an exemplary, pictorial representation of measurement points on a measurement object with a good calibration quality
  • FIG. 5 shows an exemplary, pictorial representation of measurement points on a measurement object with a poor calibration quality
  • FIG. 6 shows a schematic representation of a checkerboard pattern used for calibrating the measuring system
  • FIG. 10 a pictorial comparison of a fault-free measurement image and a measurement image affected by a third detection defect.
  • the measurement system 100 has an image acquisition device 104 with an evaluation device or a camera control unit (CCU) 106 .
  • Image capture device 104 also includes a first image capture device 108 and a second image capture device 110.
  • Image capture device 104 preferably includes a memory, not shown in detail, which is set up at least to store the calibration parameters or calibration data of the first and/or second image capture device 108, 110. It goes without saying that such a memory can also be arranged outside of the image acquisition device 104 .
  • the first image capturing device 108 has a predetermined distance from the second image capturing device 110 which defines a stereo base of the stereo endoscope 102 .
  • the first and the second image capturing device 108, 110 are preferably each a camera.
  • the evaluation device 106 is preferably set up to receive image data from the first and the second image acquisition device 108, 110 in the form of measurement images, here for example in the form of at least one first measurement image 109 and at least one second measurement image 111.
  • the evaluation device 106 particularly preferably has at least one processor for image processing, not shown in detail. It goes without saying that the evaluation device 106 can preferably be arranged outside of the image acquisition device 104 in other embodiments.
  • the evaluation device 106 is preferably designed as a so-called camera control unit (CCU).
  • a pre-processing of the acquired measurement images 109, 111 can preferably take place in the image acquisition device 108, 110.
  • a lens assembly 114 is positioned in front of the first and the second image capturing device 108 , 110 .
  • the lens assembly 114 includes, for example, a cover glass, such as a lens, and optical units 116,118 with apertures associated with the image capture devices 108,110.
  • the optical units 116, 118 define the respective field of view of the image acquisition units 108, 110.
  • Each of the two image acquisition units 108, 110 is assigned to an observation channel 120, 122.
  • the observation channels 120, 122 are each designed to transmit the measurement images 109, 111 to the evaluation device 106 in the form of signal-type image information.
  • a signal converter 124, 126 is assigned to each of the image acquisition devices 108, 110 in order to provide the image information.
  • the signal converters 124, 126 are each set up to convert the optically recorded measurement images 109, 111 into image information.
  • the signal converters 124, 126 are photochips.
  • the first image capturing device 108 is set up to capture at least the first measurement image 109 of a measurement object 112 in a scene.
  • the measurement object 112 is shown here as a letter P by way of example. However, the measurement object 112 is normally preferably a human or animal organ or another part of a human or animal body or a component.
  • the first image capturing device 108 captures the at least first measurement image 109 of the measurement object 112, preferably from a first viewing angle.
  • the second image acquisition device 110 is set up to acquire at least the second measurement image 111 of the measurement object 112 .
  • 108, 110 are each set up to capture the first and the second measurement image 109, 111, preferably synchronized in time. A first and second measurement image captured in this way
  • the evaluation device 106 is designed to determine stereo measurement image information from the stereo image pair or from the signal-based image information of the first and second measurement image 109, 111 using known methods of stereo reconstruction.
  • stereo measurement image information depth information is available for each recorded pixel of the measurement object 112, which depth information can be used, for example, to calculate a distance between two measurement points on the measurement object 112 in Euclidean space.
  • the stereo measurement image information can preferably be transmitted via a first and/or a second output channel 128, 130 to an output device 132, through which the stereo measurement image information is provided to a user as a stereo measurement image and preferably displayed graphically.
  • the output device 132 may, for example be a display.
  • the measurement object 112 is imaged in the form of an observation object 136 on the output device 132 .
  • a user can preferably move a cursor 138 relative to the observation object 136 or to the virtualized measurement object 112 in order to determine a measurement point in relation to the measurement object, for example.
  • the measurement system 100 is set up to basically capture a large number of measurement images of the measurement object 112 and thus to capture or provide a large number of stereo measurement images for each stereo measurement image pair. It is particularly preferably possible with the measurement system 100 to record a (live) video of the measurement object 112, which is composed of a large number of pairs of individual images which are captured one after the other at a predefined time interval, determined by the frame rate, measured in frames per second (fps).
  • FIG. 2 and 3 show exemplary flow charts or workflows of a calibration method, which is explained in more detail below.
  • calibration images of a checkerboard pattern 140 shown as an example in FIG. 6 with three points for detecting a respective (field) center are recorded for calibration (see top left in the flowchart).
  • Checkerboard corners are then identified on these calibration images and used for further calculation of the calibration parameters.
  • the calibration parameters typically include distortion correction parameters for both image capturing devices or cameras, focal lengths and a center point of an optical axis of the respective image capturing device 108, 110.
  • a rotation matrix and a translation vector of the two image capturing devices 108, 110 relative to one another are determined. For this it is advantageous to know the size of a chessboard square (in advance).
  • a plurality of calibration images are recorded from different viewing angles by the first and the second image capturing device 108, 110.
  • the calibration preferably takes place separately for the first and the second image acquisition device 108 , 110 .
  • it is advantageous that calibration images are recorded from "oblique" viewing angles.
  • Chessboard 140 may preferably exist in real life or, alternatively, be displayed on a screen.
  • the calibration parameters are preferably used to transform the calibration images recorded by the first and second image acquisition devices 108, 110 (often referred to as right and left cameras).
  • the calibration images are transformed as if they had been recorded by a parallel camera system (so-called rectification).
  • this is implemented by the so-called semi-global matching (SGM) algorithm, with the help of which a matching pixel in a measurement image captured by the second image capture device 110 is searched for a given pixel in a measurement image captured by the first image capture device 108.
  • the algorithm preferably only searches along the same horizontal line, since this is predetermined by the epipolar geometry.
  • the calibration no longer correctly describes the properties of the first and/or the second image capturing device 108, 110 and during the process of equalization and rectification, identical objects are imaged on different horizontal lines, making correct depth determination using the SGM algorithm more difficult and/or impossible.
  • FIG. 6 for example, calibration images of a 3D chessboard image were recorded, corrected and rectified.
  • the vertical offset is given in pixels. The average vertical offset is 0.4 pixels, for example, so the calibration can be assumed to be very good.
  • evaluation device 106 is designed to check a measurement image state of the at least first measurement image 109 and/or the at least second measurement image 111 for the presence of at least one acquisition defect and to check the calibration quality of the stereo measurement image on the basis of calibration parameters of the first and/or second image acquisition device 108, 110.
  • the quality of the rectification is evaluated in particular, which, as described above, has a major influence on the correctness of the depth maps determined by the stereo reconstruction.
  • a search is made in the associated first measurement image 109 for points 142 (see FIGS. 4 and 5) that are as easy as possible to track optically (i.e. are located, for example, at a high-contrast point in the first measurement image 109).
  • the open-source library openCV cv2.goodFeaturesToTrack offers a possibility of mathematical-optical tracking.
  • These points 142 are searched for as homogeneously as possible over the first measurement image 109 or within the entire scene. Using an opticalFlow algorithm, e.g. openCV cv2. calcOpticalFlowPyrLK, these points 142 are transferred to the second measurement image 111. The vertical offset can be calculated from these pairs of points using mathematical methods.
  • opticalFlow algorithm e.g. openCV cv2.
  • this offset is zero, as described above. Due to errors in the optical flow calculation, it can be advisable to use calculated offset values of e.g. B. ⁇ 10 pixels (px) should not yet be regarded as quality-critical. It can also be advantageous to calculate a mean offset error over a number of vertical offset values and to average this calculated offset error over time, preferably over a number of successive first and second measurement images.
  • a quality limit value can be specified on the user and/or software side, at which an acceptable calibration can still be assumed. If the calculated and possibly time-averaged mean offset error is 5 pixels and higher, for example, this can indicate the quality limit value from which the user is given a second warning on output device 132, for example, that a new calibration is necessary. In the course of this, some functions of the measuring system 100 can also be deactivated at least temporarily.
  • 4 shows the first and the second measurement image 109, 111, recorded by the first image capturing device 108 and by the second image capturing device 110, side by side. Both measurement images 109, 111 show the measurement object 112, in this case a human organ, in front of a light background. The background together with the measurement object 112 defines the scene.
  • the first measurement image 109 is shown on the left-hand side.
  • the second measurement image 111 is shown on the right-hand side.
  • a large number of points 142 were selected in the first measurement image 109 and are used to calculate the vertical offset or the calibration quality.
  • These points 142 are transferred to the second measurement image using optical flow methods, ie corresponding pixels 144 are searched for in the second measurement image 111 for the points 142 in the first measurement image 109 .
  • the calibration quality is an average vertical offset between the points 142 and the corresponding pixels 144 (without taking into account statistical outliers) of 0.9 pixels, so that the calibration quality of these two measurement images 109, 111 and thus the stereo measurement image reconstructed from them is very good.
  • FIG. 5 shows a comparison of the first and second measurement image 109, 111.
  • an incorrect calibration was used intentionally, in this case a calibration of a different image acquisition device.
  • the average vertical offset increases significantly and is 5.4 pixels on average, so that the user can be warned of the poor calibration by means of the second warning signal.
  • the predetermined quality limit is exceeded.
  • the evaluation device 106 is designed to check a measurement image state of the at least first measurement image 109 and/or the at least second measurement image 111 for the presence of at least one detection defect.
  • Various examples of such detection defects which can occur during intended use of the measuring system, are illustrated in FIGS. 7 to 10.
  • a comparison of the first and the second measurement image 109, 110 is always shown.
  • a superimposed depth map is always shown in the figures, which was determined from the first and the second measurement image 109, 110 in the form of the stereo measurement image via stereo reconstruction.
  • the second measurement image (lower image) is blurred due to soiling of the lens of the second image acquisition device 110 .
  • no accurate depth map can be determined from the resulting stereo image pair. This is preferably given to the user by the first warning.
  • the invention Parallel to the stereo reconstruction to determine the depth map and/or the stereo measurement image, which is used to measure between different measurement points, the invention checks whether one or both lenses of the first or second image capturing device 108, 110 are contaminated and the quality of the depth map is thereby decreasing beyond a level that can be specified by a threshold value.
  • both measurement images 109, 111 are classified independently of one another by the evaluation device 106 with the aid of an algorithm, for example with regard to dirty lenses.
  • This algorithm can either be a K1-based classifier or a classic algorithm that recognizes the contrast ratios in the respective measurement image 109, 111, for example. If one (or both) lenses is dirty, the first warning appears in the menu, preferably in a graphic overlay, which may also deactivate individual measuring functions of the measuring system. Analogously to this, it is also possible for the first and/or second measurement image 109, 111 to be checked for smoke in the measurement image and/or for fogging of the image acquisition device(s) 108, 110.
  • the first and second measurement image 109, 111 can be checked for dark or light image regions, preferably in real time. This can be implemented by simple limit value formation. Regions that were recognized as too dark or too light either cannot be selected for the selection of points or measurement points 142 . Alternatively or additionally, the first warning can be issued that at least one region in the first and/or second measurement image 109, 111 is overexposed and/or underexposed.
  • FIG. 10 shows a comparison of the first and second measurement images 109, 111, in which an incorrect depth map was determined due to unsharpness resulting from an insufficient distance between the image acquisition devices 108, 110 and the measurement object 112.
  • the blur is shown schematically as a dot pattern.
  • a surface structure of a fabric material cannot be resolved due to the lack of focus shown here.
  • Parallel to the stereo reconstruction it can be checked whether the two measurement images 109, 111 are blurred. Blurring occurs primarily when the image capture devices 108, 110 are positioned outside of the focus area or when the image capture devices 108, 110 are moved too quickly.
  • the sharpness of a measurement image can be examined using classic computer vision algorithms (e.g. Laplace filter).
  • the user can preferably be shown the first warning that the measurement is inaccurate because the stereo camera was positioned incorrectly and/or is too close to the measurement object 112 .
  • a mean value and an associated error are calculated from the chronological sequence of measurement distances and displayed to the user.
  • the indication that measured values are inaccurate can be supported by the detection algorithms according to the invention in that the cause of the measurement inaccuracy, i. H. the type of detection defect, is displayed. Accordingly, it is advantageous to link the display of the cause of a detection defect to a predetermined threshold value being exceeded.
  • an exposure control of the measuring system and/or a white balance is also advantageous for an exposure control of the measuring system and/or a white balance to be checked, possibly together with an adjustment of an exposure control.
  • stereo endoscopes generate two measurement images or measurement image series that are not necessarily recorded under the same exposure settings and/or white balance conditions.
  • different images can lead to errors in the depth map.
  • parallel to the stereo reconstruction checks whether a brightness and/or color in the first and the second measurement image 109, 111 is similar to one another.
  • a mean value per color channel can be determined over both measurement images 109, 111 and compared in each case. This can preferably also be done in segments and/or sections. If the mean values formed in this way differ by more than a predetermined threshold value, the recording conditions are probably different and the first warning can be used to indicate to the user that a white balance is necessary.
  • the color values and exposure control can be coordinated with each other again.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

Die Erfindung betrifft ein Messsystem (100) zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, umfassend: eine erste Bilderfassungseinrichtung (108), die dazu eingerichtet ist, zumindest ein erstes Messbild (109) von einem Messobjekt (112) in einer Szene aus einem ersten Blickwinkel zu erfassen; eine von der ersten Bilderfassungseinrichtung (108) beabstandete zweite Bilderfassungseinrichtung (110), die dazu eingerichtet ist, zumindest ein zweites Messbild (111) von dem Messobjekt (112) in der Szene aus einem zweiten Blickwinkel, der sich von dem ersten Blickwinkel unterscheidet, zu erfassen; eine Ausgabeeinrichtung (132); und eine Auswerteeinrichtung (106), die dazu ausgebildet ist, durch Stereorekonstruktion aus dem zumindest ersten Messbild (109) und dem zumindest zweiten Messbild (111) ein Stereomessbild zu erzeugen, in dem zu einzelnen Bildpunkten des Stereomessbildes Tiefeninformationen umfasst sind; wobei die Auswerteeinrichtung (106) dazu ausgebildet ist, einen Messbildzustand des zumindest ersten Messbildes (109) und/oder des zumindest zweiten Messbildes (111) auf ein Vorliegen zumindest eines Erfassungsdefektes zu überprüfen; und/oder die Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern der ersten und/oder zweiten Bilderfassungseinrichtung (108, 110) zu überprüfen; und, wenn der zumindest eine Erfassungsdefekt einen vorbestimmten Schwellwert über- oder unterschreitet, einen ersten Warnhinweis an die Ausgabevorrichtung (132) zu übermitteln, und/oder wenn die Kalibrierqualität einen vorbestimmten Qualitätsgrenzwert über- oder unterschreitet, einen zweiten Warnhinweis an die Ausgabevorrichtung (132) zu übermitteln, wobei die Ausgabevorrichtung (132) dazu eingerichtet ist, den ersten und/oder zweiten Warnhinweis auszugeben.

Description

Messvorrichtung und Messverfahren zum Überprüfen eines Messbildzustandes
Die vorliegende Erfindung betrifft ein Messsystem und ein Messverfahren zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, insbesondere eines endoskopischen und/oder exoskopischen und/oder mikroskopischen und/oder laryngo- skopischen Stereomessbildes, gemäß dem jeweiligen Oberbegriff der unabhängigen Ansprüche 1 und 15.
Optische Visualisierungssysteme, wie Mikroskope, Exoskope und Endoskope ermöglichen eine Darstellung einer Szene und/oder eines Arbeitsbereiches, in der bzw. dem feinmotorische Arbeiten und/oder visuelle Überprüfungen durchgeführt werden. Bei medizinischen Eingriffen ist der Arbeitsbereich beispielsweise ein Operationsfeld in einem inneren Bereich, beispiels- weis innerhalb eines Thorax oder eines Kopfes, des menschlichen Körpers.
Die Exoskopie beschreibt ein Beobachten und ggf. Beleuchten eines Operationsfeldes an einem Patienten und/oder eines Objektfeldes an einem beliebigen Objekt ausgehend von einer Stelle abseits, d. h. außerhalb, eines Körpers des Patienten bzw. abseits des Objektes.
Die Endoskopie beschreibt eine bildgebende Technik, bei der ein Endoskop in einen Hohlraum eingeführt wird. Das Fachpersonal, welches einen solchen Eingriff mit einem Endoskop durchführt, betrachtet das vom Endoskop erfasste Bild auf dem Bildschirm und kann auf Basis dieses Bildes seine Handlungen lenken. Bei medizinischen, beispielsweise minimal-invasiven Eingriffen wird ein Endoskop in den Körper eingeführt, um ein inneres Bild des Körpers zu erfassen und auf dem Bildschirm darzustellen. Aufgrund einer oftmals benötigten, präzisen Arbeitsweise des Fachpersonals ist es wünschenswert, dass ein möglichst genaues, hoch aufgelöstes Bild des Hohlraums und/oder des Arbeitsbereiches vermittelt wird, an dem die Überprüfung und/oder die Operation durchzuführen ist.
Die durch das Endoskop erfassten und auf einem Anzeigegerät dargestellten Bilder sind in der Regel zweidimensional, so dass es selbst dem Fachpersonal aufgrund des Fehlens von Tiefeninformationen nicht möglich ist, Dimensionen und/oder Abmessungen eines betrachteten Objektes in der abgebildeten Szene exakt zu bestimmen.
Um diese Problematik zu lösen und/oder auch Tiefenmessungen in einem Messbild zu ermöglichen, sind jedoch auch dreidimensional arbeitende Stereoendoskope und/oder Ste- reoexoskope und/oder Mikroskope bekannt, bei denen eine Szene aus zwei verschiedenen Blickwinkeln durch zwei Bilderfassungseinheiten aufgenommen wird. Durch die beiden Bilderfassungseinheiten wird, vorzugsweise pro Zeiteinheit und Blickwinkel synchronisiert, je ein Bild von der zu betrachteten Szene aufgenommen.
Hieraus resultieren jeweils sogenannte Stereomessbildpaare mit einem gemeinsamen Zeitstempel. Aus einem solchen Stereomessbildpaar können über Verfahren der Stereorekonstruktion Tiefeninformationen ausgewertet werden. Mit anderen Worten beschreibt die Stereorekonstruktion das Ermitteln von Tiefeninformationen für alle oder viele Punkte in einer erfassten Szene, durch die man im Ergebnis eine Tiefenkarte der Szene erhält. Bei bekannter Brennweite und Stereobasis (d. h. dem Abstand zwischen einer ersten und einer zweiten Bilderfassungseinrichtung) kann aus einem Pixelversatz zwischen einem jeweiligen Pixel in dem von der ersten Bilderfassungseinrichtung aufgenommenen Messbild und einem zu diesem korrespondierenden Pixel in einem von der zweiten Bilderfassungseinrichtung aufgenommenen Messbild zueinander auf eine Entfernung dieses Pixels bzw. Bildpunktes von der Messvorrichtung geschlossen werden. Der Versatz wird als Disparität bezeichnet. Objekte in großer Entfernung weisen bei einer Stereoerfassung eine geringe Disparität, d.h. einen geringen Pixelversatz, innerhalb eines jeweiligen Bildpaares auf. Hingegen weisen Objekte im Vordergrund eine große Disparität auf. Das heißt, dass aus der Disparität mit Kenntnis von optischen Parametern der Bilderfassungseinrichtung(en) eine Art Tiefenkarte zu dem stereorekonstruierten Stereomessbild berechnet werden, die beispielsweise pixelweise eine Tiefeninformation des zu betrachtenden Objektes umfasst. Mithilfe der Tiefeninformationen ist es beispielsweise möglich, einen Abstand zwischen zwei beliebigen Bildpunkten im euklidischen Raum zu bestimmen. Die Stereorekonstruktion erfolgt im Stand der Technik auf Basis bekannter mathematischer Stereorekonstruktionsalgorithmen, beispielsweise durch sogenannte Semi- Global-Matching-Algorithmen (verfügbar unter: Hirschmüller, Heiko (2005), "Accurate and efficient stereo processing by semi-global matching and mutual information". IEEE Conference on Computer Vision and Pattern Recognition, pp. 807-814).
Um einen derartigen Stereorekonstruktionsalgorithmus anwenden zu können, ist es notwendig, eine Stereomessvorrichtung, insbesondere eine 3D-Kamera, vorab zu kalibrieren. Durch die Kalibrierung werden beispielsweise Verzeichnungen in einem Messbild korrigiert, die ansonsten die zu ermittelten Disparitätswerte verfälschen würden. Andererseits ist es notwendig, eine Relativlage und/oder Relativposition (bzw. einen translatorischen und/oder rotatorischen Versatz) zwischen den beiden Bilderfassungseinrichtungen zueinander möglichst genau zu ermitteln. Zur Bestimmung dieser Kalibrierparameter werden vorzugsweise Kalibriermessbilder von einem Schachbrettmuster mit einer genau bekannten Schachfeldgröße aufgezeichnet. Eine Berechnung der Kalibrierparameter kann beispielsweise unter Verwendung der open- source-Bibliothek openCV erfolgen, die unter folgendem Link verfügbar ist: https://docs.o- pencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html.
Während des Gebrauchs einer Stereomessvorrichtung soll eine Kalibrierung aufgrund eines dafür notwendigen Zeitaufwands so selten wie möglich erfolgen. Da bei der Aufnahme der Kalibriermessbilder zudem eine Vielzahl von Einstellungen und Vorgehensweisen zu beachten ist, beispielsweise, dass stets das gesamte Schachbrett in dem erfassten Kalibriermessbild umfasst sein muss und/oder dass die Aufnahme des Schachbrettes aus unterschiedlichen, genau definierten Winkeln erfolgen muss, und/oder dass keine Lichtreflexionen in dem erfassten Kalibriermessbild vorhanden sein dürfen, etc., ist es wünschenswert, dass die Kalibrierung nur von Fachpersonal durchgeführt wird.
Zudem können bereits minimale bauliche Unterschiede zwischen baureihengleichen Messvorrichtungen zu einer schlechteren Tiefeneinschätzungen und somit zu einer Verminderung der Messqualität führen. Dies erfordert, dass die Kalibrierung für jede Messvorrichtung individuell durchgeführt werden muss. Ebenfalls ist es je nach Aufnahmesituation ggf. erforderlich, dass verschiedene Bilderfassungseinrichtungen verwendet werden müssen, die von dem Anwender ggf. auszuwechseln sind. Hierbei ist es jedoch nicht akzeptabel, dass ein Anwender nach einem derartigen Wechsel eine erneute Kalibrierung vornimmt, da hierzu ein hohes Maß an Zeit und Expertenwissen notwendig ist. Zudem kann es auch ohne Auswechslung, beispielsweise aufgrund einer mechanischen Einwirkung auf die Bilderfassungseinrichtung(en) dazu kommen, dass die Kalibrierung nach einiger Zeit nicht mehr mit den tatsächlichen optischen Eigenschaften der Bilderfassungseinrichtung(en) übereinstimmt. Dies führt zu einer aufkommenden Ungenauigkeit bei der stereorekonstruktionsbasierten Ermittlung von Tiefeninformationen.
Aus dem Stand der Technik sind bereits Lösungsansätze bekannt, durch die die vorstehend genannten Nachteile zumindest teilweise überwunden werden sollen.
Beispielsweise offenbaren die US 2020/0242806 A1 sowie die WO 2020/041717 A1 ein Speichern von Kalibrierparametern in einer Messvorrichtung, beispielsweise in einem Kameragehäuse. Dabei werden aktuelle Kalibrierdaten bzw. Kalibrierparameter (z. B. eine Farbe und/oder eine optische Verzerrung bzw. Verzeichnung einer stereoendoskopischen Bildausrichtung sowie Eigenschaften eines verwendeten Bildsensors) der Messvorrichtung erfasst und gespeichert. Durch die Speicherung wird die vorrichtungsspezifische Verfügbarkeit dieser Parameter ermöglicht, so dass diese bei jeder stereorekonstruierenden Auswertung miteinbezogen werden können. Auch aus der EP 3 656 334 A1 ist ein Stereoendoskop bekannt, bei dem Daten betreffend eine Lagebeziehung zwischen einem Navigationstracker und einem oder mehreren Bildsensoren in dem Stereoendoskop gespeichert werden, um diese bei der späteren Messung zu verwenden.
Weitere beispielhafte Lösungsansätze sind in der US 7,048,685 B2, der DE 1020161772 A1 , der JP 2007/167630 A sowie der US 10,523,911 B2 beschrieben.
Die US 2022/0400938 A1 offenbart ein medizinisches Beobachtungssystem mit einer Mehrzahl von Sensoren zur Messung von Eigenschaften eines Körperinnenraums. Eine mögliche Beeinträchtigung eines der Sensoren soll erkannt und es soll bestimmt werden, welcher der Sensoren für die Messung verwendet wird.
Obgleich der Stand der Technik bereits einige Lösungsansätze bereitstellt, erscheint es notwendig, den Anwender insbesondere während des Gebrauchs der Messvorrichtung genauer über einen Status der Messvorrichtung zu informieren, um derart Messungenauigkeiten und/oder Messfehler zu minimieren.
Zudem können Messfehler nicht nur durch eine fehlerhafte und/oder ungenaue Kalibrierung der Messvorrichtung, sondern darüber hinaus auch aufgrund einer Vielzahl weiterer äußerer Störgrößen, wie zum Beispiel eine Verschmutzung und/oder einer Eintrübung einer Linse etc., erfolgen. Ein Verfügbarmachen von Informationen über derartige Störgrößen im Bereich der Messvorrichtungen erscheint für den Anwender wünschenswert, wird jedoch im Stand der Technik bislang nur in unzureichendem Maße verwirklicht.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, die aus dem Stand der Technik bekannten Nachteile zu verbessern und insbesondere eine Messvorrichtung und ein Messverfahren vorzuschlagen, welche eine optimierte Statusrückmeldung der Vorrichtung an einen Anwender ermöglicht.
Die Aufgabe wird durch ein Messsystem mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Ferner wird die Aufgabe durch ein Messverfahren mit den Merkmalen des unabhängigen Anspruchs 15 gelöst.
Erfindungsgemäß wird gemäß einem ersten Aspekt ein Messsystem zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, insbesondere ei- nes endoskopischen und/oder exoskopischen und/oder mikroskopischen und/oder laryngosko- pischen Stereomessbildes, bereitgestellt. Das erfindungsgemäße Messsystem umfasst eine erste Bilderfassungseinrichtung, die dazu eingerichtet ist, zumindest ein erstes Messbild von einem Messobjekt in einer Szene aus einem ersten Blickwinkel zu erfassen. Ferner umfasst die Messvorrichtung eine von der ersten Bilderfassungseinrichtung beabstandete zweite Bilderfassungseinrichtung, die dazu eingerichtet ist, zumindest ein zweites Messbild von dem Messobjekt in der Szene aus einem zweiten Blickwinkel, der sich von dem ersten Blickwinkel unterscheidet, zu erfassen. Auch umfasst die Messvorrichtung eine Ausgabeeinrichtung und eine Auswerteeinrichtung. Die Auswerteeinrichtung ist dazu ausgebildet, durch Stereorekonstruktion aus dem zumindest ersten Messbild und dem zumindest zweiten Messbild ein Stereomessbild zu erzeugen, in dem zu einzelnen Bildpunkten, vorzugsweise sämtlichen Bildpunkten, des Stereomessbildes Tiefeninformationen umfasst sind. Unter den Tiefeninformationen zu jedem Bildpunkt bzw. Pixel ist vorzugsweise ein Abstand eines durch diesen Bildpunkt in dem ersten und/oder zweiten Messbild repräsentierten Realpunkt des Messobjektes und/oder der Szene von der ersten und/oder zweite Bilderfassungsvorrichtung zu verstehen. Der Abstand kann vorzugsweise durch eine Länge eines Lotes von der Stereobasis zu dem jeweiligen Realpunkt definiert sein.
Die erfindungsgemäße Messvorrichtung ist dadurch gekennzeichnet, dass die Auswerteeinheit dazu ausgebildet ist, einen Messbildzustand des zumindest ersten Messbildes und/oder des zumindest zweiten Messbildes auf ein Vorliegen zumindest eines Erfassungsdefektes zu überprüfen; und/oder die Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern, insbesondere auf Basis zumindest eines Kalibrierparameters, der ersten und/oder zweiten Bilderfassungseinrichtung zu überprüfen; und, wenn der zumindest eine, insbesondere messgenauigkeitsmindernde, Erfassungsdefekt einen vorbestimmten Schwellwert über- oder unterschreitet, einen ersten Warnhinweis an die Ausgabevorrichtung zu übermitteln, und/oder wenn die Kalibrierqualität einen vorbestimmten Qualitätsgrenzwert über- oder unterschreitet, einen zweiten Warnhinweis an die Ausgabevorrichtung zu übermitteln, wobei die Ausgabevorrichtung dazu eingerichtet ist, den ersten und/oder zweiten Warnhinweis auszugeben.
Gemäß einem zweiten Aspekt der Erfindung wird ein Messverfahren zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, insbesondere eines endoskopischen und/oder exoskopischen und/oder mikroskopischen und/oder laryngosko- pischen Stereomessbildes, bereitgestellt. Das erfindungsgemäße Verfahren umfasst zumindest die nachfolgend aufgeführten Schritte: Erfassen zumindest eines ersten Messbildes von einem Messobjekt in einer Szene aus einem ersten Blickwinkel; Erfassen zumindest eines zweiten Messbildes von dem Messobjekt in der Szene aus einem zweiten Blickwinkel , der sich von dem ersten Blickwinkel unterscheidet; und Erzeugen eines Stereomessbildes aus dem zumindest ersten Messbild und dem zumindest zweiten Messbild durch Stereorekonstruktion, wobei in dem Stereomessbild zu einzelnen Bildpunkten des Stereomessbildes Tiefeninformationen umfasst sind. Das erfindungsgemäße Verfahren ist gekennzeichnet durch die Schritte: Überprüfen eines Messbildzustandes des zumindest ersten Messbildes und/oder des zumindest zweiten Messbildes auf ein Vorliegen zumindest eines, insbesondere messgenauigkeitsmindernden, Erfassungsdefektes; und/oder Überprüfen der Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern, insbesondere auf Basis zumindest eines Kalibrierparameters; und, wenn der zumindest eine Erfassungsdefekt einen vorbestimmten Schwellwert über- oder unterschreitet, Anzeigen eines ersten Warnhinweises, und/oder wenn die Kalibrierqualität einen vorbestimmten Qualitätsgrenzwert unterschreitet, Anzeigen eines zweiten Warnhinweises.
Erfindungsgemäß wird also ein Zustand bzw. eine Anzeigequalität des ersten und/oder zweiten erfassten Messbildes vorzugsweise fortlaufend darauf überprüft, ob in dem zumindest ersten und/oder zweiten Messbild ein Erfassungsdefekt vorhanden ist, durch den die insbesondere zweidimensionale oder dreidimensionale Erfassung des Messobjektes durch das Messsystem beeinträchtigt wird. Ein derartiger Erfassungsdefekt kann ggf. von einem Anwender in visueller Hinsicht nicht hinreichend genau erkannt werden, da sich der Anwender grundsätzlich an einem sehr eingeschränkten Sichtfeld innerhalb der Szene orientiert, in welchem er den Arbeitsvorgang, beispielsweise während einer Operation am menschlichen oder tierischen Körper, plant und/oder beobachtet und/oder steuert. So kann der Anwender beispielsweise Erfassungsdefekte in Randbereichen des ersten und/oder zweiten Messbildes nicht hinreichend genau und ggf. schnell wahrnehmen. Dies wird erfindungsgemäß verbessert, indem dem Anwender vorzugsweise fortlaufend zumindest der erste Warnhinweis über das Vorliegen bzw. Vorhandenseins und/oder Anbahnens eines Erfassungsdefektes angezeigt wird. Die erfindungsgemäße Lösung ist insbesondere dann von Relevanz, wenn der Anwender in einem 2D-Mo- dus arbeitet und beispielsweise eine Linse der ersten und/oder zweiten Bilderfassungsvorrichtung eine Verunreinigung aufweist, die er selbst nicht mit bloßem Auge erkennen kann. In technischer Hinsicht kann durch die Berücksichtigung des Erfassungsdefektes und/oder der Kalibrierqualität bei der Berechnung von Messwerten eine Genauigkeit bei der dreidimensionalen Stereoaufnahme und/oder Stereodarstellung des Messobjektes verbessert werden. Ebenfalls werden derart Messfehler in Bezug auf das Messobjekt vermieden. Es ist auch möglich, dass der erste Warnhinweis eine Aktion umfasst, durch die beispielsweise bei Unterschreitung des vorbestimmten Schwellwertes eine oder mehrere Funktionen des Messsystems eingeschränkt und/oder deaktiviert werden. Die Wahl des Schwellwertes hängt inhärent mit dem be- trachteten Erfassungsdefekt zusammen. Handelt es sich bei dem Erfassungsdefekt beispielsweise um eine Verschmutzung, kann der Schwellwert beispielsweise angeben, welche Anzahl von Bildpunkten durch die Verschmutzung noch verdeckt sein können, ohne die Erfassungsund Messqualität bzw. den Messbildzustand in unangemessener weise zu beeinträchtigen. Der Schwellwert kann auch auf Basis von Färb- und/oder Helligkeitswerten, einem Kontrast, einer Unschärfe oder ähnlichen optischen Faktoren vorbestimmt sein.
Alternativ oder ergänzend kann erfindungsgemäß zudem eine Qualität einer Übereinstimmung und somit auch eine Qualität der Stereomessung zwischen dem zumindest ersten Messbild und dem zumindest zweiten Messbild durch die Einbeziehung der Kalibrierparameter ermittelt werden. Dadurch ist es besonders bevorzugt möglich, die Messung fortlaufend zu überprüfen, um derart Messabweichungen möglichst frühzeitig festzustellen. Eine mangelhafte Kalibrierqualität, vorbestimmt durch den Qualitätsgrenzwert, kann sich in einer Abweichung bemerkbar machen, beispielsweise weil die Kalibrierungsdaten nicht mehr mit einer aktuellen Messsituation übereinstimmen, die als ein vertikaler Versatz bei der Ermittlung der Übereinstimmung zwischen einem vorbestimmten Messpunkt in dem ersten Messbild und einem hierzu korrespondierenden Bildpunkt in dem zweiten Messbild auftritt. In einem ideal kalibrierten Zustand wäre es hingegen vorteilhaft, dass ein vorbestimmter Messpunkt in dem ersten Messbild und ein hierzu korrespondierender Bildpunkt in dem zweiten Messbild lediglich aufgrund des zwischen der ersten und der zweiten Bilderfassungseinrichtungen bestehenden Abstandes bzw. der Stereobasis in horizontaler Richtung zueinander versetzt ist. Die ebenfalls mögliche vertikale Abweichung kann beispielsweise dadurch resultieren, dass zumindest eine der ersten und der zweiten Bilderfassungseinrichtung eine mechanische Beeinflussung erfahren hat. Als Resultat erhält der Anwender eine fehlerbehaftete Auswertung der Tiefeninformationen zu zumindest einem Teil der Bildpunkte in dem stereorekonstruierten Stereomessbild. Erfindungsgemäß wird zur Kompensation eines derartigen Fehlers bei der Ermittlung der, insbesondere pixelweise ermittelten, Tiefeninformationen vorzugsweise die bei der Messung bzw. Erfassung des Messobjektes erzielte Kalibrierqualität ermittelt und vorzugsweise einem Anwender ausgegeben. Bei der Ermittlung der Kalibrierqualität werden vorzugsweise durch die Auswerteeinrichtung zumindest zu dem ersten und/oder zweiten Messbild ermittelte Tiefeninformationen mit hinsichtlich eines ideal kalibrierten Zustandes des Messsystems erwarteten idealen Tiefeninformationen verglichen. Es wird also vorzugsweise eine Güte der Ermittlung der Tiefeninformationen angegeben. Dabei kann dem Anwender beispielsweise angezeigt werden, ob und wie sich die Stereomessung verschlechtert, um derart den Anwender hinzuweisen, dass eine Kalibrierung der ersten und/oder zweiten Bilderfassungseinrichtung nicht mehr ausreichend ist. Ferner ist es erfindungsgemäß nicht notwendig, dass ein Anwender des Messsystems die Überprüfung der Kalibrierqualität durch eine manuelle Eingabe erst beauftragt. Anstelle dessen wird die Kalibrierqualität bei der Stereomessung erfindungsgemäß vorzugsweise fortlaufend und/oder automatisch überprüft. Somit erhält der Anwender vorzugsweise stets eine Auskunft darüber, ob die Qualität der Messung noch ausreichend ist, oder eine Neukalibrierung der Messvorrichtung notwendig ist.
Vorzugsweise ist es erfindungsgemäß möglich, bei jeder Anwendung des Messsystems vorzugsweise softwareseitig im Hintergrund zu überprüfen, ob die Kalibrierparameter noch akkurat sind und insbesondere zu einer jeweils gegenwärtigen Erfassungssituation passen. Dem Anwender kann somit vorzugsweise ein Qualitätsindex der Kalibrierung bei jeder Anwendung des Messsystems ausgegeben werden. Diese Status-Information wird vorzugsweise dem Anwender angezeigt, wobei ggf. eine Aktualisierung der Kalibrierparameter empfohlen wird. Alternativ oder ergänzend ist es auch möglich, dass, wenn eine Güte der Kalibrierqualität nicht mehr ausreichend ist, und insbesondere die Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung deutlich von den tatsächlichen, optischen Eigenschaften abweichen, beispielsweise eine Messfunktion des Messsystems zumindest teilweise eingeschränkt oder zumindest temporär deaktiviert wird, um somit Fehlmessungen zu vermeiden. Vorzugsweise ist die Auswerteeinrichtung dazu eingerichtet, die Kalibrierqualität fortlaufend, besonders bevorzugt in Echtzeit zu überprüfen, so dass dem Anwender vorzugsweise fortlaufend und in Echtzeit ein Status über das Stereomessbild ausgegeben werden kann.
Bei den Kalibrierparametern kann es sich vorzugsweise um eine Verzeichnung und/oder eine Verkippung und/oder um sonstige optische und/oder mechanische Eigenschaften der ersten und/oder zweiten Bilderfassungseinrichtung handeln. Vorzugsweise verändern sich der erste und zweite Blickwinkel während des Betriebes des Messsystems bzw. der Durchführung des Messverfahrens nicht gegenüber einander. Die erste und zweite Bilderfassungseinrichtung weisen vorzugsweise einen vorbestimmten Abstand, insbesondere repräsentiert durch die Stereobasis, zueinander auf und sind jeweils auf die zu erfassende Szene bzw. auf das Messobjekt ausgerichtet. Eine Veränderung des ersten und/oder zweiten Blickwinkels kann jedoch unerwünschter Weise dadurch resultieren, dass sich bei Verwendung des Messsystems eine oder mehrere Einstellungen und/oder eine Ausrichtung der ersten und/oder zweiten Bilderfassungseinrichtung gegenüber einem kalibrierten Zustand, beispielsweise aufgrund von mechanischen und/oder thermischen, äußeren Einflüssen, ändert.
Es versteht sich, dass zu jedem einzelnen Erfassungsdefekt, vorzugsweise je nach Art und Ausprägung, ein Schwellwert vorbestimmt ist, so dass das erste und/oder zweite Messbild durch die Auswerteeinrichtung zeitlich parallel und/oder zeitlich aufeinanderfolgend auf das Vorhandensein einer Vielzahl verschiedener Erfassungsdefekte überprüft werden kann. Es versteht sich zudem, dass die Ausgabe des ersten und/oder des zweiten Warnhinweises nicht auf eine haptische und/oder optische und/oder akustische Ausgabe beschränkt ist. So kann die Ausgabe des ersten und/oder zweiten Warnhinweises beispielweise in einer Ausführung zumindest eines vorbestimmten Steuerbefehls bestehen, durch den eine oder mehrere Funktionen des Messsystems zumindest zeitweise eingeschränkt und/oder deaktiviert werden können. Bei der Auswerteeinrichtung handelt es sich vorzugsweise um eine Kamera-Kontroll-Einheit (Camera Control Unit (CCU)). Vorzugsweise umfasst die erste und/oder die zweite Bilderfassungseinrichtung jeweils einen Bildgebungssensor und/oder eine Kamera. Vorzugsweise bilden die erste und die zweite Bilderfassungseinrichtung gemeinsam eine Stereokamera aus. Besonders bevorzugt werden bei dem Messsystem als erste und zweite Bilderfassungseinrichtung distale Bildgebungssensoren eingesetzt, da diese eine bessere Robustheit der Kalibrierung gegenüber mechanischen und thermischen Einflüssen ermöglichen.
Erfindungsgemäß wird das zumindest eine Stereomessbild, vorzugsweise die zeitlich aufeinanderfolgende Vielzahl von Stereomessbildern durch die oben genannte Stereorekonstruktion eines jeweiligen Stereobildpaares, beispielsweise des durch das erste und das zweite Messbild definierte Stereobildpaares, auf Basis von optischen und/oder dimensionellen Parametern der Bilderfassungsvorrichtung bearbeitetet. Dabei umfasst die Stereorekonstruktion vorzugsweise eine, insbesondere pixelweise, Berechnung einer Tiefeninformation zu Bildpunkten des zumindest einen Stereomessbildes, um derart beispielsweise eine dimensionelle Messung zwischen zumindest zwei aus einer Aufnahmeszene ausgewählten Messpunkten zu ermöglichen. Die Stereorekonstruktion umfasst vorzugsweise eine Korrektur von Verzerrungseffekten und/oder eine Transformation in jedem Stereobildpaar (Rektifizierung). Es versteht sich, dass das erste und das zweite Messbild vorzugsweise zeitlich synchronisiert erfasst werden, d. h. also vorzugsweise einen identischen Zeitstempel aufweisen.
Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. In den Rahmen der Erfindung fallen sämtliche Kombinationen aus zumindest zwei von in der Beschreibung, den Ansprüchen und/oder den Figuren offenbarten Merkmalen. Es versteht sich, dass Ausführungsbeispiele und Ausführungsformen, die in Bezug auf das Messsystem gemäß Anspruch 1 beschrieben wurden, sich in äquivalenter, wenn auch nicht wortgleicher Form auf das Verfahren nach Anspruch 15 beziehen können, ohne für dieses explizit genannt zu werden. Es versteht sich zudem, dass auch sprachübliche Umformungen und/oder ein sinngemäßes Ersetzen von jeweiligen Begrifflichkeiten im Rahmen der üblichen sprachlichen Praxis, insbesondere das Verwenden von durch die allgemein anerkannte Sprachliteratur gestützten Synonymen, mit von dem vorliegenden Offenbarungsgehalt umfasst sind, ohne in ihrer jeweiligen Ausformulierung explizit erwähnt zu werden.
Es versteht sich, dass die erfindungsgemäßen Verfahrensschritte nicht zwingend in der aufgeführten Reihenfolge durchgeführt werden müssen, sondern diese Reihenfolge auch verändert werden kann. Es ist zudem möglich, dass ein oder mehrere Zwischenschritte zwischen einem oder mehreren Verfahrensschritten durchgeführt werden können.
Gemäß einer bevorzugten Ausführungsform sind die Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung bzw. die für jede Bilderfassungseinrichtung fertigungsbedingt individuellen Kalibrierdaten in der Messvorrichtung, beispielsweise in einer Speichereinheit, gespeichert. Dies hat den Vorteil, dass die Kalibrierparameter bei der Stereoauswertung der erfassten Messbilder einrichtungsspezifisch berücksichtigt werden können, wodurch eine erreichte Genauigkeit der Messvorrichtung erhöht wird. Besonders bevorzugt ist die Speichereinheit dazu ausgebildet, gespeicherte Kalibrierparameter beispielsweise nach einer neuen Kalibrierung durch neue Kalibrierparameter zu überspielen. Erfindungsgemäß kann es vorteilhaft sein, wenn die Kalibrierparameter vorzugsweise gemeinsam mit den stereorekonstruierten Bilddaten des Stereomessbildes von Kamerakontrolleinheit (CCU) zu einem weiteren Dokumentationssystem übermittelt werden, um von diesem vorzugsweise nachträglich analysiert zu werden. Somit kann vorzugsweise für jedes (Stereo-)Messbild eine akkurate Kalibrierung sowohl intra-operativ als auch retrospektiv erfolgen. Vorzugsweise werden die Kalibrierparameter für die erste und die zweite Bilderfassungseinrichtung in einer eindeutig voneinander unterscheidbaren Form gespeichert. Hierbei ist auch eine Speicherung auf zwei separaten Speichereinheiten möglich und ggf. vorteilhaft. Ebenfalls kann eine Speicherung auf einem einrichtungsinternen Speicher, einem externen Speicher und/oder auf einem Sever vorteilhaft sein, wobei besonders bevorzugt ein Datentransfer über ein Netzwerk möglich ist.
In einer bevorzugten Ausführungsform ist die erste und die zweite Bilderfassungseinrichtung jeweils dazu eingerichtet, eine fortlaufende Videoaufnahme des Messobjektes zu erzeugen, wobei das erste und das zweite Messbild jeweils als Einzelbilder einer Stereovideoaufnahme ein zeitlich synchron erfasstes Stereobildpaar definieren. Ferner ist die Auswerteinrichtung dazu eingerichtet, den Messbildzustand und/oder die Kalibrierqualität fortlaufend während der Stereovideoaufnahme zu überprüfen. Besonders bevorzugt ist die Ausgabevorrichtung dazu eingerichtet, den Messbildzustand in Form des ersten Warnhinweises und/oder die Kalibrierqualität in Form des zweiten Warnhinweises, insbesondere fortlaufend, auszugeben. Die Ausgabe kann beispielsweise als graphische Überlagerung in der graphischen Darstellung der Stereovideoaufnahme der Szene bzw. des zumindest einen Messobjektes erfolgen. Mit anderen Worten ist das zumindest eine Stereomessbild vorzugsweise ein Einzelstereomessbild einer Vielzahl von zeitlich aufeinanderfolgenden Stereomessbildern, die jeweils aus einem Messbildpaar zusammengesetzt sind, und die in Aneinanderreihung eine Videoaufnahme des zumindest einen Messobjektes bzw. der Szene ergeben. Ein zeitlicher Abstand zwischen den Einzelstereomessbildern wird vorzugsweise durch eine vorbestimmte Bilderfassungsfrequenz (engl.: frame rate) bestimmt. Es versteht sich, dass das Stereomessbild grundsätzlich ein beliebiges Einzelstereomessbild einer solchen Videoaufnahme und/oder Videosequenz sein kann und selbstverständlich nicht ein initial erfasstes Bild beschränkt sein muss. Insbesondere sind das erste und zweite Messbild jeweils Einzelbilder von Videoaufnahmen die durch die erste und die zweite Bilderfassungseinrichtung, vorzugsweise zeitlich synchronisiert, von dem Messobjekt gemacht werden. Jeweils zwei Messbilder mit einem gleichen Zeitstempel definierten vorzugsweise ein Stereomessbildpaar, aus dem ein Stereomessbild ermittelt bzw. gebildet werden kann.
In einer weiteren bevorzugten Ausführungsform umfasst die Stereorekonstruktion eine Korrektur von Verzerrungseffekten und/oder eine Rektifizierung in dem zumindest ersten und dem zumindest zweiten Messbild und/oder eine pixelweise, insbesondere algorithmische, Auswertung von Tiefeninformationen der Szene und/oder des zumindest einen Messobjektes, insbesondere in geometrischem Bezug auf die erste und/oder zweite Bilderfassungseinrichtung. Vorzugsweise kann die algorithmische Auswertung auf Basis eines Semi-Global-Matching Algorithmus mit dem ersten und zweiten Messbild erfolgen. Auch weitere bekannte Verfahren der Stereorekonstruktion, die zur Ermittlung von Tiefeninformationen aus einem Stereobildpaar eingesetzt werden, sind hier mit umfasst, ohne explizit genannt zu werden.
In einer weiteren bevorzugten Ausführungsform beschreibt der zumindest eine Erfassungsdefekt eine zumindest teilweise Verschmutzung und/oder Verschmierung und/oder einen zumindest teilweisen Beschlag einer Linse oder eines distalen Fensters der ersten Bilderfassungseinrichtung und/oder einer Linse oder eines distalen Fensters bzw. Deckglas der zweiten Bilderfassungseinrichtung. Ein derartiges Deckglas verschließt das medizinische Instrument beispielsweise dampfdicht, so dass bei einer Reinigung keine Feuchtigkeit in die Optik eindringen kann. Alternativ oder ergänzend beschreibt der zumindest eine Erfassungsdefekt ein Vorhandensein eines Rauchgases in der Szene und/oder eine Über- oder Unterbelichtung der Szene und/oder eine unzureichende Tiefenschärfe der ersten Bilderfassungseinrichtung und/oder der zweiten Bilderfassungseinrichtung zur Erfassung des zumindest einen Messobjektes in der Szene. Alternativ oder ergänzend beschreibt der zumindest eine Erfassungsdefekt ein unzureichendes Licht- und/oder Farbverhältnis in der Szene. Mit anderen Worten kann erfindungsgemäß beispielhaft überprüft werden, ob eine oder beide Linsen oder Fenster der ersten und der zweiten Bilderfassungseinrichtung verunreinigt sind und dadurch eine Qualität bzw. eine Genauigkeit der auf Basis der Stereorekonstruktion ermittelten Tiefenkarte abnimmt. Erfindungsgemäß ist die Auswerteeinrichtung vorzugsweise dazu ausgebildet, zumindest das erste und zweite Messbild, vorzugsweise jeweils eine Vielzahl von erfassten ersten und zweiten Messbildern, unabhängig voneinander durch eine Anwendung eines Algorithmus hinsichtlich einer möglicherweise bestehenden Verunreinigung, insbesondere zumindest einer Linse oder Fenster, zu überprüfen und/oder zu klassifizieren. Als Resultat dieser Überprüfung kann durch die Auswerteeinrichtung ermittelt werden, ob zumindest eine Linse eine Verunreinigung aufweist. Ist eine oder beide Linsen oder Fenster verschmutzt, erscheint beispielsweise in einem Anzeigemenü der Ausgabeeinrichtung der erste Warnhinweis, durch den ggf. zumindest eine Messfunktion eingeschränkt und/oder deaktiviert werden kann.
Es versteht sich, dass die Auswerteeinrichtung auch dazu eingerichtet sein kann, die Messbilder auf ein Vorhandensein mehrerer Erfassungsdefekte in einer beliebigen Kombination miteinander, vorzugsweise simultan, zu überprüfen. Hierbei könnten beispielsweise Trainingsbilder manuell in die obigen Erfassungsdefekte sortiert und/oder klassifiziert werden. Auf Basis dieser Trainingsbilder kann vorzugsweise ein neuronales Netz trainiert werden, sogenannte multiclass Classification.
In einer weiteren bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, das erste und/oder zweite Messbild auf das Vorhandensein des zumindest einen Erfassungsdefektes durch eine Mittelwertbildung des zumindest einen Erfassungsdefektes über zumindest ein vorbestimmtes Bildsegment in dem ersten und/oder zweiten Messbild zu überprüfen. Mit anderen Worten ist es bevorzugt möglich, dass die Auswerteeinrichtung dazu ausgebildet ist, das erste und/oder zweite Messbild segmentweise auf das Vorhandensein eines Erfassungsdefektes auszuwerten, um derart eine exakte Lokalisierung des Erfassungsdefektes zu ermöglichen. Hierdurch erhält der Anwender die Möglichkeit, den Erfassungsdefekt durch eine entsprechende Interaktion auf Basis des ermittelten Bildsegmentes zu beheben. Beispielsweise kann der Anwender eine Fluiddüse aktivieren, die infolgedessen dazu eingerichtet ist, einen Druckluft- oder Wasserstrahl auf einen Teil der Linse oder des Fensters zu richten, der in dem ersten und/oder zweiten Messbild dem Bildsegment entspricht, in dem der Erfassungsdefekt, beispielsweise eine Verunreinigung, ermittelt wurde. In einer weiteren bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, das erste und zweite Messbild bezüglich des Vorhandenseines des zumindest einen Erfassungsdefektes miteinander zumindest segmentweise zu vergleichen. Ein derartiger Vergleich zumindest zwischen dem ersten und dem zweiten Messbild ist vorteilhaft, da hierdurch zum einen eine Plausibilitätskontrolle ermöglich wird. Zum anderen kann durch diesen Vergleich die Lokalisierung eines Erfassungsdefektes in der Szene bzw. hierdurch indirekt auf zumindest einer Linse oder einem Fenster der ersten und/oder zweiten Bilderfassungseinrichtung verbessert werden.
In einer weiteren bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, die Überprüfung des ersten und/oder zweiten Messbildes auf das Vorhandensein des zumindest einen Erfassungsdefektes auf Basis von künstlicher Intelligenz und/oder auf Basis einer algorithmischen Auswertung von Bilddaten des ersten und/oder zweiten Messbildes durchzuführen. Bei der Überprüfung einer Bildschärfe des ersten und/oder zweiten Messbildes kann beispielsweise ein Computer-Vision-Algorithmus, beispielsweise unter Verwendung eines La- place-Filters eingesetzt werden. Bei dem Algorithmus, der zur Auswertung der Erfassungsdefekte Anwendung findet, kann es sich beispielsweise um einen Algorithmus handeln, durch den eine Auswertung von Kontrastverhältnissen in dem ersten und zweiten Messbild erfolgt. Alternativ oder ergänzend ist es möglich, dass der Algorithmus einen Klassifikator auf Basis von künstlicher Intelligenz umfasst. Hierbei können sämtliche bekannte Verfahren der künstlichen Intelligenz, insbesondere maschinelles Lernen, unterstütztes Lernen, etc. zum Einsatz kommen.
In einer weiteren bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, durch Auswertung der Tiefeninformationen, die zeitlich aufeinanderfolgenden ersten Messbilder und/oder die zeitlich aufeinanderfolgenden zweiten Messbilder der Stereovideoaufnahme des zumindest einen Messobjektes darauf zu überprüfen, ob die erste und/oder zweite Bilderfassungseinrichtung einen vorbestimmten Sicherheitsabstand zu dem zumindest einen Messobjekt einhält. Mit anderen Worten kann eine Untersuchung eines sich relativ zu dem Messobjekt bewegenden Messsystems, insbesondere einer Stereovideokamera, erfolgen. Bei dieser Untersuchung wird vorzugsweise geprüft, ob ein Teil des Messsystems, beispielsweise eine Linse oder ein Fenster der ersten und/oder zweiten Bilderfassungseinrichtung, zu nahe an das Messobjekt herangeführt ist. Insbesondere kann überprüft werden, ob sich eine Tiefeninformation zu einem betrachteten Messpunkt an dem Messobjekt bei einer Annährung der ersten und/oder zweiten Bilderfassungseinrichtung fortlaufend verringert. Die Auswerteeinrichtung kann beispielsweise dazu ausgebildet sein, zu erkennen, ob das erste und/oder zweite Mess- bild und/oder darin umfasste Bildsegmente bei der Annährung unscharfer werden. Wird beispielsweise ein vorbestimmter Schärfe-Grenzwert über- oder unterschritten, kann die Auswerteeinrichtung vorzugsweise die Ausgabeeinrichtung anweisen, dem Anwender eine Warnung in Form des ersten Warnsignals auszugeben. Diese Ausführungsform ist insbesondere für ro- botische Anwendungen des Messsystems, bei denen beispielsweise eine Bewegung zumindest eines Teils des Messsystems relativ zu dem Messobjekt durch zumindest einen Roboter geführt und gesteuert wird. Wird in einem solchen Fall erfindungsgemäß erkannt, dass ein Teil des Messsystems den vorbestimmten Sicherheitsabstand zu dem Messobjekt nicht mehr einhält, kann die Roboterbewegung zumindest des Teils des Messsystems zumindest teilautomatisch abgebrochen und/oder zumindest hinsichtlich einer Bewegungsrichtung verändert werden. Somit kann eine Kollision mit dem Messobjekt effektiv verhindert werden, was insbesondere in medizinisch-operativen Anwendungsfällen vorteilhaft ist. Darüber hinaus kann ein zu geringer Abstand des Messsystems zum Messobjekt die Bestimmung der Tiefenkarte erschweren, wenn die Messbilder (zum Beispiel das erste und zweite Messbild) nicht scharf dargestellt werden können.
In einer bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, die aus dem ersten und dem zweiten Messbild ermittelten Tiefeninformationen, vorzugsweise pixelweise, auf Basis der Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung auf ihre Plausibilität hin zu überprüfen. Hierbei wird insbesondere überprüft, ob ein vorstehend genannter vertikaler Versatz zwischen einem Messpunkt in Bezug auf das erste Messbild und einem zu diesem korrespondierenden Messpunkt in dem zweiten Messbild vorhanden ist, und ob dieser vertikale Versatz beispielsweise einen vorbestimmten Qualitätsgrenzwert, vorzugsweise bestimmt in Pixel (ptx), überschreitet. Wird der vorbestimmte Qualitätsgrenzwert, der vorzugsweise den vertikalen Versatz bestimmt, überschritten, ist eine Genauigkeit der Messung nicht mehr ausreichend und eine alsbaldige oder sofortige Neu-Kalibrierung des Messsystems notwendig.
In einer bevorzugten Ausführungsform ist die Auswerteeinheit dazu eingerichtet, bei der Plausibilitätsprüfung, die aus dem ersten und zweiten Messbild ermittelten Tiefeninformationen, vorzugsweise pixelweise, mit Tiefeninformationen zu vergleichen, die in einem ideal kalibrierten Zustand der ersten und/oder der zweiten Bilderfassungseinrichtung auf Basis der Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung zu erwarten sind. Auf Grundlage dieser Plausibilitätsprüfung kann vorzugsweise die Kalibrierqualität des stereorekonstruierten Stereomessbildes ermittelt werden. Wird beispielsweise hinsichtlich eines, in Bezug auf das Messobjekt bestimmten Messpunktes ein vertikaler Versatz zwischen dessen bild- punktbasierter Repräsentation in dem ersten und dem zweiten Messbild festgestellt, kann darauf geschlossen werden, dass die Kalibrierqualität hinsichtlich einer initialen Kalibrierung abgenommen hat. Übersteigt ein derartiger Versatz den vorbestimmten Qualitätsgrenzwert bzw. Schwellwert, wird der zweite Warnhinweis an die Ausgabeeinrichtung übermittelt.
In einer bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, die ermittelte Kalibrierqualität bei einer Anzeige zumindest eines Messergebnisses, das in Bezug auf das zumindest eine Messobjekt anzuzeigen ist, mit einzuberechnen. Somit ist es möglich, einen Messfehler, der aufgrund einer unzureichenden Kalibrierqualität auftritt, zumindest in der Darstellung eines damit zusammenhängenden Messergebnisses zu korrigieren. Eine derartige Korrektur kann beispielsweise erfolgen, bis der vorbestimmte Qualitätsgrenzwert überschritten ist. Somit kann beispielsweise ein vertikaler Pixelversatz zwischen einem Messpunkt im ersten Messbild und einem dazu korrespondierenden Bildpunkt im zweiten Messbild, der durch eine unzureichende Kalibrierqualität verursacht ist, zumindest hinsichtlich einer Anzeige an einen Anwender korrigiert werden.
In einer bevorzugten Ausführungsform umfasst die Ausgabe des ersten und/oder zweiten Warnhinweises zumindest, dass zumindest eine vorbestimmte Betriebsfunktion des Messsystems zumindest zeitweise deaktiviert ist; und/oder dass eine Anzeige darüber erfolgt, dass zumindest eine vorbestimmte Betriebsfunktion des Messsystems zumindest zeitweise deaktiviert ist; und/oder dass eine Anzeige darüber erfolgt, welche Art von Erfassungsdefekt in welchem Bildsegment des ersten und/oder zweiten Messbildes vorhanden ist; und/oder dass eine Anzeige darüber erfolgt, wie ein Anwender den ermittelten Erfassungsdefekt beheben kann; und/oder dass eine Anzeige darüber erfolgt, in welchem Maß die Kalibrierqualität des ersten und/oder zweiten Messbildes gegenüber einem Idealzustand abweicht; und/oder dass eine Anzeige darüber erfolgt, dass eine Kalibrierung der ersten und/oder zweite Bilderfassungseinrichtung zu erfolgen hat. Die vorstehend aufgeführten Beispiele für die Ausgabe des ersten und/oder zweiten Warnhinweises ist lediglich beispielhafter Natur und nicht einschränkend zu verstehen. Insbesondere kann der erste und/oder der zweite Warnhinweis auch in jeglicher anderen Form ausgegeben werden, ohne den Umfang der vorliegenden Erfindung zu verlassen. Vorzugsweise wird der erste und/oder der zweite Warnhinweis fortlaufend, besonders bevorzugt in Echtzeit, an einen Anwender ausgegeben.
In einer bevorzugten Ausführungsform ist die Ausgabeeinrichtung dazu ausgebildet, den ersten und/oder zweiten Warnhinweis in optischer und/oder akustischer und/oder haptischer Form auszugeben. Auch eine andere Art der Ausgabe, beispielsweise als Steuerbefehl, durch den ein oder mehrere Funktionen des Messsystems gesteuert werden, ist möglich. In einer bevorzugten Ausführungsform ist die Messvorrichtung in einem Stereoendoskop und/oder in einem Stereoexoskop und/oder in einem Stereomikroskop und/oder in einem Laryngoskop umfasst. Vorzugsweise ist die Messvorrichtung als Stereoendoskop und/oder als Stereoexoskop und/oder als Stereomikroskop und/oder als Laryngoskop ausgebildet.
In einer bevorzugten Ausführungsform umfasst die Ausgabeeinrichtung einen Bildschirm und/oder eine Brille oder eine 3D-Brille oder eine augmented reality Brille.
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung sowie anhand von lediglich schematischen Zeichnungen.
Es zeigen:
FIG 1 : eine schematische Ansicht eines Ausführungsbeispiels einer erfindungsgemäßen Messvorrichtung;
FIG 2: ein erstes Flussdiagramm zur Darstellung eines beispielhaften Kalibriervorgangs eines Messsystems;
FIG 3: ein zweites Flussdiagramm zur Darstellung eines beispielhaften Kalibriervorgangs eines Messsystems;
FIG 4: eine beispielhafte, bildhafte Darstellung von Messpunkten an einem Messobjekt mit einer guten Kalibrierqualität;
FIG 5: eine beispielhafte, bildhafte Darstellung von Messpunkten an einem Messobjekt mit einer schlechten Kalibrierqualität;
FIG 6: eine schematische Darstellung eines für die Kalibrierung des Messsystems verwendeten Schachbrettmusters;
FIG 7: eine bildhafte Gegenüberstellung zweier störungsfreier Messbilder;
FIG 8: eine bildhafte Gegenüberstellung eines störungsfreien Messbildes und eines durch einen Erfassungsdefekt behafteten Messbildes; FIG 9: eine bildhafte Gegenüberstellung eines störungsfreien Messbildes und eines durch einen zweiten Erfassungsdefekt behafteten Messbildes; und
FIG 10: eine bildhafte Gegenüberstellung eines störungsfreien Messbildes und eines durch einen dritten Erfassungsdefekt behafteten Messbildes.
Gleiche Elemente beziehungsweise Elemente mit gleicher Funktion sind in den Figuren mit den gleichen Bezugsziffern versehen.
Fig. 1 zeigt in einer schematisch stark vereinfachten Blockdarstellung eine beispielhafte Ausgestaltung eines Messsystems 100. Das Messsystem 100 ist vorliegend als Stereo-Endoskop 102 ausgeführt. Das Messsystem 100 weist eine Bilderfassungsvorrichtung 104 mit einer Auswerteeinrichtung bzw. einer Kamerakontrolleinheit (Camera Control Unit, CCU) 106 auf. Ferner umfasst die Bilderfassungsvorrichtung 104 eine erste Bilderfassungseinrichtung 108 und eine zweite Bildererfassungseinrichtung 110. Vorzugsweise umfasst die Bilderfassungsvorrichtung 104 einen nicht näher gezeigten Speicher, der zumindest dazu eingerichtet ist, die Kalibrierparameter bzw. Kalibrierdaten der ersten und/oder zweiten Bilderfassungseinrichtung 108, 110 zu speichern. Es versteht sich, dass ein derartiger Speicher auch außerhalb der Bilderfassungsvorrichtung 104 angeordnet sein kann.
Die erste Bilderfassungseinrichtung 108 weist einen vorbestimmten Abstand von der zweiten Bilderfassungseinrichtung 110 auf, der eine Stereobasis der Stereo-Endoskops 102 definiert. Bei der ersten und der zweiten Bilderfassungseinrichtung 108, 110 handelt es sich vorzugsweise jeweils um eine Kamera. Die Auswerteeinrichtung 106 ist vorzugsweise dazu eingerichtet, von der ersten und der zweiten Bilderfassungseinrichtung 108, 110 Bilddaten in Form von Messbildern, vorliegend beispielsweise in Form zumindest eines ersten Messbildes 109 und zumindest eines zweiten Messbildes 111 , zu empfangen. Besonders bevorzugt weist die Auswerteeinrichtung 106 zumindest einen nicht näher gezeigten Prozessor zur Bildverarbeitung auf. Es versteht sich, dass die Auswerteeinrichtung 106 in anderen Ausführungen vorzugsweise außerhalb der Bilderfassungsvorrichtung 104 angeordnet sein kann. Die Auswerteeinrichtung 106 ist vorzugsweise als eine sogenannten Kamerakontrolleinheit (Camera Control Unit, CCU) ausgebildet. Vorzugsweise kann eine Vorverarbeitung der erfassten Messbilder 109, 111 in der Bilderfassungseinrichtung 108, 110 stattfinden.
Der ersten und der zweiten Bilderfassungseinrichtung 108, 110 ist eine Objektivbaugruppe 114 vorgelagert. Die Objektivbaugruppe 114 umfasst beispielhaft ein Deckglas, beispielsweise eine Linse, und optische Einheiten 116, 118 mit Aperturen, die den Bilderfassungseinrichtungen 108, 110 zugeordnet sind. Die optischen Einheiten 116, 118 definieren das jeweilige Sichtfeld der Bilderfassungseinheiten 108, 110. Jede der beiden Bilderfassungseinheiten 108, 110 ist einem Beobachtungskanal 120, 122 zugeordnet. Die Beobachtungskanäle 120, 122 sind jeweils dazu ausgebildet, die Messbilder 109, 111 in Form von signalförmigen Bildinformationen an die Auswerteeinrichtung 106 zu übermitteln. Zur Bereitstellung der Bildinformationen ist jeder der Bilderfassungseinrichtungen 108, 110 ein Signalwandler 124, 126 zugeordnet. Die Signalwandler 124, 126 sind jeweils dazu eingerichtet, die optisch erfassten Messbilder 109, 111 in Bildinformationen umzuwandeln. Beispielhaft handelt es sich bei den Signalwandlern 124, 126 um Fotochips.
Die erste Bilderfassungseinrichtung 108 ist dazu eingerichtet, zumindest das erste Messbild 109 von einem Messobjekt 112 in einer Szene zu erfassen. Das Messobjekt 112 ist hier beispielhaft als ein Buchstabe P dargestellt. Allerdings handelt es sich bei dem Messobjekt 112 normalerweise vorzugsweise um ein menschliches oder tierisches Organ oder einen anderen Teil eines menschlichen oder tierischen Körpers oder um ein Bauteil. Die erste Bilderfassungseinrichtung 108 erfasst das zumindest erste Messbild 109 von dem Messobjekt 112 vorzugsweise aus einem ersten Blickwinkel.
Die zweite Bilderfassungseinrichtung 110 ist dazu eingerichtet, zumindest das zweite Messbild 111 des Messobjektes 112 zu erfassen. Die erste und die zweite Bilderfassungseinrichtung
108, 110 sind jeweils dazu eingerichtet, das erste und das zweite Messbild 109, 111 vorzugsweise zeitlich synchronisiert zu erfassen. Ein derartig erfasstes ersten und zweites Messbild
109, 111 bildet ein Stereobildpaar aus.
Die Auswerteeinrichtung 106 ist dazu ausgebildet, aus dem Stereobildpaar bzw. aus den signalbasierten Bildinformationen des ersten und zweiten Messbildes 109, 111 durch bekannte Methoden der Stereorekonstruktion Stereomessbildinformationen zu ermitteln. In den Stereomessbildinformationen sind zu jedem erfassten Bildpunkt des Messobjektes 112 Tiefeninformationen verfügbar, die beispielsweise dazu verwendet werden können, einen Abstand zwischen zwei Messpunkten an dem Messobjekt 112 im euklidischen Raum zu berechnen.
Die Stereomessbildinformationen können vorzugsweise über einen ersten und/oder einen zweiten Ausgabekanal 128, 130 an eine Ausgabevorrichtung 132 übertragen werden, durch die die Stereomessbildinformationen einem Benutzer als ein Stereomessbild bereitgestellt und vorzugsweise graphisch angezeigt werden. Die Ausgabevorrichtung 132 kann beispielsweise ein Display sein. Auf der Ausgabevorrichtung 132 wird das Messobjekt 112 in Form eines Beobachtungsobjektes 136 abgebildet. Ein Benutzer kann mithilfe einer Eingabevorrichtung (nicht gezeigt) vorzugsweise einen Cursor 138 relativ zu dem Beobachtungsobjektes 136 bzw. zu dem virtualisierten Messobjekt 112 verschieben, um beispielsweise einen Messpunkt in Bezug auf das Messobjekt zu bestimmen.
Es versteht sich, dass das Messsystem 100 dazu eingerichtet ist, grundsätzlich eine Vielzahl von Messbildern des Messobjektes 112 zu erfassen und somit eine Vielzahl von Stereomessbildern zu jedem Stereomessbildpaar zu erfassen bzw. bereitzustellen. Besonders bevorzugt ist es mit dem Messsystem 100 möglich, ein (Live-) Video von dem Messobjekt 112 aufzunehmen, das aus einer Vielzahl von Einzelbildpaaren zusammengesetzt ist, die in einem vordefinierten zeitlichen Abstand, bestimmt durch die Bildrate, gemessen in Bildern pro Sekunde (frames per second (fps)), hintereinander erfasst werden.
In den Fig. 2 und 3 sind beispielhafte Flussdiagramme bzw. Workflows eines Kalibrierverfahrens dargestellt, das nachfolgend näher erläutert wird. Während der Herstellung eines erfindungsgemäßen Messsystems 100 bzw. eines beispielhaften Stereo-Endoskops werden zur Kalibrierung Kalibrierbilder eines Schachbrettmusters 140 (beispielhaft gezeigt in Fig. 6) mit drei Punkten zur Erkennung eines jeweiligen (Feld-) Mittelpunkts aufgenommen (siehe oben links im Flussdiagramm). Auf diesen Kalibrierbildern werden sodann Schachbrettecken identifiziert und zur weiterführenden Berechnung der Kalibrierparameter verwendet. Die Kalibrierparameter umfassen typischerweise Verzerrungskorrektur-Parameter für beide Bilderfassungseinrichtungen bzw. Kameras, Brennweiten sowie einen Mittelpunkt einer optischen Achse der jeweiligen Bilderfassungseinrichtung 108, 110. Zudem wird eine Rotationsmatrix und ein Translationsvektor der beiden Bilderfassungseinrichtungen 108, 110 zueinander bestimmt. Hierzu ist es vorteilhaft, die Größe eines Schachbrettfeldes (vorab) präzise zu kennen.
Bei der Aufnahme eines derartigen Schachbrettes 140 ist zu beachten, dass mehrere Kalibrierbilder aus verschiedenen Blickwinkeln durch die erste und die zweite Bilderfassungseinrichtung 108, 110 aufgenommen werden. Die Kalibrierung erfolgt vorzugsweise für die erste und die zweite Bilderfassungseinrichtung 108, 110 separat. Insbesondere ist es vorteilhaft, dass Kalibrierbilder aus „schrägen“ Blickwinkeln aufgenommen werden. Ferner ist darauf zu achten, dass die weißen Schachbrettflächen nicht überbelichtet sein dürfen und das Schachbrett 140 während der Kalibrierung möglichst homogen beleuchtet ist. Das Schachbrett 140 kann vorzugsweise real existieren oder alternativ auf einem Bildschirm dargestellt sein. Die Kalibrierparameter werden vorzugsweise verwendet, um die aufgenommenen Kalibrierbilder der ersten und der zweiten Bilderfassungseinrichtung 108, 110 (oftmals bezeichnet als rechte und linke Kamera) zu transformieren. Dazu werden in den Kalibrierbildern zunächst Verzerrungseffekte korrigiert (sog. undistortion). Ferner werden die Kalibrierbilder transformiert, als ob sie von einem parallelen Kamerasystem aufgenommen worden wären (sog. rectification). In mathematischer Hinsicht wird dies durch den sogenannten Semi-Global-Matching (SGM-) Algorithmus umgesetzt, mit Hilfe dessen zu einem gegebenen Pixel in einem von der ersten Bilderfassungseinrichtung 108 erfassten Messbild ein passendes Pixel in einem durch die zweite Bilderfassungseinrichtung 110 erfassten Messbild gesucht wird. Der Algorithmus sucht dabei vorzugsweise lediglich entlang derselben horizontalen Linie, da dies durch die Epipolargeometrie vorgegeben ist.
Es ist zudem möglich, in den Kalibrierbildern die Disparität der Schach-brettecken in eine Tiefeninformation umzurechnen und auf Basis der Disparität einen Abstand zwischen zwei Schachbrettecken zu berechnen und diesen mit einem tatsächlichen, physikalischen Abstand zwischen den Schachbrettecken zu vergleichen. Andererseits wird überprüft, ob Schachbrettecken denselben vertikalen Tiefenwert bzw. Pixelwert hinsichtlich der beiden Bilderfassungseinrichtungen aufweisen. Außerdem kann überprüft werden, ob Schachbrettecken, die sich auf derselben Zeile oder Spalte des Schachbretts 140 befinden, tatsächlich in den erfassten Kalibrierbildern auf einer gemeinsamen Geraden liegen und somit einen akkurate Verzerrungskorrektur erfolgt ist.
Verändern sich nun im Laufe der Zeit optische Komponenten der ersten und/oder der zweiten Bilderfassungseinrichtung 108, 110, beschreibt die Kalibrierung nicht mehr korrekt die Eigenschaften der ersten und/oder der zweiten Bilderfassungseinrichtung 108, 110 und es kommt beim Prozess der Entzerrung und Rektifizierung dazu, dass identische Objekte auf unterschiedlichen horizontalen Linien abgebildet werden, wodurch eine korrekte Tiefenbestimmung mittels des SGM-Algorithmus erschwert und/oder unmöglich wird. In Fig. 6 wurden beispielsweise Kalibrierbilder eines 3D-Schachbrettbilds aufgenommen, entzerrt und rektifiziert. In Fig. 6 ist der vertikale Versatz in Pixeln angegeben. Der mittlere vertikale Versatz beträgt beispielhaft 0.4 Pixel, so dass die Kalibrierung als sehr gut anzunehmen ist.
Diese Problematik wird durch das erfindungsgemäße Messsystem gelöst, da die Qualität der Kalibrierung bzw. die Qualität eines erfassten Messbildes gegenüber einem Kalibrierbild fortlaufend und vorzugsweise in Echtzeit überprüft wird. Erfindungsgemäß erfolgt vorzugsweise eine Evaluation bzw. Überprüfung der Kalibrierqualität parallel zur laufenden Anwendung des Messsystems 100. Erfindungsgemäß ist die Auswerteeinrichtung 106 dazu ausgebildet, einen Messbildzustand des zumindest ersten Messbildes 109 und/oder des zumindest zweiten Messbildes 111 auf ein Vorliegen zumindest eines Erfassungsdefektes zu überprüfen und die Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern der ersten und/oder zweiten Bilderfassungseinrichtung 108, 110 zu überprüfen.
Bei der Überprüfung der Kalibrierqualität wird insbesondere die Qualität der Rektifizierung evaluiert, die wie oben beschrieben einen großen Einfluss auf die Korrektheit der durch die Stereorekonstruktion ermittelten Tiefenkarten hat. Dabei wird für ein gegebenes 3D-Stereomessbild in dem zugehörigen ersten Messbild 109 nach Punkten 142 (siehe Fig. 4 und 5) gesucht, die möglichst einfach auf optische Weise nachzuverfolgen sind (d.h. sich beispielsweise an einer kontrastreichen Stelle in dem ersten Messbild 109 befinden). Eine Möglichkeit der mathematisch-optischen Nachverfolgung bietet die open-Source-Bibliothek openCV cv2.goodFea- turesToTrack.
Diese Punkte 142 werden möglichst homogen über das erste Messbild 109 bzw. innerhalb der gesamten Szene gesucht. Mittels eines opticalFlow-Algorithmus, z.B. openCV cv2. calcOpti- calFlowPyrLK, werden diese Punkte 142 auf zweite Messbild 111 übertragen. Aus diesen Punktpaaren kann über mathematische Methoden der vertikale Versatz berechnet werden.
Für eine ideale Kalibrierung liegt dieser Versatz wie oben beschrieben bei null. Durch Fehler bei der optical-flow-Berechnung kann es sich anbieten, berechnete Versatzwerte von z. B. < 10 Pixel (px) noch nicht als qualitätskritisch zu erachten. Auch kann es vorteilhaft sein, über mehrere vertikale Versatzwerte einen mittleren Versatzfehler zu berechnen und diesen berechneten Versatzfehler vorzugsweise über mehrere aufeinanderfolgende erste und zweite Messbilder zeitlich zu mitteln.
Anwender- und/oder softwareseitig kann ein Qualitätsgrenzwert angegeben sein, bei welchem noch von einer akzeptablen Kalibrierung auszugehen ist. Liegt der berechnete und ggf. zeitlich gemittelte, mittlere Versatzfehler beispielsweise bei 5 Pixel und höher, kann hierdurch der Qualitätsgrenzwert angegeben sein, ab welchem dem Anwender beispielsweise ein zweiter Warnhinweis auf der Ausgabeeinrichtung 132 ausgegeben wird, dass eine Neukalibrierung notwendig wird. Es können im Zuge dessen auch einige Funktionen des Messsystems 100 zumindest zeitweise deaktiviert werden. In Fig. 4 ist das erste und das zweite Messbild 109, 111 , aufgenommen von der ersten Bilderfassungseinrichtung 108 bzw. von der zweiten Bilderfassungseinrichtung 110, nebeneinander dargestellt. Beide Messbilder 109, 111 zeigen das Messobjekt 112, vorliegend ein menschliches Organ, vor einem hellen Hintergrund. Der Hintergrund mitsamt dem Messobjekt 112 definiert die Szene. Auf der linken Seite ist das erste Messbild 109 dargestellt. Auf der rechten Seite ist das zweite Messbild 111 dargestellt. In dem ersten Messbild 109 wurde, wie vorstehend beschrieben, eine Vielzahl von Punkten 142 ausgewählt, die zur Berechnung des vertikalen Versatzes bzw. der Kalibrierqualität verwendet werden. Diese Punkte 142 (sog. Nachverfolgungspunkte) werden durch Methoden des optischen Flusses (optical Flow) auf das zweite Messbild übertragen, d. h. es werden zu den Punkten 142 des ersten Messbildes 109 jeweils dazu korrespondierende Bildpunkte 144 in dem zweiten Messbild 111 gesucht. Im Ergebnis ergibt sich als Kalibrierqualität ein mittlerer vertikaler Versatz zwischen den Punkten 142 und den jeweiligen dazu korrespondierenden Bildpunkten 144 (ohne eine Berücksichtigung von statistischen Ausreißern) von 0.9 Pixeln, so dass die Kalibrierqualität dieser beiden Messbilder 109, 111 und somit des daraus stereorekonstruierten Stereomessbildes sehr gut ist.
Fig. 5 zeigt, ähnlich wie Fig. 4, eine Gegenüberstellung des ersten und zweiten Messbildes 109, 111. Allerdings wurde im Falle der Fig. 5 absichtlich eine falsche Kalibrierung, vorliegend eine Kalibrierung einer anderen Bilderfassungseinrichtung, verwendet. Der mittlere vertikale Versatz steigt hierdurch deutlich an und beträgt im Mittel 5.4 Pixel, so dass der Anwender vor der schlechten Kalibrierung mittels des zweiten Warnsignals gewarnt werden kann. In diesem Fall ist also der vorbestimmte Qualitätsgrenzwert überschritten.
Erfindungsgemäß ist die Auswerteeinrichtung 106 dazu ausgebildet, einen Messbildzustand des zumindest ersten Messbildes 109 und/oder des zumindest zweiten Messbildes 111 auf ein Vorliegen zumindest eines Erfassungsdefektes zu überprüfen. Verschiedene Beispiele derartiger Erfassungsdefekte, die während eines bestimmungsgemäßen Gebrauchs des Messsystems auftreten können, sind in den Figuren 7 bis 10 veranschaulicht. Hierbei ist stets eine Gegenüberstellung des ersten und des zweiten Messbildes 109, 110 gezeigt. Zudem ist in den Figuren stets eine überlagerte Tiefenkarte gezeigt, die aus dem ersten und dem zweiten Messbild 109, 110 in Form des Stereomessbildes über Stereorekonstruktion ermittelt wurde.
Fig. 7 zeigt sowohl das erste Messbild 109 als auch das zweite Messbild 111 jeweils in einem störungsfreien Zustand, d. h. ohne, dass ein Erfassungsdefekt in dem ersten und/oder zweiten Messbild 109, 111 ermittelt wurde. Gemäß Fig. 8 ist das zweite Messbild (untere Aufnahme) durch eine Verschmutzung der Linse der zweiten Bilderfassungseinrichtung 110 unscharf. Somit kann aus dem resultierenden Stereobildpaar keine akkurate Tiefenkarte ermittelt werden. Dies wird dem Anwender vorzugsweise durch den ersten Warnhinweis ausgegeben. Parallel zur Stereorekonstruktion zur Ermittlung der Tiefenkarte und/oder des Stereomessbildes, die zur Vermessung zwischen verschiedenen Messpunkten benutzt wird, wird erfindungsgemäß überprüft, ob eine oder beide Linsen der ersten bzw. zweiten Bilderfassungseinrichtung 108, 110 verunreinigt sind und dadurch die Qualität der Tiefenkarte über ein Maß, dass durch einen Schwellwert angegeben werden kann, abnimmt. Dazu werden beide Messbilder 109, 111 unabhängig voneinander durch die Auswerteeinrichtung 106 mit Hilfe eines Algorithmus beispielsweise auf verschmutzte Linsen hin klassifiziert. Dieser Algorithmus kann entweder ein Kl-basierter Klassifikator oder ein klassischer Algorithmus sein, der beispielsweise die Kontrastverhältnisse in dem jeweiligen Messbild 109, 111 erkennt. Ist eine (oder beide) Linse verschmutzt, erscheint im Menü, vorzugsweise in graphischer Überlagerung, der erste Warnhinweis, durch den ggf. auch einzelne Messfunktionen des Messsystems deaktiviert werden. Analog hierzu ist es auch möglich, dass das erste und/oder zweite Messbild 109, 111 auf Rauch im Messbild und/oder auf Beschlagen der Bilderfassungseinrichtung(en) 108, 110 hin überprüft werden.
In Fig. 9 ist eine Gegenüberstellung des ersten und des zweiten Messbildes 109, 111 gezeigt, bei dem aufgrund von Überbelichtung des ersten Messbildes 109 eine fehlerbehaftete Tiefenkarte stereorekonstruiert wird. Bildregionen, die über- oder unterbelichtet sind, können mit gängigen Stereorekonstruktionsalgorithmen nicht korrekt korrespondierenden Bildregionen bzw. Pixeln in einem anderen Messbild zugeordnet werden. Erfindungsgemäß kann vorzugsweise in Echtzeit eine Überprüfung des ersten und zweiten Messbildes 109, 111 auf dunkle oder helle Bildregionen erfolgen. Dies kann durch einfache Grenzwertbildung umgesetzt werden. Regionen, die als zu dunkel oder zu hell erkannt wurden, können entweder nicht für die Auswahl von Punkten bzw. Messpunkte 142 ausgewählt werden. Alternativ oder ergänzend kann der erste Warnhinweis ausgegeben werden, dass zumindest eine Region in dem ersten und/oder zweiten Messbild 109, 111 über- und/oder unterbelichtet ist.
In Fig. 10 ist eine Gegenüberstellung des ersten und des zweiten Messbildes 109, 111 gezeigt, bei dem aufgrund von Unschärfe, resultierend aus einem zu geringen Abstand der Bilderfassungseinrichtungen 108, 110 von dem Messobjekt 112, eine fehlerhafte Tiefenkarte ermittelt wurde. In der Fig. 10 ist die Unschärfe schematisch als ein Punktemuster dargestellt. Insbesondere im Gegensatz zu der Fig. 9 kann aufgrund der hier gezeigten Unschärfe eine Oberflächenstruktur eines Gewebematerials nicht aufgelöst werden. Parallel zur Stereorekonstruktion kann überprüft werden, ob die beiden Messbilder 109, 111 unscharf sind. Eine Unschärfe tritt vor allem dann auf, wenn die Bilderfassungseinrichtungen 108, 110 außerhalb des Schärfebereichs positioniert werden oder wenn die Bilderfassungseinrichtungen 108, 110 zu schnell bewegt werden. Die Schärfe eines Messbildes kann mit klassischen Computer-Vision-Algorithmen untersucht werden (z.B. Laplace-Filter). Ggfs. ist eine Unterscheidung zwischen Unschärfe durch Bewegung und falschem Abstand möglich. Dies kann durch die Anwendung von Optical-Flow-Algorithmen umgesetzt werden. Wird ein unscharfes Messbild erkannt, kann dem Benutzer vorzugsweise der erste Warnhinweis eingeblendet werden, dass die Messung ungenau ist, weil die Stereokamera falsch positioniert wurde und/oder sich zu nahe am Messobjekt 112 befindet.
Neben der Erkennung von Unschärfe durch einen zu nahen Abstand des Messsystems, insbesondere der durch die erste und zweite Bilderfassungseinrichtung 108, 110 ausgebildeten Stereokamera, ist es möglich, einen zu nahen Abstand vorherzusagen. So kann durch laufende Berechnung der Tiefenkarte überprüft werden, ob sich die Kamera dem Messobjekt 112 nähert. Unterschreitet der Abstand einen Wert, bei dem der Abstand zwar noch berechenbar ist, aber das Bild bereits leicht unscharf ist, kann ein entsprechender Warnhinweis an den Benutzer ausgegeben werden. Dies ist insbesondere auch in der robotischen Anwendung relevant, wenn ein Roboter die Bewegung der Kamera ausführt und diese ggf. infolgedessen abbrechen kann.
Während der Berechnung von Abständen aus der Tiefenkarte wird aus der zeitlichen Abfolge von Messabständen ein Mittelwert und ein dazugehöriger Fehler errechnet und dem Benutzer angezeigt. Die Anzeige, dass Messwerte ungenau sind, kann durch die erfindungsgemäßen Detektionsalgorithmen dahingehend unterstützt werden, dass die Ursache für die Messungenauigkeit, d. h. die Art des Erfassungsdefektes, angezeigt wird. Entsprechend ist es vorteilhaft, die Anzeige der Ursache für einen Erfassungsdefekt an das Überschreiten eines vorbestimmten Schwellwerts zu knüpfen.
Gemäß der Erfindung ist es auch vorteilhaft, dass eine Überprüfung einer Belichtungsregelung des Messsystems und/oder ein Weißabgleich, ggf. mitsamt einer Anpassung einer Belichtungsregelung, erfolgt.
Im Allgemeinen erzeugen Stereoendoskope zwei Messbilder bzw. Messbildserien, die nicht zwangsläufig unter denselben Belichtungseinstellungen und/oder Weißabgleichsbedingungen aufgenommen werden. Je nach Stereorekonstruktionsalgorithmus können unterschiedlich aufgenommene Bilder zu Fehler in der Tiefenkarte führen. Entsprechend wird erfindungsgemäß parallel zur Stereorekonstruktion überprüft, ob eine Helligkeit und/oder Farbe in dem ersten und dem zweiten Messbild 109, 111 ähnlich zueinander ist. Hierzu kann bspw. ein Mittelwert pro Farbkanal über beide Messbilder 109, 111 bestimmt und jeweils verglichen werden. Dies kann vorzugsweise auch segment- und/oder abschnittsweise geschehen. Unterscheiden sich die derart gebildeten Mittelwerte über das Maß eines vorbestimmten Schwellwertes hinaus, liegen vermutlich unterschiedliche Aufnahmebedingungen vor und dem Benutzer kann durch den ersten Warnhinweis angezeigt werden, dass ein Weißabgleich notwendig ist. Hierbei können die Farbwerte und Belichtungsregelung wieder aufeinander abgestimmt werden.
Bezugszeichenliste
100 Messsystem
102 Stereo- Endoskop
104 Bilderfassungsvorrichtung
106 Auswerteeinrichtung
108 erste Bilderfassungseinrichtung
109 erstes Messbild
110 zweite Bilderfassungseinrichtung
111 zweites Messbild
112 Messobjekt
114 Objektivbaugruppe
116 optische Einheit
118 optische Einheit
120 Beobachtungskanal
122 Beobachtungskanal
124 Signalwandler
126 Signalwandler
128 erster Ausgabekanal
130 zweiter Ausgabekanal
132 Ausgabeeinrichtung
136 Beobachtungsobjekt
138 Cursor
140 Schachbrett
142 Punkte
144 korrespondierende Bildpunkte

Claims

Patentansprüche
1. Messsystem zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, umfassend: eine erste Bilderfassungseinrichtung (108), die dazu eingerichtet ist, zumindest ein erstes Messbild (109) von einem Messobjekt (112) in einer Szene aus einem ersten Blickwinkel zu erfassen; eine von der ersten Bilderfassungseinrichtung (108) beabstandete zweite Bilderfassungseinrichtung (110), die dazu eingerichtet ist, zumindest ein zweites Messbild (111) von dem Messobjekt (112) in der Szene aus einem zweiten Blickwinkel, der sich von dem ersten Blickwinkel unterscheidet, zu erfassen; eine Ausgabeeinrichtung (132); und eine Auswerteeinrichtung (106), die dazu ausgebildet ist, durch Stereorekonstruktion aus dem zumindest ersten Messbild (109) und dem zumindest zweiten Messbild (111) ein Stereomessbild zu erzeugen, in dem zu einzelnen Bildpunkten des Stereomessbildes Tiefeninformationen umfasst sind; dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu ausgebildet ist, einen Messbildzustand des zumindest ersten Messbildes (109) und/oder des zumindest zweiten Messbildes (111) auf ein Vorliegen zumindest eines Erfassungsdefektes zu überprüfen; und/oder die Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern der ersten und/oder zweiten Bilderfassungseinrichtung (108, 110) zu überprüfen; und, wenn der zumindest eine Erfassungsdefekt einen vorbestimmten Schwellwert über- oder unterschreitet, einen ersten Warnhinweis an die Ausgabevorrichtung (132) zu übermitteln, und/oder wenn die Kalibrierqualität einen vorbestimmten Qualitätsgrenzwert über- oder unterschreitet, einen zweiten Warnhinweis an die Ausgabevorrichtung (132) zu übermitteln, wobei die Ausgabevorrichtung (132) dazu eingerichtet ist, den ersten und/oder zweiten Warnhinweis auszugeben.
2. Messsystem nach Anspruch 1, dadurch gekennzeichnet, dass die erste und die zweite Bilderfassungseinrichtung (108, 110) jeweils dazu eingerichtet ist, eine fortlaufende Stereovideoaufnahme des Messobjektes (112) zu erzeugen, wobei das erste und das zweite Messbild (109, 111) jeweils als Einzelbilder der Stereovideoaufnahme ein zeitlich synchron erfasstes Stereobildpaar defi- nieren, und dass die Auswerteinrichtung (106) dazu eingerichtet ist, den Messbildzustand und/oder die Kalibrierqualität, insbesondere fortlaufend, während der Stereovideoaufnahme zu überprüfen. Messsystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Stereorekonstruktion eine Korrektur von Verzerrungseffekten und/oder eine Rektifizierung zwischen dem zumindest ersten und dem zumindest zweiten Messbild (109, 111) und/oder eine pixelweise, insbesondere algorithmische, Auswertung von Tiefeninformationen umfasst. Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der zumindest eine Erfassungsdefekt eine zumindest teilweise Verschmutzung und/oder Verschmierung und/oder einen zumindest teilweisen Beschlag einer Linse der ersten Bilderfassungseinrichtung und/oder einer Linse der zweiten Bilderfassungseinrichtung; und/oder ein Vorhandensein eines Rauchgases in der Szene und/oder eine Über- oder Unterbelichtung der Szene und/oder eine unzureichende Tiefenschärfe der ersten Bilderfassungseinrichtung und/oder der zweiten Bilderfassungseinrichtung zur Erfassung des zumindest einen Messobjektes in der Szene; und/oder ein unzureichendes Licht- und/oder Farbverhältnis in der Szene beschreibt. Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, das erste und/oder zweite Messbild (109, 111) auf das Vorhandensein des zumindest einen Erfassungsdefektes durch eine Mittelwertbildung des zumindest einen Erfassungsdefektes über zumindest ein vorbestimmtes Bildsegment in dem ersten und/oder zweiten Messbild (109, 111) zu überprüfen. Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, das erste und/oder zweite Messbild (109, 111) bezüglich des Vorhandenseines des zumindest einen Erfassungsdefektes miteinander zumindest segmentweise zu vergleichen. Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, die Überprüfung des ersten und/oder zweiten Messbildes (109, 111) auf das Vorhandensein des zumindest einen Erfassungsdefektes auf Basis von künstlicher Intelligenz und/oder auf Basis einer algorithmischen Auswertung von Bilddaten des ersten und/oder zweiten Messbildes (109, 111) durchzuführen. Messsystem nach Anspruch 2, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, durch Auswertung der Tiefeninformationen, die zeitlich aufeinanderfolgenden ersten Messbilder (109) und/oder die zeitlich aufeinanderfolgenden zweiten Messbilder (111) der Stereovideoaufnahme des zumindest einen Messobjektes (112) darauf zu überprüfen, ob die erste und/oder zweite Bilderfassungseinrichtung (108, 110) einen vorbestimmten Sicherheitsabstand zu dem zumindest einen Messobjekt (112) einhält. Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, die aus dem ersten und dem zweiten Messbild (109, 111) ermittelten Tiefeninformationen, vorzugsweise pixelweise, auf Basis der Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung (108, 110) auf ihre Plausibilität hin zu überprüfen. Messsystem nach Anspruch 9, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, bei der Plausibilitätsprüfung die aus dem ersten und zweiten Messbild (109, 111) ermittelten Tiefeninformationen, vorzugsweise pixelweise, mit Tiefeninformationen zu vergleichen, die in einem ideal kalibrierten Zustand der ersten und/oder der zweiten Bilderfassungseinrichtung (108, 110) auf Basis der Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung (108, 110) zu erwarten sind. Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, die ermittelte Kalibrierqualität bei einer Anzeige zumindest eines Messergebnisses, das in Bezug auf das zumindest eine Messobjekt (112) anzuzeigen ist, mit einzuberechnen. Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Ausgabe des ersten und/oder zweiten Warnhinweises zumindest umfasst, dass zumindest eine vorbestimmte Betriebsfunktion des Messsystems (100) zumindest zeitweise deaktiviert ist; und/oder dass eine Anzeige darüber erfolgt, dass zumindest eine vorbestimmte Betriebsfunktion des Messsystems (100) zumindest zeitweise deaktiviert ist; und/oder dass eine Anzeige darüber erfolgt, welche Art von Erfassungsdefekt in welchem Bildsegment des ersten und/oder zweiten Messbildes (109, 111) vorhanden ist; und/oder dass eine Anzeige darüber erfolgt, wie ein Anwender den ermittelten Erfassungsdefekt beheben kann; und/oder dass eine Anzeige darüber erfolgt, in welchem Maß die Kalibrierqualität des ersten und/oder zweiten Messbildes (109, 111) gegenüber einem Idealzustand abweicht; und/oder dass eine Anzeige darüber erfolgt, dass eine Kalibrierung der ersten und/oder zweite Bilderfassungseinrichtung (108, 110) zu erfolgen hat. Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Ausgabeeinrichtung (132) dazu ausgebildet ist, den ersten und/oder zweiten Warnhinweis in optischer und/oder akustischer und/oder haptischer Form auszugeben. Messsystem nach einem der vorstehenden Ansprüche, das in einem Stereoendoskop (102) oder in einem Stereoexoskop oder in einem Stereomikroskop oder in einem Stereolaryngoskop umfasst ist. Messverfahren zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, umfassend die Schritte:
Erfassen zumindest eines ersten Messbildes (109) von einem Messobjekt (112) in einer Szene aus einem ersten Blickwinkel;
Erfassen zumindest eines zweiten Messbildes (111) von dem Messobjekt (112) in der Szene aus einem zweiten Blickwinkel, der sich von dem ersten Blickwinkel unterscheidet; und
Erzeugen eines Stereomessbildes aus dem zumindest ersten Messbild (109) und dem zumindest zweiten Messbild (111) durch Stereorekonstruktion, wobei in dem Stereomessbild zu einzelnen Bildpunkten des Stereomessbildes Tiefeninformationen umfasst sind; gekennzeichnet durch die Schritte:
Überprüfen eines Messbildzustandes des zumindest ersten Messbildes (109) und/oder des zumindest zweiten Messbildes (111) auf ein Vorliegen zumindest eines Erfassungsdefektes; und/oder Überprüfen der Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern; und, wenn der zumindest eine Erfassungsdefekt einen vorbestimmten Schwellwert über- oder unterschreitet,
Anzeigen eines ersten Warnhinweises, und/oder wenn die Kalibrierqualität einen vorbestimmten Qualitätsgrenzwert unterschreitet,
Anzeigen eines zweiten Warnhinweises.
EP23701901.3A 2022-01-24 2023-01-23 Messvorrichtung und messverfahren zum überprüfen eines messbildzustandes Pending EP4440405A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022101527.0A DE102022101527A1 (de) 2022-01-24 2022-01-24 Messvorrichtung und Messverfahren zum Überprüfen eines Messbildzustandes
PCT/EP2023/051511 WO2023139251A1 (de) 2022-01-24 2023-01-23 Messvorrichtung und messverfahren zum überprüfen eines messbildzustandes

Publications (1)

Publication Number Publication Date
EP4440405A1 true EP4440405A1 (de) 2024-10-09

Family

ID=85076380

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23701901.3A Pending EP4440405A1 (de) 2022-01-24 2023-01-23 Messvorrichtung und messverfahren zum überprüfen eines messbildzustandes

Country Status (5)

Country Link
US (1) US12462433B2 (de)
EP (1) EP4440405A1 (de)
CN (1) CN118591333A (de)
DE (1) DE102022101527A1 (de)
WO (1) WO2023139251A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023117348B4 (de) * 2023-06-30 2025-09-11 Karl Storz Se & Co. Kg Prüfverfahren zur Überprüfung einer geometrischen Kalibrierung

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4468544B2 (ja) 2000-04-03 2010-05-26 オリンパス株式会社 内視鏡装置
DE10100335B4 (de) 2001-01-03 2017-02-09 Carl Zeiss Meditec Ag Vorrichtung zur Anzeige einer Größe im Blickfeld eines Benutzers und Verwendung der Vorrichtung
EP2263448A3 (de) 2004-03-30 2012-07-18 DeLaval Holding AB Anordnung und Verfahren zum Bestimmen der Positionen der Zitzen eines Milchtiers
JP5101089B2 (ja) 2005-11-22 2012-12-19 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP4750175B2 (ja) * 2008-11-28 2011-08-17 オリンパスメディカルシステムズ株式会社 ステレオ光学系、並びにそれを用いたステレオ計測用光学装置、ステレオ計測装置及びステレオ観察装置
JP5777317B2 (ja) 2010-10-22 2015-09-09 株式会社東芝 医用画像表示装置
JP6021489B2 (ja) * 2011-10-03 2016-11-09 キヤノン株式会社 撮像装置、画像処理装置およびその方法
WO2016072490A1 (ja) 2014-11-07 2016-05-12 オリンパス株式会社 撮像システム
DE102016001772A1 (de) 2016-02-16 2016-08-11 Daimler Ag Verfahren zur Bewegungs- und Verhaltensprognose in einer Fahrzeugumgebung befindlicher Objekte
DE102016217792A1 (de) 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
WO2019087253A1 (ja) 2017-10-30 2019-05-09 オリンパス株式会社 ステレオカメラのキャリブレーション方法
US10645364B2 (en) 2017-11-14 2020-05-05 Intel Corporation Dynamic calibration of multi-camera systems using multiple multi-view image frames
EP4647034A3 (de) 2018-08-24 2025-12-10 Intuitive Surgical Operations, Inc. Kameraexterne kalibrierungsparameter für eine bilderfassungsvorrichtung
DE102018129150A1 (de) 2018-11-20 2020-05-20 Karl Storz Se & Co. Kg Endoskopvorrichtung sowie Verfahren zum Betrieb einer Endoskopvorrichtung
JP2021003530A (ja) 2019-06-27 2021-01-14 ソニー株式会社 医療用観察システム、制御装置及び制御方法
CN112734858B (zh) 2021-01-08 2022-11-29 长沙行深智能科技有限公司 一种双目标定精度在线检测方法及装置
US12273500B2 (en) 2021-03-25 2025-04-08 Intel Corporation Methods and apparatus to calibrate and/or validate stereoscopic depth sensing systems

Also Published As

Publication number Publication date
DE102022101527A1 (de) 2023-07-27
US20250104281A1 (en) 2025-03-27
WO2023139251A1 (de) 2023-07-27
CN118591333A (zh) 2024-09-03
US12462433B2 (en) 2025-11-04

Similar Documents

Publication Publication Date Title
DE102007029884A1 (de) Verfahren und Einrichtung zum Erzeugen eines aus einer Mehrzahl von endoskopischen Einzelbildern zusammengesetztes Gesamtbildes von einer Innenoberfläche eines Körperhohlraums
DE102004061875A1 (de) Einrichtung zur Diagnoseunterstützung
EP1994501A1 (de) Verfahren und vorrichtung zum erzeugen einer strukturfreien fiberskopischen aufnahme
WO2012119694A1 (de) Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops
EP3248173B1 (de) Assistenzeinrichtung und verfahren zur bildgebenden unterstützung eines operateurs während eines chirurgischen eingriffs unter verwendung mindestens eines medizinischen instrumentes
WO2023139251A1 (de) Messvorrichtung und messverfahren zum überprüfen eines messbildzustandes
DE102022126824A1 (de) Verfahren zum Überlagern von Überlagerungsaufnahmeinformationen mit einem Livebild und eine entsprechende Vorrichtung
EP4124283A1 (de) Messverfahren und eine messvorrichtung
EP1262810A2 (de) Verfahren zur Entfernungsmessung ausgedehnter Objekte in Verbindung mit einer optischen Betrachtungseinrichtung und Mikroskop zur Durchführung desselben
DE102008021836A1 (de) Röntgenbildaufnahmesystem und Verfahren zur unterstützenden Bildgebung bei einer Punktion
DE19800765A1 (de) Verfahren zur Erzeugung von Bilddarstellungen sowie System hierfür
DE102021126658B3 (de) Medizinisches Visualisierungsystem und Verfahren zur Video-Stabilisierung bei einem solchen System
EP4462377A1 (de) Verfahren und vorrichtung zur überblendung von objekten in digitalen bildern
WO2023237497A1 (de) Medizinische bildgebungsvorrichtung, verfahren zum betrieb einer solchen und verfahren zur medizinischen bildgebung
EP4151139A1 (de) Verfahren und vorrichtung zur videoendoskopie mit fluoreszenzlicht
WO2024126170A1 (de) Verfahren und systeme zur bildoptimierung für 3d-endoskope
DE102010014114B4 (de) Ophthalmologisches Gerät mit Abbildungsmodi für Justier- und Messaufgaben
EP4441709B1 (de) Verfahren und messvorrichtung zur korrektur einer position eines messpunktes
DE102006004006B3 (de) Verfahren und Vorrichtung zur Erzeugung eines hoch aufgelösten Bildes für faseroptische Systeme
DE102022200821B9 (de) Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops und medizinische Mikroskopanordnung
DE102024134514B3 (de) Verfahren zur Bestimmung einer Lage einer Stereobasis eines Stereosystems eines medizinischen Visualisierungssystems sowie medizinisches Visualisierungssystem
DE102010013413A1 (de) Endoskop
DE102024114647A1 (de) Bildgebungsvorrichtung, System und Verfahren zur Bildgebung
DE102022115795A1 (de) Operationsmikroskopsystem und Verfahren zur Bestimmung eines Fehlers in einem Bild eines Operationsgebietes
EP4002067A1 (de) Verfahren zur vorbereitung eines 3d-scans und 3d-scanner zur durchführung des verfahrens

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240704

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: APP_7868/2025

Effective date: 20250217

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)