EP4590168A1 - Medizinische bildgebungsvorrichtung, medizinisches system und verfahren zur farbanpassung einer medizinischen bildgebungsvorrichtung - Google Patents

Medizinische bildgebungsvorrichtung, medizinisches system und verfahren zur farbanpassung einer medizinischen bildgebungsvorrichtung

Info

Publication number
EP4590168A1
EP4590168A1 EP23771885.3A EP23771885A EP4590168A1 EP 4590168 A1 EP4590168 A1 EP 4590168A1 EP 23771885 A EP23771885 A EP 23771885A EP 4590168 A1 EP4590168 A1 EP 4590168A1
Authority
EP
European Patent Office
Prior art keywords
calibration
image
imaging device
color
calibration object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23771885.3A
Other languages
English (en)
French (fr)
Inventor
Lukas Buschle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz SE and Co KG
Original Assignee
Karl Storz SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz SE and Co KG filed Critical Karl Storz SE and Co KG
Publication of EP4590168A1 publication Critical patent/EP4590168A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances

Definitions

  • Medical imaging device medical system and method for color adjustment of a medical imaging device
  • the invention relates to a medical imaging device, a medical system and a method for color adjustment of a medical imaging device.
  • Imaging devices such as endoscopic or exoscopic devices that generate multispectral or hyperspectral images are known from the prior art.
  • multispectral or hyperspectral images also have a spectral dimension.
  • the spectral dimension includes several spectral bands (wavelength bands).
  • Multispectral and hyperspectral images differ essentially in the number and width of their spectral bands.
  • DE 20 2014 010 558 U1 describes a device for recording a hyperspectral image of an examination area of a body.
  • An input lens for generating an image in an image plane and a slit-shaped aperture in the image plane for masking out a slit-shaped area of the image are arranged in the device.
  • the light passing through the aperture is fanned out using a dispersive element and recorded using a camera sensor.
  • a large number of spectra each with an assigned spatial coordinate, can be recorded by the camera sensor along the longitudinal direction of the slit-shaped aperture.
  • the device described is further designed to record further spectra along the longitudinal direction of the slit-shaped aperture in a direction different from the longitudinal direction of the slit-shaped aperture.
  • the method for generating multispectral or hyperspectral images on which this disclosure is based is also known as the so-called pushbroom method.
  • the examination area or object is scanned point by point and a spectrum is obtained for each point.
  • the staring process takes several images with the same spatial coordinates. Different spectral filters and/or lighting sources are used from image to image to resolve spectral information.
  • a two-dimensional multicolor image is broken down into several spectral individual images using suitable optical elements such as optical slicers, lenses and prisms, which are recorded simultaneously on different detectors or detector areas. This is sometimes referred to as the snapshot approach.
  • multispectral and hyperspectral imaging devices are particularly suitable as endoscopic imaging devices.
  • multispectral and/or hyperspectral imaging is a fundamental field of application, for example for diagnostics and for assessing the success or quality of an intervention.
  • this task is solved by a medical
  • Imaging device with the features of claim 1 a medical one System with the features of claim 14, a calibration object for a medical imaging device with the features of claim 21 and a method for color adjustment of a medical imaging device with the features of claim 22. Further developments of the invention can be found in the dependent claims.
  • a medical imaging device can comprise an imaging unit that is set up to carry out multispectral and/or hyperspectral image capture, wherein the imaging unit is set up to record at least one intraoperative calibration image of a calibration object that can be introduced intraoperatively into a cavity while the calibration object is introduced into the cavity .
  • the medical imaging device can comprise a calibration unit which is set up to carry out a color adjustment for the image capture in accordance with the calibration image, which includes an adjustment of a color calibration, in particular a white balance calibration.
  • the medical imaging device can be, for example, an endoscope device, an exoscope device and/or a microscope device.
  • a medical system can include a calibration object that can be introduced into a cavity intraoperatively, as well as a medical imaging device according to the invention.
  • the invention also relates to a calibration object for a medical imaging device according to the invention and/or for a medical system according to the invention.
  • a method for color adjustment of an imaging device is proposed, which is set up to carry out multispectral and/or hyperspectral image capture.
  • This can be a white light calibration procedure.
  • the method may include a step of intraoperatively introducing a calibration object into a cavity.
  • the method can include recording at least one intraoperative calibration image of the calibration object introduced intraoperatively into the cavity.
  • the method may include performing a color adjustment for the image capture in accordance with the calibration image, the color adjustment comprising an adjustment of a color calibration. This can in particular include adjusting a white light calibration.
  • the features according to the invention allow color matching of an imaging device to be carried out efficiently.
  • Color adjustment can be performed during surgery and in an inserted state of an imaging device, eliminating the need to allocate time and resources to pre-calibrate prior to a procedure.
  • a high degree of accuracy can also be achieved because any spectral shifts can be avoided by carrying out a color adjustment or a correction or adjustment of a color calibration directly in the environment in which imaging is to be carried out.
  • parameters can be obtained from multispectral or hyperspectral images with high accuracy in a time-efficient manner.
  • the medical imaging device may be part of and/or include a medical imaging device and/or imaging instrument.
  • the imaging device can be set up to record tissue parameters, images of wounds, images of body parts, etc.
  • the imaging device can be set up to image an operating field.
  • the imaging unit can comprise at least one optic and at least one image capture sensor system coupled to the optics, which are set up to carry out image capture of an image area, in which spatially and spectrally resolved image data are generated, which include both spatial and spectral information.
  • the imaging unit and in particular the optics and/or the image capture sensor system can be set up for multispectral and/or hyperspectral imaging, in particular to capture and/or generate multispectral and/or hyperspectral image data.
  • Multispectral imaging or multispectral image data can refer in particular to such imaging in which at least two, in particular at least three, and in some cases at least five spectral bands can be and/or are detected independently of one another.
  • Hyperspectral imaging or hyperspectral image data can refer in particular to such imaging in which at least 20, at least 50 or even at least 100 spectral bands can be detected and/or are detected independently of one another.
  • the imaging device can work according to the pushbroom method and/or according to the whiskbroom method and/or according to the staring method and/or according to a snapshot principle.
  • the includes a white light camera and/or sensors for white light image capture.
  • the imaging device can be set up for white light imaging in addition to spectrally resolved imaging. Separate optics and/or common optics can be used for this.
  • the white light imaging and the spectrally resolved imaging can be performed simultaneously or alternately or at times simultaneously and at times sequentially.
  • the imaging device includes sensors for fluorescence imaging.
  • the imaging device can be set up for fluorescence imaging in addition to spectrally resolved imaging and possibly in addition to white light imaging. Separate optics and/or common optics can be used for this.
  • the fluorescence imaging, possibly the white light imaging and the spectrally resolved imaging can be carried out simultaneously or alternately or at times simultaneously and at times one after the other.
  • Hyperspectral imaging is then recommended. This can be combined with white light imaging and/or fluorescence imaging. This makes observation in real time possible via a white light image and/or a fluorescence image, even if the acquisition of spectrally resolved image data only takes place essentially in real time, i.e., for example, several seconds are required to create a spectrally resolved image.
  • spectral image data in real time or at least substantially in real time. This includes, for example, generating a spectrally resolved image in less than a second or even several times per second. It may be useful to use multispectral imaging here. A possibly lower spectral resolution is then offset by a higher refresh rate. Depending on the application, it may be sufficient to consider only a few different spectral ranges and/or wavelengths, for example two or three or four or generally less than ten. In this case, additional white light imaging can optionally be dispensed with become. Spectrally resolved image data, which is obtained in real time or delivers several images per second, can also be used for surveillance purposes, whereby an image that is to be reproduced does not necessarily have to be created for a user, but the image data can also be processed in the background.
  • the calibration object can be set up to be imaged in a state introduced into the cavity, so that information can be determined based on an image of the calibration object in this state introduced into the cavity, based on which a color adjustment for the image capture can be carried out.
  • the cavity can, for example, be a body cavity or be located in the body of a patient.
  • the cavity can in particular be delimited by tissue and/or body parts.
  • the calibration image is recorded in particular in a state in which the imaging unit is inserted into the cavity and/or is directed towards an interior of the cavity.
  • the intraoperative calibration image on which the calibration object can be recognized is recorded in a state in which a shaft of the endoscope device is inserted into the cavity.
  • the intraoperative calibration image can be referred to as an intracorporeal calibration image.
  • the color adjustment can include an adjustment of at least one parameter of a color calibration, in particular a white balance calibration.
  • the color adjustment can also include a complete color calibration.
  • the color adjustment can serve to correct a color calibration that has been carried out beforehand.
  • a color adjustment to be made can be easily determined in particular if the calibration object comprises at least one color area with predetermined spectral properties.
  • the colored area can be colored homogeneously.
  • the color area can be suitable for carrying out a white balance calibration.
  • the colored area has an area of at least 1 mm 2 , at least 10 mm 2 , or even at least 1 cm 2 .
  • the color area can, for example, be monochrome and/or white.
  • white refers to the property of the color surface to scatter illuminating light in a spectral range at least substantially independent of wavelength, which includes at least visible light, for example a spectral range that is based on a wavelength of at least 300 nm, at least 350 nm or at least 400 nm to a wavelength of at least 600 nm, at least 700 nm or at least 800 nm.
  • the range can extend at least from 500 nm to 1000 nm.
  • the calibration object can have a sterile and/or sterilized surface.
  • the medical system can include an outer packaging for the calibration object, which encloses the calibration object in a sterile manner. The calibration object can be removed from the outer packaging before entering the cavity and recording the calibration image.
  • the calibration object can be part of a medical instrument. This allows a calibration image to be recorded without any significant loss of time, for example if the instrument is already inserted into the cavity.
  • the at least one color surface can be autoclave-resistant in such a way that the spectral properties of the color surface are at least substantially retained when the calibration object is autoclaved.
  • the spectral properties of the color surface can remain substantially unchanged over at least ten, at least 20, at least 50 or even at least 100 autoclaving cycles. This allows the calibration object to be used multiple times. This design can be particularly advantageous if the calibration object is located on a medical instrument that can be used multiple times and/or is part of such an instrument.
  • the spectral properties of the color surface mimic spectral properties of human and/or animal tissue.
  • an absorption spectrum and/or a reflection behavior and/or a scattering behavior of the colored surface at least in the visible spectral range and/or in the near-infrared range at least essentially corresponds to an absorption spectrum and/or a reflection behavior and/or a scattering behavior of human and/or animal tissue.
  • the tissue can be epithelial tissue, muscle tissue, nervous tissue and/or connective tissue. This allows color matching to be carried out particularly precisely with respect to relevant spectral ranges. Under certain circumstances, additional weighting of spectral regions in the calibration image can be omitted since it is known that the image of the calibration object reflects the spectral region in which tissue is to be imaged.
  • the calibration object may be intended for single use.
  • the calibration object can, for example, be inserted into the cavity once after recording the calibration image and then thrown away. In this way, a calibration object can be provided that can be produced inexpensively and with low requirements in terms of material quality and durability.
  • Basic calibration data can be generated efficiently and with little effort, in particular, if the imaging unit is set up to record at least one basic calibration image in a color-calibrated state.
  • the basic calibration data can be based at least partially on the basic calibration image.
  • the basic calibration image is recorded in particular extraoperatively and outside a body cavity.
  • the basic calibration image is recorded in a state in which the imaging unit is correctly color-calibrated and in particular is subject to correct white balance.
  • the calibration object in particular can be recorded in an extraoperative state.
  • the calibration image of the calibration object recorded intraoperatively can then be compared with the basic calibration image.
  • the calibration unit can be set up to determine spectral information of an image area of the calibration image that is assigned to the calibration object. This makes spectral information available that relates to the calibration object. This can be compared with the known or expected spectral properties of the calibration object, whereby a color adjustment or correction can be carried out with a high degree of accuracy.
  • the calibration unit is set up to carry out image recognition to recognize the calibration object. This allows a high degree of automation to be achieved.
  • the image recognition can detect a segmentation, based on which image areas of the calibration image can be determined in which at least parts of the calibration object are located.
  • the image recognition can be based on information obtained from the base calibration image.
  • a user can make specifications regarding recognition of the calibration object based on the base calibration image, which are used by the calibration unit to recognize the calibration object in the calibration image. In this way, a high degree of reliability of detection of the calibration object can be achieved.
  • the detection of the calibration object can include detection as to whether there is a calibration object in the image. This can be achieved, for example, using suitable classification models.
  • the image recognition can include putting the imaging unit and in particular a camera of the imaging unit into a calibration mode. This can, for example, include specifying a specific exposure rule, especially in the case of a multispectral one Imaging unit, a change from a white light mode to a multispectral mode in which no image is displayed to the user, at least temporarily, or a method to a suitable location of an imaging slit of a hyperspectral detection sensor system.
  • the detection of the calibration object can include detection of image points and/or image areas that belong to the calibration object. This can be achieved, for example, using suitable classification models. This allows those image areas that are relevant for the calibration to be selected from the calibration image. Furthermore, spectral properties can be determined for the mentioned image areas and/or image points.
  • the imaging unit can be set up to automatically switch to a calibration mode if the calibration object is detected. This achieves a high degree of operating safety and ease of use.
  • the recognition of the calibration object can be carried out particularly efficiently if the image recognition is based on multispectral and/or hyperspectral image data.
  • the image recognition can be carried out using the same image data that forms the basis of the calibration image.
  • the image recognition can include recognition of the calibration object in the calibration image.
  • the imaging unit is configured to perform white light imaging, with image recognition being based on white light image data. This allows a high degree of accuracy in the recognition of the calibration object to be achieved.
  • the calibration unit can be configured to match white light image data with the calibration image or to map them to one another. An image area found in a white light image in which the calibration object is located can then be recognized in the calibration image. This allows the calibration object to be reliably and precisely recognized in the calibration image and an image area that is relevant for the color adjustment to be used. It is advisable to use a calibration object with a distinctive shape and/or a distinctive color design that promotes image recognition. For example, it can be a color pattern with defined areas that have geometric shapes and/or colors that are easy to recognize and possibly distinguishable from one another.
  • a calibration image of high quality and relevant information content can be obtained in particular if the imaging unit is set up to capture at least one test image of the calibration object.
  • the calibration unit can be set up to create an analysis of the test image and to specify at least one image acquisition parameter for capturing the calibration image in accordance with the analysis.
  • the image acquisition parameter can, for example, relate to settings that relate to multispectral and/or hyperspectral imaging during the acquisition of the calibration image. For example, in the case of a pushbroom camera, this can be used for targeted column recordings after the test image has been used to determine in which image area the calibration object is located. The recording of the calibration image can then be directed at these image areas, thereby achieving a high spectral resolution and/or enabling rapid image acquisition.
  • Information relevant to a color adjustment can be specifically determined in particular if the calibration unit is set up to disregard overexposed image areas and/or underexposed image areas of the calibration image for the color adjustment.
  • the detection of overexposed image areas can in particular be carried out in addition to the detection of image areas in which the calibration object is located.
  • the color adjustment can therefore be based in particular and preferably only on those image areas in which the calibration object is imaged correctly exposed.
  • the color adjustment can be carried out precisely and/or depending on the situation if the imaging unit is set up to record several intraoperative calibration images of the calibration object while the calibration object is introduced into the cavity.
  • the color adjustment can be based on the several different calibration images.
  • a combination image can be determined from multiple calibration images. In this way, for example, averaged spectral information can be obtained.
  • several calibration images can be recorded at time intervals and a color adjustment can be carried out in each case. The color adjustment can thus be adapted to a changing imaging situation.
  • the color adjustment can include a spatial and/or a temporal weighting of the several different calibration images.
  • Several calibration images can thus be combined in a targeted manner, taking the relevant information into account and less relevant or irrelevant information can be ignored.
  • the weighting may depend on additional information available, such as a focus, an image area, a lighting situation, image capture parameters, etc. during the acquisition of the multiple calibration images.
  • the weighting can additionally or alternatively include results of image analyses. For example, a self-learning system and/or an AI algorithm can be used to assess a quality, a suitability, an image area, a relevance or the like of calibration images.
  • image errors in calibration images can be detected and corresponding calibration images can be sorted out or at least taken into account with a low weighting.
  • the medical imaging device may further comprise an assessment unit configured to compare a degree of color calibration adjustment with a threshold value and issue a recommendation for external and/or extraoperative recalibration if the degree of color calibration adjustment exceeds the threshold value .
  • an assessment unit configured to compare a degree of color calibration adjustment with a threshold value and issue a recommendation for external and/or extraoperative recalibration if the degree of color calibration adjustment exceeds the threshold value .
  • an expected quality of color calibration may be presented to a user. For example, if there is no instrument or, generally speaking, no calibration object in the image area at the beginning of an intervention, the expected quality of the color calibration is low. Under certain circumstances, a hyperspectral recording can even be deactivated automatically if it is expected that it cannot be carried out with reasonable quality. After a calibration object, in particular an instrument with one, can be recognized in the image, a color calibration can be carried out. Usage security then has a high degree because image data can be reliably generated. After removing the instrument/calibration object, safety can decrease again, particularly due to the slow heating of the camera and light source.
  • a recording function is automatically deactivated again in order to prevent incorrect images from being recorded.
  • the devices and systems according to the invention as well as the methods according to the invention should not be limited to the application and embodiment described above. In particular, these can have a number of individual elements, components and units as well as method steps that deviate from the number of individual elements, components and units as well as method steps mentioned here in order to fulfill a function of operation described herein.
  • values lying within the stated limits should also be considered disclosed and can be used in any way.
  • first, second, third object, etc. these serve to name and/or assign objects. Accordingly, for example, a first object and a third object, but not a second object, can be included. However, a number and/or a sequence of objects could also be derived from number words.
  • 1 shows a schematic representation of a medical system with a medical imaging device
  • 2 shows a schematic representation of a calibration image with an image area that shows a calibration object
  • 3 shows a schematic spectrum of the image area of the calibration image, which shows the calibration object
  • FIG. 4 shows a schematic representation of a basic calibration image with an image area that shows a calibration object
  • FIG. 6 shows a schematic representation of a calibration image with overexposed and underexposed image areas
  • Fig. 8 is a schematic representation of a calibration image, which is another
  • FIG. 9 shows a schematic representation of a calibration image that shows yet another calibration object
  • FIG. 10 is a schematic perspective view of another medical system.
  • FIG. 11 shows a schematic flowchart of a method for color adjustment of a medical imaging device.
  • the imaging device 10 is an endoscopic imaging device, specifically an endoscope device.
  • the imaging device 10 could be an exoscopic, a microscopic or a macroscopic imaging device.
  • the imaging device 10 is intended, for example, for examining a cavity.
  • the imaging device 10 includes an imaging unit 12 that is set up to carry out multispectral and/or hyperspectral image capture.
  • the imaging unit 12 includes at least one optics and image capture sensors, which are not shown in FIG. 1. These can be at least partially integrated into a camera unit 45.
  • the optics and the image capture sensor system can optionally comprise usable optical filters and/or image sensors operating in different spectral ranges.
  • the optics and the image capture sensors can work, for example, using the pushbroom method or the whiskbroom method.
  • the imaging unit 12 can be set up to record white light images in addition to multispectral and/or hyperspectral image capture. This can be done in parallel or sequentially to multispectral and/or hyperspectral imaging. For example, a real-time white light image can be generated.
  • multispectral images and/or hyperspectral images and/or fluorescence images can then be superimposed on the white light image, alternating with it and/or displayed in parallel therewith.
  • the imaging device 10 comprises an imaging instrument 42, for example an endoscope. Parts of the optics and/or the image capture sensors can also be integrated into the imaging instrument 42.
  • a camera (“Tipcam”) arranged on a distal shaft end of the imaging instrument may be provided.
  • the imaging device 10 further comprises an illumination unit 44.
  • the illumination unit 44 can be connectable and/or connected to the imaging instrument and can provide illumination light for image capture.
  • the illumination unit 44 can be designed to be multimodal and, for example, generate white light, excitation light for fluorescence imaging and/or excitation light for multispectral and/or hyperspectral imaging.
  • the medical system 34 includes a medical instrument 38.
  • the medical instrument 38 can be set up to provide therapeutic and/or to be inserted into a patient's cavity for diagnostic purposes.
  • the medical instrument 38 is a tissue coagulation forceps.
  • any medical instruments are possible according to the invention. These can be inserted through a working channel of an endoscope and/or through an access device and/or through a cut and/or otherwise into a particularly opened cavity and can be used there.
  • the medical system 34 and/or imaging device 10 further comprises a display unit 46.
  • the display unit 46 is set up to display representations to a user that are based, for example, on captured image data. For example, a user can view a site via the display unit 46 in order to observe the medical instrument 38, assess the tissue to be treated and/or examined, check a correct arrangement and/or orientation of the imaging instrument 42, or the like.
  • the imaging unit 12 is set up to record at least one calibration image 14 of a calibration object 18 that can be introduced intraoperatively into a cavity 16.
  • the recording of the calibration image 14 takes place in a state in which the imaging device 10 images an interior of the cavity 16 and, for example, is at least partially inserted into it and/or focused into it.
  • the calibration object 18 is introduced into the cavity 16.
  • the calibration object 18 is used to carry out a color adjustment for the image capture, by means of which a color calibration can be adjusted. In this case, a white balance calibration can be adjusted and/or carried out.
  • the calibration image 14 is recorded under real operating conditions. As a result, the color adjustment is based on conditions that actually occur during image capture.
  • the imaging device 10 comprises a calibration unit 20, which is shown schematically in Fig. 1.
  • the calibration unit 20 can be designed as a physically separate unit. It can also be integrated into a controller and/or control unit of the imaging device 10.
  • the calibration object 18 is part of the medical instrument 38.
  • the calibration object 18 can include a label 40, for example.
  • the label 40 includes, for example, a logo and/or characters and/or symbols, such as a company name and a company logo or a type designation of the instrument.
  • the calibration object 18 can be designed in such a way that it cannot be immediately recognized as such by uninvolved people.
  • the calibration image 14 contains an image area 26 which is assigned to the calibration object 18.
  • the calibration unit 20 is set up to determine such an image area 26. In the case shown as an example, this is done automatically using image segmentation.
  • the calibration object may include symbols and/or markings that support recognition. For example, a partial or complete frame and/or at least a boundary line or the like can be present. Such limiting elements can be identified easily and reliably using common methods. Based on this, the image area 26 can then be determined, within which the calibration object 18 is located.
  • the image area 26 shown in Fig. 2 is to be understood as schematic. If the calibration object includes, for example, one or more characters, logos and/or symbols, the image area 26 can be limited by edges and/or a contour thereof. The image area 26 can, for example, only include the characters, logos and/or symbols. As a result, the image area 26 is limited to sections in which the calibration object 18 has known and defined optical properties, whereby a color adjustment can be carried out reliably.
  • the image recognition of the calibration object 18 can be based on multispectral and/or hyperspectral image data. In particular, the image recognition can be carried out directly and in particular exclusively based on the calibration image 14. Alternatively or additionally, an associated white light image can also be analyzed. For example, a position and a covered image area of the calibration object 18 can be recognized in the white light image and a corresponding position/image area in the calibration image 14 can be determined.
  • the image recognition can be carried out using a Kl algorithm that is based on image segmentation.
  • the algorithm can be trained appropriately, for example using multiple images of the calibration object 18 and/or similar or identically designed objects. In some embodiments, the training is based on recognition of different lettering, logos and symbols.
  • the calibration unit 20 can thereby be set up to recognize different calibration objects 18, in particular calibration objects 18 that include different labels.
  • the imaging device 10 can be color-adjusted intraoperatively when used with different calibration objects 18 and in particular with different instruments that include different calibration objects 18. It is then not necessary to introduce a specific calibration object into the cavity 16 specifically for the color adjustment, but the color adjustment can be carried out as part of any desired interventions.
  • the imaging unit 18 can be automatically put into a calibration mode in the event that a calibration object 18 is detected.
  • a calibration mode for example, a white light display can be temporarily interrupted for the user.
  • certain predetermined image capture parameters can be set automatically in the calibration mode, so that the correct execution of a calibration is guaranteed.
  • the calibration object 18 includes at least one color area 36 with predetermined spectral properties.
  • the label 40 forms the color area 36.
  • the color surface 36 can be homogeneously colored, for example white, gray or with a color that replicates the spectral properties of human and/or animal tissue.
  • the color surface 36 may have an absorption spectrum similar to that of human and/or animal tissue in the visible region and/or near-infrared region. As a result, a color adjustment can be based on a spectrum that is oriented in the relevant spectral ranges to the area of application of the imaging device.
  • the coloured surface 36 is autoclave-proof. Its spectral properties are therefore retained even after repeated autoclaving.
  • the calibration object 18 is thus autoclaved and thus prepared for a new use when the medical instrument is autoclaved.
  • the autoclave resistance can be achieved by using an autoclave-proof colour and/or by using a coating.
  • a suitable coating can be based on a lacquer and/or vaporised and/or sputtered, for example.
  • metal oxide coatings are suitable, which are visible in the visible and in the Near-infrared light is transparent, but at the same time can withstand the harsh conditions of autoclaving.
  • FIG. 3 shows a schematic spectrum 48 of the image area 26 of the calibration image 14, which shows the calibration object 18.
  • the spectral range covered extends, for example, at least from 400 nm to 750 nm, from 400 nm to 900 nm or even further to smaller and/or larger wavelengths.
  • the spectrum can extend over a wavelength range that corresponds to the wavelength range covered by the imaging unit 12.
  • this spectrum 48 is based on an averaging over pixels of the image area 26.
  • the spectrum 48 is alternatively or additionally based on a temporal averaging.
  • the spectrum 48 can be based on hyperspectral or multispectral image data.
  • the spectrum shown in FIG. 3 is to be understood purely as an example. In particular, in the case of a multispectral imaging unit, it can also be a spectrum that only includes a few points, in particular one point per multispectral support point.
  • the calibration unit 20 is set up to first determine the image area 26 and then to determine spectral information of the image area 26. This is in particular the spectrum 48 shown schematically.
  • the calibration unit 20 Based on the spectral information thus determined, the calibration unit 20 carries out a color adjustment.
  • the color adjustment is based on basic calibration data.
  • the basic calibration data relate to the calibration object 18. Based on this, the calibration unit carries out at least one calculation that is based on the basic calibration data and on the calibration image 14, in particular on the spectral information determined with respect to the image area 26.
  • the basic calibration data can include a known spectrum of the calibration object 18, in particular its at least one color area 36.
  • the basic calibration data can therefore be stored and/or stored in the calibration unit 20.
  • the basic calibration data is based on the recording of at least one basic calibration image 22.
  • the imaging unit 12 is set up to be in a color-calibrated state Record basic calibration image 22.
  • the imaging unit 12 is calibrated externally so that it has a correct white balance calibration.
  • at least one basic calibration image 22 of a basic calibration object 19 is recorded.
  • the base calibration object 19 can be, for example, a neutral-colored screen and/or a neutral-colored color balance card, for example a gray card, a white area or the like.
  • the base calibration object 19 may include a target mark in a known manner to enable correct alignment.
  • a completely uniform surface can also be imaged, which has the advantage that a spectrum can be obtained for each pixel. If a target marker is used, the relevant image points can be hidden. Alternatively, the spectra belonging to pixels of the target marking can be replaced by spectra of nearby pixels and/or interpolated based on these.
  • the calibration unit 20 is also set up to determine spectral information of the image area 50. From this, a spectrum 52 of the calibration object 18 can be obtained, as shown as an example in FIG. 5. Due to the external color calibration of the imaging unit 12 before recording the basic calibration image 22, the spectrum 52 or generally spectral information determined from the basic calibration image 22 is spectrally unadulterated. A calculation on which the color adjustment is based can thus be carried out by comparing intraoperatively determined spectral information, such as in particular the spectrum 48, with spectral information, in particular the spectrum 52, which is based on the base calibration image 22.
  • a color adjustment is carried out using the spectra 48, 52, for example, as follows.
  • w 0 denote the spectrum 52. This is assumed to correspond to the spectrum with correct white balance calibration.
  • Wi should denote the spectrum 48. This corresponds to the measurement of the calibration object 18 carried out intraoperatively, which may produce a color deviation and require a color adjustment.
  • the color adjustment is then defined by the quotient w 0 /wi, ie captured images can be corrected with w 0 /wi.
  • a black balance correction can also be carried out analogously to the procedure described here. This can be included in the color adjustment.
  • a black level b can be determined by taking an image in the absence of lighting.
  • the calibration object 18 has at least one black color area 36, which is in Calibration image 14 can be recognized. If a black level is taken into account, the color adjustment factor is determined as (w 0 -b)/(wi-b).
  • FIG. 6 shows a schematic representation of a calibration image 53 with an overexposed image area 28 and an underexposed image area 30.
  • These image areas 28, 30 can influence spectral evaluations of the calibration image 53. In the case shown as an example, these also overlap the image area 26 in which the calibration object 18 is imaged, so that it cannot be completely recognized. If the entire image area 26 were used as the basis for the color adjustment, the overexposed image area 28 and/or the underexposed image area 30 could have an effect on the color adjustment.
  • the calibration unit 20 is set up to detect overexposed image areas 28 and underexposed image areas 30 and to disregard them in the color adjustment. If necessary, only a part of the image area 26 is used and thus only a section of the calibration object 18 that is imaged correctly and/or with sufficient quality and/or accuracy is taken into account.
  • the imaging unit can be set up to capture at least one test image 24 of the calibration object 18.
  • a test image 24 is shown as an example in FIG. 7.
  • the test image 24 can be used to check the suitability of a selected image setup for carrying out an intraoperative calibration. Based on the test image 24, it can be assessed whether a calibration image 14 recorded in the next step can provide suitable spectral information.
  • the calibration unit 20 is also set up to create an analysis of the test image 24 and to specify at least one image capture parameter for capturing the calibration image 14 in accordance with the analysis.
  • the test image 24 is thus used to adapt and, if necessary, optimize parameters for recording the calibration image 14.
  • the analysis of the test image 24 includes a determination of an image area 54 in which the calibration object 18 is located.
  • the image area 54 can be selected depending on the adjustability of the imaging unit 12. In the example, it differs from the image area 26 described above, which is primarily or exclusively based on the extent and contour of the calibration object 18.
  • the image area 54 is used to set parameters for column recordings in such a way that that spatially and spectrally resolved image data is only recorded for the image area 54. This can then be done in a short time and/or with high accuracy.
  • an exposure and/or a focus and/or other image capture parameters are optimized only in relation to the image area 54.
  • overexposure and/or underexposure in areas outside the image area 54 can be accepted. If a calibration image 14 is then recorded based on the analysis of the test image 24, this is optimized in such a way that reliable data can be obtained, in particular for the image area 54.
  • the calibration unit 20 is set up to record several intraoperative calibration images 14 of the calibration object 18 while the calibration object 18 is introduced into the cavity 16.
  • the color adjustment is then based on several different calibration images 14. These can show identical and/or different motifs. For example, several identical calibration images 14 can be recorded one after the other in order to be able to compensate for image errors. Furthermore, several calibration images 14 with different acquisition parameters such as lighting, exposure time, focus, etc. can be recorded and analyzed. Based on the individual analyses, color adjustment can be carried out through averaging, weighting, connection, adjustment, etc. Alternatively or additionally, several calibration images 14, which were recorded with matching parameters and from the same subject, can first be overlaid to form a single image, which is then subjected to analysis.
  • the color adjustment can include a spatial and/or temporal weighting of the several different calibration images 14. This weighting can also only relate to selected image areas of the different calibration images 14. For example, for each calibration image 14, the image area 26 that is assigned to the calibration object 18 can first be determined. The further analysis to determine the color adjustment is then based on the determined image areas 26.
  • the imaging device 10 further includes an assessment unit 32 configured to compare a degree of color calibration adjustment with a threshold value and issue a recommendation for external recalibration if the degree of color calibration adjustment exceeds the threshold value .
  • the recommendation can be output via the display unit 46, for example. If only minor adjustments are required that do not exceed the threshold, no external recalibration is required.
  • Fig. 8 shows a schematic representation of a calibration image 14', which shows another calibration object 18'.
  • the calibration object 18' has several color areas 36' with predetermined spectral properties. These are designed as homogeneous color areas with an extent of a few mm 2 , for example as rectangles, squares, circles, polygons, ellipses or other simple geometric figures.
  • the color areas 36' can be found easily and reliably on the basis of image segmentation. They can also have different colors, so that several spectra can be obtained, which can be used as the basis for the color comparison.
  • the calibration object 18' can be part of a medical instrument 38', analogous to the calibration object 18 described above.
  • Fig. 9 shows a schematic representation of a calibration image 14", which shows another calibration object 18".
  • the calibration object 18" has at least one color area 36' with specified spectral properties.
  • the 18" calibration object is intended for one-time use.
  • the 18" calibration object is, for example, part of a calibration rod 56. This can be packaged sterile. If a color adjustment is to be carried out, the calibration object 18" and/or the calibration rod 56 is unpacked and inserted into the cavity 16. Since the 18" calibration object is unused before use, its spectral properties are known very precisely and are not affected by previous cleaning cycles, autoclaving and/or contamination.
  • a calibration object can also be used that is designed as a separate element and is not part of a medical instrument, but can still be intended for repeated use.
  • Fig. 10 shows a schematic perspective view of a further medical system 34'' with an alternative imaging device 10''.
  • the alternative imaging device 10' basically works analogously to the imaging device 10 described above.
  • the alternative imaging device 10'" is designed as an exoscopic imaging device. For multispectral and/or hyperspectral imaging, it is directed, for example, into an opened cavity 16'". When adjusting the color, a calibration object 18'' is placed in the cavity 16'', as described above.
  • FIG. 11 shows a schematic flowchart of a method for color adjustment of a medical imaging device.
  • the sequence of the procedures also results from the above statements.
  • the method is carried out using the imaging device 10.
  • the method includes a step S1 of intraoperatively introducing a calibration object 18 into a cavity 16.
  • the method further comprises a step S2 of recording at least one intraoperative calibration image 14 of the calibration object 18 introduced intraoperatively into the cavity 16.
  • the method also includes a step S3 of carrying out a color adjustment for the image capture in accordance with the calibration image 14, wherein the color adjustment includes an adjustment of a color calibration, in particular a white balance calibration.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

Die Erfindung betrifft eine medizinische Bildgebungsvorrichtung (10), umfassend: eine Bildgebungseinheit (12), die dazu eingerichtet ist, multispektrale und/oder hyperspektrale Bilderfassung durchzuführen, wobei die Bildgebungseinheit (12) dazu eingerichtet ist, zumindest ein intraoperatives Kalibrierbild (14) eines intraoperativ in einen Hohlraum (16) einbringbaren Kalibrierobjekts (18) aufzunehmen, während das Kalibrierobjekt (18) in den Hohlraum (16) eingebracht ist; und eine Kalibriereinheit (20), die dazu eingerichtet ist, nach Maßgabe des Kalibrierbilds (14) eine Farbanpassung für die Bilderfassung durchzuführen, die eine Anpassung einer Farbkalibrierung, insbesondere einer Weißabgleichkalibrierung, umfasst. Die Erfindung betrifft ferner ein medizinisches System (34) mit einer medizinischen Bildgebungsvorrichtung (10), ein Kalibrierobjekt (18), und ein Verfahren zur Farbanpassung einer medizinischen Bildgebungsvorrichtung (10).

Description

Medizinische Bildgebungsvorrichtung, medizinisches System und Verfahren zur Farbanpassung einer medizinischen Bildgebungsvorrichtung
Die Erfindung betrifft eine medizinische Bildgebungsvorrichtung, ein medizinisches System und ein Verfahren zur Farbanpassung einer medizinischen Bildgebungsvorrichtung.
Aus dem Stand der Technik sind Bildgebungsvorrichtungen wie beispielsweise endoskopische oder exoskopische Vorrichtungen bekannt, die Multispektral- oder Hyperspektralbilder erzeugen. Multispektral- oder Hyperspektralbilder weisen neben zwei räumlichen Dimensionen, wie sie etwa ein herkömmliches Bild einer Kamera hat, eine spektrale Dimension auf. Die spektrale Dimension umfasst mehrere Spektralbänder (Wellenlängenbänder). Multispektrale und hyperspektrale Bilder unterscheiden sich im Wesentlichen in der Anzahl an und der Breite von ihren spektralen Bändern.
Es sind einige Bildgebungsvorrichtungen zur Erzeugung solcher Multispektral- oder Hyperspektralbilder, insbesondere im Kontext medizinischer Anwendungen, bekannt. In DE 20 2014 010 558 U1 ist beispielsweise eine Vorrichtung zur Aufnahme eines Hyperspektralbilds eines Untersuchungsgebietes eines Körpers beschrieben. In der Vorrichtung sind ein Eingangsobjektiv zur Erzeugung eines Bilds in einer Bildebene sowie eine schlitzförmige Blende in der Bildebene zur Ausblendung eines schlitzförmigen Bereichs des Bilds angeordnet. Das durch die Blende hindurchtretende Licht wird mittels eines dispersiven Elements aufgefächert und mittels eines Kamerasensors aufgenommen. Dadurch kann von dem Kamerasensor eine Vielzahl von Spektren mit jeweils zugeordneter räumlicher Koordinate entlang der Längsrichtung der schlitzförmigen Blende aufgenommen werden. Die beschriebene Vorrichtung ist weiterhin dazu eingerichtet, in einer von der Längsrichtung der schlitzförmigen Blende verschiedenen Richtung weitere Spektren entlang der Längsrichtung der schlitzförmigen Blende aufzunehmen. Das dieser Offenbarung zugrunde liegende Verfahren zur Erzeugung von Multispektral- oder Hyperspektralbildern ist auch als sogenanntes Pushbroom-Verfahren bekannt.
Neben dem Pushbroom-Verfahren gibt es weitere Verfahren zur Erzeugung von Multispektral- oder Hyperspektralbildern. Beim sogenannten Whiskbroom-Verfahren wird das Untersuchungsgebiet oder auch Objekt punktweise abgefahren und für jeden Punkt ein Spektrum gewonnen. Im Gegensatz dazu, werden bei dem Staring- Verfahren mehrere Bilder mit denselben räumlichen Koordinaten aufgenommen. Dabei werden von Bild zu Bild verschiedene Spektralfilter und/oder Beleuchtungsquellen verwendet, um spektrale Information aufzulösen. Ferner gibt es Verfahren, gemäß denen durch geeignete optische Elemente wie optische Slicer, Linsen und Prismen ein zweidimensionales Mehrfarbenbild in mehrere spektrale Einzelbilder zerlegt wird, die gleichzeitig auf unterschiedlichen Detektoren oder Detektorbereichen erfasst werden. Dies wird bisweilen als Schnappschuss-Ansatz bezeichnet.
Wie in DE 10 2020 105 458 A1 beschrieben, eignen sich multispektrale und hyperspektrale Bildgebungsvorrichtungen insbesondere als endoskopische Bildgebungsvorrichtung. In dem Zusammenhang ist multispektrale und/oder hyperspektrale Bildgebung ein fundamentales Einsatzfeld beispielsweise zur Diagnostik sowie zur Beurteilung eines Erfolgs bzw. einer Qualität eines Eingriffs.
Die Berechnung von Parametern anhand von multispektralen oder hyperspektralen Bilddaten kann bereits durch geringfügige spektrale Veränderungen maßgeblich beeinflusst werden. Abweichungen zwischen einem im Rahmen der Bildgebung ermittelten Spektrum und einem tatsächlichen Spektrum des abgebildeten Objekts können daher zu ungenauen oder falschen Ergebnissen führen. Bekannte Systeme werden daher vergleichsweise aufwendig und genau einem Weißabgleich unterzogen, um eine präzise Farbkalibrierung zu erreichen. Dabei ist regelmäßig eine Neukalibration erforderlich, wenn beispielsweise eine verwendete Optik geändert oder eine andere Lichtquelle eingesetzt wird. Auch kann eine Neukalibration erforderlich sein, wenn in einem anderen Medium als zuvor Bildgebung durchgeführt werden soll. Darüber hinaus ist in regelmäßigen Abständen eine Neukalibration auch im Fall unveränderter Hardware erforderlich, weil sich Alterungseffekte, Verschmutzungen etc. auf die Bildgebung auswirken können. Häufig wird daher vor jedem Eingriff ein vollständiger Weißabgleich durchgeführt. Dies ist zeitintensiv und verringert die effektive Einsatzzeit der System. Außerdem nimmt die Kalibration die Arbeitszeit und die Aufmerksamkeit geschulten Personals in Anspruch, was wiederum dessen Verfügbarkeit für ziemliche Eingriffe verringert.
Ausgehend vom Stand der Technik ist es eine Aufgabe der vorliegenden Erfindung, einen effizienten Farbabgleich einer medizinischen Bildgebungsvorrichtung zu ermöglichen.
Diese Aufgabe wird erfindungsgemäß gelöst durch eine medizinische
Bildgebungsvorrichtung mit den Merkmalen des Anspruchs 1 , ein medizinisches System mit den Merkmalen des Anspruchs 14, ein Kalibrierobjekt für eine medizinische Bildgebungsvorrichtung mit den Merkmalen des Anspruchs 21 und ein Verfahren zur Farbanpassung einer medizinischen Bildgebungsvorrichtung mit den Merkmalen des Anspruchs 22. Weiterbildungen der Erfindung sind den abhängigen Ansprüchen zu entnehmen.
Erfindungsgemäß kann eine medizinische Bildgebungsvorrichtung eine Bildgebungseinheit umfassen, die dazu eingerichtet ist, multispektrale und/oder hyperspektrale Bilderfassung durchzuführen, wobei die Bildgebungseinheit dazu eingerichtet ist, zumindest ein intraoperatives Kalibrierbild eines intraoperativ in einen Hohlraum einbringbaren Kalibrierobjekts aufzunehmen, während das Kalibrierobjekt in den Hohlraum eingebracht ist. Ferner kann die medizinische Bildgebungsvorrichtung eine Kalibriereinheit umfassen, die dazu eingerichtet ist, nach Maßgabe des Kalibrierbilds eine Farbanpassung für die Bilderfassung durchzuführen, die eine Anpassung einer Farbkalibrierung, insbesondere einer Weißabgleichkalibrierung, umfasst. Die medizinische Bildgebungsvorrichtung kann beispielsweise eine Endoskopvorrichtung, eine Exoskopvorrichtung und/oder eine Mikroskopvorrichtung sein.
Zudem kann ein medizinisches System ein Kalibrierobjekt umfassen, das intraoperativ in einen Hohlraum einbringbar ist, sowie eine erfindungsgemäße medizinische Bildgebungsvorrichtung.
Die Erfindung betrifft außerdem ein Kalibrierobjekt für eine erfindungsgemäße medizinische Bildgebungsvorrichtung und/oder für einen erfindungsgemäßes medizinisches System.
Des Weiteren wird ein Verfahren zur Farbanpassung einer Bildgebungsvorrichtung vorgeschlagen, die dazu eingerichtet ist, multispektrale und/oder hyperspektrale Bilderfassung durchzuführen. Es kann sich dabei um ein Verfahren zur Weißlichtkalibrierung handeln. Das Verfahren kann einen Schritt eines intraoperativen Einbringens eines Kalibrierobjekts in einen Hohlraum umfassen. Ferner kann das Verfahren ein Aufnehmen zumindest eines intraoperativen Kalibrierbilds des intraoperativ in den Hohlraum eingebrachten Kalibrierobjekts umfassen. Außerdem kann das Verfahren ein Durchführen einer Farbanpassung für die Bilderfassung nach Maßgabe des Kalibrierbilds umfassen, wobei die Farbanpassung eine Anpassung einer Farbkalibrierung umfasst. Dies kann insbesondere eine Anpassung einer Weißlichtkalibrierung umfassen. Die erfindungsgemäßen Merkmale gestatten es, einen Farbabgleich einer Bildgebungsvorrichtung effizient durchzuführen. Eine Farbanpassung kann während einer Operation und in einem eingeführten Zustand einer Bildgebungseinheit durchgeführt werden, sodass es nicht erforderlich ist, vor einem Eingriff Zeit und Ressourcen einzuplanen, um eine Kalibration vorab durchzuführen. Auch kann ein hoher Grad an Genauigkeit erzielt werden, weil etwaige spektralen Verschiebungen dadurch vermieden werden können, dass unmittelbar in der Umgebung, in der Bildgebung durchgeführt werden soll, ein Farbabgleich bzw. eine Korrektur oder Anpassung einer Farbkalibrierung durchgeführt wird. Im Ergebnis können in zeit effizienter Weise Parameter aus multispektralen oder hyperspektralen Bildern mit hoher Genauigkeit erhalten werden.
Die medizinische Bildgebungsvorrichtung kann Teil eines medizinischen Bildgebungsgeräts und/oder Bildgebungsinstruments sein und/oder ein solches umfassen. Die Bildgebungsvorrichtung kann dazu eingerichtet sein, Gewebeparameter, Bilder von Wunden, Bilder von Körperteilen etc. aufzunehmen. Beispielsweise kann die Bildgebungsvorrichtung dazu eingerichtet sein, ein Operationsfeld abzubilden. Die Bildgebungseinheit kann zumindest eine Optik und zumindest eine mit der Optik gekoppelte Bilderfassungssensorik umfassen, die dazu eingerichtet sind, eine Bilderfassung eines Bildbereichs durchzuführen, bei der räumlich und spektral aufgelöste Bilddaten erzeugt werden, die sowohl räumliche als auch spektrale Information umfassen.
Die Bildgebungseinheit und insbesondere die Optik und/oder die Bilderfassungssensorik kann/können zur multispektralen und/oder hyperspektralen Bildgebung eingerichtet sein, im Speziellen dazu, multispektrale und/oder hyperspektrale Bilddaten zu erfassen und/oder zu erzeugen. Multispektrale Bildgebung bzw. multispektrale Bilddaten kann sich dabei insbesondere auf solche Bildgebung beziehen, bei der wenigstens zwei, insbesondere wenigstens drei, und in einigen Fällen wenigstens fünf Spektralbänder voneinander unabhängig erfassbar sind und/oder erfasst werden. Hyperspektrale Bildgebung bzw. hyperspektrale Bilddaten kann sich dabei insbesondere auf solche Bildgebung beziehen, bei der wenigstens 20, wenigstens 50 oder sogar wenigstens 100 Spektralbänder voneinander unabhängig erfassbar sind und/oder erfasst werden. Die Bildgebungsvorrichtung kann nach dem Pushbroom-Verfahren und/oder nach dem Whiskbroom- Verfahren und/oder nach dem Staring- Verfahren und/oder nach einem Schnappschussprinzip arbeiten.
In einigen Ausführungsformen umfasst die eine Weißlichtkamera und/oder Sensorik zur Weißlichtbilderfassung. Die Bildgebungsvorrichtung kann zusätzlich zur spektral aufgelösten Bildgebung zur Weißlichtbildgebung eingerichtet sein. Hierfür kann eine separate Optik und/oder eine gemeinsame Optik verwendet werden. Die Weißlichtbildgebung und die spektral aufgelöste Bildgebung können gleichzeitig oder abwechselnd oder zeitweise gleichzeitig und zeitweise nacheinander durchgeführt werden.
In einigen Ausführungsformen umfasst die Bildgebungsvorrichtung Sensorik zur Fluoreszenzbildgebung. Die Bildgebungsvorrichtung kann zusätzlich zur spektral aufgelösten Bildgebung und ggf. zusätzlich zur Weißlichtbildgebung zur Fluoreszenzbildgebung eingerichtet sein. Hierfür kann eine separate Optik und/oder eine gemeinsame Optik verwendet werden. Die Fluoreszenzbildgebung, ggf. die Weißlichtbildgebung und die spektral aufgelöste Bildgebung können gleichzeitig oder abwechselnd oder zeitweise gleichzeitig und zeitweise nacheinander durchgeführt werden.
Für einige Anwendungen kann es vorteilhaft sein, eine große spektrale Auflösung verwenden zu können. Es bietet sich dann eine hyperspektrale Bildgebung an. Diese kann mit einer Weißlichtbildgebung und/oder einer Fluoreszenzbildgebung kombiniert sein. Hierdurch ist eine Beobachtung in Echtzeit über ein Weißlichtbild und/oder ein Fluoreszenzbild möglich, auch wenn die Erfassung spektral aufgelöster Bilddaten nur im Wesentlichen in Echtzeit erfolgt, also beispielsweise mehrere Sekunden zur Erstellung eines spektral aufgelösten Bildes benötigt werden.
Für einige Anwendungen kann es vorteilhaft sein, spektrale Bilddaten in Echtzeit oder zumindest im Wesentlichen in Echtzeit zu erzeugen. Dies beinhaltet beispielsweise die Erzeugung eines spektral aufgelösten Bildes in weniger als einer Sekunde oder sogar mehrmals pro Sekunde. Hierbei kann es zweckmäßig sein, multispektrale Bildgebung zu verwenden. Einer ggf. geringeren spektralen Auflösung steht dann eine höhere Bildwiederholrate gegenüber. Je nach Anwendung kann es hinreichend sein, nur wenige verschiedene Spektralbereiche und/oder Wellenlängen zu berücksichtigen, beispielsweise zwei oder drei oder vier oder generell weniger als zehn. Hierbei kann wahlweise auf eine zusätzliche Weißlichtbildgebung verzichtet werden. Spektral aufgelöste Bilddaten, die in Echtzeit gewonnen werden bzw. mehrere Bilder pro Sekunde liefern, können auch zu Überwachungszwecken eingesetzt werden, wobei nicht zwingend ein wiederzugebendes Bild für einen Benutzer erstellt werden muss, sondern die Bilddaten auch im Hintergrund verarbeitet werden können.
Das Kalibrierobjekt kann dazu eingerichtet sein, in einem in den Hohlraum eingebrachten Zustand abgebildet zu werden, sodass anhand eines Abbild des Kalibrierobjekts in diesem in den Hohlraum eingebrachten Zustand Information ermittelbar ist, anhand derer eine Farbanpassung für die Bilderfassung durchführbar ist. Der Hohlraum kann beispielsweise eine Körperhöhle sein bzw. sich im Körper eines Patienten befinden. Der Hohlraum kann insbesondere von Gewebe und/oder Körperteilen begrenzt sein. Das Kalibrierbild wird insbesondere in einem Zustand aufgenommen, in dem die Bildgebungseinheit in den Hohlraum eingeführt und/oder auf ein Inneres des Hohlraums gerichtet ist. Beispielsweise wird im Fall eine Endoskopvorrichtung das intraoperative Kalibrierbild, auf dem das Kalibrierobjekt zu erkennen ist, in einem Zustand aufgenommen, in dem ein Schaft der Endoskopvorrichtung in den Hohlraum eingeführt ist. Das intraoperative Kalibrierbild kann in anderen Worten als intrakorporales Kalibrierbild bezeichnet werden.
Die Farbanpassung kann eine Anpassung zumindest eines Parameters einer Farbkalibrierung, insbesondere einer Weißabgleichkalibrierung, umfassen. Die Farbanpassung kann in einigen Ausführungsformen auch eine vollständige Farbkalibrierung umfassen. In einigen Fällen kann die Farbanpassung dazu dienen, eine vorab vorgenommene Farbkalibrierung zu korrigieren.
Eine vorzunehmende Farbanpassung kann insbesondere dann einfach bestimmt werden, wenn das Kalibrierobjekt zumindest eine Farbfläche mit vorgegebenen Spektraleigenschaften umfasst. Die Farbfläche kann homogen eingefärbt sein. Die Farbfläche kann dazu geeignet sein, eine Weißableichkalibrierung durchzuführen. In einigen Ausführungsformen weist die Farbfläche eine Fläche von wenigstens 1 mm2, wenigstens 10 mm2 oder sogar wenigstens 1 cm2 auf. Die Farbfläche kann beispielsweise einfarbig und/oder weiß sein. In diesem Zusammenhang bezieht sich „weiß“ auf die Eigenschaft der Farbfläche, Beleuchtungslicht in einem Spektralbereich zumindest im Wesentlichen wellenlängenunabhängig zu streuen, der wenigstens sichtbares Licht umfasst, beispielsweise einen Spektralbereich, der sich ausgehend von einer Wellenlänge von wenigstens 300 nm, wenigstens 350 nm oder wenigstens 400 nm bis zu einer Wellenlänge von wenigstens 600 nm, wenigstens 700 nm oder wenigstens 800 nm erstreckt. Insbesondere im Fall hyperspektraler Bildgebung kann sich der Bereich wenigstens von 500 nm bis 1000 nm erstrecken.
Das Kalibrierobjekt kann eine sterile und oder sterilisierte Oberfläche aufweisen. In einigen Ausführungsform kann das medizinische System eine Umverpackung für das Kalibrierobjekt umfassen, die das Kalibrierobjekt steril umschließt. Das Kalibrierobjekt kann vor einem Eindringen in den Hohlraum und einer Aufnahme des Kalibrierbilds aus der Umverpackung entnehmbar sein.
Das Kalibrierobjekt kann Teil eines medizinischen Instruments sein. Hierdurch kann ein Kalibrierbild ohne nennenswerten Zeitverlust aufgenommen werden, beispielsweise wenn das Instrument ohnehin in den Hohlraum eingebracht ist.
Ferner kann die zumindest eine Farbfläche derart autoklavenfest sein, dass die Spektraleigenschaften der Farbfläche bei einer Autokiavierung des Kalibrierobjekts zumindest im Wesentlichen erhalten bleiben. Beispielsweise können die Spektraleigenschaften der Farbfläche über zumindest zehn, zumindest 20, zumindest 50 oder sogar zumindest 100 Autoklavierzyklen im Wesentlichen unverändert sein. Hierdurch kann das Kalibrierobjekt mehrfach verwendet werden. Diese Ausgestaltung kann insbesondere dann vorteilhaft sein, wenn sich das Kalibrierobjekt an einem mehrfach einsetzbaren medizinischen Instrument befindet und/oder Teil eines solchen ist.
In einigen Ausführungsformen bilden die Spektraleigenschaften der Farbfläche Spektraleigenschaften menschlichen und/oder tierischen Gewebes nach.
Insbesondere entspricht einer Absorptionsspektrum und/oder ein Reflexionsverhalten und/oder ein Streuverhalten der Farbfläche zumindest im sichtbaren Spektralbereich und/oder im Nahinfrarotbereich zumindest im Wesentlichen einem Absorptionsspektrum und/oder einem Reflexionsverhalten und/oder einem Streuverhalten menschlichen und/oder tierischen Gewebes. Bei dem Gewebe kann es sich um Epithelgewebe, Muskelgewebe, Nervengewebe und/oder Bindegewebe handeln. Hierdurch kann ein Farbabgleich in Bezug auf relevante Spektralbereiche besonders genau durchgeführt werden. Unter Umständen kann eine zusätzliche Gewichtung von Spektralbereichen im Kalibrierbild entfallen, da bekannt ist, dass das Abbild des Kalibrierobjekts demjenigen Spektralbereich widerspiegelt, in dem Gewebe abgebildet werden soll. Eine Integration in bestehende bzw. ohnehin zu verwendende Instrumente kann insbesondere dann erzielt werden, wenn das Kalibrierobjekt eine Beschriftung umfasst. Es sind am Instrument dann keine weiteren Anpassungen erforderlich, die sich andernfalls auf dessen Funktion auswirken könnten. Zudem ist eine Erkennung des Kalibrierobjekts im Kalibrierbild hierdurch einfach möglich. Die Beschriftung kann zumindest ein Zeichen beispielsweise Buchstaben oder Zahlen umfassen. Die Beschriftung kann mehrere Zeichen unterschiedlicher Farbgebung umfassen, wodurch das Kalibrierobjekt zur Kalibration in unterschiedlichen Spektralbereichen herangezogen werden kann.
In einigen Ausführungsformen kann das Kalibrierobjekt zum einmaligen Gebrauch vorgesehen sein. Das Kalibrierobjekt kann beispielsweise der Aufnahme des Kalibrierbilds einmalig in den Hohlraum einbringbar sein und anschließend weggeworfen werden. Hierdurch kann ein Kalibrierobjekt bereitgestellt werden, dass kostengünstig und mit niedrigen Anforderungen hinsichtlich einer Materialqualität und Haltbarkeit herstellbar ist.
Der Farbanpassung können Basiskalibrierdaten zugrunde liegen, die sich auf das Kalibrierobjekt beziehen können, wobei die Farbkalibrierung zumindest eine Berechnung umfasst, die sowohl auf dem Kalibrierbild als auch auf den Basiskalibrierdaten beruht. Hierdurch kann ein hoher Grad an Genauigkeit erzielt werden, da ausgehend von einer präzise durchgeführten Basiskalibration vergleichsweise gerade Anpassungen vorgenommen werden müssen, um die Farbanpassung durchzuführen. Die Basiskalibrierdaten können Datensätze für mehrere Konfigurationen der Bildgebungsvorrichtung umfassen. Diesen können beispielsweise Basiskalibrationen zugrunde liegen, die mit unterschiedlichen Optiken, optischen Filtern, Wechselschäften und/oder in unterschiedlichen Beleuchtungsmodi oder Bildgebungsmodi durchgeführt wurden. In einigen Fällen umfassen die Basiskalibrierdaten zumindest ein Bild mit einer Vielzahl von Bildpunkten, wobei für die Mehrzahl der Bildpunkte und insbesondere für jeden Bildpunkt ein Spektrum vorliegt. Bei der Aufnahme des Kalibrierbilds kann hingegen vorgesehen sein, dass lediglich für einige und/oder für ausgewählte Bildpunkte des Kalibrierbilds ein Spektrum aufgenommen wird. Es kann dann ein Vergleich der im Kalibrierbild enthaltenen Spektren mit den entsprechenden Bildpunkten zugeordneten Spektren der Basiskalibrierdaten verglichen werden. Anhand einer basierend darauf ermittelten Abweichung können dann für weitere Bildpunkte Näherungen berechnet werden. Basiskalibrierdaten können insbesondere dann effizient und mit geringem Aufwand erzeugt werden, wenn die Bildgebungseinheit dazu eingerichtet ist, in einem farbkalibrierten Zustand zumindest ein Basiskalibrierbild aufzunehmen. Die Basiskalibrierdaten können dabei zumindest teilweise auf dem Basiskalibrierbild beruhen. Die Aufnahme des Basiskalibrierbilds erfolgt insbesondere extraoperativ und außerhalb einer Körperhöhle. Das Basiskalibrierbild wird in anderen Worten in einem Zustand aufgenommen, in dem die Bildgebungseinheit korrekt farbkalibrierten ist und insbesondere einem korrekten Weißabgleich unterliegt. Zur Aufnahme des Basiskalibrierbild kann insbesondere das Kalibrierobjekt in einem extraoperativen Zustand aufgenommen werden. Es kann dann das intraoperativ aufgenommene Kalibrierbild des Kalibrierobjekts mit dem Basiskalibrierbild verglichen werden.
Die Kalibriereinheit kann dazu eingerichtet sein, Spektralinformation eines Bildbereichs des Kalibrierbilds zu ermitteln, der dem Kalibrierobjekt zugeordnet ist. Hierdurch ist spektrale Information erhältlich, die sich auf das Kalibrierobjekt bezieht. Diese kann mit den bekannten bzw. zu erwartenden spektralen Eigenschaften des Kalibrierobjekts abgeglichen werden, wodurch ein Farbabgleich bzw. eine Korrektur mit einem hohen Grad an Genauigkeit durchgeführt werden können.
In einigen Ausführungsformen ist die Kalibriereinheit dazu eingerichtet, eine Bilderkennung zur Erkennung des Kalibrierobjekts durchzuführen. Hierdurch kann ein hoher Grad an Automatisierung erzielt werden. Die Bilderkennung kann eine Segmentierung erfassen, anhand derer Bildbereiche des Kalibrierbilds ermittelbar sind, in denen sich zumindest Teile des Kalibrierobjekts befinden. Die Bilderkennung kann auf Informationen beruhen, die anhand des Basiskalibrierbild gewonnen sind. In einigen Ausführungsformen kann ein Benutzer auf der Grundlage des Basiskalibrierbilds Vorgaben bezüglich einer Erkennung des Kalibrierobjekts machen, die von der Kalibriereinheit dazu verwendet werden, dass Kalibrierobjekt im Kalibrierbild zu erkennen. Hierdurch kann ein hoher Grad an Zuverlässigkeit einer Erkennung des Kalibrierobjekts erzielt werden.
Die Erkennung des Kalibrierobjekts kann eine Erkennung umfassen, ob sich ein Kalibrierobjekt im Bild befindet. Dies kann beispielsweise mittels geeigneter Kl- Klassifizierungs-Modellen realisiert sein. Ferner kann die Bilderkennung für den Fall, dass das Vorhandensein eines Kalibrierobjekts erkannt wurde, ein Versetzen der Bildgebungseinheit und insbesondere einer Kamera der Bildgebungseinheit in einen Kalibriermodus umfassen. Die kann beispielsweise ein Vorgeben einer bestimmten Belichtungsregel umfassen, insbesondere im Fall einer multispektralen Bildgebungseinheit, ein Wechseln von einem Weißlichtmodus in einen Multispektralmodus, in dem dem Benutzer ggf. zumindest vorübergehend kein Bild angezeigt wird, oder ein Verfahren zu einer geeigneten Stelle eines Abbildungsspalts einer Hyperspektral-Erfassungssensorik. Ferner kann die Erkennung des Kalibrierobjekts eine Erkennung von Bildpunkten und/oder Bildbereichen umfassen, die zu dem Kalibrierobjekt gehören. Dies kann beispielsweise mittels geeigneter Kl- Klassifizierungs-Modellen realisiert sein. Hierdurch können aus dem Kalibrierbild diejenigen Bildbereiche ausgewählt werden, die für die Kalibration relevant sind. Des Weiteren kann ein Bestimmen von spektralen Eigenschaften für die genannten Bildbereiche und/oder Bildpunkte erfolgen.
Generell ausgedrückt kann die Bildgebungseinheit dazu eingerichtet sein, im Fall der Erkennung des Kalibrierobjekts automatisiert in einen Kalibriermodus zu wechseln. Hierdurch wird ein hoher Grad an Bediensicherheit und Bedienkomfort erzielt.
Die Erkennung des Kalibrierobjekts kann besonders effizient durchgeführt werden, wenn die Bilderkennung auf multispektralen und/oder hyperspektralen Bilddaten beruht. Insbesondere kann die Bilderkennung anhand derselben Bilddaten erfolgen, die dem Kalibrierbild zugrunde liegen. In anderen Worten kann die Bilderkennung eine Erkennung des Kalibrierobjekts im Kalibrierbild umfassen.
In einigen Ausführungsformen ist die Bildgebungseinheit dazu eingerichtet, Weißlichtbildgebung durchzuführen, wobei die Bilderkennung auf Weißlichtbilddaten beruht. Hierdurch kann ein hoher Grad an Genauigkeit der Erkennung des Kalibrierobjekts erzielt werden. Die Kalibriereinheit kann dazu eingerichtet sein, Weißlichtbilddaten mit dem Kalibrierbild abzustimmen bzw. diese aufeinander zu mappen. Ein in einem Weißlichtbild aufgefundene Bildbereich, in dem sich das Kalibrierobjekt befindet, kann dann im Kalibrierbild erkannt werden. Hierdurch wird das Kalibrierobjekt zuverlässig und präzise im Kalibrierbild erkannt und ein für die Farbanpassung maßgeblicher Bildbereich verwendet. Es bietet sich an, ein Kalibrierobjekt mit einer markanten Formgebung und/oder eine markante Farbausgestaltung zu verwenden, die eine Bilderkennung begünstigt. Beispielsweise kann es sich um ein Farbmuster mit definierten Flächen handeln, die einfach zu erkennende und ggf. voneinander unterscheidbare geometrische Formen und/oder Farben aufweisen. Hierdurch kann selbst im Fall eines schlechten Weißabgleich- Zustands das Kalibrierobjekt zuverlässig erkannt werden. Ein Kalibrierbild von hoher Qualität und relevantem Informationsgehalt kann insbesondere dann erhalten werden, wenn die Bildgebungseinheit dazu eingerichtet ist, zumindest ein Testbild des Kalibrierobjekts zu erfassen. Die Kalibriereinheit kann dazu eingerichtet sein, eine Analyse des Testbilds zu erstellen und zumindest einen Bilderfassungsparameter für die Erfassung des Kalibrierbilds nach Maßgabe der Analyse vorzugeben. Der Bilderfassungsparameter kann sich beispielsweise auf Einstellungen beziehen, die sich auf die multispektrale und/oder hyperspektrale Bildgebung während der Aufnahme des Kalibrierbilds beziehen. Beispielsweise im Fall Pushbroom-Kamera kann diese für gezielte Spaltenaufnahmen verwendet werden, nachdem anhand des Testbilds ermittelt wurde, in welchem Bildbereich sich das Kalibrierobjekt befindet. Die Aufnahme des Kalibrierbilds kann dann auf diese Bildbereiche gerichtet werden, wodurch eine hohe spektrale Auflösung erzielbar und/oder eine schnelle Bildaufnahme ermöglicht ist.
Für eine Farbanpassung relevante Information kann insbesondere dann zielgerichtet ermittelt werden, wenn die Kalibriereinheit dazu eingerichtet ist, überbelichtete Bildbereiche und/oder unterbelichtete Bildbereiche des Kalibrierbilds für die Farbanpassung außer Betracht zu lassen. Die Erkennung überbelichteter Bildbereiche kann insbesondere zusätzlich zur Erkennung von Bildbereichen durchgeführt werden, in denen sich das Kalibrierobjekt befindet. Somit können der Farbanpassung insbesondere und vorzugsweise lediglich solche Bildbereiche zugrunde liegen, in denen das Kalibrierobjekt korrekt belichtet abgebildet ist.
Die Farbanpassung kann genau und/oder situationsabhängig angepasst durchgeführt werden, wenn die Bildgebungseinheit dazu eingerichtet ist, mehrere intraoperative Kalibrierbilder des Kalibrierobjekts aufzunehmen, während das Kalibrierobjekt in den Hohlraum eingebracht ist. Die Farbanpassung kann auf den mehreren unterschiedlichen Kalibrierbildern beruhen. In einigen Ausführungsformen kann beispielsweise ein Kombinationsbild aus mehreren Kalibrierbildern ermittelt werden. Hierdurch kann zum Beispiel gemittelte Spektralinformation erhalten werden. Alternativ oder zusätzlich können in zeitlichen Abständen mehrere Kalibrierbilder aufgenommen und jeweils eine Farbanpassung durchgeführt werden. Die Farbanpassung kann somit einer sich verändernden Bildgebungssituation nachgeführt werden.
Die Farbanpassung kann eine räumliche und/oder eine zeitliche Gewichtung der mehreren unterschiedlichen Kalibrierbilder umfassen. Mehrere Kalibrierbilder können somit zielgerichtet kombiniert werden, wobei die relevante Information berücksichtigt und weniger relevante oder irrelevante Information vernachlässigt werden kann. Die Gewichtung kann von zusätzlich verfügbarer Information abhängen, wie beispielsweise einen Fokus, einem Bildbereich, einer Beleuchtungssituation, Bilderfassungsparameter, etc. während der Aufnahme der mehreren Kalibrierbilder. Die Gewichtung kann zusätzlich oder alternativ Ergebnisse von Bildanalysen beinhalten. Beispielsweise kann ein selbstlernendes System und/oder ein Kl- Algorithmus verwendet werden, um eine Qualität, eine Eignung, einen Bildbereich, eine Relevanz oder dergleichen von Kalibrierbildern zu beurteilen. Zudem können Bildfehler in Kalibrierbildern erkannt werden und entsprechende Kalibrierbilder aussortiert oder zumindest mit niedriger Gewichtung berücksichtigt werden.
In einigen Ausführungsformen kann die medizinische Bildgebungsvorrichtung ferner eine Beurteilungseinheit umfassen, die dazu eingerichtet ist, einen Grad der Anpassung der Farbkalibrierung mit einem Schwellenwert zu vergleichen und eine Empfehlung zur externen und/oder extraoperativen Neukalibration auszugeben, wenn der Grad der Anpassung der Farbkalibrierung den Schwellenwert überschreitet. Dadurch kann automatisiert erkannt werden, ob eine Neukalibration erforderlich ist, beispielsweise um eine Basiskalibration durchzuführen und/oder ein Basiskalibrierbild aufzunehmen. Im Fall geringfügige Abweichungen kann es ausreichen, nach Maßgabe des Kalibrierbilds die Farbanpassung durchzuführen und dadurch die erforderliche spektrale Korrektur zu ermöglichen. Für größere Abweichungen kann es hingegen erforderlich sein, die medizinische Bildgebungsvorrichtung erneut extern zu kalibrieren.
In einigen Ausführungsformen kann einem Benutzer eine erwartete Qualität der Farbkalibrierung dargestellt werden. Befindet sich beispielsweise zu Beginn eines Eingriffs noch kein Instrument bzw. allgemein ausgedrückt noch kein Kalibrierobjekt im Bildbereich, ergibt sich eine niedrige zu erwartende Qualität der Farbkalibrierung. Unter Umständen kann sogar eine Hyperspektralaufnahme automatisiert deaktiviert werden, wenn zu erwarten ist, dass diese nicht mit sinnvoller Qualität durchführbar ist. Nachdem ein Kalibrierobjekt, insbesondere ein Instrument mit einem solchen, im Bild erkennbar ist, kann eine Farbkalibrierung erfolgen. Eine Benutzungssicherheit hat dann einen hohen Grad, weil zuverlässig Bilddaten erzeugbar sind. Nach Entfernung des Instruments/Kalibrierobjekts kann die Sicherheit insbesondere durch langsame Erwärmung von Kamera und Lichtquelle wieder abnehmen. Hierbei kann vorgesehen sein, dass beim Überschreiten eines vorgegebenen und/oder vorgebbaren Zeitlimits eine Aufnahmefunktion wieder automatisiert deaktiviert wird, um zu verhindern, dass fehlerhafte Bilder aufgenommen werden. Die erfindungsgemäßen Vorrichtungen und Systeme sowie die erfindungsgemäßen Verfahren sollen hierbei nicht auf die oben beschriebene Anwendung und Ausführungsform beschränkt sein. Insbesondere können diese zu einer Erfüllung einer hierin beschriebenen Funktionsweise eine von einer hierin genannten Anzahl von einzelnen Elementen, Bauteilen und Einheiten sowie Verfahrensschritten abweichende Anzahl aufweisen. Zudem sollen bei den in dieser Offenbarung angegebenen Wertebereichen auch innerhalb der genannten Grenzen liegende Werte als offenbart und als beliebig einsetzbar gelten.
Es wird insbesondere darauf hingewiesen, dass alle in Bezug auf eine Vorrichtung beschriebenen Merkmale und Eigenschaften, aber auch Verfahrensweisen, sinngemäß auf Verfahren übertragbar und im Sinne der Erfindung einsetzbar und als mitoffenbart gelten. Gleiches gilt auch in umgekehrter Richtung. Das bedeutet, dass auch in Bezug auf Verfahren genannte, bauliche also vorrichtungsgemäße Merkmale im Rahmen der Vorrichtungsansprüche berücksichtigt, beansprucht und ebenfalls zur Offenbarung gezählt werden können.
Im Folgenden wird die vorliegende Erfindung anhand der beigefügten Figuren beispielhaft beschrieben. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und im Rahmen der Ansprüche sinnvoll in Kombination verwenden.
Falls von einem bestimmten Objekt mehr als ein Exemplar vorhanden ist, ist ggf. nur eines davon in den Figuren und in der Beschreibung mit einem Bezugszeichen versehen. Die Beschreibung dieses Exemplars kann entsprechend auf die anderen Exemplare von dem Objekt übertragen werden. Sind Objekte insbesondere mittels Zahlenwörtern, wie beispielsweise erstes, zweites, drittes Objekt etc. benannt, dienen diese der Benennung und/oder Zuordnung von Objekten. Demnach können beispielsweise ein erstes Objekt und ein drittes Objekt, jedoch kein zweites Objekt umfasst sein. Allerdings könnten anhand von Zahlenwörtern zusätzlich auch eine Anzahl und/oder eine Reihenfolge von Objekten ableitbar sein.
Es zeigen:
Fig. 1 eine schematische Darstellung eines medizinischen Systems mit einer medizinischen Bildgebungsvorrichtung; Fig. 2 eine schematische Darstellung eines Kalibrierbilds mit einem Bildbereich, der ein Kalibrierobjekt zeigt;
Fig. 3 ein schematisches Spektrum des Bildbereichs des Kalibrierbilds, der das Kalibrierobjekt zeigt;
Fig. 4 eine schematische Darstellung eines Basiskalibrierbild mit einem Bildbereich, der ein Kalibrierobjekt zeigt;
Fig. 5 ein schematisches Spektrum des Bildbereichs des Basiskalibrierbild, der das Kalibrierobjekt zeigt;
Fig. 6 eine schematische Darstellung eines Kalibrierbilds mit überbelichteten und unterbelichteten Bildbereichen;
Fig. 7 eine schematische Darstellung eines Testbilds des Kalibrierobjekts;
Fig. 8 eine schematische Darstellung eines Kalibrierbilds, das ein weiteres
Kalibrierobjekt zeigt;
Fig. 9 eine schematische Darstellung eines Kalibrierbilds, dass noch ein weiteres Kalibrierobjekt zeigt;
Fig. 10 eine schematische perspektivische Darstellung eines weiteren medizinischen Systems; und
Fig. 11 ein schematisches Ablaufdiagramm eines Verfahrens zur Farbanpassung einer medizinischen Bildgebungsvorrichtung.
Fig. 1 zeigt eine schematische Darstellung eines medizinischen Systems 34 mit einer medizinischen Bildgebungsvorrichtung 10. Im exemplarisch dargestellten Fall ist die Bildgebungsvorrichtung 10 eine endoskopische Bildgebungsvorrichtung, konkret eine Endoskopvorrichtung. Alternativ könnte es sich bei der Bildgebungsvorrichtung 10 um eine exoskopische, eine mikroskopische oder eine makroskopische Bildgebungsvorrichtung handeln. Die Bildgebungsvorrichtung 10 ist beispielsweise zu einer Untersuchung eines Hohlraums vorgesehen. Die Bildgebungsvorrichtung 10 umfasst eine Bildgebungseinheit 12, die dazu eingerichtet ist, multispektrale und/oder hyperspektrale Bilderfassung durchzuführen. Die Bildgebungseinheit 12 umfasst zumindest eine Optik sowie Bilderfassungssensorik, die in Fig. 1 nicht dargestellt sind. Diese können zumindest teilweise in eine Kameraeinheit 45 integriert sein.
Im Fall einer multispektralen Bildgebungseinheit 12 können die Optik und die Bilderfassungssensorik wahlweise verwendbare optischer Filter und/oder in unterschiedlichen Spektralbereichen arbeitende Bildsensoren umfassen. Im Fall einer hyperspektralen Bildgebungseinheit 12 können die Optik und die Bilderfassungssensorik beispielsweise nach dem Pushbroom-Verfahren oder nach dem Whiskbroom-Verfahren arbeiten.
Die Bildgebungseinheit 12 kann zusätzlich zur multispektralen und/oder hyperspektralen Bilderfassung dazu eingerichtet sein, Weißlichtbilder aufzunehmen. Dies kann parallel oder sequenziell zur multispektralen und/oder hyperspektralen Bildgebung erfolgen. Beispielsweise kann ein Echtzeit-Weißlichtbild erzeugbar sein. Wahlweise können dann Multispektralbilder und/oder Hyperspektralbilder und/oder Fluoreszenzbilder dem Weißlichtbild überlagerbar, im Wechsel hiermit und/oder parallel hierzu darstellbar sein.
Die Bildgebungsvorrichtung 10 umfasst im dargestellten Fall ein Bildgebungsinstrument 42, beispielsweise ein Endoskop. Teile der Optik und/oder der Bilderfassungssensorik können auch in das Bildgebungsinstrument 42 integriert sein. Beispielsweise kann in einigen Ausführungsformen eine an einem distalen Schaftende des Bildgebungsinstruments angeordnete Kamera („Tipcam“) vorgesehen sein.
Ferner umfasst die Bildgebungsvorrichtung 10 eine Beleuchtungseinheit 44. Die Beleuchtungseinheit 44 kann mit dem Bildgebungsinstrument verbindbar und/oder verbunden sein und Beleuchtungslicht für eine Bilderfassung bereitstellen. Die Beleuchtungseinheit 44 kann in einigen Ausführungsformen multimodal ausgebildet sein und beispielsweise Weißlicht, Anregungslicht für Fluoreszenzbildgebung und/oder Anregungslicht für multispektrale und/oder hyperspektrale Bildgebung erzeugen.
Das medizinische System 34 umfasst ein medizinisches Instrument 38. Das medizinische Instrument 38 kann dazu eingerichtet sein, zu therapeutischen und/oder diagnostischen Zwecken in einen Hohlraum eines Patienten eingeführt zu werden. Rein beispielhaft ist das medizinische Instrument 38 eine Gewebekoagulationszange. Es versteht sich aber, das beliebige medizinische Instrumente erfindungsgemäß möglich sind. Diese können durch einen Arbeitskanal eines Endoskops und/oder durch eine Zugangseinrichtung und/oder durch einen Schnitt und/oder anderweitig in einen insbesondere eröffneten Hohlraum einführbar und dort verwendbar sein.
Das medizinische System 34 und/oder Bildgebungsvorrichtung 10 umfasst des Weiteren eine Anzeigeeinheit 46. Die Anzeigeeinheit 46 ist dazu eingerichtet, Darstellungen einem Benutzer anzuzeigen, die beispielsweise auf erfassten Bilddaten beruhen. Beispielsweise kann ein Benutzer über die Anzeigeeinheit 46 einen Situs betrachten, um etwa das medizinische Instrument 38 zu beobachten, zu behandelndes und/oder zu untersuchendes Gewebe zu beurteilen, eine korrekte Anordnung und/oder Orientierung des Bildgebungsinstruments 42 zu überprüfen oder dergleichen.
Im Folgenden wird auf Fig. 2 Bezug genommen. Die Bildgebungseinheit 12 ist dazu eingerichtet, zumindest ein Kalibrierbild 14 eines intraoperativ in einen Hohlraum 16 einbringbaren Kalibrierobjekts 18 aufzunehmen. Die Aufnahme des Kalibrierbilds 14 erfolgt im dargestellten Fall in einem Zustand, in dem die Bildgebungsvorrichtung 10 ein Inneres des Hohlraums 16 abbildet und beispielsweise zumindest teilweise in diesen eingeführt und/oder in diesen hinein fokussiert ist. Das Kalibrierobjekt 18 ist dabei in den Hohlraum 16 eingebracht. Das Kalibrierobjekt 18 dient der Durchführung einer Farbanpassung für die Bilderfassung, mittels derer eine Farbkalibrierung anpassbar ist. Hierdurch kann im vorliegenden Fall eine Weißabgleichkalibrierung angepasst und/oder durchgeführt werden. Das Kalibrierbild 14 wird unter realen Einsatzbedingungen aufgenommen. Hierdurch beruht die Farbanpassung auf Gegebenheiten, die bei der Bilderfassung tatsächlich vorkommen.
Zur Durchführung der Farbanpassung umfasst die Bildgebungsvorrichtung 10 eine Kalibriereinheit 20, die in Fig. 1 schematisch gezeigt ist. Die Kalibriereinheit 20 kann als physisch separate Einheit ausgebildet sein. Sie kann auch in eine Steuerung und/oder Steuereinheit der Bildgebungsvorrichtung 10 integriert sein.
Das Kalibrierobjekt 18 ist im Fall der Fig. 2 Teil des medizinischen Instruments 38. Konkret kann das Kalibrierobjekt 18 beispielsweise eine Beschriftung 40 umfassen.
Die Beschriftung 40 umfasst beispielsweise ein Logo und/oder Schriftzeichen und/oder Symbole, etwa einen Firmennamen und ein Firmenlogo oder eine Typbezeichnung des Instruments. Das Kalibrierobjekt 18 kann auf diese Weise derart ausgestaltet sein, dass es für unbeteiligte Personen nicht unmittelbar als solches zu erkennen ist.
Wie in Fig. 2 dargestellt ist, enthält das Kalibrierbild 14 einen Bildbereich 26, der dem Kalibrierobjekt 18 zugeordnet ist. Die Kalibriereinheit 20 ist dazu eingerichtet, einen derartigen Bildbereich 26 zu ermitteln. Dies erfolgt im beispielhaft dargestellten Fall automatisch anhand einer Bildsegmentierung. Das Kalibrierobjekt kann Symbole und/oder Markierungen umfassen, die eine Erkennung unterstützen. Beispielsweise kann eine teilweise oder vollständige Umrahmung und/oder zumindest ein Begrenzungsstrich oder dergleichen vorhanden sein. Derartige Begrenzungselemente können mittels gängiger Verfahren einfach und zuverlässig erkannt werden. Ausgehend davon kann dann der Bildbereich 26 ermittelt werden, innerhalb dessen sich das Kalibrierobjekt 18 befindet.
Der in Fig. 2 dargestellte Bildbereich 26 ist hierbei schematisch zu verstehen. Umfasst das Kalibrierobjekt beispielsweise ein oder mehrere Zeichen, Logos und/oder Symbole, kann der Bildbereich 26 durch Kanten und/oder eine Kontur hiervon begrenzt sein. Der Bildbereich 26 kann etwa lediglich die Zeichen, Logos und/oder Symbole umfassen. Hierdurch ist der Bildbereich 26 auf Abschnitte beschränkt, in denen das Kalibrierobjekt 18 bekannte und definierte optische Eigenschaften aufweist, wodurch eine Farbanpassung zuverlässig durchführbar ist.
Die Bilderkennung des Kalibrierobjekts 18 kann auf multispektralen und/oder hyperspektralen Bilddaten beruhen. Insbesondere kann die Bilderkennung unmittelbar und insbesondere ausschließlich anhand des Kalibrierbilds 14 durchgeführt werden. Alternativ oder zusätzlich kann auch ein zugeordnetes Weißlichtbild analysiert werden. Beispielsweise kann eine Position und ein abgedeckter Bildbereich des Kalibrierobjekts 18 im Weißlichtbild erkannt und eine entsprechende Position/ein entsprechender Bildbereich im Kalibrierbild 14 ermittelt werden.
Die Bilderkennung kann mittels eines Kl-Algorithmus durch geführt werden, der auf einer Bildsegmentierung beruht. Der Algorithmus kann geeignet trainiert werden, beispielsweise anhand mehrerer Aufnahmen des Kalibrierobjekts 18 und/oder ähnlicher oder identisch ausgebildeter Objekte. In einigen Ausführungsformen beruht das Training auf einer Erkennung unterschiedlicher Schriftzüge, Logos und Symbole. Die Kalibriereinheit 20 kann hierdurch dazu eingerichtet sein, unterschiedliche Kalibrierobjekte 18 zu erkennen, insbesondere Kalibrierobjekte 18, die unterschiedliche Beschriftungen umfassen. Hierdurch kann die Bildgebungsvorrichtung 10 bei der Verwendung mit unterschiedlichen Kalibrierobjekten 18 und insbesondere mit unterschiedlichen Instrumenten, die unterschiedliche Kalibrierobjekte 18 umfassen, jeweils intraoperativ farbangepasst werden. Es ist dann nicht erforderlich, eigens für die Farbanpassung ein bestimmtes Kalibrierobjekt in den Hohlraum 16 einzuführen, sondern die Farbanpassung kann im Rahmen beliebiger Eingriffe erfolgen.
In einigen Ausführungsformen kann die Bildgebungseinheit 18 im Falle einer Erkennung eines Kalibrierobjekts 18 automatisiert in einen Kalibriermodus versetzt werden. Im Kalibriermodus kann beispielsweise vorübergehend eine Weißlichtdarstellung für den Benutzer unterbrochen werden. Ferner können im Kalibriermodus automatisiert bestimmte vorgegebene Bilderfassungsparameter eingestellt werden, sodass die korrekte Durchführung einer Kalibrierung gewährleistet ist.
Das Kalibrierobjekt 18 umfasst zumindest eine Farbfläche 36 mit vorgegebenen Spektraleigenschaften. Im dargestellten Fall bildet die Beschriftung 40 die Farbfläche 36 aus. Die Farbfläche 36 kann homogen gefärbt sein, beispielsweise weiß, grau oder mit einer Farbe, die Spektraleigenschaften menschlichen und/oder tierischen Gewebes nachbildet. In einigen Ausführungsformen kann die Farbfläche 36 etwa im sichtbaren Bereich und/oder im Nahinfrarotbereich ein Absorptionsspektrum aufweisen, das dem menschlichen und/oder tierischen Gewebes ähnelt. Hierdurch kann einer Farbanpassung ein Spektrum zugrunde gelegt werden, das sich in den relevanten Spektralbereichen am Einsatzgebiet der Bildgebungsvorrichtung orientiert.
Die Farbfläche 36 ist im vorliegenden Fall autoklavenfest. Ihre Spektraleigenschaften bleiben daher auch bei wiederholter Autokiavierung erhalten. Das Kalibrierobjekt 18 wird somit autoklaviert und damit für einen neuen Einsatz vorbereitet, wenn das medizinische Instrument autoklaviert wird. Die Autoklavenfestigkeit kann durch die Verwendung einer autoklavenfesten Farbe und/oder durch die Verwendung einer Beschichtung erzielt werden. Eine geeignete Beschichtung kann beispielsweise auf einem Lack beruhen und/oder aufgedampft und/oder aufgesputtert sein. Insbesondere kommen Metalloxid-Beschichtung infrage, die im sichtbaren und im Nahinfrarotbereich lichtdurchlässig sind, zugleich aber die harten Bedingungen beim Autoklavieren überstehen.
Fig. 3 zeigt ein schematisches Spektrum 48 des Bildbereichs 26 des Kalibrierbilds 14, der das Kalibrierobjekt 18 zeigt. Im dargestellten Fall handelt es sich um ein Intensitätsspektrum, das über eine Wellenlänge aufgetragen ist. Der umfasste Spektralbereich reicht dabei beispielsweise wenigstens von 400 nm bis 750 nm, von 400 nm bis 900 nm oder noch weiter zu kleineren und/oder größeren Wellenlängen. Das Spektrum kann sich über einen Wellenlängenbereich erstrecken, der dem von der Bildgebungseinheit 12 abgedeckten Wellenlängenbereich entspricht. Dieses Spektrum 48 beruht im vorliegenden Fall auf einer Mittelung über Bildpunkte des Bildbereichs 26. Das Spektrum 48 beruht alternativ oder zusätzlich auf einer zeitlichen Mittelung. Je nach Ausgestaltung der Bildgebungseinheit 12 können dem Spektrum 48 hyperspektrale oder multispektrale Bilddaten zugrunde liegen. Das in Fig. 3 gezeigte Spektrum ist rein beispielhaft zu verstehen. Insbesondere kann es sich im Fall einer multispektralen Bildgebungseinheit auch um ein Spektrum handeln, das lediglich einige Punkte umfasst, insbesondere einen Punkt je multispektraler Stützstelle.
Die Kalibriereinheit 20 ist dazu eingerichtet, zunächst den Bildbereich 26 zu ermitteln und dann Spektralinformationen des Bildbereichs 26 zu ermitteln. Hierbei handelt es sich insbesondere um das schematisch dargestellte Spektrum 48.
Ausgehen von den somit ermittelten Spektralinformationen führt die Kalibriereinheit 20 eine Farbanpassung durch. Der Farbanpassung liegen dabei Basiskalibrierdaten zugrunde. Die Basiskalibrierdaten beziehen sich auf das Kalibrierobjekt 18. Ausgehend hiervon führt die Kalibriereinheit zumindest eine Berechnung durch, die auf den Basiskalibrierdaten und auf dem Kalibrierbild 14, insbesondere auf den bezüglich des Bildbereichs 26 ermittelten Spektralinformationen, beruht.
Die Basiskalibrierdaten können ein bekanntes Spektrum des Kalibrierobjekts 18, insbesondere dessen zumindest einer Farbfläche 36, umfassen. Die Basiskalibrierdaten können insofern in der Kalibriereinheit 20 hinterlegt und/oder hinterlegbar sein.
Im vorliegenden Fall beruhen die Basiskalibrierdaten auf der Aufnahme zumindest eines Basiskalibrierbilds 22. Ein solches ist beispielhaft in Fig. 4 dargestellt. Die Bildgebungseinheit 12 ist dazu eingerichtet, in einem farbkalibrierten Zustand das Basiskalibrierbild 22 aufzunehmen. Hierfür wird die Bildgebungseinheit 12 extern kalibriert, sodass sie über eine korrekte Weißabgleichkalibration verfügt. Dann wird zumindest ein Basiskalibrierbild 22 eines Basiskalibrierobjekts 19 aufgenommen. Das Basiskalibrierobjekt 19 kann beispielsweise ein neutralfarbiger Schirm und/oder eine neutralfarbige Farbabgleich karte sein, beispielsweise eine Graukarte, eine weiße Fläche oder dergleichen. Wie in Fig. 4 dargestellt kann das Basiskalibrierobjekt 19 in bekannter Weise eine Zielmarkierung umfassen, um eine korrekte Ausrichtung zu ermöglichen. Es kann aber auch eine vollständig gleichmäßige Oberfläche abgebildet werden, was den Vorteil mit sich bringt, dass für jeden Bildpunkt ein Spektrum erhalten werden kann. Wir eine Zielmarkierung verwendet, können die betreffenden Bildpunkte ausgeblendet werden. Alternativ können die Spektren, die zu Bildpunkten der Zielmarkierung gehören, durch Spektren von nahen Bildpunkten ersetzt und/oder ausgehend von diesen interpoliert werden.
Die Kalibriereinheit 20 ist ferner zu eingerichtet, Spektralinformation des Bildbereichs 50 zu ermitteln. Hieraus ist ein Spektrum 52 des Kalibrierobjekts 18 gewinnbar, wie es exemplarisch in Fig. 5 dargestellt ist. Aufgrund der externen Farbkalibration der Bildgebungseinheit 12 vor der Aufnahme des Basiskalibrierbilds 22 ist das Spektrum 52 bzw. generell eine aus dem Basiskalibrierbild 22 ermittelte Spektralinformation spektral unverfälscht. Eine Berechnung, die der Farbanpassung zugrunde liegt, kann somit durchgeführt werden, indem intraoperativ ermittelte Spektralinformationen, wie insbesondere das Spektrum 48, mit Spektralinformationen, insbesondere dem Spektrum 52, verglichen werden, die auf dem Basiskalibrierbild 22 beruhen.
Eine Farbanpassung wird anhand der Spektren 48, 52 beispielsweise wie folgt durchgeführt. Es soll w0 das Spektrum 52 bezeichnen. Es wird angenommen, dass dieses dem Spektrum bei korrekter Weißabgleichkalibration entspricht. Ferner soll Wi das Spektrum 48 bezeichnen. Dieses entspricht somit der intraoperativ durch geführten Messung des Kalibrierobjekts 18, die ggf. eine Farbabweichung liefert und eine Farbanpassung erforderlich macht. Die Farbanpassung wird dann durch den Quotienten w0/wi definiert, d. h. aufgenommene Bilder können mit w0/wi korrigiert werden.
Zusätzlich kann analog zum hierin beschriebenen Vorgehen auch eine Schwarzabgleichskorrektur durchgeführt werden. Diese kann in der Farbanpassung enthalten sein. Ein Schwarzniveau b kann dabei durch Aufnahme eines Bildes bei fehlender Beleuchtung ermittelt werden. Ferner kann vorgesehen sein, dass das Kalibrierobjekt 18 zumindest eine schwarze Farbfläche 36 aufweist, die im Kalibrierbild 14 erkannt werden kann. Wird ein Schwarzniveau berücksichtigt, bestimmt sich der Farbanpassungsfaktor zu (w0-b)/(wi-b).
Fig. 6 zeigt eine schematische Darstellung eines Kalibrierbilds 53 mit einem überbelichteten Bildbereich 28 und einem unterbelichteten Bildbereich 30. Diese Bildbereiche 28, 30 können spektrale Auswertungen des Kalibrierbilds 53 beeinflussen. Im beispielhaft dargestellten Fall überlappen diese zudem den Bildbereich 26, in dem das Kalibrierobjekt 18 abgebildet ist, sodass dieses nicht vollständig zu erkennen ist. Würde der gesamte Bildbereich 26 der Farbanpassung zugrunde gelegt, könnten sich der überbelichtete Bildbereich 28 und/oder der unterbelichtete Bildbereich 30 auf die Farbanpassung auswirken. Im vorliegenden Fall ist die Kalibriereinheit 20 dazu eingerichtet, überbelichtete Bildbereich 28 und unterbelichtete Bildbereiche 30 zu erkennen und bei der Farbanpassung außer Betracht zu lassen. Ggf. wird somit lediglich ein Teil des Bildbereichs 26 herangezogen und somit lediglich ein korrekt und/oder mit hinreichender Qualität und/oder Genauigkeit abgebildeter Abschnitt des Kalibrierobjekts 18 berücksichtigt.
In einigen Ausführungsformen kann die Bildgebungseinheit dazu eingerichtet sein zumindest ein Testbild 24 des Kalibrierobjekts 18 zu erfassen. Ein solches Testbild 24 ist beispielhaft in Fig. 7 dargestellt. Das Testbild 24 kann allgemein ausgedrückt dazu dienen, die Eignung eines gewählten Bildsetups zur Durchführung einer intraoperativen Kalibrierung zu überprüfen. Anhand des Testbilds 24 kann beurteilt werden, ob ein im nächsten Schritt aufgenommenes Kalibrierbild 14 geeignete spektrale Information liefern kann.
Im vorliegenden Beispiel ist zudem die Kalibriereinheit 20 dazu eingerichtet, eine Analyse des Testbilds 24 zu erstellen und zumindest einen Bilderfassungsparameter für die Erfassung des Kalibrierbilds 14 nach Maßgabe der Analyse vorzugeben. Das Testbild 24 wird somit dazu verwendet, Parameter zur Erfassung des Kalibrierbilds 14 anzupassen und ggf. zu optimieren.
Die Analyse des Testbilds 24 eine Ermittlung eines Bildbereichs 54 umfassen, in dem sich das Kalibrierobjekt 18 befindet. Der Bildbereich 54 kann dabei nach Maßgabe einer Einsteilbarkeit der Bildgebungseinheit 12 ausgewählt sein. Er weicht im Beispiel vom oben beschriebenen Bildbereich 26 ab, der sich vorrangig oder ausschließlich an der Ausdehnung und Kontur des Kalibrierobjekts 18 orientiert. Im Fall einer hyperspektralen Bildgebungseinheit 10 mit einer Pushbroom-Kamera wird der Bildbereich 54 dazu verwendet, Parameter für Spaltenaufnahmen derart einzustellen, dass räumlich und spektral aufgelöste Bilddaten nur für den Bildbereich 54 aufgenommen werden. Dies kann dann in geringer Zeit und/oder mit hoher Genauigkeit geschehen. Für beliebige Bildgebungseinheiten 12 kann zudem vorgesehen sein, dass eine Belichtung und/oder ein Fokus und/oder andere Bilderfassungsparameter lediglich auf den Bildbereich 54 bezogen optimiert werden. Beispielsweise kann eine Überbelichtung und/oder eine Unterbelichtung in Bereichen außerhalb des Bildbereichs 54 in Kauf genommen werden. Wird ausgehend von der Analyse des Testbilds 24 dann ein Kalibrierbild 14 aufgenommen, ist dieses dahingehend optimiert, dass zuverlässige Daten insbesondere für den Bildbereich 54 erhalten werden können.
Des Weiteren ist die Kalibriereinheit 20 dazu eingerichtet, mehrere intraoperative Kalibrierbilder 14 des Kalibrierobjekts 18 aufzunehmen, während das Kalibrierobjekt 18 in den Hohlraum 16 eingebracht ist. Die Farbanpassung beruht dann auf mehreren unterschiedlichen Kalibrierbildern 14. Diese können identische und/oder abweichende Motive zeigen. Beispielsweise können mehrere identische Kalibrierbilder 14 nacheinander aufgenommen werden, um Bildfehler ausgleichen zu können. Ferner können mehrere Kalibrierbilder 14 mit unterschiedlichen Erfassungsparameters wie beispielsweise Beleuchtung, Belichtungszeit, Fokus, etc. aufgenommen und analysiert werden. Anhand der Einzelanalysen kann die Farbanpassung durch Mittelung, Gewichtung, Verbindung, Abgleichung etc. durchgeführt werden. Alternativ oder zusätzlich können auch mehrere Kalibrierbilder 14, die mit übereinstimmenden Parametern und vom selben Motiv aufgenommen wurden, zunächst zu einem einzelnen Bild überlagert werden, das anschließend einer Analyse unterzogen wird.
Allgemein ausgedrückt kann die Farbanpassung eine räumliche und/oder zeitliche Gewichtung der mehreren unterschiedlichen Kalibrierbilder 14 umfasst. Diese Gewichtung kann sich auch lediglich auf ausgewählte Bildbereiche der unterschiedlichen Kalibrierbilder 14 beziehen. Beispielsweise kann für jeden Kalibrierbild 14 zunächst der Bildbereich 26 ermittelt werden, der dem Kalibrierobjekt 18 zugeordnet ist. Der weitergehenden Analyse zur Ermittlung der Farbanpassung werden dann die ermittelten Bildbereiche 26 zugrunde gelegt.
Analog hierzu können auch mehrere Basiskalibrierbilder 22 und/oder mehrere Testbilder 24 aufgenommen, analysiert und ggf. gewichtet verwendet werden, um die Basiskalibrierdaten zu erhalten bzw. geeignete Parameter für die Erfassung eines oder mehrerer Kalibrierbilder 14 zu ermitteln. Mit erneuter Bezugnahme auf Fig. 1 umfasst die Bildgebungsvorrichtung 10 ferner eine Beurteilungseinheit 32, die dazu eingerichtet ist, einen Grad der Anpassung der Farbkalibrierung mit einem Schwellenwert zu vergleichen und eine Empfehlung zur externen Neukalibration auszugeben, wenn der Grad der Anpassung der Farbkalibrierung den Schwellenwert überschreitet. Die Empfehlung kann beispielsweise über die Anzeigeeinheit 46 ausgegeben werden. Sind lediglich geringfügige Anpassungen erforderlich, die den Schwellenwert nicht überschreiten, ist keine externe Neukalibration erforderlich.
Fig. 8 zeigt eine schematische Darstellung eines Kalibrierbilds 14‘, das ein weiteres Kalibrierobjekt 18‘ zeigt. Das Kalibrierobjekt 18‘ weist mehrere Farbflächen 36‘ mit vorgegebenen Spektraleigenschaften auf. Diese sind als homogene Farbbereiche mit einer Ausdehnung von einigen mm2 ausgebildet, beispielsweise als Rechtecke, Quadrate, Kreise, Polygone, Ellipsen oder andere einfache geometrische Figuren. Die Farbflächen 36‘ sind auf der Grundlage einer Bildsegmentierung einfach und zuverlässig auffindbar. Sie können zudem unterschiedliche Farben aufweisen, sodass mehrere Spektren erhalten werden können, die dem Farbabgleich zugrunde gelegt werden können. Das Kalibrierobjekt 18‘ kann analog zum oben beschriebenen Kalibrierobjekt 18 Teil eines medizinischen Instruments 38‘ sein.
Fig. 9 zeigt eine schematische Darstellung eines Kalibrierbilds 14“, das noch ein weiteres Kalibrierobjekt 18“ zeigt. Das Kalibrierobjekt 18“ weist zumindest eine Farbflächen 36‘ mit vorgegebenen Spektraleigenschaften auf. Das Kalibrierobjekt 18“ ist zum einmaligen Gebrauch vorgesehen. Das Kalibrierobjekt 18“ ist beispielsweise Teil eines Kalibrierstäbchens 56. Dieses kann steril verpackt sein. Soll eine Farbanpassung durchgeführt werden, wird das Kalibrierobjekt 18“ und/oder das Kalibrierstäbchen 56 ausgepackt und in den Hohlraum 16 eingeführt. Da das Kalibrierobjekt 18“ somit vor seinem Gebrauch unbenutzt ist, sind dessen Spektraleigenschaften sehr genau bekannt und nicht durch vorhergehende Reinigungszyklen, Autoklavierungen und/oder Verschmutzungen beeinträchtigt.
Es versteht sich, dass in anderen Ausführungsformen auch ein Kalibrierobjekt verwendet werden kann, das als separates Element ausgebildet und nicht Teil eines medizinischen Instruments ist, aber dennoch zum wiederholten Gebrauch vorgesehen sein kann. Fig. 10 zeigt eine schematische perspektivische Darstellung eines weiteren medizinischen Systems 34‘“ mit einer alternativen Bildgebungsvorrichtung 10‘“. Die alternative Bildgebungsvorrichtung 10‘ arbeitet grundsätzlich analog wie die oben beschriebene Bildgebungsvorrichtung 10. Die alternative Bildgebungsvorrichtung 10‘“ ist als exoskopische Bildgebungsvorrichtung ausgebildet. Sie wird zur multispektralen und/oder hyperspektralen Bildgebung beispielsweise in einen eröffneten Hohlraum 16‘“ gerichtet. Bei einer Farbanpassung wird ein Kalibrierobjekt 18‘“ in den Hohlraum 16‘“ eingebracht, wie oben beschrieben.
Fig. 11 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zur Farbanpassung einer medizinischen Bildgebungsvorrichtung. Der Ablauf der Verfahren ergibt sich auch aus den obigen Ausführungen. Beispielhaft wird das Verfahren mit der Bildgebungsvorrichtung 10 durchgeführt.
Das Verfahren umfasst einen Schritt S1 eines intraoperativen Einbringens eines Kalibrierobjekts 18 in einen Hohlraum 16.
Ferner umfasst das Verfahren einen Schritt S2 eines Aufnehmens zumindest eines intraoperativen Kalibrierbilds 14 des intraoperativ in den Hohlraum 16 eingebrachten Kalibrierobjekts 18.
Außerdem umfasst das Verfahren einen Schritt S3 eines Durchführens einer Farbanpassung für die Bilderfassung nach Maßgabe des Kalibrierbilds 14, wobei die Farbanpassung eine Anpassung einer Farbkalibrierung, insbesondere einer Weißabgleichkalibrierung, umfasst.
Bezugszeichenliste
10 Bildgebungsvorrichtung
12 Bildgebungseinheit
14 Kalibrierbild
16 Hohlraum
18 Kalibrierobjekt
19 Basiskalibrierobjekt
20 Kalibriereinheit
22 Basiskalibrierbild
24 Testbild
26 Bildbereich
28 Bildbereich
30 Bereich
32 Beurteilungseinheit
34 medizinisches System
36 Farbfläche
38 medizinisches Instrument
40 Beschriftung
42 Bildgebungsinstrument
44 Beleuchtungseinheit
45 Kameraeinheit
46 Anzeigeeinheit
48 Spektrum
52 Spektrum
53 Kalibrierbild
54 Bildbereich
56 Kalibrierstäbchen

Claims

Ansprüche
1. Medizinische Bildgebungsvorrichtung (10), insbesondere Endoskopvorrichtung, Exoskopvorrichtung und/oder Mikroskopvorrichtung, umfassend: eine Bildgebungseinheit (12), die dazu eingerichtet ist, multispektrale und/oder hyperspektrale Bilderfassung durchzuführen, wobei die Bildgebungseinheit (12) dazu eingerichtet ist, zumindest ein intraoperatives Kalibrierbild (14) eines intraoperativ in einen Hohlraum (16) einbringbaren Kalibrierobjekts (18) aufzunehmen, während das Kalibrierobjekt (18) in den Hohlraum (16) eingebracht ist; und eine Kalibriereinheit (20), die dazu eingerichtet ist, nach Maßgabe des Kalibrierbilds (14) eine Farbanpassung für die Bilderfassung durchzuführen, die eine Anpassung einer Farbkalibrierung, insbesondere einer Weißabgleichkalibrierung, umfasst.
2. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 1 , wobei der Farbanpassung Basiskalibrierdaten zugrunde liegen, die sich auf das Kalibrierobjekt (18) beziehen, und wobei die Farbkalibrierung zumindest eine Berechnung umfasst, die sowohl auf dem Kalibrierbild (14) als auch auf den Basiskalibrierdaten beruht.
3. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 2, wobei die Bildgebungseinheit (12) dazu eingerichtet ist, in einem farbkalibrierten Zustand zumindest ein Basiskalibrierbild (22) aufzunehmen, und wobei die Basiskalibrierdaten auf dem Basiskalibrierbild (22) beruhen.
4. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, wobei die Kalibriereinheit (20) dazu eingerichtet ist, eine Bilderkennung zur Erkennung des Kalibrierobjekts (18) durchzuführen.
5. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 4, wobei die Bilderkennung auf multispektralen und/oder hyperspektralen Bilddaten beruht.
6. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 4 oder 5, wobei die Bildgebungseinheit (12) dazu eingerichtet ist, Weißlichtbildgebung durchzuführen, und wobei die Bilderkennung auf Weißlichtbilddaten beruht.
7. Medizinische Bildgebungsvorrichtung (10) nach einem der Ansprüche 4 bis 6, wobei die Bildgebungseinheit (12) dazu eingerichtet ist, zumindest ein Testbild (24) des Kalibrierobjekts (18) zu erfassen, und wobei die Kalibriereinheit (20) dazu eingerichtet ist, eine Analyse des Testbilds (24) zu erstellen und zumindest einen Bilderfassungsparameter für die Erfassung des Kalibrierbilds (14) nach Maßgabe der Analyse vorzugeben.
8. Medizinische Bildgebungsvorrichtung (10) nach einem der Ansprüche 4 bis 7, wobei die Bildgebungseinheit (12) dazu eingerichtet ist, im Fall der Erkennung des Kalibrierobjekts (18) automatisiert in einen Kalibriermodus zu wechseln.
9. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, wobei die Kalibriereinheit (20) dazu eingerichtet ist, Spektralinformation eines Bildbereichs (26) des Kalibrierbilds (14) zu ermitteln, der dem Kalibrierobjekt (18) zugeordnet ist.
10. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, wobei die Kalibriereinheit (20) dazu eingerichtet ist, überbelichtete Bildbereiche (28) und/oder unterbelichtete Bildbereiche (30) des Kalibrierbilds (14) für die Farbanpassung außer Betracht zu lassen.
11. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, wobei die Bildgebungseinheit (12) dazu eingerichtet ist, mehrere intraoperative Kalibrierbilder (14) des Kalibrierobjekts (18) aufzunehmen, während das Kalibrierobjekt (18) in den Hohlraum (16) eingebracht ist, und wobei die Farbanpassung auf den mehreren unterschiedlichen Kalibrierbildern (14) beruht.
12. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 11 , wobei die Farbanpassung eine räumliche und/oder zeitliche Gewichtung der mehreren unterschiedlichen Kalibrierbilder umfasst.
13. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, ferner umfassend eine Beurteilungseinheit (32), die dazu eingerichtet ist, einen Grad der Anpassung der Farbkalibrierung mit einem Schwellenwert zu vergleichen und eine Empfehlung zur externen Neukalibration auszugeben, wenn der Grad der Anpassung der Farbkalibrierung den Schwellenwert überschreitet.
14. Medizinisches System (34), umfassend: in Kalibrierobjekt (18), das intraoperativ in einen Hohlraum (16) einbringbar ist; und eine medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche.
15. Medizinisches System (34) nach Anspruch 14, wobei das Kalibrierobjekt (18) zumindest eine Farbfläche (36) mit vorgegebenen Spektraleigenschaften umfasst.
16. Medizinisches System (34) nach Anspruch 15, wobei die zumindest eine Farbfläche (36) derart autoklavenfest ist, dass die Spektraleigenschaften der Farbfläche (36) bei einer Autokiavierung des Kalibrierobjekts (18) erhalten bleiben.
17. Medizinisches System (34) nach Anspruch 15 oder 16, wobei die Spektraleigenschaften der Farbfläche (36) Spektraleigenschaften menschlichen und/oder tierischen Gewebes nachbilden.
18. Medizinisches System (34) nach einem der Ansprüche 14 bis 17, wobei das Kalibrierobjekt (18) Teil eines medizinischen Instruments (38) ist.
19. Medizinisches System (34) nach einem der Ansprüche 14 bis 18, wobei das Kalibrierobjekt (18) eine Beschriftung (40) umfasst.
20. Medizinisches System (34) nach einem der Ansprüche 14 bis 19, wobei das Kalibrierobjekt (18) zum einmaligen Gebrauch vorgesehen ist.
21. Kalibrierobjekt (18) für eine medizinische Bildgebungsvorrichtung (zehn) nach einem der Ansprüche 1 bis 13 und/oder für ein medizinisches System (34) nach einem der Ansprüche 14 bis 20.
22. Verfahren zur Farbanpassung, insbesondere zur Weißlichtkalibrierung, einer medizinischen Bildgebungsvorrichtung (10), insbesondere nach einem der Ansprüche 1 bis 13, wobei die Bildgebungsvorrichtung (10) dazu eingerichtet ist, multispektrale und/oder hyperspektrale Bilderfassung durchzuführen, umfassend: Intraoperatives Einbringen eines Kalibrierobjekts (18) in einen Hohlraum (16); Aufnehmen zumindest eines intraoperativen Kalibrierbilds (14) des intraoperativ in den Hohlraum (16) eingebrachten Kalibrierobjekts (18); und Durchführen einer Farbanpassung für die Bilderfassung nach Maßgabe des Kalibrierbilds (14), wobei die Farbanpassung eine Anpassung einer Farbkalibrierung, insbesondere einer Weißabgleichkalibrierung, umfasst.
EP23771885.3A 2022-09-19 2023-09-15 Medizinische bildgebungsvorrichtung, medizinisches system und verfahren zur farbanpassung einer medizinischen bildgebungsvorrichtung Pending EP4590168A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022123881.4A DE102022123881A1 (de) 2022-09-19 2022-09-19 Medizinische Bildgebungsvorrichtung, medizinisches System und Verfahren zur Farbanpassung einer medizinischen Bildgebungsvorrichtung
PCT/EP2023/075484 WO2024061772A1 (de) 2022-09-19 2023-09-15 Medizinische bildgebungsvorrichtung, medizinisches system und verfahren zur farbanpassung einer medizinischen bildgebungsvorrichtung

Publications (1)

Publication Number Publication Date
EP4590168A1 true EP4590168A1 (de) 2025-07-30

Family

ID=88069019

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23771885.3A Pending EP4590168A1 (de) 2022-09-19 2023-09-15 Medizinische bildgebungsvorrichtung, medizinisches system und verfahren zur farbanpassung einer medizinischen bildgebungsvorrichtung

Country Status (3)

Country Link
EP (1) EP4590168A1 (de)
DE (1) DE102022123881A1 (de)
WO (1) WO2024061772A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6244217A (ja) * 1985-08-23 1987-02-26 株式会社東芝 電子式内視鏡装置
US5058603A (en) * 1988-08-09 1991-10-22 Asahi Kogaku Kogyo K.K. Length-measuring device and reference color display device for color tone adjustment for use in combination with endoscope
DE4208454A1 (de) * 1992-03-17 1993-09-23 Robert Prof Dr Ing Massen Endoskop mit farbtreuer bilddarstellung
US7547277B2 (en) * 2005-12-15 2009-06-16 Microvision, Inc. Method and apparatus for calibrating an endoscope system
DE102013217379A1 (de) 2013-08-30 2015-03-05 Spekled GmbH Vorrichtung und Verfahren zur Aufnahme eines Hyperspektralbildes
WO2018088498A1 (ja) * 2016-11-10 2018-05-17 京セラオプテック株式会社 体腔内観察システム、トロカール装置、及び体腔内観察システムの作動方法
DE102020105458B4 (de) 2019-12-13 2023-09-28 Karl Storz Se & Co. Kg Medizinische Bildgebungsvorrichtung

Also Published As

Publication number Publication date
DE102022123881A1 (de) 2024-03-21
WO2024061772A1 (de) 2024-03-28

Similar Documents

Publication Publication Date Title
DE102014109888B4 (de) Verfahren und Vorrichtung zum Prüfen der Licht- und/oder Bildübertragungseigenschaften eines endoskopischen oder exoskopischen Systems
DE102022106599A1 (de) Verfahren zur identifizierung der zusammensetzung eines anatomischen ziels
DE102007014413B4 (de) Verfahren zum Auswerten von Fluoreszenzbildsätzen und Vorrichtung zu seiner Durchführung
DE102022126995A1 (de) Medizinische Bildgebungsvorrichtung und Verfahren zur medizinischen Bildgebung
DE102012002086A1 (de) Verfahren zum Untersuchen von biologischem Gewebe und Vorrichtungen zum Untersuchen und Behandeln des Gewebes
DE60108914T2 (de) Vorrichtung zur Untersuchung des Sehvermögens
DE102017129519B4 (de) Anordnung und Verfahren zur simultanen Messung der Fluoreszenz einzelner Schichten in einem Schichtsystem, beispielsweise dem Augenhintergrund
DE102019217541A1 (de) Medizinische Bildgebungseinrichtung, Verfahren und Verwendung
DE102016105962A1 (de) Positionsermittlungsanordnung für Intraokularlinse
EP3741290B1 (de) Vorrichtung zur abbildungserzeugung von hautläsionen
EP4590168A1 (de) Medizinische bildgebungsvorrichtung, medizinisches system und verfahren zur farbanpassung einer medizinischen bildgebungsvorrichtung
DE102020102476B4 (de) Methode zum Kennzeichnen eines Bereiches eines Tumors
DE102018122816B9 (de) Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
EP4537527A1 (de) Medizinische bildgebungsvorrichtung, verfahren zum betrieb einer solchen und verfahren zur medizinischen bildgebung
EP3488281B1 (de) Ermitteln eines gewebetyps eines gewebes eines tierischen oder menschlichen individuums
DE10129652A1 (de) Anordnung und Verfahren zur Bestimmung der zweidimensionalen Verteilung von Funduspigmenten, insbesondere des Makulapigments Xanthophyll
DE102007053074A1 (de) Verfahren und Messeinrichtung zur Fluoreszenzmessung am Auge
WO2024133105A1 (de) Beleuchtungsvorrichtung zur bereitstellung von beleuchtungslicht für ein bildgebungsinstrument, bildgebungsvorrichtung, verfahren zum einstellen einer beleuchtungsvorrichtung und verfahren zur erzeugung von beleuchtungslicht
WO2022122711A2 (de) Verfahren zur spektralen überprüfung von systemkomponenten eines modularen medizinischen bildgebungssystems
EP3155588B1 (de) Ganzkörperbildaufnahme- und bildverarbeitungssystem sowie verfahren zu dessen betrieb
WO1995034806A1 (de) Rückstrahlspektroskopische vorrichtung
WO2009059737A1 (de) Anordnung und verfahren zur automatischen ermittlung einer kataraktstärke eines auges sowie ophthalmologisches gerät und steuerverfahren für ein solches
DE19619067C2 (de) Vorrichtung zur Detektion von kariöser Zahnsubstanz und/oder von insbesondere zahnfarbenen Zahnrestaurationen
DE102023120892A1 (de) Verfahren zur automatisierten Lokalisation eines bestimmten Gewebetyps während eines endoskopischen Eingriffs und zugehöriges Bildaufnahmesystem
DE102023134457A1 (de) Bildgebungsvorrichtung, insbesondere endoskopische, exoskopische und/oder mikroskopische Bildgebungsvorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250416

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: UPC_APP_7366_4590168/2025

Effective date: 20250917

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)