EP4537527A1 - Medizinische bildgebungsvorrichtung, verfahren zum betrieb einer solchen und verfahren zur medizinischen bildgebung - Google Patents

Medizinische bildgebungsvorrichtung, verfahren zum betrieb einer solchen und verfahren zur medizinischen bildgebung

Info

Publication number
EP4537527A1
EP4537527A1 EP23732412.4A EP23732412A EP4537527A1 EP 4537527 A1 EP4537527 A1 EP 4537527A1 EP 23732412 A EP23732412 A EP 23732412A EP 4537527 A1 EP4537527 A1 EP 4537527A1
Authority
EP
European Patent Office
Prior art keywords
imaging device
image
image data
fault
spatially
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23732412.4A
Other languages
English (en)
French (fr)
Inventor
Lukas Buschle
Werner Göbel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz SE and Co KG
Original Assignee
Karl Storz SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz SE and Co KG filed Critical Karl Storz SE and Co KG
Publication of EP4537527A1 publication Critical patent/EP4537527A1/de
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Definitions

  • the invention relates to a medical imaging device, a method for operating a medical imaging device and a method for medical imaging.
  • Multispectral and hyperspectral images differ essentially in the number and width of their spectral bands.
  • the imaging device can include a fault detection unit which is set up to detect the presence of a fault in the image capture and to determine a fault status in the image capture.
  • the imaging device may include an output unit that is configured to generate a user output based on the analysis parameter in accordance with the fault condition.
  • a medical system includes the imaging device and a medical instrument.
  • the features according to the invention enable reliable implementation and/or assessment of diagnostic and/or therapeutic actions.
  • a high degree of quality of multispectral and/or hyperspectral imaging can be achieved since any interference in the display of both spatially and spectrally resolved information can be detected in the form of spatially and spectrally resolved image data.
  • misinterpretation on the part of the user can be avoided.
  • physiological tissue parameters such as, among others, oxygen saturation, blood, water or fat content, which underlie the implementation and/or assessment of therapeutic and/or diagnostic measures lying can be prevented.
  • the fault detection unit can be set up to detect the presence of a fault in the image capture and to determine a fault status in the image capture, independently of the analysis of the image data and the calculated analysis parameter.
  • the step of performing a fault detection can include the presence of a fault in the image capture during the fault detection, regardless of the analysis of the image data and the calculated analysis parameter detected and a fault condition in the image capture is determined.
  • the imaging device may be a microscopic, macroscopic and/or exoscopic imaging device.
  • the imaging device can be designed as and/or comprise a microscope, macroscope and/or exoscope. In some embodiments, the imaging device may be an endoscopic imaging device.
  • the imaging device may be an endoscope device. It can include an endoscope and/or an endoscope system and/or be designed as such and/or form at least a part and preferably at least a large part and/or main component of an endoscope and/or an endoscope system. “At least a majority” can mean at least 55%, preferably at least 65%, preferably at least 75%, particularly preferably at least 85% and very particularly preferably at least 95%, in particular with reference to a volume and / or a mass of an object.
  • the imaging device is designed to be insertable into a cavity for assessment and/or observation, for example into an artificial and/or natural cavity, such as into the interior of a body, into a body organ, into tissue or the like.
  • the imaging device can also be set up to be insertable into a housing, a casing, a shaft, a pipe or another, in particular artificial, structure for assessment and/or observation.
  • the imaging device is an exoscopic imaging device, it can be set up to record tissue parameters, images of wounds, images of body parts, etc.
  • the imaging device can be set up to image an operating field.
  • the imaging device and in particular the optics and/or the image capture sensor system can be set up for multispectral and/or hyperspectral imaging, in particular to capture and/or generate multispectral and/or hyperspectral image data.
  • Multispectral imaging or multispectral image data can refer in particular to such imaging in which at least two, in particular at least three, and in some cases at least five spectral bands can be and/or are detected independently of one another.
  • Hyperspectral imaging or hyperspectral image data can refer in particular to such imaging in which at least 20, at least 50 or even at least 100 spectral bands can be detected and/or are detected independently of one another.
  • the Imaging device can work according to the pushbroom method and/or according to the whiskbroom method and/or according to the staring method and/or according to a snapshot principle.
  • Spectrally resolved image data which is obtained in real time or delivers several images per second, can also be used for surveillance purposes, whereby an image that is to be reproduced does not necessarily have to be created for a user, but the image data can also be processed in the background.
  • the two and preferably several image capture sensors can have spectral detection sensitivities that are designed differently from one another, so that, for example, a first sensor in a red spectral range, a second sensor in a blue spectral range and a third sensor in a green spectral range are particularly sensitive or comparatively more sensitive than the others sensors is.
  • the image sensor can be designed, for example, as a CCD sensor and/or a CMOS sensor.
  • the optics of the image capture unit can include suitable optical elements such as lenses, mirrors, gratings, prisms, optical fibers, etc.
  • the optics can be set up to guide object light coming from the image area to the image capture sensor system, for example to focus and/or project it.
  • the object light can come in particular from illumination of the image area.
  • the image area can include at least a part and/or section of an imaged object.
  • the image area may involve tissue and/or organs and/or part of a patient's body.
  • the image area can concern a site.
  • the disturbance is not recognizable and/or recognized from spatial and spectral information, and/or that the disturbance detection unit does not or at least not exclusively uses spatial and spectral information.
  • Disturbance detection can be based on spatial and spectral information.
  • the fault detection can detect faults using a mathematical rule.
  • the mathematical rule can include an algebraic calculation rule and/or a machine learning method, for example a Kl model.
  • the mathematical rule can also include, for example, at least one filter rule that can specifically change image data using algorithms.
  • at least one optical filter can be integrated into the imaging device.
  • a comparison parameter can be created from spatial and spectral image data using a mathematical rule are calculated, which are compared with other parameters that experience shows are based on interference-free imaging.
  • Disturbances can include smoke, contamination and/or wear of the imaging device, in particular the optics of the imaging device, inorganic materials, in particular instruments, nets, tilters, threads, trocars, overexposed and/or underexposed image areas, contrast media, movement artifacts, in particular movement artifacts caused by a Relative movement of the imaging device to the image area arise, incorrect white balance in white light imaging provided in some embodiments and / or an endoscope tip located in the trocar during the image data generation of the imaging device.
  • Another form of interference can occur when taking pictures in/under water, for example in arthroscopy or urology. Floating particles in the water, such as urine or blood, can obscure the view of the tissue, which can also lead to incorrect parameters. This case is somewhat similar to the case of smoke described here and below, but in a different medium.
  • the output unit can be set up to output a visual output and/or any other output perceivable by a user.
  • the output unit can include suitable components, such as one or more lamps, lighting devices, speakers, screens or the like.
  • the output unit may include a computer and/or processor and/or memory and/or main memory and/or ports and/or a data interface for receiving, processing and outputting raw, preprocessed and/or processed output data.
  • the imaging device can include a display unit that is set up to display an image, in particular a moving image, for a user.
  • the display unit can be part of the output unit and/or form it.
  • the displayed image may be based on the image data.
  • the display unit can include a screen and/or control electronics.
  • the display unit may include a computer and/or processor and/or memory and/or RAM and/or ports and/or a data interface for receiving, processing and outputting unprocessed, preprocessed and/or processed image data and/or display data.
  • the output generation unit can be connected to the display unit via an interface. The output generated can be processed and/or output by the display unit.
  • the fault detection unit of the medical imaging device can be set up to use the image analysis of the video image data to detect the presence of dirt and/or fog on at least part of the optics of the spatially and spectrally resolving image capture unit and to detect the presence of a fault in accordance with the detection of dirt and /or to detect fogging. In this way, falsifications due to contamination and/or fogging on at least part of the optics can be avoided.
  • spectral calibration of the imaging device can be of particular importance in order to achieve optimal image quality.
  • the spectral calibration can be carried out, for example, using a white balance.
  • the video capture unit can also be calibrated using a white balance.
  • the interference detection unit can be set up to assess, based on a comparison of the spatially and spectrally resolved image data and the video image data, whether a white balance of the spatially and spectrally resolved image capture unit and a white balance of the video capture unit are consistent at least within the framework of a predetermined tolerance and to confirm the presence of a disruption detect when the specified tolerance is exceeded. Because it is usually less complicated to carry out a white balance of the video capture unit than a white balance of the spatially and spectrally resolved image capture unit, it can be advantageous to first perform a white balance of the video capture unit and use the video image data as a reference value in a comparison with the spatially and spectrally resolved image data to use.
  • the fault detection unit of the medical imaging device can be set up to detect the unexpected presence of a medical instrument in the image area based on the image analysis of the video image data and to detect the presence of a fault in accordance with the detection of an unexpected presence of a medical instrument. In this way, a user can be made aware that falsifications of the recordings could occur due to medical instruments.
  • the fault detection unit can be set up to compare a recognized medical instrument with a medical instrument expected in the image area and to detect the presence of a fault if the recognized medical instrument deviates from the expected medical instrument.
  • the portion of the image area in which the medical instrument is present can be excluded from the parameter display. This can include excluding said subarea from underlying calculations.
  • the interference detection unit of the medical imaging device can comprise a distal end which comprises at least parts of the optics of the image capture unit, wherein the interference detection unit is designed to detect that the image area at least partially includes an interior of a trocar, and wherein the output unit is designed to: to generate a user output containing the information that the distal end is at least partially within the trocar.
  • the imaging device can be in such a spatial proximity to the trocar that interference with the spatial and spectral information can occur.
  • incident light can be reflected by the trocar in order to cause a disruption in the spatial and spectral information.
  • the medical imaging device can comprise a sensor unit with at least one sensor, which is set up to measure at least one measurement variable that describes a state of the imaging device and/or an environment of the imaging device, and which is set up to generate a sensor signal that represents the measurement variable.
  • the sensor unit can work independently of the imaging device.
  • the sensor unit can work simultaneously with the imaging device and a Generate sensor signal and/or before or after the acquisition of multispectral and/or hyperspectral information.
  • the fault detection unit can be set up to detect the presence of a fault based on the sensor signal.
  • the sensor can be an acceleration sensor, with the sensor signal representing a movement of the imaging device.
  • the fault detection unit can be set up to determine a range of movement based on the sensor signal and to detect the presence of a fault when the specific range of movement exceeds a threshold value.
  • the sensor can be a distance sensor. This can be set up to determine a distance between the imaging device and an object in the image area.
  • a therapeutic action such as thermal manipulation of the tissue, particularly vessel sealing or coagulation using an electrosurgical device such as a radiofrequency coagulation instrument, may produce smoke in the image area.
  • Smoke can alter spectral information of the image area prior to capture with the imaging device and thereby represent a disturbance. This can lead to analysis parameters being incorrectly calculated by the evaluation unit of the imaging device.
  • the fault detection unit of the medical imaging device can be set up to detect the presence of smoke in the image area based on an image analysis and to detect the presence of a fault in accordance with the detection of smoke in the image area.
  • the fault detection unit can detect smoke by analyzing video image data from a video capture unit. Smoke detection can alternatively or additionally be detected through an analysis of the hyperspectral and/or multispectral information.
  • the fault detection unit of the medical imaging device can be set up to detect if a fault is detected to prevent spatially and spectrally resolved image data by means of the spatially and spectrally resolved image capture unit.
  • the fault detection unit can be set up to at least temporarily deactivate the image capture unit and/or to at least temporarily make image capture impossible.
  • a user output can be made to alert the user to a fault condition. The user can then, for example, correct the fault condition and continue with the acquisition of spatially and spectrally resolved image data and/or continue to acquire spatially and spectrally resolved image data despite the fault condition.
  • a user can be specifically informed of areas of an image containing errors if the output unit of the medical imaging device is set up to generate a spatially resolved parameter representation of the image area in accordance with the analysis parameter and to identify them as parts of the image area containing errors by the interference detection unit.
  • the part of the image area that is subject to interference can be identified with black or different colored image data points.
  • a border, strikethrough or other highlighting of the affected image area can be displayed.
  • the output unit of the medical imaging device can also be set up to provide the user with information on how the malfunction can be remedied if a malfunction is detected.
  • the fault detection unit can be set up to detect the type of fault. This can be based on one and/or a combination of the methods described.
  • the user can, for example, be asked to remove a medical instrument from the image area, perform a white balance and/or clean a dirty lens. In principle, any type of malfunction can be detected and the user can be asked and/or instructed to correct the malfunction.
  • FIG. 1 shows a schematic representation of a medical system with a medical imaging device
  • Fig. 2 is a schematic structural diagram of the imaging device
  • Fig. 3 is a schematic representation of an image area
  • FIG. 6 shows a further schematic representation of the image area to illustrate another possible fault
  • FIG. 12 shows a schematic flowchart of a method for operating a medical imaging device
  • Fig. 13 is a schematic flowchart of a method for medical imaging.
  • the medical instrument 34 is a bipolar electrosurgical instrument.
  • the medical instrument 34 is designed to specifically introduce energy into tissue in order to coagulate it, for example for vascular closure.
  • This design is to be understood purely as an example.
  • Other types of energy introduction can be provided as well as generally other types of medical devices, such as surgical, diagnostic, imaging, procedural support, anesthetic or other medical instruments and/or devices.
  • the imaging device 10 has, by way of example, a medical imaging device
  • the imaging device 64 has a distal section 72 which includes a distal end 36. In general terms, this is a distal end 36 of the imaging device 10.
  • the distal section 72 is designed to be inserted into a cavity in an operating state.
  • the distal section 72 faces a patient in the operating state.
  • the distal section 72 faces away from a user in the operating state.
  • the medical imaging device 64 has a proximal section 74.
  • the proximal section 74 is arranged outside a cavity in the operating state.
  • the proximal section 74 faces away from the patient in the operating state.
  • the proximal section 74 faces the user in the operating state.
  • the imaging device 64 has a handle 76.
  • the handle 76 is set up as an example for handling by the user. Alternatively or additionally, the handle 76 can be set up for attachment and/or connection to a medical robot.
  • the imaging device 64 may also be formed integrally with a robot in some embodiments. A position and/or orientation of the imaging device 64 relative to the patient is changeable, for example through handling by the user and/or through appropriate movement of the robot.
  • the medical system 60 has a display device 78.
  • the display device 78 can be part of the imaging device 10.
  • the display device 78 may be a separate display such as a screen or the like. In other embodiments, the display device 78 can also be integrated into the imaging device 64 and/or into the control device 68.
  • the imaging device 10 has a device interface 80, via which the medical instrument 34 can be connected to the imaging device 10.
  • the device interface 80 is part of the control unit 68.
  • the device interface 80 is wired in the case shown.
  • the device interface 80 is detachable.
  • the device interface 80 can be set up to connect to different medical devices.
  • the device interface 80 may include a socket and/or electrical connections.
  • the medical instrument 34 may be entirely independent of the imaging device 10. This can then possibly also be free of a device interface.
  • the imaging device 10 has a user interface 82 through which the user can make inputs.
  • the user interface 82 may include multiple controls that may be attached to different components of the imaging device 10 and/or the medical system 60.
  • the imaging device 10 has a spatially and spectrally resolving image capture unit 12, which has at least one optics 14.
  • the image capture unit 12 also has an image capture sensor system 16 coupled to the optics 14.
  • the optics 14 and the image capture sensor system 16 are set up to generate image data of an image area 18.
  • the image area 18 is shown in FIG. 1 as an example on a display of the display device 78.
  • the image data includes both optical and spectral information.
  • the image data corresponds to two-dimensional spatial data that define spatial image points, as well as spectral data that is assigned to the individual image points. A spectrum is therefore available for each pixel from the image data.
  • a two-dimensional image is available from the image data for each spectral band.
  • the image data corresponds to a multispectral or hyperspectral data cube.
  • the optics 14 includes optical elements, not shown, which collect object light and lead to the image capture sensor system 16.
  • the image capture sensor system 16 includes a CMOS or CCD sensor, not shown.
  • the optics 14 and the image capture sensor system 16 are arranged together in a pushbroom arrangement. In other embodiments, a whiskbroom arrangement, a staring arrangement, and/or a snapshot arrangement is used.
  • the image capture unit 12 is set up for hyperspectral image capture; the imaging device 10 is accordingly a hyperspectral imaging device.
  • the imaging device 10 may also be multispectral. Several spectral ranges can be viewed, for example, through filters that can be selectively inserted into an object light beam path and/or through sequential illumination with different wavelengths.
  • the image capture unit 12 can be at least partially included in the imaging device 64. Parts of the optics 14 and/or the image capture sensor system 16 can be included in the control device 68. For example, object light can be guided to the image capture sensor system 16 via a light guide and this can be arranged in the control device 68. In other embodiments, the entire image capture sensor system 16 is included in the imaging device 64 and only data is transmitted to the control device 68.
  • the imaging device 10 includes an output unit 24.
  • the output unit 24 may include the display device 78 and/or other output devices.
  • the output unit 24 includes, in addition to the display device 78, a loudspeaker 86 and an additional display 88, which are formed, for example, on the control device 68.
  • the output unit 24 has an interface for connecting one or more output devices.
  • the output generation unit 84 can also include the output unit 24 or its components.
  • the imaging device 10 includes a control unit 90.
  • This includes a processor, a main memory, a memory and appropriately designed circuits.
  • Program code is stored in the memory, which, when executed by the processor, causes the methods described herein to be carried out or implements functionalities of the units described.
  • the imaging device 10 also includes a fault detection unit 22.
  • the fault detection unit 22 is set up to detect a fault in the image capture and to determine a fault status in the image capture.
  • the disturbance detection unit 22 can detect a disturbance condition based on hyperspectral and/or multispectral information.
  • the fault detection unit 22 can determine a fault condition based on video image data generated by a video capture unit 28 and/or based on fluorescence imaging data generated by a fluorescence imaging unit 38.
  • the fault detection unit 22 can additionally or alternatively be set up to determine a fault condition based on a sensor signal which is generated by a sensor unit 42. Fault detection will be discussed in more detail below.
  • the video capture unit 28 in particular can generate video image data in real time.
  • the imaging device 10 can be designed to be multimodal in some embodiments. Image data can be generated in different modes. The various modes may potentially be used simultaneously, alternately and/or sequentially.
  • the imaging device 10 also includes a fluorescence imaging unit 38.
  • the fluorescence imaging unit 38 is set up to capture the image area 18 using fluorescence imaging and to generate fluorescence imaging data. For example, a specific type of tissue can be made recognizable by fluorescence imaging using a contrast agent 40. Fluorescence imaging data generation using the fluorescence imaging unit 38 represents a mode that may be used simultaneously, alternately, and/or sequentially with other modes.
  • the fault detection unit 22 is set up to detect a fault based on an assessment of the fluorescence imaging data. In particular, the interference detection unit 22 can detect the presence of contrast agent 40 in at least part of the image area 18.
  • the sensor 44 can be an acceleration sensor, for example.
  • the acceleration sensor measures a movement of the imaging device relative to the image area 18.
  • the disturbance detection unit 22 is set up to determine a range of movement based on the sensor signal and to detect the presence of a disturbance if the specific range of movement exceeds a threshold value.
  • the sensor 44 may be a distance sensor in another exemplary embodiment. This is set up to determine a distance between the imaging device 10 and an object that is not shown in detail and is located in the image area 18. Depending on the distance, optimized imaging can be achieved either automatically or after output via the output unit 24 by a user.
  • image data of the image area 18 is at least also captured by the video capture unit 28.
  • Image data of the image area 18, which is generated by the video capture unit 28, is available at a higher repetition rate than the spatially and spectrally resolved image data.
  • the user can observe the image area 18 in real time using the video image data during the generation of spatially and spectrally resolved image data via the output unit 24.
  • the interference detection unit 22 has access to spatially and spectrally resolved image data as well as video image data.
  • the distance of the imaging device 12 to at least one object in the image area 18 and/or the relative movement between the imaging device 12 and at least one object in the image area 18 is recorded.
  • the object mentioned can be, for example, the medical instrument 34 and/or the native structure 94, 96 and/or the vessel 98.
  • the evaluation unit 20 is set up to analyze the spatially and spectrally resolved image data.
  • the evaluation includes, for example, image segmentation and a comparison of spectral information with information that is stored in the database 92 and relates to properties of various structures, tissue entities, etc. Areas identified during image segmentation can be analyzed for their spectral properties.
  • the database 92 stores, for example, which tissue entities are typically characterized by which absorption spectra and/or show specific absorption values for certain spectral bands, in particular relative to other spectral bands.
  • At least one analysis parameter is created by the evaluation unit 20.
  • the analysis parameter can, for example, indicate which tissue entity the corresponding image segment is.
  • the disturbance detection of inorganic material 26 is carried out using two types of image data.
  • inorganic material 26 is recognized using spectral information.
  • the interference detection therefore takes place sequentially after the image capture.
  • inorganic material 26 is recognized from video image data using a Kl algorithm.
  • the interference detection takes place before and/or during, in particular simultaneously with, the image capture of the spatially and spectrally resolved image data.
  • the smoke 46 means that spectral information from the vessel 98 covered by the smoke 46 is not recorded and/or at best is recorded with interference.
  • the smoke 46 can be recognized based on spectral information.
  • the smoke 46 can be recognized based on video image data.
  • a suitable Kl algorithm is used for smoke detection, such as a binary classification with ResNet 50.
  • a combination of both detection methods increases the reliability and accuracy of the detection.
  • Image data points associated with smoke 46 are identified to the user.
  • the faulty portion 48 of the image area 18 is optically highlighted on the output unit 24, for example by a color-highlighted circle.
  • the user is also asked to initiate the acquisition of the spatial and spectral information of the image area 18 again, if necessary while adhering to a suitable waiting time.
  • the user can be asked to activate a smoke extraction system (not shown).
  • the faulty partial region 48 in which contrast agent 40 is present and which is recognized by the fluorescence imaging unit 38 and/or fault detection unit 22, is excluded from the evaluation of the spatial and spectral information. In this area, tissue detection could produce incorrect results or fail due to the contrast agent.
  • the analysis is based on a before-and-after comparison, with image data serving as a reference before the diagnostic and/or therapeutic action is carried out.
  • the before-and-after comparison involves forming a difference, which indicates the extent to which the absorption has changed in the spectral ranges under consideration.
  • the spectra to be compared are normalized, as illustrated in Fig. 10. In the present case, for example, the differences in lines a1 and a2 are determined as evaluation parameters.
  • the database 32 stores which relationships, differences and/or other connections between these evaluation parameters can provide conclusions about the quality of the coagulation.
  • the assessment unit 24 used this information as assessment information and, based on it, assesses the evaluation parameters obtained from the analysis. In the present case, this assessment determines a binary attribute that can take on the values “coagulation complete” and “coagulation incomplete”.
  • the absorption curves may not be usable.
  • One or more faults can be detected by the fault detection unit 22 as described above. It goes without saying that the disturbances are not detected, or at least not exclusively, based on the analysis parameter used, but rather independently of it.
  • FIG. 11 An alternative imaging device 10' can be seen in FIG. 11.
  • the alternative imaging device 10' is part of a medical system 60' that is set up to perform exoscopic imaging.
  • this medical system 60' can be used to observe a surgical site during a surgical procedure.
  • the medical system 60' basically has the same functionality as that of the previous exemplary embodiment.
  • the medical system 60' includes an image capture unit 12', an evaluation unit 20', a fault detection unit 22', an output unit 24', via which an image area 18' as well as disruptions and overlays etc. are displayed, with regard to their functionality reference is made to the above statements.
  • the method includes a step S21 of performing an image capture of an image area 18, in which spatially and spectrally resolved image data is generated which includes both spatial and spectral information.
  • the method also includes a step S22 of creating an analysis of the spatially and spectrally resolved image data, which is based on spatial and spectral information and which is based on at least one analysis parameter calculated from the spatially and spectrally resolved image data.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

Die Erfindung betrifft eine medizinische Bildgebungsvorrichtung (10), umfassend: eine räumlich und spektral auflösende Bilderfassungseinheit (12), die zumindest eine Optik (14) und zumindest eine mit der Optik gekoppelte Bilderfassungssensorik (16) umfasst, die dazu eingerichtet sind, eine Bilderfassung eines Bildbereichs (18) durchzuführen, bei der räumlich und spektral aufgelöste Bilddaten erzeugt werden, die sowohl räumliche als auch spektrale Information umfassen; eine Auswertungseinheit (20), die dazu eingerichtet ist, eine Analyse der räumlich und spektral aufgelösten Bilddaten zu erstellen, der räumliche und spektrale Information zugrunde liegt und die auf zumindest einem aus den räumlich und spektral aufgelösten Bilddaten berechneten Analyseparameter beruht; eine Störungserkennungseinheit (22), die dazu eingerichtet ist, unabhängig von der Analyse der Bilddaten und dem berechneten Analyseparameter das Vorliegen einer Störung bei der Bilderfassung zu erkennen und einen Störungszustand der Bilderfassung zu bestimmen; und eine Ausgabeeinheit (24), die dazu eingerichtet ist, nach Maßgabe des Störungszustands eine Benutzerausgabe zu erzeugen, die auf dem Analyseparameter beruht. Die Erfindung betrifft ferner ein Verfahren zum Betrieb einer medizinischen Bildgebungsvorrichtung (10) und ein Verfahren zur medizinischen Bildgebung.

Description

Medizinische Bildgebungsvorrichtung, Verfahren zum Betrieb einer solchen und Verfahren zur medizinischen Bildgebung
Die Erfindung betrifft eine medizinische Bildgebungsvorrichtung, ein Verfahren zum Betrieb einer medizinischen Bildgebungsvorrichtung und ein Verfahren zur medizinischen Bildgebung.
Aus dem Stand der Technik sind medizinische Bildgebungsvorrichtungen wie beispielsweise endoskopische oder exoskopische Vorrichtungen bekannt, die Multispektral- oder Hyperspektralbilder erzeugen. Multispektral- oder Hyperspektralbilder weisen neben zwei räumlichen Dimensionen, wie sie etwa ein herkömmliches Bild einer Kamera hat, eine spektrale Dimension auf. Die spektrale Dimension umfasst mehrere Spektralbänder (Wellenlängenbänder). Multispektrale und hyperspektrale Bilder unterscheiden sich im Wesentlichen in der Anzahl an und der Breite von ihren spektralen Bändern.
Es sind einige Bildgebungsvorrichtungen zur Erzeugung solcher Multispektral- oder Hyperspektralbilder, insbesondere im Kontext medizinischer Anwendungen, bekannt. In DE 20 2014 010 558 U1 ist beispielsweise eine Vorrichtung zur Aufnahme eines Hyperspektralbilds eines Untersuchungsgebietes eines Körpers beschrieben. In der Vorrichtung sind ein Eingangsobjektiv zur Erzeugung eines Bilds in einer Bildebene sowie eine schlitzförmige Blende in der Bildebene zur Ausblendung eines schlitzförmigen Bereichs des Bilds angeordnet. Das durch die Blende hindurchtretende Licht wird mittels eines dispersiven Elements aufgefächert und mittels eines Kamerasensors aufgenommen. Dadurch kann von dem Kamerasensor eine Vielzahl von Spektren mit jeweils zugeordneter räumlicher Koordinate entlang der Längsrichtung der schlitzförmigen Blende aufgenommen werden. Die beschriebene Vorrichtung ist weiterhin dazu eingerichtet, in einer von der Längsrichtung der schlitzförmigen Blende verschiedenen Richtung weitere Spektren entlang der Längsrichtung der schlitzförmigen Blende aufzunehmen. Das dieser Offenbarung zugrunde liegende Verfahren zur Erzeugung von Multispektral- oder Hyperspektralbildern ist auch als sogenanntes Pushbroom-Verfahren bekannt.
Neben dem Pushbroom-Verfahren gibt es weitere Verfahren zur Erzeugung von Multispektral- oder Hyperspektralbildern. Beim sogenannten Whiskbroom-Verfahren wird das Untersuchungsgebiet oder auch Objekt punktweise abgefahren und für jeden Punkt ein Spektrum gewonnen. Im Gegensatz dazu, werden bei dem Staring- Verfahren mehrere Bilder mit denselben räumlichen Koordinaten aufgenommen. Dabei werden von Bild zu Bild verschiedene Spektralfilter und/oder Beleuchtungsquellen verwendet, um spektrale Information aufzulösen. Ferner gibt es Verfahren, gemäß denen durch geeignete optische Elemente wie optische Slicer, Linsen und Prismen ein zweidimensionales Mehrfarbenbild in mehrere spektrale Einzelbilder zerlegt wird, die gleichzeitig auf unterschiedlichen Detektoren oder Detektorbereichen erfasst werden. Dies wird bisweilen als Schnappschuss-Ansatz bezeichnet.
Wie in DE 10 2020 105458 A1 beschrieben, eignen sich multispektrale und hyperspektrale Bildgebungsvorrichtungen insbesondere als endoskopische Bildgebungsvorrichtung. In dem Zusammenhang ist multispektrale und/oder hyperspektrale Bildgebung ein fundamentales Einsatzfeld beispielsweise zur Diagnostik sowie zur Beurteilung eines Erfolgs bzw. einer Qualität eines Eingriffs.
Die Robustheit sowie geringe Fehleranfälligkeit der Bildgebungsvorrichtung von zentraler Bedeutung, um einem Benutzer eine hohe Qualität und Zuverlässigkeit einer auf der Bildgebungsvorrichtung basierenden Interpretation von multispektralen und hyperspektralen Bildern zu ermöglichen. Die Robustheit und Fehleranfälligkeit kann von einem Einfluss von Störungen während des Bilderfassungsprozesses abhängen. Bekannte Störungen können in diesem Zusammenhang beispielsweise Rauch nach einer thermischen Manipulation von Gewebe, verschmutzte oder beschlagene Linsen der Bildgebungsvorrichtung oder auch anorganische Materialien im Bildbereich (Instrumente, Klepper, Fäden usw.) sein. Diese Störungen können zu Störzuständen der Bilderfassung führen, die eine zuverlässige Interpretation multispektraler und hyperspektraler Bilder erschweren können.
Der vorliegenden Erfindung liegt ausgehend vom Stand der Technik die Aufgabe zugrunde, eine Bildgebungsvorrichtung und ein Bildgebungsverfahren bereitzustellen, mittels derer Störungen und/oder Störungszustände bei der Bilderfassung erkannt werden können.
Eine erfindungsgemäße Bildgebungsvorrichtung kann eine räumlich und spektral auflösende Bilderfassungseinheit umfassen, die zumindest eine Optik und zumindest eine mit der Optik gekoppelte Bilderfassungssensorik umfasst, die dazu eingerichtet sind, eine Bilderfassung eines Bildbereichs durchzuführen, bei der räumlich und spektral aufgelöste Bilddaten erzeugt werden, die sowohl räumliche als auch spektrale Information umfassen. Weiterhin kann die Bildgebungsvorrichtung eine Auswertungseinheit umfassen, die dazu eingerichtet ist, eine Analyse der räumlich und spektral aufgelösten Bilddaten zu erstellen, der räumliche und spektrale Information zugrunde liegt und die auf zumindest einem aus den räumlich und spektral aufgelösten Bilddaten berechneten Analyseparameter beruht. Zudem kann die Bildgebungsvorrichtung eine Störungserkennungseinheit umfassen, die dazu eingerichtet ist, das Vorliegen einer Störung bei der Bilderfassung zu erkennen und einen Störungszustand der Bilderfassung zu bestimmen. Schließlich kann die Bildgebungsvorrichtung eine Ausgabeeinheit umfassen, die dazu eingerichtet ist, nach Maßgabe des Störungszustands eine Benutzerausgabe zu erzeugen, die auf dem Analyseparameter beruht.
Gemäß einem Aspekt ist ein medizinisches System vorgesehen, das die Bildgebungsvorrichtung sowie ein medizinisches Instrument umfasst.
Weiterhin kann die vorliegende Erfindung ein Verfahren zum Betrieb einer medizinischen Bildgebungsvorrichtung betreffen, wobei die medizinische Bildgebungsvorrichtung eine räumlich und spektral auflösende Bilderfassungseinheit umfasst. Die Bilderfassungseinheit umfasst zumindest eine Optik und zumindest eine mit der Optik gekoppelte Bilderfassungssensorik, die dazu eingerichtet sind, eine Bilderfassung eines Bildbereichs durchzuführen, bei der räumlich und spektral aufgelöste Bilddaten erzeugt werden. Die Bilddaten umfassen sowohl räumliche als auch spektrale Information. Hierbei kann es sich um eine erfindungsgemäße Bildgebungsvorrichtung handeln. Das Verfahren kann den Schritt eines Erfassens räumlich und spektral aufgelöster Bilddaten eines Bildbereichs mittels der medizinischen Bildgebungsvorrichtung umfassen. Weiterhin kann das Verfahren den Schritt eines Erstellens einer Analyse der räumlich und spektral aufgelösten Bilddaten umfassen, der räumliche und spektrale Information zugrunde liegt und die auf zumindest einem aus den räumlich und spektral aufgelösten Bilddaten berechneten Analyseparameter beruht. Ferner kann das Verfahren ein Durchführen einer Störungserkennung umfassen, bei der das Vorliegen einer Störung bei der Bilderfassung erkannt wird und bei der ein Störungszustand der Bilderfassung bestimmt wird. Das Verfahren kann zudem den Schritt eines Erzeugens einer Benutzerausgabe nach Maßgabe des Störungszustands umfassen, die auf dem Analyseparameter beruht.
Ferner kann die vorliegende Erfindung ein Verfahren zur medizinischen Bildgebung umfassen. Das Verfahren kann mit einer erfindungsgemäßen Bildgebungsvorrichtung und/oder mit einem erfindungsgemäßen medizinischen System durchgeführt werden. Ein solches Verfahren kann das Durchführen einer Bilderfassung eines Bildbereichs umfassen, bei der räumlich und spektral aufgelöste Bilddaten erzeugt werden, die sowohl räumliche als auch spektrale Information umfassen. Ferner kann ein Schritt eines solchen Verfahrens das Erstellen einer Analyse der räumlich und spektral aufgelösten Bilddaten sein, der räumliche und spektrale Information zugrunde liegt und die auf zumindest einem aus den räumlich und spektral aufgelösten Bilddaten berechneten Analyseparameter beruht. Außerdem kann das Verfahren den Schritt eines Durchführens einer Störungserkennung umfassen, bei der das Vorliegen einer Störung bei der Bilderfassung erkannt wird und bei der ein Störungszustand der Bilderfassung bestimmt wird. Weiterhin kann das Verfahren den Schritt eines Erzeugens einer Benutzerausgabe nach Maßgabe des Störungszustands umfassen, die auf dem Analyseparameter beruht.
Die erfindungsgemäßen Merkmale ermöglichen eine zuverlässige Durchführung und/oder Beurteilung diagnostischer und/oder therapeutischer Aktionen. Insbesondere kann ein hoher Grad an Qualität der multispektralen und/oder hyperspektralen Bildgebung erreicht werden, da etwaige Störungen bei der Anzeige von sowohl räumlich als auch spektral aufgelöster Information in Form von räumlich und spektrale aufgelösten Bilddaten erkannt werden können. Indem Störungen bei der Bilderfassung und Störzustände der Bilderfassung dem Benutzer als solche ausgegeben werden, kann eine Fehlinterpretation seitens des Benutzers vermieden werden. Bezugnehmend auf ein Anwendungsbeispiel, bei dem die vorliegende Erfindung Teil eines medizinischen Systems ist, kann eine Fehlinterpretation von physiologischen Gewebeparametern wie unter anderen Sauerstoffsättigung, Blut-, Wasser- oder Fettgehalt, welche der Durchführung und/oder der Beurteilung therapeutischer und/oder diagnostischer Maßnahmen zugrunde liegen, verhindert werden.
Die Störungserkennungseinheit kann dazu eingerichtet sein, unabhängig von der Analyse der Bilddaten und dem berechneten Analyseparameter das Vorliegen einer Störung bei der Bilderfassung zu erkennen und einen Störungszustand der Bilderfassung zu bestimmen. Alternativ oder zusätzlich kann im erfindungsgemäßen Verfahren zum Betrieb einer medizinischen Bildgebungsvorrichtung und/oder im erfindungsgemäßen Verfahren zur medizinischen Bildgebung der Schritt eines Durchführens einer Störungserkennung umfassen, dass bei der Störungserkennung unabhängig von der Analyse der Bilddaten und dem berechneten Analyseparameter das Vorliegen einer Störung bei der Bilderfassung erkannt und ein Störungszustand der Bilderfassung bestimmt wird. Die Bildgebungsvorrichtung kann eine mikroskopische, makroskopische und/oder exoskopische Bildgebungsvorrichtung sein. Die Bildgebungsvorrichtung kann als Mikroskop, Makroskop und/oder Exoskop ausgebildet sein und/oder ein solches umfassen. In einigen Ausführungsformen kann die Bildgebungsvorrichtung eine endoskopische Bildgebungsvorrichtung sein. Die Bildgebungsvorrichtung kann eine Endoskopvorrichtung sein. Sie kann ein Endoskop und/oder ein Endoskopsystem umfassen und/oder als ein solches ausgebildet sein und/oder zumindest einen Teil und bevorzugt zumindest einen Großteil und/oder Hauptbestandteil eines Endoskops und/oder eines Endoskopsystems ausbilden. „Zumindest ein Großteil“ kann zumindest 55 %, vorzugsweise zumindest 65 %, bevorzugt zumindest 75 %, besonders bevorzugt zumindest 85 % und ganz besonders bevorzugt zumindest 95 % bedeuten, und zwar insbesondere mit Bezug auf ein Volumen und/oder eine Masse eines Objekts.
Die Bildgebungsvorrichtung ist in einigen Ausführungsformen dazu eingerichtet, zur Begutachtung und/oder Beobachtung in einen Hohlraum einführbar zu sein, beispielsweise in eine künstliche und/oder natürliche Kavität, etwa in ein Inneres eines Körpers, in ein Körperorgan, in Gewebe oder dergleichen. Die Bildgebungsvorrichtung kann auch dazu eingerichtet sein, zur Begutachtung und/der Beobachtung in ein Gehäuse, eine Verschalung, einen Schacht, ein Rohr oder eine andere, insbesondere künstliche, Struktur einführbar zu sein.
Insbesondere wenn die Bildgebungsvorrichtung eine exoskopische Bildgebungsvorrichtung ist, kann sie dazu eingerichtet sein, Gewebeparameter, Bilder von Wunden, Bilder von Körperteilen etc. aufzunehmen. Beispielsweise kann die Bildgebungsvorrichtung dazu eingerichtet sein, ein Operationsfeld abzubilden.
Die Bildgebungsvorrichtung und insbesondere die Optik und/oder die Bilderfassungsensorik kann/können zur multispektralen und/oder hyperspektralen Bildgebung eingerichtet sein, im Speziellen dazu, multispektrale und/oder hyperspektrale Bilddaten zu erfassen und/oder zu erzeugen. Multispektrale Bildgebung bzw. multispektrale Bilddaten kann sich dabei insbesondere auf solche Bildgebung beziehen, bei der wenigstens zwei, insbesondere wenigstens drei, und in einigen Fällen wenigstens fünf Spektralbänder voneinander unabhängig erfassbar sind und/oder erfasst werden. Hyperspektrale Bildgebung bzw. hyperspektrale Bilddaten kann sich dabei insbesondere auf solche Bildgebung beziehen, bei der wenigstens 20, wenigstens 50 oder sogar wenigstens 100 Spektralbänder voneinander unabhängig erfassbar sind und/oder erfasst werden. Die Bildgebungsvorrichtung kann nach dem Pushbroom-Verfahren und/oder nach dem Whiskbroom- Verfahren und/oder nach dem Staring- Verfahren und/oder nach einem Schnappschussprinzip arbeiten.
In einigen Ausführungsformen umfasst die Bildgebungsvorrichtung eine Weißlichtkamera und/oder Sensorik zur Weißlichtbilderfassung. Die Bildgebungsvorrichtung kann zusätzlich zur spektral aufgelösten Bildgebung zur Weißlichtbildgebung eingerichtet sein. Hierfür kann eine separate Optik und/oder eine gemeinsame Optik verwendet werden. Die Weißlichtbildgebung und die spektral aufgelöste Bildgebung können gleichzeitig oder abwechselnd oder zeitweise gleichzeitig und zeitweise nacheinander durchgeführt werden.
Für einige Anwendungen kann es vorteilhaft sein, eine große spektrale Auflösung verwenden zu können. Es bietet sich dann eine hyperspektrale Bildgebung an. Diese kann mit einer Weißlichtbildgebung kombiniert sein. Hierdurch ist eine Beobachtung in Echtzeit über ein Weißlichtbild möglich, auch wenn die Erfassung spektral aufgelöster Bilddaten nur im Wesentlichen in Echtzeit erfolgt, also beispielsweise mehrere Sekunden zur Erstellung eines spektral aufgelösten Bilds benötigt werden. Für einige Anwendungen kann es vorteilhaft sein, spektrale Bilddaten in Echtzeit zu erzeugen. Dies beinhaltet beispielsweise die Erzeugung eines spektral aufgelösten Bilds in weniger als einer Sekunde oder sogar mehrmals pro Sekunde. Hierbei kann es zweckmäßig sein, auf multispektrale Bildgebung zurückzugreifen. Einer ggf. geringeren spektralen Auflösung steht dann eine höhere Bildwiederholrate gegenüber. Je nach Anwendung kann es hinreichend sein, nur wenige verschiedene Spektralbereiche und/oder Wellenlängen zu berücksichtigen, beispielsweise zwei oder drei oder vier oder generell weniger als zehn. Hierbei kann wahlweise auf eine zusätzliche Weißlichtbildgebung verzichtet werden. Spektral aufgelöste Bilddaten, die in Echtzeit gewonnen werden bzw. mehrere Bilder pro Sekunde liefern, können auch zu Überwachungszwecken eingesetzt werden, wobei nicht zwingend ein wiederzugebendes Bild für einen Benutzer erstellt werden muss, sondern die Bilddaten auch im Hintergrund verarbeitet werden können.
Die medizinische Bildgebungsvorrichtung kann wenigstens einen proximalen Abschnitt, einen distalen Abschnitt und/oder einen Zwischenabschnitt aufweisen. Der distale Abschnitt ist insbesondere dazu ausgebildet, in einem Betriebszustand, etwa während der diagnostischen und/oder therapeutischen Aktion, in eine zu untersuchende Kavität eingeführt zu werden und/oder darin befindlich zu sein. Der proximale Abschnitt ist insbesondere dazu ausgebildet, in einem Betriebszustand, etwa während der diagnostischen und/oder therapeutischen Aktion, außerhalb der zu untersuchenden Kavität angeordnet zu sein. Unter „distal“ soll insbesondere bei einer Benutzung einem Patienten zugewandt und/oder einem Benutzer abgewandt verstanden werden. Unter „proximal“ soll insbesondere bei einer Benutzung einem Patienten abgewandt und/oder einem Benutzer zugewandt verstanden werden. Insbesondere ist proximal das Gegenteil von distal. Die medizinische Bildgebungsvorrichtung weist insbesondere zumindest einen, vorzugsweise flexiblen, Schaft auf. Der Schaft kann ein längliches Objekt sein. Ferner kann der Schaft zumindest teilweise und vorzugsweise zumindest zu einem Großteil den distalen Abschnitt ausbilden. Unter einem „länglichen Objekt“ soll insbesondere ein Objekt verstanden werden, dessen Haupterstreckung zumindest um einen Faktor fünf, vorzugsweise zumindest um einen Faktor zehn und besonders bevorzugt zumindest um einen Faktor zwanzig größer ist als eine größte Erstreckung des Objekts senkrecht zu dessen Haupterstreckung, also insbesondere einem Durchmesser des Objekts. Unter einer „Haupterstreckung“ eines Objekts, soll insbesondere dessen längste Erstreckung entlang dessen Haupterstreckungsrichtung verstanden werden. Unter einer „Haupterstreckungsrichtung“ eines Bauteils soll dabei insbesondere eine Richtung verstanden werden, welche parallel zu einer längsten Kante eines kleinsten gedachten Quaders verläuft, welcher das Bauteil gerade noch vollständig umschließt.
Die Bilderfassungseinheit kann zumindest teilweise und vorzugsweise zumindest zu einem Großteil im Bereich des proximalen Abschnitts angeordnet sein und/oder diesen ausbilden. In anderen Ausführungsformen kann die Bilderfassungseinheit zumindest teilweise und vorzugsweise zumindest zu einem Großteil im distalen Abschnitt angeordnet sein und/oder diesen ausbilden. Ferner kann die Bilderfassungseinheit zumindest teilweise auf den proximalen Abschnitt und den distalen Abschnitt verteilt angeordnet sein. Die Bilderfassungssensorik weist insbesondere zumindest einen Bildsensor auf. Ferner kann die Bilderfassungssensorik auch über zumindest zwei und vorzugsweise mehrere Bildsensoren verfügen, welche hintereinander angeordnet sein können. Ferner können die zwei und vorzugsweise mehreren Bilderfassungssensoren über voneinander verschieden ausgebildete spektrale Erfassungsempfindlichkeiten verfügen, sodass beispielsweise ein erster Sensor in einem roten Spektralbereich, ein zweiter Sensor in einem blauen Spektralbereich und ein dritter Sensor in einem grünen Spektralbereich besonders empfindlich bzw. vergleichsweise empfindlicher als die anderen Sensoren ist. Der Bildsensor kann etwa als ein CCD-Sensor und/oder ein CMOS-Sensor ausgebildet sein. Die Optik der Bilderfassungseinheit kann geeignete optische Elemente wie Linsen, Spiegel, Gitter, Prismen, Lichtwellenleiter etc. umfassen. Die Optik kann dazu eingerichtet sein, von dem Bildbereich kommendes Objektlicht zu der Bilderfassungssensorik zu führen, beispielsweise es zu fokussieren und/oder zu projizieren. Das Objektlicht kann insbesondere von einer Beleuchtung des Bildbereichs herrühren.
Die Bilderfassungseinheit ist insbesondere dazu eingerichtet, zumindest zweidimensionale räumliche Bilddaten zu erzeugen. Die Bilderfassungseinheit kann dahingehend räumlich auflösend sein, dass sie in zumindest zwei unterschiedliche Raumrichtungen jeweils eine Auflösung von zumindest 100 Bildpunkten, vorzugsweise von zumindest 200 Bildpunkten, bevorzugt von zumindest 300 Bildpunkten und vorteilhaft von zumindest 400 Bildpunkten liefert. Die Bilddaten sind vorzugsweise zumindest dreidimensional, wobei zumindest zwei Dimensionen räumliche Dimensionen sind und/oder wobei zumindest eine Dimension eine spektrale Dimension ist. Aus den Bilddaten können mehrere räumlich aufgelöste Bilder des Bildbereichs gewinnbar sein, die jeweils unterschiedlichen Spektralbändern zugeordnet sind. Die räumliche und spektrale Information der Bilddaten kann derart beschaffen sein, dass daraus für mehrere räumliche Bildpunkte jeweils ein zugehöriges Spektrum gewinnbar ist.
In einigen Ausführungsformen ist die Bilderfassungseinheit dazu eingerichtet, laufend aktualisierte Bilddaten zu erzeugen. Die Bilderfassungseinheit kann beispielsweise dazu eingerichtet sein, die Bilddaten im Wesentlichen in Echtzeit zu erzeugen, was beispielsweise eine Erzeugung aktualisierter Bilddaten wenigstens als 30 Sekunden, in einigen Fällen wenigstens als 20 Sekunden und in manchen Fällen sogar wenigstens alle 10 Sekunden oder wenigstens alle 5 Sekunden umfasst.
Der Bildbereich kann wenigstens einen Teil und/oder Abschnitt eines abgebildeten Objekts umfassen. Der Bildbereich kann Gewebe und/oder Organe und/oder ein Teil eines Körpers eines Patienten betreffen. Der Bildbereich kann einen Situs betreffen.
Die Bildgebungsvorrichtung kann eine Beleuchtungsvorrichtung umfassen, die zumindest ein Leuchtmittel umfasst, das dazu eingerichtet ist, in zumindest einem Betriebszustand den Bildbereich zu beleuchten und/oder auszuleuchten. Das Leuchtmittel kann eine Weißlichtquelle, eine, insbesondere durchstimmbare, monochrome Lichtquelle, ein Laser, ein Weißlichtlaser, zumindest eine Leuchtdiode und/oder ein Leuchtdiodenarray, zumindest eine Laserdiode und/oder ein Laserdiodenarray oder dergleichen umfassen. Die Beleuchtungsvorrichtung kann mit der Bilderfassungseinheit integral ausgebildet sein. Insbesondere kann die Beleuchtungsvorrichtung einzelne oder sämtliche Komponenten der Optik der Bilderfassungseinheit nutzen und/oder über eine hiervon separate Beleuchtungsoptik verfügen. Ein Beleuchtungslichtstrahl kann zumindest abschnittsweise koaxial mit einem Messlichtstrahl geführt und/oder führbar sein.
Die Analyse kann darauf beruhen, dass sowohl räumliche als auch spektrale Information verarbeitet wird, um den Analyseparameter zu bestimmen. Der Analyseparameter ist insbesondere aus spektraler Information, die dem Bildbereich zugeordnet ist, durch eine mathematische Vorschrift gewinnbar. Hierbei kann der Analyseparameter insbesondere einen kontinuierlichen Wertebereich von 0-100% oder einen diskreten Wertebereich 0, 1, 2, ... annehmen. Die mathematische Vorschrift kann eine algebraische Rechenvorschrift und/oder ein Machine-Learning- Verfahren, z.B. ein Kl-Modell, umfassen. Der Analyseparameter beruht insbesondere auf einem spektralen Wert für eine bestimmte Wellenlänge und/oder einen bestimmten Wellenlängenbereich und/oder ein bestimmtes Spektralband.
Die Analyse kann in einigen Ausführungsformen ein Parameterbild umfassen. Der Analyseparameter kann insbesondere räumlich aufgelöst sein. Das Parameterbild kann beispielsweise den Wert des Analyseparameters in Abhängigkeit von einer Bildkoordinate anzeigen. Alternativ oder zusätzlich kann die Analyse ein Spektrum liefern. Hierbei kann der Analyseparameter beispielsweise ein spektral aufgelöster Intensitätswert sein.
Es kann vorgesehen sein, dass die Störung nicht aus räumlicher und spektraler Information erkennbar ist und/oder erkannt wird, und/oder dass die Störungserkennungseinheit nicht oder zumindest nicht ausschließlich auf räumliche und spektrale Information zurückgreift. Der Störungserkennung kann räumliche und spektrale Information zugrunde liegen. Die Störungserkennung kann mittels einer mathematischen Vorschrift Störungen erkennen. Die mathematische Vorschrift kann eine algebraische Rechenvorschrift und/oder ein Maschine-Learning-Verfahren, zum Beispiel ein Kl-Modell, umfassen. Die mathematische Vorschrift kann zudem beispielsweise zumindest eine Filtervorschrift umfassen, die mit Algorithmen Bilddaten gezielt verändern kann. Ferner kann zumindest ein optischer Filter in die Bildgebungsvorrichtung integriert sein. Weiterhin kann durch eine mathematische Vorschrift aus räumlichen und spektralen Bilddaten ein Vergleichsparameter berechnet werden, welcher mit anderen Parametern, die erfahrungsgemäß auf einer störungsfreien Bildgebung beruhen, verglichen werden.
Störungen können Rauch, eine Verschmutzung und/oder Abnutzung der Bildgebungsvorrichtung, insbesondere der Optik der Bildgebungsvorrichtung, anorganische Materialien, insbesondere Instrumente, Netze, Kipper, Fäden, Trokare, überbelichtete und/oder unterbelichtete Bildbereiche, Kontrastmittel, Bewegungsartefakte, insbesondere Bewegungsartefakte, welche durch eine Relativbewegung der Bildgebungsvorrichtung zu dem Bildbereich entstehen, falscher Weißabgleich bei einer in manchen Ausführungsformen vorgesehenen Weißlichtbildgebung und/oder eine sich während der Bilddatenerzeugung der Bildgebungsvorrichtung in dem Trokar befindliche Endoskopspitze umfassen. Eine weitere Form von Störung kann bei Aufnahmen im/unter Wasser auftreten, beispielsweise in der Arthroskopie oder Urologie. Dabei können Schwebeteilchen im Wasser, etwa in Urin oder Blut, den Blick auf das Gewebe trüben, was ebenfalls zu verfälschten Parametern führen kann. Dieser Fall ist in gewisser Weise ähnlich zum hier und weiter unten beschrieben Fall von Rauch, allerdings in einem anderen Medium.
Die Bildgebungsvorrichtung und insbesondere die Störungserkennungseinheit kann zur Implementierung der hierin genannten Funktionseinheiten und/oder zur Durchführung der hierin genannten Verfahrensschritte jeweils zumindest einen Prozessor und/oder einen zugeordneten Speicher mit Programmcode, der die beschriebenen Funktionen und Schritte umsetzt, und/oder einen zugeordneten Arbeitsspeicher und/oder zugeordnete Anschlüsse und/oder Datenschnittstellen und/oder eine elektronische Schaltung umfassen. Ein oder mehrere Prozessoren, Speicher, Arbeitsspeicher, Anschlüsse, Datenschnittstellen und/oder Schaltungen können auch einer oder mehreren Funktionseinheiten zugeordnet sein und/oder einen oder mehrere Verfahrensschritte implementieren.
Die Ausgabeeinheit kann dazu eingerichtet sein, eine visuelle Ausgabe und/oder eine beliebige andere von einem Benutzer wahrnehmbare Ausgabe auszugeben. Hierfür kann die Ausgabeeinheit geeignete Komponenten umfassen, wie beispielsweise eine oder mehrere Lampen, Leuchtmittel, Lautsprecher, Bildschirme oder dergleichen. Die Ausgabeeinheit kann einen Computer und/oder Prozessor und/oder Speicher und/oder Arbeitsspeicher und/oder Anschlüsse und/oder eine Datenschnittschnittstelle zum Empfangen, Verarbeiten und Ausgeben von unverarbeiteten, vorverarbeiteten und/oder verarbeiteten Ausgabedaten umfassen. Die Bildgebungsvorrichtung kann eine Anzeigeeinheit umfassen, die dazu eingerichtet ist, ein Bild, insbesondere ein Bewegtbild, für einen Benutzer anzuzeigen. Die Anzeigeeinheit kann Teil der Ausgabeeinheit sein und/oder diese ausbilden. Das angezeigte Bild kann auf den Bilddaten beruhen. Die Anzeigeeinheit kann einen Bildschirm und/oder Steuerungselektronik umfassen. Die Anzeigeeinheit kann einen Computer und/oder Prozessor und/oder Speicher und/oder Arbeitsspeicher und/oder Anschlüsse und/oder eine Datenschnittschnittstelle zum Empfangen, Verarbeiten und Ausgeben von unverarbeiteten, vorverarbeiteten und/oder verarbeiteten Bilddaten und/oder Anzeigedaten umfassen. Die Ausgabeerzeugungseinheit kann über eine Schnittstelle mit der Anzeigeeinheit verbunden sein. Die erzeugte Ausgabe kann von der Anzeigeeinheit verarbeitet und/oder ausgegeben werden.
Die Ausgabeeinheit kann dazu eingerichtet sein, eine Benutzerausgabe nach Maßgabe des Störungszustands der Bildgebungsvorrichtung zu verändern. Beispielsweise kann nach dem Erkennen eines Störungszustands der Benutzer auf einen Störungszustand hingewiesen werden. Insbesondere kann ein angezeigtes Bild der Anzeigeeinheit räumliche und spektrale Information, die unter Einfluss eines Störungszustands erfasst wurde, gezielt nicht dargestellt und/oder kenntlich gemacht werden. Beispiele hierfür umfassen eine Farbcodierung und/oder Formgebung, beispielsweise Symbole und/oder geometrische Figuren. Beispielsweise kann eine Bildzeile, die unter Einfluss eines Störungszustands der Bildgebungsvorrichtung, erfasst wurde, gekennzeichnet werden und etwa als schwarze, rote oder anderweitig eingefärbte Bildzeile ausgegeben werden. Eine fehlerhafte Bildzeile kann beispielsweise im Fall der Bildgebung nach dem Pushbroom-Verfahren auftreten. Ferner kann vorgesehen sein, dass nach Maßgabe eines Störungszustands Bilddaten, welche unter Einfluss eines Störungszustands erfasst wurden, nochmals erfasst werden. In weiteren Ausführungsformen können Parameter der Bildgebungsvorrichtung, insbesondere der Optik, der Bilderfassungssensorik, der Beleuchtungsvorrichtung und/oder eines Weißabgleichs nach Maßgabe eines Störungszustands angepasst und/oder optimiert werden.
Die Störungserkennungseinheit kann dazu eingerichtet sein, das Vorliegen einer Störung anhand einer Beurteilung der räumlich und spektral aufgelösten Bilddaten zu erkennen. Hierdurch kann in einfacher Weise aus verfügbaren Daten auf das Vorhandensein einer Störung geschlossen werden. Insbesondere kann eine Störung unabhängig von einer Weißlichtbildgebung erkannt werden. Die Störungserkennungseinheit kann dazu eingerichtet sein, räumliche und spektrale Information nach zumindest einer mathematischen Vorschrift zu verarbeiten. Beispielsweise kann durch das Anwenden einer mathematischen Vorschrift ein Vergleichsparameter aus den Bilddaten berechnet werden und dieser mit Parametern in einem Erwartungsbereich für eine Bilderfassung ohne Störung verglichen werden. Dieser Parameter kann insbesondere aus spektraler Information berechnet sein.
Die Störungserkennungseinheit kann auch dazu eingerichtet sein, anhand der räumlich und spektral aufgelösten Bilddaten einen Bildbelichtungszustand zu erkennen und das Vorliegen einer Störung zu erkennen, wenn der Belichtungszustand zumindest abschnittsweise eine Unterbelichtung und/oder eine Überbelichtung repräsentiert. Hierdurch kann vermieden werden, dass ein Benutzer aufgrund verfälschter Spektren falsche Schlüsse zieht. Eine Überbelichtung liegt beispielsweise vor, wenn die Bilderfassungsensorik, insbesondere ein CCD-Sensor und/oder ein CMOS-Sensor, einer Belichtung ausgesetzt ist, die die Bilderfassungsensorik übersättigt. Dies kann bedeuten, dass ein bilderfassungssensorikspezifischer Schwellwert zur Erfassung von Belichtung überschritten wurde. Eine Unterbelichtung kann eine Belichtung der Bilderfassungssensorik unter einem Schwellwert bedeuten, der zur Erfassung von Belichtung, ggf. zur Unterscheidung benachbarter Bilddatenpunkte und/oder Bilddatenzeilen, notwendig ist.
Eine Störung kann insbesondere das Vorliegen anorganischen Materials in dem Bildbereich betreffen. Die Störungserkennungseinheit kann dazu eingerichtet sein, eine Störung aufgrund anorganischen Materials in dem Bildbereich zu erkennen. Insbesondere können hierdurch Fehlinterpretationen medizinischer Vorrichtungen vermieden werden. Anorganisches Material kann unter anderem Instrumente, Trokare, Netze, Clipper und/oder Fäden umfassen. Eine Erkennung des anorganischen Materials kann auf einer Verarbeitung spektraler Information, insbesondere spektraler Information bei zumindest einer, beispielsweise zwei oder drei oder vier, bestimmten Wellenlänge und/oder in zumindest einem, beispielsweise zwei oder drei oder vier, bestimmten Wellenlängenbereich, und einem Vergleich der spektralen Information mit einem bekannten Spektrum und/oder mit bekannten ausgewählten Werten beruhen, das/die anorganischem Material zugeordnet ist/sind. Dies kann insbesondere der Unterscheidung von organischem und anorganischem Material dienen. Grundsätzlich kann eine Unterscheidung von organischem und anorganischem Material auf vielen Wegen, insbesondere auf bereits beschriebenen Wegen geschehen.
Weiterhin kann die medizinische Bildgebungsvorrichtung eine Videoerfassungseinheit umfassen, die eine Kamera umfasst. Die Kamera kann dazu eingerichtet sein, Videobilddaten des Bildbereichs zu erzeugen. Die Videoerfassungseinheit kann insbesondere zusätzlich zur spektral aufgelösten Bildgebung angeordnet sein. Die Videoerfassungseinheit kann alle Einheiten der Bildgebungsvorrichtung, insbesondere Einheiten wie beispielsweise der Optik, der Beleuchtungsvorrichtung und/oder Ausgabeeinheit, gemeinsam mit der Bildgebungsvorrichtung verwenden. In anderen Ausführungsformen kann die Videoerfassungseinheit teilweise oder vollständig separat ausgebildet sein. Die Störungserkennungseinheit kann dazu eingerichtet sein, das Vorliegen einer Störung anhand einer Bildanalyse der Videobilddaten zu erkennen. Hierdurch kann das Vorliegen von Störungen situationsabhängig und zumindest im Wesentlichen in Echtzeit erkannt werden. Dabei kann die räumliche und spektrale Information ergänzend zu der Bildanalyse der Videobilddaten für die Störungserkennung hinzugezogen werden. Auch eine Störungserkennung, die lediglich anhand einer Bildanalyse der Videobilddaten eine Störung erkennt, ist erfindungsgemäß möglich. Insbesondere kann es vorteilhaft sein, dass die Videobilddaten im Wesentlichen in Echtzeit und vorzugsweise in Echtzeit, also beispielsweise mit einem Zeitverzug von wenigen Millisekunden, vorliegen. Die Bildanalyse kann eine mathematische Vorschrift, insbesondere eine algebraische Rechenvorschrift und/oder ein Machine- Learning-Verfahren, z.B. ein Kl-Modell, umfassen.
Fehlerhafte oder ungenaue Aufnahmen können insbesondere dann wirksam verhindert werden, wenn die Störungserkennungseinheit der medizinischen Bildgebungsvorrichtung dazu eingerichtet ist, anhand der Bildanalyse der Videobilddaten einen Bewegungsumfang der Kamera relativ zu dem Bildbereich zu bestimmen und das Vorliegen einer Störung zu erkennen, wenn der bestimmte Bewegungsumfang einen Schwellenwert überschreitet. Dadurch, dass die multispektrale und hyperspektrale Bildgebung eines einzelnen Bilds möglicherweise über einen Zeitraum geschieht, in dem durch die Bewegung eine räumliche Koordinate eines Bilddatenpunktes zu Beginn der Bildgebung nicht mehr mit der räumlichen Koordinate desselben Bilddatenpunktes während des Zeitraums der Bildgebung übereinstimmt, kann eine räumliche Koordinate des Bilds nicht mehr dem Bildbereich zugeordnet werden. Durch eine Bildanalyse der Videobilddaten kann eine Bewegung der Kamera relativ zu dem Bildbereich während der Bildgebung bestimmt werden. Dabei kann es vorteilhaft sein, wenn die Videobilddaten mit einer höheren Wiederholrate erfasst werden können als die multispektralen und hyperspektralen Bilddaten. Insbesondere kann ein Schwellenwert durch einen Benutzer definiert werden, der eine noch zu akzeptierende räumliche Verschiebung eines Bilddatenpunktes während der Bildgebung repräsentiert. Gemäß einer Ausführungsform kann der anhand der Bildanalyse der Videobilddaten bestimmte Bewegungsumfang der Kamera relativ zu dem Bildbereich mit diesem Schwellenwert verglichen werden, um eine Störung der Bilderfassung zu erkennen.
Weiterhin kann die Störungserkennungseinheit der medizinischen Bildgebungsvorrichtung dazu eingerichtet sein, anhand der Bildanalyse der Videobilddaten das Vorhandensein von Verschmutzungen und/oder Beschlag auf zumindest einem Teil der Optik der räumlich und spektral auflösenden Bilderfassungseinheit zu erkennen und das Vorliegen einer Störung nach Maßgabe der Erkennung von Verschmutzungen und/oder Beschlag zu erkennen. Hierdurch können Verfälschungen aufgrund einer Verschmutzung und/oder eines Beschlags auf zumindest einem Teil der Optik vermieden werden.
Ferner kann eine genaue spektrale Kalibrierung der Bildgebungsvorrichtung von besonderer Bedeutung sein, um eine optimale Bildqualität zu erreichen. Die spektrale Kalibrierung kann beispielsweise durch einen Weißabgleich durchgeführt werden. Gemäß einer Ausführungsform kann auch die Videoerfassungseinheit mittels eines Weißabgleichs kalibriert werden.
Die Störungserkennungseinheit kann dazu eingerichtet sein, anhand eines Vergleichs der räumlich und spektral aufgelösten Bilddaten und der Videobilddaten zu beurteilen, ob ein Weißabgleich der räumlich und spektral auflösenden Bilderfassungseinheit und ein Weißabgleich der Videoerfassungseinheit zumindest im Rahmen einer vorgegebenen Toleranz übereinstimmend sind und das Vorliegen einer Störung zu erkennen, wenn die vorgegebene Toleranz überschritten ist. Dadurch, dass es üblicherweise weniger aufwändig ist, einen Weißabgleich der Videoerfassungseinheit als einen Weißabgleich der räumlich und spektral auflösenden Bilderfassungseinheit durchzuführen, kann es vorteilhaft sein, zunächst einen Weißabgleich der Videoerfassungseinheit durchzuführen und die Videobilddaten als Referenzwert bei einem Vergleich mit den räumlich und spektral aufgelösten Bilddaten zu verwenden. Im Falle eines Erkennens einer Störung kann der Benutzer dazu aufgefordert werden, erneut einen Weißabgleich der räumlich und spektral auflösenden Bilderfassungseinheit durchzuführen. Gemäß einer weiteren Ausführungsform kann ein Weißabgleich der räumlich und spektrale auflösenden Bilderfassungseinheit nach Maßgabe eines Störungszustandes automatisch durchgeführt werden.
Ferner kann die Störungserkennungseinheit der medizinischen Bildgebungsvorrichtung dazu eingerichtet sein, anhand der Bildanalyse der Videobilddaten das unerwartete Vorhandensein eines medizinischen Instruments im Bildbereich zu erkennen und das Vorliegen einer Störung nach Maßgabe der Erkennung eines unerwarteten Vorhandenseins eines medizinischen Instruments zu erkennen. Hierdurch kann ein Benutzer darauf aufmerksam gemacht werden, dass Verfälschungen der Aufnahmen aufgrund medizinischer Instrumente auftreten könnten. Insbesondere kann die Störungserkennungseinheit dazu eingerichtet sein, ein erkanntes medizinisches Instrument mit einem im Bildbereich erwarteten medizinischen Instrument zu vergleichen und das Vorliegen einer Störung zu erkennen, wenn das erkannte medizinische Instrument von dem erwarteten medizinischen Instrument abweicht. Weiterhin kann nach Maßgabe der Erkennung des Vorhandenseins eines medizinischen Instruments der Teilbereich des Bildbereichs, in dem das medizinische Instrument vorhanden ist, von der Parameterdarstellung ausgenommen werden. Die kann umfassen, dass besagter Teilbereich von zugrundeliegenden Berechnungen ausgenommen wird.
Ferner kann die Störungserkennungseinheit der medizinischen Bildgebungsvorrichtung ein distales Ende umfassen, das zumindest Teile der Optik der Bilderfassungseinheit umfasst, wobei die Störungserkennungseinheit dazu eingerichtet ist, zu erkennen, dass der Bildbereich zumindest teilweise ein Inneres eines Trokars umfasst, und wobei die Ausgabeeinheit dazu eingerichtet ist, eine Benutzerausgabe zu erzeugen, die die Information enthält, dass sich das distale Ende zumindest teilweise innerhalb des Trokars befindet. Die Bildgebungsvorrichtung kann sich während der Bildgebung in einer solchen räumlichen Nähe zu dem Trokar befinden, dass eine Störung der räumlichen und spektralen Information entstehen kann. Dabei kann insbesondere einfallendes Licht von dem Trokar reflektiert werden, um eine Störung der räumlichen und spektralen Information hervorzurufen. Indem eine ungewollte Positionierung teilweise innerhalb des Trokars erkannt wird, können entsprechende Verfälschungen von Aufnahmen verhindert werden. Die medizinische Bildgebungsvorrichtung kann gemäß einer Ausführungsform eine Fluoreszenzbildgebungseinheit umfassen, die dazu eingerichtet ist, den Bildbereich fluoreszenzbildgebend zu erfassen und Fluoreszenzbildgebungsdaten zu erzeugen, wobei die Störungserkennungseinheit dazu eingerichtet ist, das Vorliegen einer Störung anhand einer Beurteilung der Fluoreszenzbildgebungsdaten zu erkennen. Einzelne Wellenlängen der spektralen Information können in dem Emissionsspektrum der Fluoreszenzbildgebungseinheit liegen und daher möglicherweise einem Einfluss der Fluoreszenzbildgebungseinheit unterliegen. Beispielsweise kann die gemessene Intensität dieser Wellenlängen durch die Fluoreszenzbildgebungseinheit verändert werden, wodurch ein Störungszustand der Bilderfassung entstehen kann. Die Auswertungseinheit könnte dann aufgrund der Störung falsche Analyseparameter berechnen. Insbesondere könnte ein in dem Bildbereich befindliches Gewebe fälschlicherweise einer anderen Gewebeart zugeordnet werden.
Die Störungserkennungseinheit der medizinischen Bildgebungsvorrichtung kann weiterhin dazu eingerichtet sein, anhand der Fluoreszenzbildgebungsdaten das Vorhandensein von Kontrastmittel in zumindest einem Teil des Bildbereichs zu erkennen, wobei die Ausgabeeinheit dazu eingerichtet sein kann, die Benutzerausgabe, die auf dem Analyseparameter beruht, derart zu erzeugen, dass Teile des Bildbereichs, in denen die Störungserkennungseinheit ein Vorhandensein von Kontrastmittel erkennt, ausgespart werden. Hierdurch kann beispielsweise erreicht werden, dass Teile des Bildbereichs, die keiner fluoreszenzbedingten Störung unterliegen, einer Analyse unterzogen werden können. Dies ist vorteilhaft, da auf diesem Wege eine multimodale Bildgebung erreicht werden kann, bei der möglicherweise Vorteile jedes Modus gezielt für ein zu untersuchendes Gewebe gewählt werden kann. Beispielsweise kann einem Gewebetyp gezielt Kontrastmittel zugeführt werden und auf diesem Wege der Fluoreszenzbildgebung zugänglich gemacht werden, während die restlichen Gewebetypen innerhalb desselben Bildbereichs weiterhin einer hyperspektralen und/oder multispektralen Bildgebung zugänglich sind.
Weiterhin kann die medizinische Bildgebungsvorrichtung eine Sensoreinheit mit zumindest einem Sensor umfassen, der dazu eingerichtet ist, zumindest eine Messgröße zu messen, die einen Zustand der Bildgebungsvorrichtung und/oder einer Umgebung der Bildgebungsvorrichtung beschreibt, und die dazu eingerichtet ist, ein Sensorsignal zu erzeugen, das die Messgröße repräsentiert. Die Sensoreinheit kann in diesem Zusammenhang unabhängig von der Bildgebungsvorrichtung arbeiten. Die Sensoreinheit kann simultan mit der Bildgebungsvorrichtung arbeiten und ein Sensorsignal erzeugen und/oder vor oder nach der Erfassung von multispektraler und/oder hyperspektraler Information. Die Störungserkennungseinheit kann dazu eingerichtet sein, das Vorliegen einer Störung anhand des Sensorsignals zu erkennen.
Wie bereits beschrieben, kann es zu einer Relativbewegung zwischen Bildgebungsvorrichtung und Bildbereich kommen. Insbesondere um diese Relativbewegung zu erkennen, kann der Sensor ein Beschleunigungssensor sein, wobei das Sensorsignal eine Bewegung der Bildgebungsvorrichtung repräsentiert. Die Störungserkennungseinheit kann in diesem Fall dazu eingerichtet sein, anhand des Sensorsignals einen Bewegungsumfang zu bestimmen und das Vorliegen einer Störung zu erkennen, wenn der bestimmte Bewegungsumfang einen Schwellenwert überschreitet.
Auch ein zu geringer und/oder zu hoher Abstand zwischen der Bildgebungsvorrichtung und einem Objekt im Bildbereich kann eine Störung der Bilderfassung hervorrufen. Insbesondere in diesem Zusammenhang kann der Sensor ein Abstandssensor sein. Dieser kann dazu eingerichtet sein, einen Abstand zwischen der Bildgebungsvorrichtung und einem Objekt im Bildbereich zu ermitteln.
Eine therapeutische Aktion, beispielsweise eine thermische Manipulation des Gewebes, insbesondere eine Gefäßversiegelung oder Koagulation unter Verwendung eines elektrochirurgischen Geräts wie eines Hochfrequenz-Koagulationsinstruments, kann Rauch in dem Bildbereich hervorrufen. Rauch kann spektrale Information des Bildbereichs vor der Erfassung mit der Bildgebungsvorrichtung verändern und dadurch eine Störung darstellen. Dies kann dazu führen, dass Analyseparameter fehlerhaft mittels der Auswertungseinheit der Bildgebungsvorrichtung berechnet werden. Die Störungserkennungseinheit der medizinischen Bildgebungsvorrichtung kann dazu eingerichtet sein, anhand einer Bildanalyse das Vorhandensein von Rauch im Bildbereich zu erkennen und das Vorliegen einer Störung nach Maßgabe der Erkennung von Rauch im Bildbereich zu erkennen. Dabei kann die Störungserkennungseinheit Rauch mittels Analyse von Videobilddaten einer Videoerfassungseinheit erkennen. Die Raucherkennung kann alternativ oder zusätzlich durch eine Analyse der hyperspektralen und/oder multispektralen Information erkannt werden.
Die Störungserkennungseinheit der medizinischen Bildgebungsvorrichtung kann dazu eingerichtet sein, im Fall des Erkennens einer Störung die Erfassung von räumlich und spektral aufgelöste Bilddaten mittels der räumlich und spektral auflösende Bilderfassungseinheit zu verhindern. Beispielsweise kann die Störungserkennungseinheit dazu eingerichtet sein, die Bilderfassungseinheit zumindest vorübergehend zu deaktivieren und/oder eine Bilderfassung zumindest vorübergehend zu verunmöglichen. Alternativ oder zusätzlich kann eine Benutzerausgabe erfolgen, um diesen auf einen Störungszustand hinzuweisen. Der Benutzer kann daraufhin beispielsweise den Störungszustand beheben und mit der Erfassung von räumlich und spektral aufgelöste Bilddaten fortfahren und/oder trotz des Störungszustands mit der Erfassung von räumlich und spektral aufgelöste Bilddaten fortfahren.
Ein Benutzer kann insbesondere dann gezielt auf fehlerbehaftete Bereiche einer Aufnahme hingewiesen werden, wenn die Ausgabeeinheit der medizinischen Bildgebungsvorrichtung dazu eingerichtet ist, eine räumlich aufgelöste Parameterdarstellung des Bildbereichs nach Maßgabe des Analyseparameters zu erzeugen und von der Störungserkennungseinheit als störungsbehaftete Teile des Bildbereichs zu kennzeichnen. Beispielsweise kann der Teil des Bildbereichs, der einer Störung unterliegt, mit schwarzen oder andersfarbigen Bilddatenpunkten kenntlich gemacht werden. Ferner kann eine Umrandung, Durchstreichung oder anderweitige Hervorhebung des betroffenen Bildbereichs eingeblendet werden.
Die Ausgabeeinheit der medizinischen Bildgebungsvorrichtung kann weiterhin dazu eingerichtet sein, im Fall einer Erkennung einer Störung dem Benutzer Information zur Verfügung zu stellen, wie die Störung behoben werden kann. Beispielsweise kann die Störungserkennungseinheit dazu eingerichtet sein, die Art der Störung zu erkennen. Dies kann auf einem der und/oder einer Kombination der beschriebenen Verfahren beruhen. Der Benutzer kann nach einer Erkennung einer Störung beispielsweise dazu aufgefordert werden, ein medizinisches Instrument aus dem Bildbereich zu entfernen, einen Weißabgleich durchzuführen und/oder eine verschmutze Linse zu säubern. Grundsätzlich kann jede Art von Störung erkannt werden und der Benutzer zu einer Behebung der Störung aufgefordert und/oder angeleitet werden.
Im Folgenden wird die vorliegende Erfindung anhand der beigefügten Figuren beispielhaft beschreiben. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und im Rahmen der Ansprüche sinnvoll in Kombination verwenden. Falls von einem bestimmten Objekt mehr als ein Exemplar vorhanden ist, ist ggf. nur eines davon in den Figuren und in der Beschreibung mit einem Bezugszeichen versehen. Die Beschreibung dieses Exemplars kann entsprechend auf die anderen Exemplare von dem Objekt übertragen werden. Sind Objekte insbesondere mittels Zahlenwörtern, wie beispielsweise erstes, zweites, drittes Objekt etc. benannt, dienen diese der Benennung und/oder Zuordnung von Objekten. Demnach können beispielsweise ein erstes Objekt und ein drittes Objekt, jedoch kein zweites Objekt umfasst sein. Allerdings könnten anhand von Zahlenwörtern zusätzlich auch eine Anzahl und/oder eine Reihenfolge von Objekten ableitbar sein.
Es zeigen:
Fig. 1 eine schematische Darstellung eines medizinischen Systems mit einer medizinischen Bildgebungsvorrichtung;
Fig. 2 ein schematisches Strukturdiagramm der Bildgebungsvorrichtung;
Fig. 3 eine schematische Darstellung eines Bildbereichs;
Fig. 4 eine weitere schematische Darstellung des Bildbereichs zur Veranschaulichung einer möglichen Störung;
Fig. 5 eine weitere schematische Darstellung des Bildbereichs zur Veranschaulichung einer weiteren möglichen Störung;
Fig. 6 eine weitere schematische Darstellung des Bildbereichs zur Veranschaulichung einer weiteren möglichen Störung;
Fig. 7 eine weitere schematische Darstellung des Bildbereichs zur Veranschaulichung einer weiteren möglichen Störung;
Fig. 8 eine weitere schematische Darstellung des Bildbereichs zur Veranschaulichung einer weiteren möglichen Störung;
Fig. 9 eine weitere schematische Darstellung des Bildbereichs zur Veranschaulichung einer weiteren möglichen Störung; Fig. 10 eine schematische Darstellung von Absorptionskurven von Gewebe mit unterschiedlichem Koagulationsgrad;
Fig. 1 1 eine schematische perspektivische Darstellung einer alternativen Bildgebungsvorrichtung;
Fig. 12 ein schematisches Ablaufdiagramm eines Verfahrens zum Betrieb einer medizinischen Bildgebungsvorrichtung; und
Fig. 13 ein schematisches Ablaufdiagramm eines Verfahrens zur medizinischen Bildgebung.
Fig. 1 zeigt eine schematische Darstellung eines medizinischen Systems 60 mit einer medizinischen Bildgebungsvorrichtung 10. In einigen Ausführungsformen weist das medizinische System 60 ferner ein medizinisches Instrument 34 auf. Ein schematisches Strukturdiagramm der Bildgebungsvorrichtung 10 und der medizinischen Vorrichtung 62 ist in Fig. 2 gezeigt. Im Folgenden wird teilweise auf beide Figuren verwiesen.
Im exemplarisch dargestellten Fall ist die Bildgebungsvorrichtung 10 eine endoskopische Bildgebungsvorrichtung, konkret eine Endoskopvorrichtung. Alternativ könnte es sich bei der Bildgebungsvorrichtung 10 um eine exoskopische, eine mikroskopische oder eine makroskopische Bildgebungsvorrichtung handeln. Die medizinische Bildgebungsvorrichtung ist zu einer Untersuchung einer Kavität vorgesehen.
Das medizinische Instrument 34 ist im dargestellten Fall ein bipolares elektrochirurgisches Instrument. Das medizinische Instrument 34 ist dazu eingerichtet, gezielt Energie in Gewebe einzuleiten, um dieses zu koagulieren, beispielsweise für einen Gefäßverschluss. Diese Ausgestaltung ist rein beispielhaft zu verstehen. Es können sowohl andere Arten von Energieeinleitung vorgesehen sein als auch generell andere Arten medizinischer Vorrichtungen, wie beispielsweise chirurgische, diagnostische, bildgebende, eingriffsunterstützende, anästhetische oder andere medizinische Instrumente und/oder Geräte.
Die Bildgebungsvorrichtung 10 weist beispielhaft ein medizinisches Bildgebungsgerät
64 auf. Im dargestellten Fall handelt es sich hierbei um ein Endoskop. Ferner kann die medizinische Bildgebungsvorrichtung 10 ein Beleuchtungsgerät 66 umfassen. Im dargestellten Fall ist das Beleuchtungsgerät 66 über einen Lichtleiter mit dem Bildgebungsgerät 64 verbunden. Beleuchtungslicht ist somit zu dem Bildgebungsgerät 64 führbar und von diesem aus auf ein abzubildendes Objekt, insbesondere einen Situs, richtbar.
Die Bildgebungsvorrichtung 10 weist exemplarisch ein Steuergerät 68 auf. Das Steuergerät 68 ist etwa über ein Kabel und/oder eine optische Leitung und/oder einen Lichtleiter mit dem Bildgebungsgerät 64 verbunden.
Die Bildgebungsvorrichtung 10 und insbesondere das Bildgebungsgerät 64 weist exemplarisch ein oder mehrere Fenster 70 auf, durch die Beleuchtungslicht auskoppelbar und/oder Objektlicht einkoppelbar ist.
Das Bildgebungsgerät 64 weist einen distalen Abschnitt 72 auf, der ein distales Ende 36 umfasst. Es handelt sich dabei allgemein ausgedrückt um ein distales Ende 36 der Bildgebungsvorrichtung 10. Der distale Abschnitt 72 ist dazu ausgebildet, in einem Betriebszustand in eine Kavität eingeführt zu werden. Der distale Abschnitt 72 ist in dem Betriebszustand einem Patienten zugewandt. Der distale Abschnitt 72 ist in dem Betriebszustand einem Benutzer abgewandt. Ferner weist das medizinische Bildgebungsgerät 64 einen proximalen Abschnitt 74 auf. Der proximale Abschnitt 74 ist in dem Betriebszustand außerhalb einer Kavität angeordnet. Der proximale Abschnitt 74 ist in dem Betriebszustand dem Patienten abgewandt. Der proximale Abschnitt 74 ist in dem Betriebszustand dem Benutzer zugewandt.
Das Bildgebungsgerät 64 weist eine Handhabe 76 auf. Die Handhabe 76 ist exemplarisch zur Handhabung durch den Benutzer eingerichtet. Alternativ oder zusätzlich kann die Handhabe 76 zur Anbringung und/oder Anbindung an einen medizinischen Roboter eingerichtet sein. Das Bildgebungsgerät 64 kann auch in einigen Ausführungsformen integral mit einem Roboter ausgebildet sein. Eine Position und/oder eine Orientierung des Bildgebungsgeräts 64 relativ zu dem Patienten ist veränderlich, beispielsweise durch Handhabung durch den Benutzer und/oder durch geeignete Bewegung des Roboters.
Das medizinische System 60 weist ein Anzeigegerät 78 auf. Das Anzeigegerät 78 kann Teil der Bildgebungsvorrichtung 10 sein. Das Anzeigegerät 78 kann eine separate Anzeige wie beispielsweise ein Bildschirm oder dergleichen sein. In anderen Ausführungsformen kann das Anzeigegerät 78 auch in das Bildgebungsgerät 64 und/oder in das Steuergerät 68 integriert sein. Die Bildgebungsvorrichtung 10 weist eine Vorrichtungsschnittstelle 80 auf, über die das medizinische Instrument 34 mit der Bildgebungsvorrichtung 10 verbindbar ist. Im dargestellten Fall ist die Vorrichtungsschnittstelle 80 Teil des Steuergeräts 68. Die Vorrichtungsschnittstelle 80 ist im dargestellten Fall kabelgebunden. Die Vorrichtungsschnittstelle 80 ist lösbar. Ferner kann die Vorrichtungsschnittstelle 80 zur Verbindung mit unterschiedlichen medizinischen Vorrichtungen eingerichtet sein. Die Vorrichtungsschnittstelle 80 kann eine Steckbuchse und/oder elektrische Anschlüsse umfassen. In einigen Ausführungsformen kann die Vorrichtungsschnittstelle 80 auch teilweise oder vollständig drahtlos ausgebildet sein, d. h. das medizinische Instrument 34 ist dann drahtlos, beispielsweise über eine Funkverbindung, mit der Bildgebungsvorrichtung 10 verbindbar, und die Bildgebungsvorrichtung 10 sowie das medizinische Instrument 34 können entsprechend geeignete Antennen aufweisen.
In anderen Ausführungsformen kann das medizinische Instrument 34 gänzlich unabhängig von der Bildgebungsvorrichtung 10 sein. Diese kann dann ggf. auch frei von einer Vorrichtungsschnittstelle sein.
Die Bildgebungsvorrichtung 10 weist eine Benutzerschnittstelle 82 auf, über die der Benutzer Eingaben vornehmen kann. Die Benutzerschnittstelle 82 kann mehrere Bedienelemente umfassen, die an unterschiedlichen Komponenten der Bildgebungsvorrichtung 10 und/oder des medizinischen Systems 60 angebracht sein können.
Die Bildgebungsvorrichtung 10 weist eine räumlich und spektral auflösende Bilderfassungseinheit 12 auf, die zumindest eine Optik 14 aufweist. Die Bilderfassungseinheit 12 weist ferner eine mit der Optik 14 gekoppelte Bilderfassungssensorik 16 auf. Die Optik 14 und die Bilderfassungssensorik 16 sind dazu eingerichtet, Bilddaten eines Bildbereichs 18 zu erzeugen. Der Bildbereich 18 ist in Fig. 1 beispielhaft auf einer Anzeige des Anzeigegeräts 78 dargestellt. Die Bilddaten umfassen sowohl optische als auch spektrale Information. Die Bilddaten entsprechen im vorliegenden Fall zweidimensionalen räumlichen Daten, die räumliche Bildpunkte definieren, sowie Spektraldaten, die den individuellen Bildpunkten zugeordnet sind. Aus den Bilddaten ist somit für jeden Bildpunkt ein Spektrum erhältlich. Zudem ist aus den Bilddaten für jedes Spektralband ein zweidimensionales Bild erhältlich. Die Bilddaten entsprechen einem multispektralen oder hyperspektralen Datenwürfel. Die Optik 14 umfasst nicht dargestellte optische Elemente, die Objektlicht sammeln und zur Bilderfassungssensorik 16 führen. Die Bilderfassungssensorik 16 umfasst einen nicht dargestellten CMOS- oder CCD-Sensor. Die Optik 14 und die Bilderfassungssensorik 16 sind gemeinsam in einer Pushbroom-Anordnung angeordnet. In anderen Ausführungsformen wird eine Whiskbroom-Anordnung, eine Staring-Anordnung und/oder eine Schnappschuss-Anordnung verwendet. Die Bilderfassungseinheit 12 ist im vorliegenden Fall zur hyperspektralen Bilderfassung eingerichtet, die Bildgebungsvorrichtung 10 ist entsprechend eine hyperspektrale Bildgebungsvorrichtung. Bezüglich unterschiedlicher Methoden einer hyperspektralen Bildgebung sowie hierfür erforderlicher Komponenten wird auf den Fachartikel „Review of spectral imaging technology in biomedical engineering: achievements and challenges“ von Quingli Li et al. Erschienen in Journal of Biomedical Optics 18(10), 100901 , Oktober 2013, sowie auf den Fachartikel „Medical hyperspectral imaging: a review“ von Guolan Lu und Baowei Fei, erschienen in Journcal of Biomedical Optics 19(1), 010901 , Januar 2014, verwiesen. In anderen Ausführungsformen kann die Bildgebungsvorrichtung 10 auch multispektral sein. Mehrere Spektralbereiche können beispielsweise durch wahlweise in einen Objektlichtstrahlengang einbringbare Filter betrachtet werden und/oder durch sequentielle Beleuchtung mit verschiedenen Wellenlängen.
Die Bilderfassungseinheit 12 kann zumindest teilweise in dem Bildgebungsgerät 64 umfasst sein. Teile der Optik 14 und/oder der Bilderfassungssensorik 16 können in dem Steuergerät 68 umfasst sein. Beispielsweise kann Objektlicht über einen Lichtleiter zu der Bilderfassungssensorik 16 geführt werden und diese in dem Steuergerät 68 angeordnet sein. In anderen Ausführungsformen ist die gesamte Bilderfassungssensorik 16 in dem Bildgebungsgerät 64 umfasst und es werden lediglich Daten an das Steuergerät 68 übertragen.
Die Bildgebungsvorrichtung 10 umfasst des Weiteren eine Auswertungseinheit 20. Diese ist dazu eingerichtet, eine Analyse der Bilddaten zu erstellen. Der Analyse liegt sowohl räumliche als auch spektrale Information zugrunde. Die Analyse umfasst zumindest einen Analyseparameter. Hierauf wird weiter unten genauer eingegangen.
Die Bildgebungsvorrichtung 10 umfasst im exemplarischen Fall eine Ausgabeeinheit 24. Die Ausgabeeinheit 24 kann das Anzeigegerät 78 und/oder andere Ausgabegeräte umfassen. Im dargestellten Fall umfasst die Ausgabeeinheit 24 neben dem Anzeigegerät 78 einen Lautsprecher 86 sowie ein zusätzliches Display 88, die beispielhaft an dem Steuergerät 68 ausgebildet sind. In anderen Ausführungsformen weist die Ausgabeeinheit 24 eine Schnittstelle zur Anbindung eines oder mehrerer Ausgabegeräte auf. Die Ausgabeerzeugungseinheit 84 kann auch die Ausgabeeinheit 24 bzw. deren Komponenten umfassen.
Die Bildgebungsvorrichtung 10 umfasst eine Steuereinheit 90. Diese umfasst einen Prozessor, einen Arbeitsspeicher, einen Speicher und entsprechend ausgebildete Schaltkreise. Auf dem Speicher ist Programmcode gespeichert, der dann, wenn er von dem Prozessor ausgeführt wird, die Durchführung der hierin beschriebenen Verfahren bewirkt bzw. Funktionalitäten der beschriebenen Einheiten implementiert.
Ferner umfasst die Bildgebungsvorrichtung 10 in dem Ausführungsbeispiel eine Datenbank 92. Die Auswertungseinheit 20 kann auf die Datenbank zurückgreifen, um eine Auswertung der Bilddaten zu erstellen. Beispielsweise kann die Auswertungseinheit 20 einen von der Auswertungseinheit 20 berechneten Auswertungsparameter mit Parametern, welche in der Datenbank 92 hinterlegt sind, vergleichen. Hierauf wird weiter unten genauer eingegangen.
Die Bildgebungsvorrichtung 10 umfasst zudem eine Störungserkennungseinheit 22. Die Störungserkennungseinheit 22 ist dazu eingerichtet, eine Störung bei der Bilderfassung zu erkennen und einen Störungszustand der Bilderfassung zu bestimmen. Die Störungserkennungseinheit 22 kann einen Störungszustand anhand hyperspektraler und/oder multispektraler Information erkennen. Alternativ oder zusätzlich kann die Störungserkennungseinheit 22 einen Störungszustand anhand Videobilddaten, die mittels einer Videoerfassungseinheit 28 erzeugt werden, und/oder anhand Fluoreszenzbildgebungsdaten, die mittels einer Fluoreszenzbildgebungseinheit 38 erzeugt werden, bestimmen. In einigen Ausführungsformen kann die Störungserkennungseinheit 22 zusätzlich oder alternativ hierzu dazu eingerichtet sein, einen Störungszustand anhand eines Sensorsignals, welches mittels einer Sensoreinheit 42 erzeugt wird, zu bestimmen. Auf die Störungserkennung wird weiter unten genauer eingegangen.
Die Bildgebungsvorrichtung 10 umfasst weiterhin eine Videoerfassungseinheit 28, die eine Kamera 30 umfasst und die dazu eingerichtet ist, Videobilddaten des Bildbereichs 18 zu erzeugen. Die Videoerfassungseinheit 28 kann zudem dazu eingerichtet sein, neben oder anstelle von Weißlichtbildern Bilder in anderen Darstellungsarten, zum Beispiel Falschfarbendarstellung, zu erzeugen. Mittels der Videoerfassungseinheit 28 werden Videobilddaten erfasst, die keine spektrale Information enthalten. Die Bilderfassung mit spektraler Information nimmt in vielen Fällen mehr Zeit in Anspruch als eine Videodatenerfassung. Videobilddaten können in Echtzeit erzeugt und/oder ausgegeben werden. Bilddaten, die spektrale Information umfassen, können im Wesentlichen in Echtzeit oder mit langsamerer Wiederhol rate/als Einzelbilder erfasst und/oder ausgegeben werden. Es kann vorteilhaft sein, z.B. zum Positionieren eines medizinischen Instruments 34 oder zum Positionieren der Bilderfassungseinheit 12, die Bildgebungsvorrichtung 10 zu betreiben, ohne Bilddaten mit spektraler Information zu erzeugen. In einem solchen Fall kann insbesondere die Videoerfassungseinheit 28 Videobilddaten in Echtzeit erzeugen. Die Bildgebungsvorrichtung 10 kann in einigen Ausführungsformen multimodal ausgebildet sein. Bilddaten können in verschiedenen Modi erzeugt werden. Die verschiedenen Modi können möglicherweise zeitgleich, abwechselnd und/oder aufeinanderfolgend verwendet werden.
Die Bilderfassungseinheit 12 ist im vorliegenden Fall dazu eingerichtet, Weißlichtbilder und Hyperspektralbilder des Bildbereichs 18 zu erzeugen. Weißlichtbilder enthalten keine spektrale Information. Beide Modi, Hyperspektralbildgebung und Weißlichtbildgebung, können gleichzeitig und/oder abwechselnd und/oder aufeinanderfolgend durchgeführt werden. Bilder beider Modi können nach erfolgter Bildgebung kombiniert werden. Alternativ oder zusätzlich kann das Hyperspektralbild auch mit Videobilddaten kombiniert werden, die von Weißlichtbildern verschieden sind.
Die Bildgebungsvorrichtung 10 umfasst zudem eine Fluoreszenzbildgebungseinheit 38. Die Fluoreszenzbildgebungseinheit 38 ist dazu eingerichtet, den Bildbereich 18 mittels Fluoreszenzbildgebung zu erfassen und Fluoreszenzbildgebungsdaten zu erzeugen. Beispielsweise kann mittels eines Kontrastmittels 40 eine bestimmte Gewebeart durch Fluoreszenzbildgebung erkennbar gemacht werden. Die Fluoreszenzbildgebungsdatenerzeugung mittels der Fluoreszenzbildgebungseinheit 38 stellt einen Modus dar, der möglicherweise zeitgleich, abwechselnd und/oder aufeinanderfolgend mit anderen Modi verwendet werden kann. Die Störungserkennungseinheit 22 ist dazu eingerichtet, anhand einer Beurteilung der Fluoreszenzbildgebungsdaten eine Störung zu erkennen. Insbesondere kann die Störungserkennungseinheit 22 das Vorhandensein von Kontrastmittel 40 in zumindest einem Teil des Bildbereichs 18 erkennen.
Die Bildgebungsvorrichtung 10 umfasst gemäß dem Ausführungsbeispiel zudem eine Sensoreinheit 42, die zumindest einen Sensor 44 umfasst. Der Sensor 44 ist dazu eingerichtet, eine Messgröße zu messen, die einen Zustand der Bildgebungsvorrichtung 10 und/oder einer Umgebung der Bildgebungsvorrichtung 10 beschreibt. Die Störungserkennungseinheit 22 ist dazu eingerichtet, das Vorliegen einer Störung anhand des Sensorsignals zu erkennen.
Der Sensor 44 kann beispielsweise ein Beschleunigungssensor sein. Der Beschleunigungssensor misst eine Bewegung der Bildgebungsvorrichtung relativ zu dem Bildbereich 18. Die Störungserkennungseinheit 22 ist dazu eingerichtet, anhand des Sensorsignals einen Bewegungsumfang zu bestimmen und das Vorliegen einer Störung zu erkennen, wenn der bestimmte Bewegungsumfang einen Schwellenwert überschreitet.
Der Sensor 44 kann in einer anderen beispielhaften Ausführungsformen ein Abstandssensor sein. Dieser ist dazu eingerichtet, einen Abstand zwischen der Bildgebungsvorrichtung 10 und einem Objekt, das nicht näher dargestellt ist und sich im Bildbereich 18 befindet, zu ermitteln. Nach Maßgabe des Abstands kann entweder automatisch oder nach einer Ausgabe über die Ausgabeeinheit 24 durch einen Benutzer eine optimierte Bildgebung erreicht werden.
In dem vorliegenden Anwendungsbeispiel werden räumlich und spektral aufgelöste Bilddaten nach dem Pushbroom-Verfahren erfasst. Anhand der Figuren 3 bis 10 wird die Bilderfassung mittels der Bildgebungsvorrichtung 10 unter Einsatz der Störungserkennungseinheit 22 erläutert. Die Störungserkennung ist nicht auf das Pushbroom-Verfahren beschränkt. Werden beispielsweise Bilddaten nach dem Whiskbroom-Verfahren Punkt für Punkt erfasst, lässt sich die Störungserkennung ebenso anwenden. Weiterhin sind nicht alle möglichen Störungen aufgeführt. Die Störungen, welche in den folgenden Figuren dargestellt sind, sind lediglich beispielhaft ausgewählt, um die Funktionsweise der Störungserkennungseinheit 22 zu erläutern.
Fig. 3 zeigt eine schematische Darstellung eines Bildbereichs 18. Der Bildbereich 18 wird etwa im Rahmen eines mikroinvasiven Eingriffs beobachtet. Hierfür ist der distale Abschnitt 72 des Bildgebungsgeräts 64 (vgl. Fig. 1 ) in eine Kavität eingeführt. Im Bildbereich befinden sich verschiedene native Strukturen 94, 96 sowie ein Gefäß 98, beispielsweise ein Blutgefäß, das mittels der medizinischen Vorrichtung 62 versiegelt werden soll. Zunächst werden räumlich und spektral aufgelöste Bilddaten des Bildbereichs 18 erzeugt. Hierfür wird der Bildbereich 18 beleuchtet und es wird daraufhin vom Bildbereich 18 kommendes Objektlicht erfasst. Die erfasste spektrale Information betrifft im vorliegenden Fall Lichtabsorption. Für jeden Bildpunkt kann entsprechend ein Absorptionsspektrum erhalten werden. Bilddaten des Bildbereichs 18 werden vorliegend zumindest auch von der Videoerfassungseinheit 28 erfasst. Bilddaten des Bildbereichs 18, die mittels der Videoerfassungseinheit 28 erzeugt werden, liegen mit höherer Wiederholrate vor als die räumlich und spektral aufgelösten Bilddaten. Der Benutzer kann den Bildbereich 18 anhand der Videobilddaten während der Erzeugung von räumlich und spektral aufgelösten Bilddaten über die Ausgabeeinheit 24 in Echtzeit beobachten. Die Störungserkennungseinheit 22 hat Zugriff auf räumlich und spektral aufgelöste Bilddaten sowie auf Videobilddaten.
Zusätzlich wird der Abstand der Bildgebungsvorrichtung 12 zu zumindest einem Objekt im Bildbereich 18 und/oder die Relativbewegung zwischen der Bildgebungsvorrichtung 12 und zumindest einem Objekt im Bildbereich 18 erfasst. Bei dem genannten Objekt kann es sich beispielsweise um das medizinische Instrument 34 und/oder die native Struktur 94, 96 und/oder das Gefäß 98 handeln.
Soll wie in dem vorliegenden Beispiel das Gefäß 98 mittels der medizinischen Vorrichtung 62 versiegelt werden, ist eine hohe Qualität der hyperspektralen Bildgebung des Gefäßes 98 von hoher Wichtigkeit zur Beurteilung der Qualität und des Erfolgs des Eingriffs. Wird eine Störung durch eine große Relativbewegung zwischen der Bildgebungsvorrichtung 12 und dem Gefäß 98 durch die Sensoreinheit 42 erfasst, wird der Benutzer auf den Störzustand hingewiesen. Er kann dann zu einer erneuten hyperspektralen Bildgebung des Bildbereichs 18 aufgefordert werden.
Die Auswertungseinheit 20 ist dazu eingerichtet, die räumlich und spektral aufgelösten Bilddaten zu analysieren. Die Auswertung umfasst beispielsweise eine Bildsegmentierung sowie einen Abgleich spektraler Information mit Information, die in der Datenbank 92 hinterlegt ist und Eigenschaften verschiedener Strukturen, Gewebeentitäten etc. betrifft. Im Rahmen der Bildsegmentierung erkannte Bereiche können auf ihre spektralen Eigenschaften hin analysiert werden. In der Datenbank 92 ist etwa hinterlegt, welche Gewebeentitäten sich typischerweise durch welche Absorptionsspektren auszeichnen und/oder für bestimmte Spektralbänder bestimmte Absorptionswerte zeigen, insbesondere relativ zu anderen Spektralbändern. Von der Auswertungseinheit 20 wird zumindest ein Analyseparameter erstellt. Der Analyseparameter kann zum Beispiel angeben, um welche Gewebeentität es sich beim entsprechenden Bildsegment handelt.
Im Rahmen der Auswertung kann auch das medizinische Instrument 34 erkannt werden. Das Vorhandensein eines anorganischen Materials 26, wie in diesem Beispiel des medizinischen Instruments 34, kann einen Störungszustand der Bilderfassung bedingen. Das medizinische Instrument 34 kann anhand von hyperspektraler Information erkannt und zugeordnet werden. Hierfür können bekannte spektrale Eigenschaften des betreffenden anorganischen Materials berücksichtigt werden.
Ein geringer Grad an Fehleranfälligkeit kann erzielt werden, wenn Videobilddaten, die zusätzlich zur hyperspektralen Bilderfassung mit der Videoerfassungseinheit 28 erzeugt werden, durch einen Kl-Algorithmus auf das Vorhandensein anorganischen Materials 26 untersucht werden. Dadurch kann ein hoher Grad an Genauigkeit der Erkennung von anorganischem Material 26 erzielt werden.
Ferner wird auf der Grundlage der Analyse eine Einblendung 99 erzeugt, die dem Benutzer über die Ausgabeeinheit 24 (vgl. Fig. 1 ) angezeigt werden kann. Wie in Fig. 4 veranschaulicht ist, werden die unterschiedlichen erkannten Gewebeentitäten unterschiedlich hervorgehoben, beispielsweise durch Einblendung einer farbigen Überlagerung, einer Textur, einer Beschriftung oder einer Kombination. Für den Benutzer ist somit leicht nachvollziehbar, welche Teilbereiche, Instrumente, Organe, Gefäße, Nerven, Faszien etc. sich in dem Bildbereich 18 befinden. Das Erstellen der Analyse und das Erzeugen der Einblendung können wiederholt durchgeführt werden. Wie erwähnt, können Videobilddaten die Grundlage hierfür bilden. Die eingeblendeten, auf spektraler Information beruhenden Hervorhebungen unterschiedlicher Gewebestrukturen können im Wesentlichen in Echtzeit aktualisiert werden.
Das medizinische Instrument 34 wird anhand von Videobilddaten und räumlicher und spektraler Information durch die Störungserkennungseinheit 22 erkannt. In dem vorliegenden Beispiel ist das medizinische Instrument 34 aufgrund der spektralen Information Daten auf der Datenbank 92 zuordenbar und wird anhand eines entsprechenden Abgleichs erkannt. Die Genauigkeit der Zuordnung wird durch die Videobilddaten erhöht. Sollte nicht zuordenbares anorganisches Material in dem Bildbereich 18 vorliegen, wird es durch die Störungserkennungseinheit 22 erkannt und beispielsweise ohne Einblendung 99 oder farblich, insbesondere schwarz, gekennzeichnet, jedenfalls ohne spektraler Parameterdarstellung angezeigt. Ein störungsbehafteter Teilbereich 48, in dem anorganischen Material vorliegt, wird erkannt und der störungsbehaftete Teilbereich 48 über die Ausgabeeinheit kenntlich gemacht. Dies geschieht beispielsweise anhand einer farblich hervorgehobenen Einkreisung des störungsbehafteten Teilbereichs 48.
Wie dargelegt, läuft die Störungserkennung anorganischen Materials 26 gemäß diesem Anwendungsbeispiel anhand zweier Arten von Bilddaten ab. Zum einen wird anorganisches Material 26 mittels spektraler Information erkannt. Die Störungserkennung findet also sequentiell nach der Bilderfassung statt. Zum anderen wird anorganisches Material 26 mittels eines Kl-Algorithmus aus Videobilddaten erkannt. Die Störungserkennung findet vor und/oder während, insbesondere gleichzeitig mit, der Bilderfassung der räumlich und spektral aufgelösten Bilddaten statt.
In Fig. 5 ist eine weitere mögliche Störung dargestellt. Es ist derselbe Bildbereich 18 wie in den vorherigen Figuren zu sehen, man sieht also Strukturen 94, 96 und das Gefäß 98. Zudem sieht man eine Störung durch Verschmutzung und/oder Beschlag 32 der Optik 14 (vgl. Fig. 2) in dem Bildbereich 18. Die dargestellte Verschmutzung und/oder der Beschlag 32 wird anhand von Videobilddaten mittels eines Kl- Algorithmus erkannt. Der Benutzer wird gemäß diesem Beispiel dazu aufgefordert, die Optik 14 zu reinigen, um eine störungsfreiere Bildgebung zu erreichen. Gemäß anderen Ausführungsformen kann eine automatische Reinigung der Optik 14 nach Erkennen einer Störung durch Verschmutzung und/oder Beschlag 32 erfolgen.
Fig. 6 zeigt wieder denselben Bildbereich 18 mit den bekannten Strukturen 94, 96 und dem Gefäß 98 zur Veranschaulichung einer weiteren möglichen Störung. Es ist lediglich ein Ausschnitt des Bildbereichs 18 deutlich zu erkennen, da sich gemäß diesem Beispiel das distale Ende 36 noch teilweise innerhalb eines Trokars 37 befindet, der zur Einführung der Bildgebungsvorrichtung 10 verwendet wird. Folglich ist in Fig. 6 ein Teil des Inneren eines Trokars 37 in dem Bildbereich 18 zu sehen. Anhand von Videobilddaten wird der Trokar 37 in dem Bildbereich 18 erkannt. Der Benutzer kann dazu aufgefordert werden, die Störung zu beseitigen, beispielsweise indem er das distale Ende 36 zur Bildgebung weiter durch den Trokar 37 hindurchschiebt. In Fig. 7 ist der Bildbereich 18 mit den Strukturen 94, 96 und dem Gefäß 98 sowie dem medizinischen Instrument 34 kurze Zeit, beispielsweise wenige Sekunden, nach erfolgter Koagulation des Gefäßes 98 dargestellt. Durch die Koagulation des Gefäßes
98 ist Rauch 46 entstanden, der zwischen dem Gefäß 98 und der Optik 14 vorliegt und im Bildbereich 18 zu sehen ist. Der Rauch 46 bedingt, dass spektrale Information des durch den Rauch 46 verdeckten Gefäßes 98 nicht und/oder allenfalls störungsbehaftet erfasst wird. Der Rauch 46 kann anhand spektraler Information erkannt werden. Alternativ oder zusätzlich kann der Rauch 46 anhand von Videobilddaten erkannt werden. In letzterem Fall wird ein geeigneter Kl-Algorithmus zur Raucherkennung verwendet, wie beispielsweise eine binäre Klassifikation mit ResNet 50. Eine Kombination von beiden Erkennungsmethoden erhöht dabei die Zuverlässigkeit und Genauigkeit der Erkennung. Bilddatenpunkte, die Rauch 46 zugeordnet sind, werden dem Benutzer kenntlich gemacht. Zudem wird der störungsbehaftete Teilbereich 48 des Bildbereichs 18 auf der Ausgabeeinheit 24 optisch, beispielsweise durch eine farblich hervorgehobene Einkreisung, hervorgehoben. Der Benutzer wird zudem dazu aufgefordert, die Erfassung der räumlichen und spektralen Information des Bildbereichs 18 erneut zu veranlassen, ggf. unter Einhaltung einer geeigneten Wartezeit. Alternativ oder zusätzlich kann der Benutzer dazu aufgefordert werden, eine nicht dargestellte Rauchabsaugung zu aktivieren.
In Fig. 8 und Fig. 9 ist die Bilderfassung des Bildbereichs 18 unter zusätzlicher Verwendung der Fluoreszenzbildgebungseinheit 38 dargestellt. Das Gefäß 98 ist mittels eines fluoreszierenden Kontrastmittels 40 eingefärbt. Durch die Fluoreszenzbildgebungseinheit 38 wird das mit Kontrastmittel 40 eingefärbte Gefäß 98, durch die Schraffur in Fig. 9 hervorgehoben, erkannt und kombiniert mit einem Weißlichtbild dem Benutzer angezeigt. Zudem wird räumliche und spektrale Information des Bildbereichs 18 erfasst, ausgewertet und anhand von Einblendungen
99 dem Benutzer angezeigt.
Der störungsbehaftete Teilbereich 48, in dem Kontrastmittel 40 vorliegt und welcher von der Fluoreszenzbildgebungseinheit 38 und/oder Störungserkennungseinheit 22 erkannt wird, wird von der Auswertung der räumlichen und spektralen Information ausgenommen. In diesem Bereich könnte aufgrund des Kontrastmittels eine Gewebeerkennung fehlerhafter Ergebnisse liefern oder scheitern.
Zusätzlich zu fluoreszierendem Kontrastmittel 40 ist anorganisches Material 26 in dem Bildbereich 18 zu sehen. Dieses wird in bereits beschriebener Art und Weise durch die Störungserkennungseinheit 22 anhand spektraler Information und Videobilddaten erkannt. Dieses Anwendungsbeispiel verdeutlicht die multimodale Eigenschaft der Erfindung. Räumliche und spektrale Information wird zeitgleich mit Weißlichtbildern, Videobilddaten und Fluoreszenzbilddaten erfasst. Durch die Störungserkennungseinheit 22 können daher verschiedene Arten von Störungen, im Falle von Fig. 9 fluoreszierendes Kontrastmittel 40 und anorganisches Material 26, zeitgleich erkannt werden, und durch die Bildgebungsvorrichtung 10 können in Teilbereichen des Bildbereichs 18, welche keiner erkannten Störung unterliegen, Gewebeentitäten durch Einblendungen 99 angezeigt werden.
Es versteht sich, dass die Störungserkennung zu jedem beliebigen Zeitpunkt, insbesondere zeitgleich mit der Bilderfassung, durchgeführt werden kann.
Fig. 10 zeigt schematische Absorptionskurven im sichtbaren und Nahinfrarotbereich von Gewebe, das mit unterschiedlichen Parametern koaguliert wurde. Solche Kurven können aus räumlich und spektral aufgelösten Bilddaten im Rahmen einer Auswertung erhalten werden, beispielsweise durch Mittelung über den Bildbereich 18 oder einen geeignet gewählten Teilbereich. Die Analyse kann anstelle eines Parameterbildes, wie es oben beschrieben wurde, oder auch zusätzlich dazu eine Absorptionskurven umfassen. Der Analyseparameter ist in diesem Fall beispielsweise die spektral aufgelöste Intensität.
Die Erfinder haben festgestellt, dass sich die Absorptionskurven für weniger stark und stärker koaguliertes Gewebe in unterschiedlichen Spektralbereichen unterschiedlich verhalten. In einem kurzwelligen Bereich, der in Fig. 10 durch die Linie a1 gekennzeichnet ist, nimmt die Absorption mit zunehmender Koagulation ab. In einem langwelligen Bereich, der in Fig. 10 durch die Linie a2 gekennzeichnet ist, nimmt die Absorption mit zunehmender Koagulation zu. Die Spektren in Fig. 10 sind normalisiert, vorliegend durch Division durch den jeweiligen Absorptionswert bei der Linie n. Wie im Folgenden beschrieben wird, kann ausgehend hiervon eine Analyse und Beurteilung erfolgen, ob eine Koagulationsbehandlung mit hinreichender Qualität abgeschlossen wurde.
Die Analyse beruht auf einem Vorher-Nachher-Vergleich, wobei Bilddaten vor der Durchführung der diagnostischen und/oder therapeutischen Aktion als Referenz dienen. Der Vorher-Nachher-Vergleich beinhaltet eine Differenzbildung, die angibt, inwiefern sich in den betrachteten Spektralbereichen die Absorption verändert hat. Um Effekte auszugleichen, die auf unterschiedliche Gewebemengen betrachteten Bildbereich oder andere Abweichungen zurückzuführen sind, werden die zu vergleichenden Spektren normalisiert, wie dies in Fig. 10 veranschaulicht ist. Im vorliegenden Fall werden beispielsweise als Auswertungsparameter die Differenzen bei den Linien a1 und a2 bestimmt.
In der Datenbank 32 ist hinterlegt, welche Verhältnisse, Differenzen und/oder andere Zusammenhänge zwischen diesen Auswertungsparametern Rückschlüsse auf eine Qualität der Koagulation geben können. Die Beurteilungseinheit 24 verwendete diese Information als Beurteilungsinformation und beurteilt darauf beruhend die aus der Analyse erhaltenen Auswertungsparameter. Im vorliegenden Fall wird bei dieser Beurteilung ein binäres Attribut bestimmt, das die Werte „Koagulation vollständig“ und „Koagulation unvollständig“ annehmen kann.
Liegt bei der Erfassung der räumlich und spektral aufgelösten Bilddaten, anhand derer solche Absorptionskurven erzeugt werden, eine Störung vor, beispielsweise eine der oben beschriebenen Störungen, sind die Absorptionskurven unter Umständen nicht verwendbar. Eine oder mehrere Störungen können entsprechend wie oben beschrieben von der Störungserkennungseinheit 22 erkannt werden. Es versteht sich, dass dabei die Störungen nicht oder zumindest nicht ausschließlich anhand des herangezogenen Analyseparameters erkannt werden, sondern unabhängig hiervon.
Anschließend kann nach Maßgabe eines ermittelten Störungszustands eine Benutzerausgabe erzeugt werden, die auf dem Analyseparameter beruht. Beispielsweise wird ein Absorptionsspektrum nur dann angezeigt und/oder als verwendbar gekennzeichnet, wenn kein Störungszustand vorliegt.
In Fig. 1 1 ist eine alternative Bildgebungsvorrichtung 10‘ zu sehen. Zur Verdeutlichung sind die Bezugszeichen dieser Ausführungsform mit Hochkommata versehen. Die alternative Bildgebungsvorrichtung 10‘ ist Teil eines medizinischen Systems 60‘, das dazu eingerichtet ist, eine exoskopische Bildgebung vorzunehmen. Beispielsweise kann mit diesem medizinischen System 60‘ eine Operationsstelle während eines chirurgischen Eingriffs beobachtet werden. Das medizinische System 60‘ weist grundsätzlich dieselbe Funktionsweise wie die des vorherigen Ausführungsbeispiels auf. Das medizinische System 60‘ umfasst eine Bilderfassungseinheit 12‘, eine Auswertungseinheit 20‘, eine Störungserkennungseinheit 22‘, eine Ausgabeeinheit 24‘, über die ein Bildbereich 18‘ sowie Störungen und Einblendungen etc. dargestellt werden, bezüglich deren Funktionsweise auf die obigen Ausführungen verwiesen wird.
Fig. 12 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Betrieb einer Bildgebungsvorrichtung. Der Ablauf der Verfahren ergibt sich auch aus den obigen Ausführungen.
Beispielhaft wird die oben beschriebene Bildgebungsvorrichtung 10, 10‘ betrieben.
Das Verfahren umfasst einen Schritt S1 1 eines Erfassens räumlich und spektral aufgelöster Bilddaten eines Bildbereichs 18 mittels der medizinischen Bildgebungsvorrichtung 10, 10‘.
Ferner umfasst das Verfahren einen Schritt S12 eines Erstellens einer Analyse der räumlich und spektral aufgelösten Bilddaten, der räumliche und spektrale Information zugrunde liegt und die auf zumindest einem aus den räumlich und spektral aufgelösten Bilddaten berechneten Analyseparameter beruht.
Des Weiteren umfasst das Verfahren einen Schritt S13 eines Durchführens einer Störungserkennung, bei der unabhängig von der Analyse der Bilddaten und dem berechneten Analyseparameter das Vorliegen einer Störung bei der Bilderfassung erkannt wird und bei der ein Störungszustand der Bilderfassung bestimmt wird.
Außerdem umfasst das Verfahren einen Schritt S14 eines Erzeugens einer Benutzerausgabe nach Maßgabe des Störungszustands, die auf dem Analyseparameter beruht.
Fig. 13 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zur medizinischen Bildgebung. Der Ablauf der Verfahren ergibt sich auch aus den obigen Ausführungen.
Beispielhaft wird das Verfahren mittels der oben beschriebenen Bildgebungsvorrichtung 10, 10‘ durchgeführt.
Das Verfahren umfasst einen Schritt S21 eines Durchführens einer Bilderfassung eines Bildbereichs 18, bei der räumlich und spektral aufgelöste Bilddaten erzeugt werden, die sowohl räumliche als auch spektrale Information umfassen. Außerdem umfasst das Verfahren einen Schritt S22 eines Erstellens einer Analyse der räumlich und spektral aufgelösten Bilddaten, der räumliche und spektrale Information zugrunde liegt und die auf zumindest einem aus den räumlich und spektral aufgelösten Bilddaten berechneten Analyseparameter beruht.
Des Weiteren umfasst das Verfahren einen Schritt S23 eines Durchführens einer Störungserkennung, bei der unabhängig von der Analyse der Bilddaten und dem berechneten Analyseparameter das Vorliegen einer Störung bei der Bilderfassung erkannt wird und bei der ein Störungszustand der Bilderfassung bestimmt wird.
Ferner umfasst das Verfahren einen Schritt S24 eines Erzeugens einer Benutzerausgabe nach Maßgabe des Störungszustands, die auf dem Analyseparameter beruht.
Wie sich auch aus den obigen Ausführungen ergibt, ist der Ablauf der Schritte S11 bis S14 bzw. S21 bis S24 nicht zwangsläufig konsekutiv. Die Fig. 12 und 13 sind diesbezüglich rein beispielhaft zu verstehen.
Bezugszeichenliste
10 Bildgebungsvorrichtung
12 Bilderfassungseinheit
14 Optik
16 Bilderfassungssensorik
18 Bildbereich
20 Auswertungseinheit
22 Störungserkennungseinheit
24 Ausgabeeinheit
26 anorganisches Material
28 Videoerfassungseinheit
30 Kamera
32 Verschmutzungen und/oder Beschlag
34 medizinisches Instrument
36 distales Ende
37 Trokar
38 Fluoreszenzbildgebungseinheit
40 Kontrastmittel
42 Sensoreinheit
44 Sensor 46 Rauch
48 störungsbehafteter Teil
60 medizinisches System
64 Bildgebungsgerät
66 Beleuchtungsgerät
68 Steuergerät
70 Fenster
72 distaler Abschnitt
74 proximaler Abschnitt
76 Handhabe
78 Anzeigegerät
80 Vorrichtungsschnittstelle
82 Benutzerschnittstelle
84 Ausgabeerzeugungseinheit
86 Lautsprecher
88 Display
90 Steuereinheit
92 Datenbank
94 Struktur
96 Struktur
98 Gefäß
99 Einblendung

Claims

Ansprüche
1. Medizinische Bildgebungsvorrichtung (10), insbesondere endoskopische und/oder exoskopische und/oder mikroskopische Bildgebungsvorrichtung, umfassend: eine räumlich und spektral auflösende Bilderfassungseinheit (12), die zumindest eine Optik (14) und zumindest eine mit der Optik gekoppelte Bilderfassungssensorik (16) umfasst, die dazu eingerichtet sind, eine Bilderfassung eines Bildbereichs (18) durchzuführen, bei der räumlich und spektral aufgelöste Bilddaten erzeugt werden, die sowohl räumliche als auch spektrale Information umfassen; eine Auswertungseinheit (20), die dazu eingerichtet ist, eine Analyse der räumlich und spektral aufgelösten Bilddaten zu erstellen, der räumliche und spektrale Information zugrunde liegt und die auf zumindest einem aus den räumlich und spektral aufgelösten Bilddaten berechneten Analyseparameter beruht; eine Störungserkennungseinheit (22), die dazu eingerichtet ist, unabhängig von der Analyse der Bilddaten und dem berechneten Analyseparameter das Vorliegen einer Störung bei der Bilderfassung zu erkennen und einen Störungszustand der Bilderfassung zu bestimmen; und eine Ausgabeeinheit (24), die dazu eingerichtet ist, nach Maßgabe des Störungszustands eine Benutzerausgabe zu erzeugen, die auf dem Analyseparameter beruht.
2. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 1 , wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, das Vorliegen einer Störung anhand einer Beurteilung der räumlich und spektral aufgelösten Bilddaten zu erkennen.
3. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 2, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, anhand der räumlich und spektral aufgelösten Bilddaten einen Bildbelichtungszustand zu erkennen und das Vorliegen einer Störung zu erkennen, wenn der Belichtungszustand zumindest abschnittsweise eine Unterbelichtung und/oder eine Überbelichtung repräsentiert.
4. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 2 oder 3, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, das Vorliegen einer Störung anhand einer Erkennung anorganischen Materials (26) in dem Bildbereich (18) zu erkennen.
5. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, ferner umfassend eine Videoerfassungseinheit (28), die eine Kamera (30) umfasst und die dazu eingerichtet ist, Videobilddaten des Bildbereichs (18) zu erzeugen, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, das Vorliegen einer Störung anhand einer Bildanalyse der Videobilddaten zu erkennen.
6. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 5, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, anhand der Bildanalyse der Videobilddaten einen Bewegungsumfang der Kamera relativ zu dem Bildbereich (18) zu bestimmen und das Vorliegen einer Störung zu erkennen, wenn der bestimmte Bewegungsumfang einen Schwellenwert überschreitet.
7. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 5 oder 6, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, anhand der Bildanalyse der Videobilddaten das Vorhandensein von Verschmutzungen und/oder Beschlag (32) auf zumindest einem Teil der Optik der räumlich und spektral auflösenden Bilderfassungseinheit (12) zu erkennen und das Vorliegen einer Störung nach Maßgabe der Erkennung von Verschmutzungen und/oder Beschlag (32) zu erkennen.
8. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, anhand eines Vergleichs der räumlich und spektral aufgelösten Bilddaten und der Videobilddaten zu beurteilen, ob ein Weißabgleich der räumlich und spektral auflösenden Bilderfassungseinheit und ein Weißabgleich der Videoerfassungseinheit zumindest im Rahmen einer vorgegebenen Toleranz übereinstimmend sind und das Vorliegen einer Störung zu erkennen, wenn die vorgegebene Toleranz überschritten ist.
9. Medizinische Bildgebungsvorrichtung (10) nach einem der Ansprüche 5 bis 8, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, anhand der
Bildanalyse der Videobilddaten das unerwartete Vorhandensein eines medizinischen Instruments (34) im Bildbereich (18) zu erkennen und das Vorliegen einer Störung nach Maßgabe der Erkennung eines unerwarteten Vorhandenseins eines medizinischen Instruments (34) zu erkennen.
10. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 9, wobei die Bildgebungsvorrichtung (10) ein distales Ende (36) umfasst, das zumindest Teile der Optik (14) der Bilderfassungseinheit (12) umfasst, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, zu erkennen, dass der Bildbereich (18) zumindest teilweise ein Inneres eines Trokars (37) umfasst, und wobei die Ausgabeeinheit (24) dazu eingerichtet ist, eine Benutzerausgabe zu erzeugen, die die Information enthält, dass sich das distale Ende (36) zumindest teilweise innerhalb des Trokars (37) befindet.
11 . Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, ferner umfassend eine Fluoreszenzbildgebungseinheit (38), die dazu eingerichtet ist, den Bildbereich (18) fluoreszenzbildgebend zu erfassen und Fluoreszenzbildgebungsdaten zu erzeugen, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, das Vorliegen einer Störung anhand einer Beurteilung der Fluoreszenzbildgebungsdaten zu erkennen.
12. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 11 , wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, anhand der Fluoreszenzbildgebungsdaten das Vorhandensein von Kontrastmittel (40) in zumindest einem Teil des Bildbereichs (18) zu erkennen, und wobei die Ausgabeeinheit dazu eingerichtet ist, die Benutzerausgabe, die auf dem Analyseparameter beruht, derart zu erzeugen, dass Teile des Bildbereichs (18), in denen die Störungserkennungseinheit (22) ein Vorhandensein von Kontrastmittel (40) erkennt, ausgespart werden.
13. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, ferner umfassend eine Sensoreinheit (42) mit zumindest einem Sensor (44), der dazu eingerichtet ist, zumindest eine Messgröße zu messen, die einen Zustand der Bildgebungsvorrichtung (10) und/oder einer Umgebung der Bildgebungsvorrichtung (10) beschreibt, und die dazu eingerichtet ist, ein Sensorsignal zu erzeugen, das die Messgröße repräsentiert, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, das Vorliegen einer Störung anhand des Sensorsignals zu erkennen.
14. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 13, wobei der Sensor (44) ein Beschleunigungssensor ist, wobei das Sensorsignal eine Bewegung der Bildgebungsvorrichtung (10) repräsentiert, und wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, anhand des Sensorsignals einen Bewegungsumfang zu bestimmen und das Vorliegen einer Störung zu erkennen, wenn der bestimmte Bewegungsumfang einen Schwellenwert überschreitet.
15. Medizinische Bildgebungsvorrichtung (10) nach Anspruch 13 oder 14, wobei der Sensor (44) ein Abstandssensor ist, der dazu eingerichtet ist, einen
Abstand zwischen der Bildgebungsvorrichtung (10) und einem Objekt im Bildbereich (18) zu ermitteln.
16. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, anhand einer Bildanalyse das Vorhandensein von Rauch (46) im Bildbereich (18) zu erkennen und das Vorliegen einer Störung nach Maßgabe der Erkennung von Rauch (46) im Bildbereich (18) zu erkennen.
17. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, wobei die Störungserkennungseinheit (22) dazu eingerichtet ist, im Fall des Erkennens einer Störung die Erfassung von räumlich und spektral aufgelöste Bilddaten mittels der räumlich und spektral auflösende Bilderfassungseinheit (12) zu verhindern.
18. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, wobei die Ausgabeeinheit (24) dazu eingerichtet ist, eine räumlich aufgelöste Parameterdarstellung des Bildbereichs (18) nach Maßgabe des Analyseparameters zu erzeugen und von der Störungserkennungseinheit (22) als störungsbehaftete Teile (48) des Bildbereichs (18) zu kennzeichnen.
19. Medizinische Bildgebungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, wobei die Ausgabeeinheit (24) dazu eingerichtet ist, im Fall einer Erkennung einer Störung dem Benutzer Information zur Verfügung zu stellen, wie die Störung behoben werden kann.
20. Verfahren zum Betrieb einer medizinischen Bildgebungsvorrichtung (10), insbesondere nach einem der vorhergehenden Ansprüche, wobei die medizinische Bildgebungsvorrichtung (10) eine räumlich und spektral auflösende Bilderfassungseinheit (12) umfasst, die zumindest eine Optik (14) und zumindest eine mit der Optik gekoppelte Bilderfassungssensorik (16) umfasst, die dazu eingerichtet sind, eine Bilderfassung eines Bildbereichs (18) durchzuführen, bei der räumlich und spektral aufgelöste Bilddaten erzeugt werden, die sowohl räumliche als auch spektrale Information umfassen, umfassend die Schritte:
- Erfassen räumlich und spektral aufgelöster Bilddaten eines Bildbereichs (18) mittels der medizinischen Bildgebungsvorrichtung (10);
- Erstellen einer Analyse der räumlich und spektral aufgelösten Bilddaten, der räumliche und spektrale Information zugrunde liegt und die auf zumindest einem aus den räumlich und spektral aufgelösten Bilddaten berechneten Analyseparameter beruht;
- Durchführen einer Störungserkennung, bei der unabhängig von der Analyse der Bilddaten und dem berechneten Analyseparameter das Vorliegen einer Störung bei der Bilderfassung erkannt wird und bei der ein Störungszustand der Bilderfassung bestimmt wird; und
- Erzeugen einer Benutzerausgabe nach Maßgabe des Störungszustands, die auf dem Analyseparameter beruht.
21. Verfahren zur medizinischen Bildgebung, insbesondere durchgeführt mit einer medizinischen Bildgebungsvorrichtung (10) nach einem der Ansprüche 1 bis 19, umfassend die Schritte: - Durchführen einer Bilderfassung eines Bildbereichs (18), bei der räumlich und spektral aufgelöste Bilddaten erzeugt werden, die sowohl räumliche als auch spektrale Information umfassen;
- Erstellen einer Analyse der räumlich und spektral aufgelösten Bilddaten, der räumliche und spektrale Information zugrunde liegt und die auf zumindest einem aus den räumlich und spektral aufgelösten Bilddaten berechneten Analyseparameter beruht;
- Durchführen einer Störungserkennung, bei der unabhängig von der Analyse der Bilddaten und dem berechneten Analyseparameter das Vorliegen einer Störung bei der Bilderfassung erkannt wird und bei der ein Störungszustand der
Bilderfassung bestimmt wird; und
- Erzeugen einer Benutzerausgabe nach Maßgabe des Störungszustands, die auf dem Analyseparameter beruht.
EP23732412.4A 2022-06-10 2023-06-05 Medizinische bildgebungsvorrichtung, verfahren zum betrieb einer solchen und verfahren zur medizinischen bildgebung Pending EP4537527A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022114606.5A DE102022114606A1 (de) 2022-06-10 2022-06-10 Medizinische Bildgebungsvorrichtung, Verfahren zum Betrieb einer solchen und Verfahren zur medizinischen Bildgebung
PCT/EP2023/065013 WO2023237497A1 (de) 2022-06-10 2023-06-05 Medizinische bildgebungsvorrichtung, verfahren zum betrieb einer solchen und verfahren zur medizinischen bildgebung

Publications (1)

Publication Number Publication Date
EP4537527A1 true EP4537527A1 (de) 2025-04-16

Family

ID=86895934

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23732412.4A Pending EP4537527A1 (de) 2022-06-10 2023-06-05 Medizinische bildgebungsvorrichtung, verfahren zum betrieb einer solchen und verfahren zur medizinischen bildgebung

Country Status (5)

Country Link
US (1) US20250325166A1 (de)
EP (1) EP4537527A1 (de)
CN (1) CN119343914A (de)
DE (1) DE102022114606A1 (de)
WO (1) WO2023237497A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024114647A1 (de) * 2024-05-24 2025-11-27 Karl Storz Se & Co. Kg Bildgebungsvorrichtung, System und Verfahren zur Bildgebung

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013217379A1 (de) 2013-08-30 2015-03-05 Spekled GmbH Vorrichtung und Verfahren zur Aufnahme eines Hyperspektralbildes
JP6010571B2 (ja) 2014-02-27 2016-10-19 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
JPWO2017221336A1 (ja) * 2016-06-21 2019-04-11 オリンパス株式会社 内視鏡システム、画像処理装置、画像処理方法およびプログラム
JP6901590B2 (ja) 2017-12-11 2021-07-14 オリンパス株式会社 集中制御装置及び医療機器を含む１又は２以上の被制御装置を制御する集中制御装置の作動方法
GB201904857D0 (en) 2019-04-05 2019-05-22 Univ Oxford Innovation Ltd Quality assessment in video endosscopy
DE102019118750A1 (de) * 2019-07-10 2021-01-14 Schölly Fiberoptic GmbH Medizinisches Bildaufnahmesystem, welches situationsabhängig Anpassungsvorschläge unterbreitet, sowie zugehöriges Bildaufnahmeverfahren
DE102020105458B4 (de) 2019-12-13 2023-09-28 Karl Storz Se & Co. Kg Medizinische Bildgebungsvorrichtung
US20210196098A1 (en) * 2019-12-30 2021-07-01 Ethicon Llc Surgical system control based on multiple sensed parameters
CN116234489A (zh) 2020-10-09 2023-06-06 史密夫和内修有限公司 无标记导航系统

Also Published As

Publication number Publication date
CN119343914A (zh) 2025-01-21
US20250325166A1 (en) 2025-10-23
DE102022114606A1 (de) 2023-12-21
WO2023237497A1 (de) 2023-12-14

Similar Documents

Publication Publication Date Title
DE10021431C2 (de) Verfahren und Einrichtung zur Klassifizierung von optisch beobachtbaren Haut- oder Schleimhaut-Veränderungen
DE10290005B4 (de) Vorrichtung und Verfahren zur Bildgebung, Stimulierung, Messung und Therapie insbesondere am Auge
DE112019002024T5 (de) Bildverarbeitungsverfahren, Programm und Bildverarbeitungsvorrichtung
DE112012004064T5 (de) Diagnosesystem
DE112018000393T5 (de) Endoskopsystem und Bildanzeigevorrichtung
DE102022104138A1 (de) Medizinische Bildgebungsvorrichtung, medizinisches System, Verfahren zum Betrieb einer medizinischen Bildgebungsvorrichtung und Verfahren zur medizinischen Bildgebung
WO2024079275A1 (de) Medizinische bildgebungsvorrichtung und verfahren zur medizinischen bildgebung
DE102021130790B4 (de) Medizinische Bildgebungsvorrichtung sowie Verfahren zum Kalibrieren einer medizinischen Bildgebungsvorrichtung
EP4185182A1 (de) Verfahren und vorrichtung zur einstellung und kontrolle von parametern des beleuchtungsfeldes ophthalmologischer geräte
EP4537527A1 (de) Medizinische bildgebungsvorrichtung, verfahren zum betrieb einer solchen und verfahren zur medizinischen bildgebung
DE102022126824A1 (de) Verfahren zum Überlagern von Überlagerungsaufnahmeinformationen mit einem Livebild und eine entsprechende Vorrichtung
DE102022119170A1 (de) Benachrichtigung, steuerung oder kompensation eines laserinduzierten blitzens
DE102019217541A1 (de) Medizinische Bildgebungseinrichtung, Verfahren und Verwendung
EP4021280B1 (de) Vorrichtung zur erzeugung von abbildung von tiefenabhängigen morphologischen strukturen von hautläsionen
EP3741290B1 (de) Vorrichtung zur abbildungserzeugung von hautläsionen
WO2024156805A1 (de) Medizinische bildgebungsvorrichtung, endoskopvorrichtung, endoskop und verfahren zur bildgebung
EP4440405A1 (de) Messvorrichtung und messverfahren zum überprüfen eines messbildzustandes
EP4413913A1 (de) Medizinische bildgebungsvorrichtung, endoskopvorrichtung, endoskop und verfahren zur medizinischen bildgebung
DE102022123881A1 (de) Medizinische Bildgebungsvorrichtung, medizinisches System und Verfahren zur Farbanpassung einer medizinischen Bildgebungsvorrichtung
DE102023120892A1 (de) Verfahren zur automatisierten Lokalisation eines bestimmten Gewebetyps während eines endoskopischen Eingriffs und zugehöriges Bildaufnahmesystem
DE102023122118A1 (de) Medizinische Bildgebungsvorrichtung, medizinisches Bildgebungsgerät, medizinisches System und Verfahren zur medizinischen Bildgebung
DE102023101964A1 (de) Medizinische Bildgebungsvorrichtung, Endoskopvorrichtung, Endoskop und Verfahren zur Herstellung einer medizinischen Bildgebungsvorrichtung
EP2886042B1 (de) Anordnung und verfahren zum vergleichen einer augenstruktur mit einer strukturabbildung
EP4574012A1 (de) Bildgebungsvorrichtung, insbesondere endoskopische, exoskopische und/oder mikroskopische bildgebungsvorrichtung
WO2025045900A1 (de) Ophthalmisches lasersystem und verfahren zur visualisierung eines patientenauges

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250109

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)