EP4452039A1 - Verfahren, system und trainiertes modell zur bildoptimierung für endoskope - Google Patents

Verfahren, system und trainiertes modell zur bildoptimierung für endoskope

Info

Publication number
EP4452039A1
EP4452039A1 EP22838785.8A EP22838785A EP4452039A1 EP 4452039 A1 EP4452039 A1 EP 4452039A1 EP 22838785 A EP22838785 A EP 22838785A EP 4452039 A1 EP4452039 A1 EP 4452039A1
Authority
EP
European Patent Office
Prior art keywords
image
cleaning
data
self
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22838785.8A
Other languages
English (en)
French (fr)
Inventor
Sebastian WENZLER
Sebastian Wagner
Simon Haag
Patricia Galuschka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz SE and Co KG
Original Assignee
Karl Storz SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz SE and Co KG filed Critical Karl Storz SE and Co KG
Publication of EP4452039A1 publication Critical patent/EP4452039A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • A61B1/126—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements provided with means for cleaning in-use
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the invention relates to a method for image analysis and image optimization, a control system for image optimization, a trained model and a computer program product for executing said method.
  • Endoscopes are known medical devices for examining cavities in a body or technical cavities.
  • a frequently used type of endoscope has an optical system at the distal end of the endoscope, i.e. the end facing the body, and is designed to capture images and transmit them to the operator of the endoscope. Additional functions can optionally be made available via a working channel.
  • endoscopes are used in minimally invasive surgical procedures.
  • An example of this is laparoscopy.
  • the view of the field to be examined is a crucial requirement for the operator of the endoscope in order to be able to carry out a diagnosis, manipulation or operation safely and quickly. It is important to be able to reliably distinguish different tissue structures of the body cavity in order to make a correct diagnosis or to avoid complications. This requires optimal visibility.
  • the field of view of an endoscope When interfering with a human or animal body, the field of view of an endoscope is very small and even the smallest contamination, such as blood spatter, tissue particles or deposits of steam, smoke or fat can severely impair the operator's view.
  • high-frequency surgery is assisted (HF surgery)
  • thermally induced changes in tissue cells are carried out with the use of electrical energy with the aim of hemostasis or tissue sealing.
  • RF activation can produce tissue particles that severely degrade the image for the endoscope operator. If the operator's view is disturbed in this way by unintentional tissue contact or other contamination, the endoscope must be cleaned extracorporeally.
  • extracorporeal cleaning of the endoscope at its distal end is sometimes undesirable, particularly when complications occur and the endoscope operator has to interrupt his medical or diagnostic procedure as a result.
  • extracorporeal cleaning also requires a certain amount of time, which must be taken into account in the overall duration of an operation. If, for example, complications arise from the perforation of an artery, the bleeding must be stopped as quickly as possible and a very good view must be guaranteed for the endoscope user. If bleeding is not stopped quickly, other surgical methods that are open surgical may be necessary. This should be avoided at all costs in order to keep the procedure as minimal as possible for the patient.
  • a clear and distinct visualization of the object field to be observed is of great importance in endoscopic procedures.
  • the operator following the visualization on a monitor can be negatively influenced by non-optimal monitor settings or by environmental parameters such as room lighting. If the operator is a person who wears glasses, this cannot usually be discussed. However, if the view becomes obstructed due to the above problems, the operator of the endoscope may have to interrupt the procedure. Unnecessary interruptions and distractions during the endoscopic procedure can result in misjudgment or endanger the health of a patient receiving the endoscope. Any obstruction to vision also lengthens the entire endoscopic procedure, thereby increasing costs and reducing efficiency.
  • the object of the invention is to overcome the problems mentioned and to meet the needs of an operator of endoscopic methods, with a suitable method for image analysis and image optimization, preferably with the aid of an endoscope cleaning module, being used.
  • the operator should be disturbed as little as possible, optimally supported and an automatic image optimization method should be provided. Since, due to contamination, image capture is no longer possible even when using a high-performance image capture device can be carried out with the required quality, there is initially a need for automatic detection of dirt or other disruptive factors.
  • methods to eliminate the detected faults and/or to improve the environmental parameters there is also a need to provide a system and a computer program product that increase safety during an endoscope procedure for the user and patient with the help of automation processes.
  • the above-mentioned objects are to be solved better than in conventional methods, in particular for human or veterinary applications.
  • the methods and systems according to the invention for image analysis can be used to examine both cavities in a body and technical cavities such as pipelines or the like.
  • the visual conditions and quality for the operator of the endoscope should be optimized.
  • a method for image analysis and image optimization of at least one image captured at the distal end of an endoscope comprising the following steps:
  • determining a quality value by means of a training data-based, preferably self-learning module, by comparing the at least one determined image structure with image structures of a reference database, which are stored in a memory unit; and - On the basis of the determined quality value, manual or automatic outputting of control instructions from a control unit to a unit for activating image optimization.
  • At least the image analysis with the determination of the quality value and optionally also the pre-analysis can run automatically in the training data-based or training data-based self-learning module.
  • image optimization using the method mentioned can ensure visibility and quality of vision during an operation, at least in a partially automated manner. If the process is set completely automatically without manual intervention, an operator no longer has to decide whether the conditions for activating a unit, for example an endoscope for image optimization, are met. By determining the quality value, automated image optimization can be provided quickly and efficiently, and interruptions can be avoided.
  • the computer-implemented method comprises the acquisition of image data by means of an image acquisition device of an endoscope.
  • the image capturing device can include not only medical endoscopes but also endoscopes that are used in other situations for examining cavities that cannot be seen, such as in the trade for pipelines and shafts.
  • a stereo endoscope can also be provided as the image acquisition device, which has two optical systems.
  • the data can be received wirelessly from a control unit, for example via radio or via a cable.
  • the control unit can either be provided locally in the endoscope or camera head or decentrally in a network.
  • the information or image data can be received or transmitted via the Internet or another network such as an operating room network or hospital network as well as “remotely” such as cloud-based.
  • the various method steps of the computer-implemented method according to the invention can be carried out at different locations such as the endoscope itself, in a computer and/or on decentralized servers.
  • the control unit may include elements of a computer such as one or more microprocessors or graphics processors.
  • a graphics processor (English “graphics processing unit” GPU) can, for example, display 2D or, if a stereo endoscope is provided, 3D images in real time to a user on a screen or a 2D or 3D image via glasses.
  • the control unit advantageously has a memory unit or is communicatively connected to a memory unit.
  • the memory unit which can be provided locally in the control unit or decentrally, for example via servers or networks, has at least one database.
  • a database includes at least one reference database with image data including image structures.
  • An image structure can be recognized by a preliminary analysis of at least a subset of the image data, such as an image section. Object recognition or actual data acquisition can advantageously take place in this preliminary analysis.
  • the image center can be used as a subset of the image data of an image. If data is already available in memory or is made available for a database by an external data source, a comparison can be made with image data from the database.
  • the further method step of determining the quality value is advantageously carried out at least partially automatically using a training-based, self-learning module.
  • a quality value can be determined by comparing the image structure determined in the preliminary analysis with a history of image structures from the reference database. This allows the data to be classified depending on the quality value.
  • the self-learning module can be based on machine learning and improve itself through the training data and experience.
  • data reduction can be done manually by having a person perform something called feature extraction so that only a subset of the available features are used for machine learning (pre-classification or supervised learning).
  • the self-learning module can use a so-called deep learning model, which can learn completely independently without human intervention and can preferably use "deep data" as input and works with a neural network. With deep learning, human intervention is no more necessary and the neural network takes over the feature extraction or pre-classification in order to be able to subsequently carry out a quality value-dependent classification.
  • control instructions can be output manually or automatically from a control unit to a unit of the endoscope to activate image optimization.
  • a further database namely a so-called parameter database for control instructions for further units such as camera, light source; Insufflator or a cleaning module are provided and includes adjusted parameters depending on the unit to be controlled.
  • Possible parameters can be, for example, an emission spectrum or intensity for a light source, insufflation pressure, moisture content or gas exchange parameters for an insufflator, or cleaning parameters for a cleaning module.
  • the parameters can also be adjusted using the self-learning module and can optionally be based on deep learning in conjunction with a stochastic approximation algorithm. In this way, an optimal cleaning result can advantageously be achieved and the operator's work is no longer impaired by dirt or other automatically detectable factors.
  • the unit that can be activated for image optimization is a unit of the endoscope, wherein said unit is preferably a cleaning module that is designed to clean at least one distal window using at least one fluid.
  • a defined flushing amount or volume of gas or liquid with a predeterminable flushing pressure for at least one distal window can be released manually or automatically controlled by the cleaning module that can be activated. If, for example, critical contamination was detected within a predetermined number of seconds (e.g. 2 or 3 s) using the quality value, the decision to clean can be made automatically and the cleaning module can be informed, a fluid valve for a predetermined volume of gas or liquid (e.g. carbon dioxide or sodium chloride) to open. After activation, the control instruction to abort the process can also be given automatically, ie to close the fluid valve. A closing control signal avoids the operator activating the cleaning activation longer than necessary.
  • a fluid valve for a predetermined volume of gas or liquid e.g. carbon dioxide or sodium chloride
  • the quality value depends on the detected brightness of the image and/or contamination of the at least one distal window, classification into contamination probabilities and/or degree of contamination taking place in the step of determining the quality value using the self-learning module.
  • each image with critical contamination can be classified.
  • the classification history is stored in the memory unit and is available for the further learning process.
  • the training methods of the self-learning module depend on the selected model to be trained or trained and the input data.
  • a subset or all of the image data of an endoscopic image which is usually present as a two-dimensional or three-dimensional matrix of pixels, serves as the input or input layer of the model of the self-learning module.
  • Three-dimensional images can be obtained from stereoscopes, e.g. 3D endoscopes with two CCD cameras at the distal end are provided.
  • a stereo measuring system can also provide information as input data for the model as to whether and which of the two distal windows is dirty.
  • a probability of contamination preferably results as the output or output layer of the trained model.
  • the self-learning module includes a model with a neural network, the input data being the image data captured by the image capturing device, which can be extracted as individual images, pixels and/or image sections; and wherein the output data includes the likelihood of soiling or blindness of the image capture device.
  • the self-learning module has at least one learning unit that is used at the beginning of the process as a model to be trained is formed.
  • the model can be based on the technology area of artificial intelligence, in particular on machine learning or preferably on an artificial neural network.
  • a preferred embodiment of a neural network is a convolutional neural network (CNN), which can optimally perform image classification.
  • CNN convolutional neural network
  • the system architecture of a classic CNN consists of one or more convolutional layers, followed by a pooling layer that discards superfluous information. In principle, this unit can be repeated as often as you like. With a high number of repetitions, one speaks of “deep convolutional neural networks”, which fall into the area of deep learning.
  • machine learning or deep learning models can also be used as the system architecture of the self-learning and training data-based module, as long as they are suitable for image classification using endoscope images with fast calculation speed and reliably i.e. with low error rates of, for example, less than 3% and a true positive -Rate of at least 97%.
  • the training-based models used can misclassify an analyzed image, with the true-positive rate or sensitivity being at least 97%, and preferably 98%.
  • the true positive rate indicates the probability that contamination was actually detected.
  • the training data includes image structures stored in a memory unit and/or a collection of identifiers, which are used to train the self-learning module, with a trained model of the self-learning module being trained to classify the image data into the following contamination-dependent database classes or categories:
  • identifiers can also be used for classification.
  • the images classified as dirty can be cleaned by a cleaning module or by other modules such as an insufflator to remove smoke.
  • the soiling can be divided into further categories or classes depending on the degree or type of soiling as follows: a) slightly soiled b) more heavily soiled c) very heavily soiled d) soiled with blood e) soiled with grease
  • fables and/or labels it is possible to control which task is used to train the model of the self-learning module.
  • a model such as an artificial neural network can learn accordingly.
  • the self-learning module is based on mechanical remoteness, with a pre-classification being carried out by an expert or several people and the subsequent quality-value-dependent classification being carried out by a neural network.
  • the classification of digital images and the assessment of the quality of a partial image or the entire image represents a technical application of mechanical distances.
  • the classification algorithms used also serve to support the technical purpose of image optimization.
  • algorithms derived from the training data for the model of the self-learning module can be checked and corrected by at least one expert. In this way, an additional assessment can optionally be used during the pre-classification by at least one expert for monitoring.
  • an individual or a team of experts can label raw data or training images such as operation videos and operation images via a suitable interface such as a user interface.
  • ImageNet can be used to label a database of endoscope images.
  • the endoscope images can be labeled, for example, via a web service, with a corresponding web labeling tool being provided for all employees involved.
  • the endoscope image experts thus provide labels for the training of the model of the self-learning module which identify the classification or category into which the respective training image falls.
  • experts, especially in an open network can carry out an override, for example in the training or learning phase of the model, in order to carry out corrections at an early stage.
  • open neural network in the context of this disclosure defines an artificial intelligence network, wherein a third party such as e.g. an expert corrects the learning or training process if necessary, so that supervised machine learning takes place.
  • a third party such as e.g. an expert corrects the learning or training process if necessary, so that supervised machine learning takes place.
  • an external expert can provide the neural network with the correct output for each input, thus minimizing possible errors and deviations during training.
  • the term “closed neural network” in the context of this disclosure is understood to mean a neural network that learns unsupervised (“unsupervised learning”). Corrections are made automatically, i.e. input data is divided into classes without external influence, for example.
  • the self-learning module has a model with a neural network based on machine learning or deep learning as the model to be trained or trained, the neural network being selected from the group comprising: an open neural network, a closed neural network , a single-layer neural network, a multi-layer feedforward network with hidden layers, a feedback neural network, and combinations thereof.
  • the above neural networks are characterized by their ability to learn, where they can learn a task such as classification based on training data. Neural networks can find image structures in image data and in this way recognize patterns. With the instrument of artificial neuronal networks, preferably through the classification of image data, essential features can be extracted and functional relationships between the image structures can be approximated, so that a quality value can be determined.
  • Open or closed artificial intelligence networks can be used, which use both supervised and unsupervised machine learning methods.
  • a mixed form of these methods a so-called “semi-supervised” learning experience, can be used in order to keep the costs caused by an expert low and at the same time to obtain smaller data sets compared to unsupervised training of the self-learning module.
  • labels can be used for training data for the self-learning module and thus for neural networks.
  • the learning process is either supervised or only partially supervised (“semi-supervised”).
  • the at least one image structure represents at least one object to be examined, which is imaged in the captured image; pollution, deterioration or smoke detection based on a change in the image structure.
  • an object can be recognized by comparing the image structures. In this way, objects, organs, tissue structures to be examined or other structures can be recognized.
  • a classification based on machine learning is carried out, whereby the trained model can recognize if the recognized image structure is affected by smoke, condensate or pollution or other disruptive factors has changed. On the basis of the change, a smoke event can then be detected, for example, or a degree of soiling can be classified using the calculated quality value.
  • a captured image can be subdivided into image sections in the pre-analysis method step and/or a captured image can be subdivided into individual regions based on pixels based on analysis values, with the quality value for each of the image sections and/or image regions can be determined.
  • the cleaning module is designed to activate regionally targeted cleaning depending on a definable weighting of regions and/or depending on a permissible percentage of contamination, with the region of the distal window that can be assigned to the image center being cleaned in a targeted manner can be.
  • the cleaning can be carried out specifically for these regions/sections and thus the efficiency of the cleaning can be optimized.
  • the center of the image is considered to be the preferred region to be cleaned, since this is where the object to be examined is usually located and the user therefore has a particular interest in an optimal image being provided. If a stereo endoscope is provided, one or two distal windows and thus the associated image acquisition devices can be cleaned, depending on how dirty they are.
  • a pulse of a fluid jet with a duration of a few milliseconds to a maximum of 1000 ms and under high pressure (p) of a maximum of 3 bar is applied to at least part of the distal window of the image acquisition device and/or to one or more Distal illumination windows of light sources specifically aimed for cleaning.
  • the cleaning can take place in a targeted manner for specific parts or the entirety of the at least one optical window of an image acquisition device.
  • the light source or lighting device is advantageously also cleaned in order to extend the service life and to optimize the luminous efficiency of the light source.
  • control instruction or a corresponding signal for cleaning can advantageously be communicated to another unit. For example, an insufflator can be informed that the purge has been activated so that the insufflator can adapt to the associated pressure change.
  • the unit that can be activated for image optimization is selected from the group comprising: one or more light sources of the endoscope for changing the illuminance; at least one filter for optimizing a contrast; Auto focus system to adjust the sharpness of the image; color spectrum changing unit; end lens heating; monitor; user dependent and/or endoscope or light guide dependent customizable software; Room lighting of the operating room and combinations thereof.
  • the image can advantageously also be optimized by operating theater units other than one or more cleaning modules.
  • wavelength ranges can be controlled for heating in order to reduce or remove the formation of condensation detected by the image classification by the self-learning module. If an autofocus system is activated as a unit, the sharpness of the image can be adjusted with optimized parameters as an output from the trained model.
  • the determination of a quality value includes a blindness value due to smoke or condensation, with the control unit comparing detected indicators for smoke or condensation with indicators from an indicator collection stored in the reference database.
  • the self-learning module is thus designed to use a so-called blindness value to determine impaired visibility due to smoke or condensation.
  • interference caused by the visual impairment can be automatically recognized and eliminated or at least reduced by activating a unit such as a heating unit or a cleaning module.
  • the quality of the image information contained in the captured image can be improved.
  • the method further comprises a control instruction for activation to a smoke evacuator and/or an insufflator or a scavenging pump in order to optimize the image by smoke evacuation; and/or to optimize the fluid management in the body cavity to be examined with the endoscope by means of the insufflator or the flushing pump as a function of fluid flows during smoke evacuation or cleaning.
  • the intracorporeal pressure in the body cavity is measured with a pressure sensor and the control unit controls event and/or time-controlled at least for the duration of a cleaning the intracorporeal pressure by regulating the at least one pump or regulating a pressure regulator in such a way that the intracorporeal pressure does not exceed a predetermined maximum limit.
  • the cleaning module is designed to adapt the type of cleaning by changing the cleaning parameters depending on the database classes and/or the degree of soiling, with one or more cleaning parameters being selected from a group comprising: Type of fluid, fluid volume, fluid volumes, fluid speed, pressure, pulse duration, number of pulses, pulse-pause ratio and/or total cleaning duration.
  • cleaning is carried out using a cleaning module by applying high-pressure fluid jets to the surface to be cleaned with the aim of at least reducing the substance or vapor to be removed and adhering to the surface of the at least one distal end window of the endoscope.
  • Suitable fluids are preferably water or sodium chloride or another physiological liquid.
  • a gaseous fluid is also chosen so that it is physiologically safe and biocompatible and can be carbon dioxide, for example. Parameters such as fluid volume, fluid speed and cleaning duration can advantageously be adapted to the degree of contamination determined by the self-learning module.
  • a cleaning parameter change or adjustment can take place automatically with the help of machine learning or a deep learning model of the self-learning module.
  • a parameter adjustment with stochastic approximation algorithms (Stochastic Approximation Algorithms or SA) is possible.
  • the self-learning module has a cleaning control algorithm based on an image analysis history Cleaning effectiveness of previous cycles checked in order to select cleaning parameters adapted to the history, preferably based on stochastic approximation algorithms, in order to achieve the highest probability of an image with sufficiently good image quality.
  • the cleaning parameters are adjusted using a deep learning model of the self-learning module or based on a gradual increase or using maximum settings.
  • the self-learning module for building the reference database receives training data of image structures of characteristic images of objects to be examined, preferably organs or tissue structures, and/or smoke via an input interface automatically or by input from a user.
  • the training data can be received cloud-based, for example. If several hospitals are networked, current data sets can be uploaded to the reference database continuously or discontinuously.
  • the following initialization method steps take place before or during the acquisition of image data:
  • the user can flexibly choose between different endoscopes and cleaning modules. Due to the automatic recognition, the parameters stored in the parameter database are called up automatically when the cleaning is activated.
  • the procedure also includes the following steps:
  • a recognition routine in order to recognize structures of a body cavity or a technical hollow space, preferably an area or object to be examined, based on the image data, and continuing the method based on a positive result of the recognition routine or aborting the method based on a negative result of the recognition routine .
  • the connections to the control unit and/or the power supply should be checked in order to then restart the detection routine.
  • the method includes a monitoring routine with the following method steps:
  • the cleaning result is not yet sufficient and the optimal image quality is not achieved, another fluid pulse for cleaning and/or drying is automatically activated until the cleaning result is positive or corresponds to the target values. In this way it can be monitored whether the image quality is optimal (positive cleaning result). If the cleaning process is repeated, the cleaning parameters can be adjusted by reducing the cleaning time or the fluid volume if the degree of contamination is lower. Due to the adjustable cleaning, less flushing amount of gas or fluid is necessary and the required cleaning flush amount can be reduced to a minimum, so that no unnecessary amounts of liquid enter the body cavity.
  • the method further comprises the following method steps:
  • cleaning with liquid is preferred, while in the case of light contamination or fogging of the optical window, activation of cleaning with gas or drying with gas may be sufficient.
  • a control system for image optimization of at least one image captured at the distal end of an endoscope comprising an image capturing device, a control unit with a self-learning module in communication with the image capturing device for receiving the image data and a memory unit.
  • the self-learning module is designed to determine at least one quality value based on training data by comparing at least one specific image structure with image structures in a reference database that is stored in the memory unit.
  • the control unit is designed to automatically output control instructions to a unit of the endoscope or an external unit for activating image optimization on the basis of the determined quality value.
  • control system can execute one or more method steps of the method for image optimization described above.
  • a computer program product which comprises instructions which, when the program is executed by a computer, cause it to carry out the steps of one of the methods described above. Furthermore, a computer-readable medium is provided on which said computer program is stored.
  • a trained model which is trained with training data, and wherein the trained model is designed to carry out the steps of at least one of the methods described above.
  • the training data include input data, which are preferably stored in a memory unit and include image data, optionally image structures, and/or a collection of characteristics that are used to train the model.
  • the trained model of the self-learning module is preferably trained to classify the image data into the following contamination-dependent database classes or categories:
  • a trained model can classify current image data of an examined object reliably and reproducibly, whereby the trained model can recognize when a recognized image structure has changed, for example due to smoke, condensation or dirt or other disruptive factors.
  • a machine-trained model does not depend on the subjective assessments of users.
  • control instructions can be output manually or automatically from a control unit to a unit for activating image optimization. By activation, an image optimization can safely share visual conditions and visual quality during an operation, at least partially automatically.
  • FIG. 1a is a perspective view of a distal end of an endoscope with a cleaning device according to the invention
  • FIG. 1b shows an exploded view and a detailed view of FIG. 1a, showing the nozzle and two fluid channels of the cleaning module;
  • FIG. 2 shows a further embodiment of a distal end of an endoscope with a local control unit
  • FIG. 3 schematically shows an embodiment with a control unit and units in communication with it for carrying out the method according to the invention
  • Fig. 4 shows schematically the data processing
  • FIG. 5 shows a flow chart of a cleaning method according to the invention with an initialization routine
  • FIG. 6 shows a flow chart of an automated process sequence with automated analysis steps and cleaning
  • FIG. 7 schematically shows in a flow chart an automated method for adjusting the cleaning parameters for a liquid fluid or for a gaseous fluid
  • FIG. 8 shows a flowchart for a schematic representation with an example of a classification in combination with a monitoring routine
  • FIG. 9 shows a further schematic flow diagram of the method according to the invention.
  • FIG. 1a is a perspective view of a distal end of an endoscope with a distal window HO, with FIG. 1b showing a detailed exploded view of FIG.
  • the embodiment according to FIG. The components shown show a modular system 100, with the cleaning module 130 being detachably or integrally connectable to the other components and/or the image acquisition device.
  • FIG. 1b shows that the cleaning module 130 has two fluid channels 131, 132.
  • cleaning fluids such as a liquid and a gas can be transported to the optical window 110 separately from each other.
  • Water or saline or other physiological solutions can be used as the liquid.
  • Air or carbon dioxide are often used as gases.
  • the fluid channels are connected to the respective external sources of the fluids.
  • a two-channel nozzle is advantageously used as the nozzle 140 in this embodiment, with the inlets and the spray channels running separately up to the nozzle outlet.
  • the fluid channels 131, 132 can be activated separately and independently of one another, but also simultaneously. Heavy soiling is usually better removed with the help of liquids, while small soiling or condensate on the optical window can be removed with gas.
  • the cleaning module 130 can be implemented with a single duct nozzle in combination with two supply ducts (not shown) or with a single duct nozzle in combinations with only one supply duct (not shown), which then intermittently supplies different cleaning fluids.
  • FIG. 2 shows a schematic representation of a further embodiment of a system 100 for optimizing an image that is captured through an optical window 110 at a distal end of an endoscope by means of an image capturing device 115.
  • the system includes a control unit 120, which can be provided locally as a camera control unit 116 (CCU).
  • CCU camera control unit
  • a storage unit 122 can be provided, which is also arranged locally in this embodiment.
  • the control unit 120 and the memory unit 122 may not be located locally at the distal end of the endoscope, but may be made available externally of the endoscope via cable or wirelessly.
  • the local or external storage unit 122 which stores a large number of image data already captured by this Image capture device 115 (see reference numeral 310 in FIG. 2) or other image sensors, such as those used in stereo endoscopes (not shown), can be transmitted to the control unit 120 for further processing by at least one processor 121.
  • Processor 121 may include one or more microprocessors or graphics processors and may be used for image analysis 124 and optics recognition 123 .
  • the optics recognition 123 can be used as an initialization routine in order to recognize the connected image capturing device 115 and depending on the recognized
  • Image acquisition device 115 stored cleaning parameters 128 to the
  • Cleaning parameters 128 such as fluid volume V, pressure p and pulse or cleaning duration t are stored in memory 122 for cleaning module 130 .
  • the cleaning parameters 128 can include other parameters such as number of pulses, pulse duration t, total cleaning duration t, pulse-pause ratio, type of fluid, fluid volume V, fluid volumes (amount of liquid or gas) and/or fluid speed.
  • the pressure p and the pulse duration t of a fluid pulse or a plurality of pulses in the cleaning module 130 can preferably be optimally controlled with the aid of the cleaning parameters 128 .
  • very short fluid pulses with a duration in a range of only 200-1000 ms can only be reliably implemented with the help of an automated control system. This allows the system to be controlled much more precisely than manual activation and deactivation by a user.
  • FIG. 2 as in FIG. 1, an exemplary embodiment of a cleaning module 130 with two separate fluid channels 131, 132 can be used.
  • Other cleaning modules 130 such as with only one fluid channel 131, which can convey both liquid and gas in one channel to the cleaning nozzle 140, can also be connected to the control unit 121 and the system and controlled.
  • the geometry of the nozzle 140 can be configured such that it is positioned at a predetermined distance relative to the optical window 110 and/or to at least one further window for the illumination devices 111 and 112 such that the fluid jet covers at least the entire external geometry of the one optical window 110 or from at least two windows (not shown). This is indicated schematically with the aid of the dotted trapezoidal area.
  • the cleaning module 130 and the nozzle 140 are designed in such a way that the side lighting devices 111 and 112 can also be cleaned efficiently (not shown).
  • FIG. 3 shows a schematic representation of a further embodiment of a system and method for optimizing an image or image data 310 that is captured by an image capturing device 115 at a distal end of an endoscope using at least one suitable image sensor or at least one camera.
  • Image data 310 of at least one extracted individual image can be input to the control unit via the image acquisition device 115 .
  • Further entries 300 or input signals are possible and can preferably be entered by a user via an interface 360 via a suitable interface.
  • the interface 360 can be in the form of hardware and/or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interface 360 it is also possible for the interface 360 to include its own integrated circuits or to consist at least partially of discrete components.
  • the interface 360 can be one or more software modules which are present, for example, on a microcontroller alongside other software modules.
  • a connection to a cloud can be established, for example (see also FIG. 4).
  • the central module of the system for image optimization is a self-learning module 320.
  • the self-learning module is based in particular on artificial intelligence.
  • So-called labels 332 are used as input 300 in the exemplary embodiment shown. These can be entered via interface 360.
  • the labels 332 are preferably understood to mean data pairs.
  • Label 322 can be understood, for example, as meaning that a known input signal, and thus an input 300, can be assigned to an output signal and a corresponding control instruction or output 351, 353, 354, 355.
  • input signals so-called labels 332, ie inputs 300, and known outputs 351, 353, 354, 355 etc. labeled by a user or expert can be specified.
  • the self-learning module 320 or the model 322 to be trained contained therein learns in such a way that with an input 300 with labels 332 due to the data processing, a control instruction or output 351, 352, 353, 354, 355 to a unit for image optimization is generated.
  • the labels 332 can either be generated by a simulation or provided by experts using an in-house label tool 333, as shown in FIG.
  • the labels 332 can be manually generated using large databases of image data already acquired with endoscopes or using a selected subset of the available data.
  • the labels 332 can also be produced by companies that specialize in the production of such labels 332 and can draw on the relevant specialist knowledge.
  • Images or the associated image data 310 of the image acquisition device 115 of an endoscope are provided as the basic input 300 for the self-learning module 320 .
  • image data 310 is extracted from a single image or at least a subset of the image data 310 from a large number of consecutive images. This extracted single image, as well as the labeled or unlabeled image data, can be used as training data for the self-learning module 320.
  • Image data history as well as labeled image data may be stored in memory 122 (see labels 332 as input and arrow to memory 122).
  • the model 322 can train itself automatically on the basis of the combined information from currently recorded image data 310, from which a single image 311 and/or a subset such as image sections are extracted, and the stored training data 331.
  • the information of the image 310 that was extracted in step 311 is preferably edited.
  • processed information is understood to mean special information about the current imaging.
  • the image data can be checked according to different criteria and, for example, object recognition can be carried out. These are, for example, recognized image structures, such as structures of tissues or organs, which are detected by the image acquisition device 115 were recorded. However, information such as brightness or other environmental conditions can also be obtained from the individual image. The information obtained can be stored in memory 122 temporarily or long-term.
  • the trained model 322 is designed and trained so that the extracted individual images 311 or individual image sections or pixels are evaluated as to whether dirt is present and how severe this dirt is.
  • a classification 315 into appropriate categories is carried out.
  • the classification 315 contains at least two classes.
  • the two classes could include insufficient brightness and sufficient brightness. If the brightness is sufficient, there is no output to activate an image optimization unit. If the brightness is insufficient, at least one output signal or one control instruction for image optimization can be issued.
  • the output 352 is transmitted to the image capture device 115 in order to control the camera control unit (CCU) accordingly.
  • the monitor 364 can be adjusted via a corresponding control signal.
  • the brightness can be improved via control instructions to at least one lighting device 111, 112 by an output signal 351 being output to the respective lighting unit 111, 112.
  • a variety of classifications are possible. For example, a distinction can be made between the categories “sharp 1" and “unsharp 1 ,” and if a blurred image is detected via an output 352, for example, a focus system can be activated by the camera control unit. Additional units such as OP units 367 such as an insufflator or other units located in the OP room that can be advantageously used for image optimization can be controlled via the output 355 .
  • OP units 367 such as an insufflator or other units located in the OP room that can be advantageously used for image optimization can be controlled via the output 355 .
  • a common cause of image distortion or degradation is the presence of contamination, which can be generated, for example, by blood or grease or other contamination factors.
  • the trained model 322 can determine the degree of contamination and can be output to the cleaning module 130 as an activation signal in the form of the output 353 .
  • a liquid pulse or a gas pulse can be activated.
  • an automated, self-learning module 320 can learn dirt detection and the trained model 322 can activate the cleaning module 130 with a specifically aligned nozzle 140 (see e.g. Figure 2) in such a way that not only the optical window HO of the image capturing device 115 but also the lighting devices 111 and 112 to be cleaned. If at least one lighting device 111, 112 is also cleaned, the service life and the light yield can advantageously be increased at the same time.
  • the cleaning can be done automatically by the trained model 322, so that the user is not disturbed during his examination or work.
  • the cleaning time is optimized in such a way that the user's vision is not impaired or only impaired for a very short time. This is preferably done by setting high pressures, which can be set for a short time, e.g. for a maximum duration of 1000 ms. Maximum pressures of up to 3 bar ensure efficient cleaning, whereby, as with a windscreen wiper, the impairment of visibility can only be set very briefly and is therefore hardly noticeable.
  • an expert or the user can also release the cleaning manually or check the dirt detection routines.
  • the digital image evaluation using the trained model 322 can be used to trigger the cleaning semi-automatically or fully automatically. The longer the Model 322 is trained, the more reliable the classification results are and the cleaning function no longer needs to be manually enabled.
  • FIG. 4 schematically shows an embodiment of data processing.
  • the database 422 which is centralized in this example and can be made available in the form of a cloud, stores the raw data 410 for the process.
  • the input data is shown to the centralized database 422 by means of arrows.
  • camera data 361 can be imported.
  • This camera data 361 or image data 310 can be made available by a plurality of hospital networks 371 and 372 .
  • only a single camera module or image acquisition device 115 can make the raw data 410 available.
  • automatic additional data 362 can be imported.
  • This data 362 can contain additional information from the monitoring system or robot systems used. Such additional data 362 can be related to the operating room and can indicate the temperature of the operating room or the brightness of the operating room.
  • patient data 363 such as vital data but also user-specific data can be made available for the raw database 410 . All data can be stored centrally. Alternatively or additionally, decentralized storage is also possible.
  • a further unit of the network such as a labeling unit 333, can access the raw data 410 of the reference database 422.
  • this labeling unit 333 is a cloud or a web service that is suitable for labeling or identifying the input information.
  • the raw data 410 may be unlabeled surgery videos and may be stored in the centralized reference database 422 .
  • An in-house team or external experts can then use the web labeling tool or unit 333 to label the raw data 422 .
  • the labeled surgical images or other suitable data sets can, for example, define image quality disturbances and quality values.
  • the labeling can be performed by different people 301 302 303 . These can either be experts or users or externally commissioned labeling teams who can assess the quality of the surgical images well and can draw on the necessary expert knowledge.
  • the generated label 332 can be used for training data 331 (see FIG. 3) for the self-learning module 320 and thus for neural networks.
  • the training data 331 or labeled data sets 365 are the input data for the trained model 322 (not shown in Figure 4).
  • a quality value can be determined by the labeling method, which can be used for a later comparison with a specific image structure of a reference database.
  • the learning process in the self-learning module 320 is based on at least one model 322, which in a preferred embodiment is a stochastic model and is based on a probability analysis as to whether the image quality can be optimized.
  • the current image is compared with database classes and a decision is made, preferably with the help of labeled data sets 365, as to whether the image can be optimized is.
  • the decisions are made on the basis of corresponding marginal probabilities and a new database class may also be required and added by the self-learning module 320 .
  • an open AI network based on artificial intelligence can preferably be used.
  • the image data sets can be corrected by the experts 301 , 302 , 303 . These experts can carry out a comparison or an evaluation of the existing image databases with the latest results. In this way, an existing data record is corrected and the reference database can also be expanded to include new data records.
  • the labeled data sets 365 can thus ensure the quality of the classification process.
  • FIG. 5 schematically shows the method steps of an embodiment of the method for image optimization according to the invention.
  • the method begins with step 1 (start) and the control unit starts suitable software or a computer program in order to start image acquisition.
  • step 123 the initialization routine takes place.
  • This initialization routine starts image recognition and/or optics recognition.
  • the software recognizes which optics or camera sensor is connected.
  • the connected lighting devices can also be recognized by the initialization routine.
  • the optics recognition can also determine which type of endoscope is being used and which cleaning modules are connected.
  • decision step 2 it is checked, for example, whether a video signal is present or whether an optical system is connected.
  • process abort 3 is initiated (indicated by the arrow NO in the flow chart). This process termination 3 can be reported to the user via a monitor or an alarm signal, so that the user can take the appropriate steps to correct the problem.
  • the connections to the control unit can be checked or the power supply.
  • the flow chart follows the YES arrow to the analysis routine 124.
  • the analysis routine intervenes self-learning module 320 (see Figure 3) and applies artificial intelligence.
  • the currently captured image data is compared here with image data that has already been saved, and a quality value can be determined based on this comparison. This comparison can also be used to determine an automatic detection of the surgical environment or contamination of the field of view.
  • a query is made as to whether the captured image has recognized an object or not.
  • Object recognition can, for example, determine a technical cavity to be examined, a body cavity to be examined, tissue structures or an operating room environment. If this query 125 is negative (NO with the dashed arrow), the process in step 160 is aborted. Without an object detection, the soiling or another disturbance of the image quality cannot be determined and the method can be ended in step 161.
  • step 125 If the query in step 125 is evaluated positively, for example if contamination or a blurred or too dark image is detected, the YES step arrow leads to a further decision query. A distinction is made here as to whether there is contamination or a fault that can be rectified with the cleaning module or if there are other disruptive factors that cannot be rectified with the cleaning module. If other interfering factors are present, the analysis routine 124 is carried out again (see dashed NO step arrow back to 124).
  • the decision tree is now such that either cleaning 126 with a liquid fluid or cleaning 127 with a gas or both are carried out in succession.
  • gas cleaning 127 can be used for drying.
  • Exclusive drying 127 can be advantageous, for example, if condensate has formed on the optical window. Gas injection in step 127 can dry the condensate and eliminate the image distortion.
  • combinations (not shown here) of simultaneous activation of cleaning with liquid (step 126) and cleaning with gas (step 127) are also possible.
  • the liquid 126 cleaning is only activated for a short period of time, a few milliseconds, so as not to disturb the user during the operation or examination. This so-called wiper effect can only be carried out by software control, since such short periods cannot be set manually.
  • the monitoring routine 129 is started.
  • the cleaning can be carried out depending on the degree of contamination and can be optimized by the monitoring routine 129 .
  • heavy contamination is cleaned with liquid (step 126). If the optical window is slightly soiled or fogged up, cleaning with gas and thus drying 127 is sufficient.
  • the cleaning steps are activated either automatically or after approval by the user.
  • the monitoring routine 129 checks whether the field of view and the image quality are optimal again. If this is the case, it goes back to the analysis routine 124 (see arrow YES).
  • a closed control circuit is provided for the monitoring routine 129, which checks whether or not predefined target values for the image quality are being achieved by the activated cleaning 126 or drying 127 . The safety for the patient can be increased by the monitoring routine 129 . If the cleaning result is not optimal, a repetition of cleaning 126 or drying 127 can be initiated first. If the monitoring routine 129 determines that the quality of the image is not improved by the cleaning 126 or 127, the optimization method can be aborted in step 160 by means of the cleaning module (see end 161).
  • FIG. 6 shows a further embodiment of the method according to the invention with a schematic flow chart.
  • the flowchart is divided into five areas, indicated by columns: the first input area 300, the second analysis area 301, the third area of process implementation for optimization, preferably by cleaning and the fourth area of the optimization result with monitoring routine 129 and parameter adjustment 138. Finally, the possible process termination 160.
  • step 401 the method is started in step 401.
  • a video signal from an endoscope can be made available here as an input signal.
  • step 402 it is checked whether a video signal is present. Based on this check, either a positive result (YES) or a negative result (NO) is obtained. If this query 402 results in a NO, the process in step 403 is aborted. Since there is no video signal when the process is aborted 403, it should be checked after the process aborted 403 whether all connections exist and whether there is a power supply.
  • step 311 At least one image is extracted. i.e. individual images are extracted from the video signal.
  • the images can optionally be divided into image sections. In this way the image can be broken down into different sections, e.g. A, B, C, where e.g. C can represent a central region of the image.
  • step 313 there is a pre-analysis of the images or if the step
  • the pre-analysis, the images are pre-processed and compared to a database stored in memory 122 .
  • a comparison of at least one specific image structure with image structures in a reference database is preferably carried out. Different criteria can be checked and an object can be recognized or actual data recorded.
  • the classification 315 into different classes or categories can take place.
  • the image classification is based on a quality value that can be determined using a training-based model (see reference number 322, for example in FIG. 3).
  • This model 322 is part of a self-learning module 320 in a control unit 120 of the image optimizing system and works together with the reference database contained in the memory 122 .
  • This storage unit 122 can store the history save from previous image acquisitions. Labeled video images (see 365 in FIG. 4) of an endoscope can also be stored in the memory 122 in order to use them to determine the quality value. In this way, a captured image can be qualified with regard to image quality using stored parameters or identifiers.
  • the classification history is stored in the memory 122 and is continuously supplemented with the currently recorded image data. Not only are the captured images from the previous steps saved, but also the associated evaluations of the video signals. Storage in storage unit 122 can be local or decentralized.
  • the so-called image history can be used for continuous documentation and the model 322 to be trained (see, for example, FIG. 3) can be continuously optimized.
  • artificial intelligence with a deep data model can be used, for example.
  • individual image sections or pixels can be evaluated as to whether dirt is present and how severe the dirt is.
  • the existing database classes or categories are used. For example, a distinction can be made between class 1 “OK”, i.e. “optimal images” and another class 2, i.e. “dirty images”. Other classes such as well-lit images and poorly lit images can also be stored in the database class. Additional information about, for example, smoke or brightness or focus settings can be used for the following method steps and control instructions or output 353 or activation signals 135 in order to optimize the image. If smoke is detected, for example, communication can take place with at least one other OP unit 351 in order to extract the smoke.
  • the analysis 124 evaluates the type of pollution based on the pixels and optionally based on the position in the image. If soiling is detected in class 2 "soiled pictures", a distinction can also be made as to whether this soiling can be cleaned or not. In a preferred embodiment, in analysis step 124, for example, the degree of soiling can be determined based on an evaluation of the data stored in memory 122 Image history can be determined. In step 124, an overall evaluation of the image quality is preferably carried out as a function of permissible percentage “soiling”. Image edge areas can be weighted less than the image center.
  • step 125 it is determined whether or not an object has been recognized. In addition, as soon as an object or an image structure has been recognized, it can be determined whether or not there is contamination.
  • the type and degree of soiling has already been determined in advance by a suitable classification 315 with the aid of a comparison in the classification step 315 with the reference database using algorithms in the self-learning module 322 of the control unit 120 (see FIG. 4). in step
  • step 125 If it is determined in step 125 that the quality value is already optimal, an optimization, for example by carrying out a process 835 such as cleaning, is not necessary. Since the cycle for optimum image quality is completed here, the method goes back to one of steps 311 or 312. A non-existent contamination is indicated schematically with the arrow NO, which leads from step 125 to steps 311 or 312. A restart at 311 can occur continuously or at specified time intervals.
  • a cleaning module 130 can be activated in order to carry out cleaning 126 or drying 127 using a fluid.
  • the process implementation 835 of the cleaning process can be activated automatically by the self-learning module 320 or alternatively, after the self-learning module 320 has recommended cleaning, activated manually. The cleaning can be done via a nozzle on the one hand with liquid
  • the fluid in the case of larger contaminations, the fluid is liquid and the cleaning can be carried out with at least one fluid pulse with a duration of only a few milliseconds up to a maximum of a thousand milliseconds.
  • an activation signal 135 can be used to communicate 351 with another device unit.
  • Another piece of equipment may be an OR equipment unit 367 (see FIG. 3), such as a smoke evacuator, which is activated when smoke has been detected by the previous steps.
  • an insufflator pump or other operation units 367 can be controlled in order to obtain an optimal cleaning result or the desired image optimization.
  • the cleaning result is first compared with a database in this area. This takes place in method step 129 which includes a monitoring routine 129 . With the help of the monitoring routine 129 the cleaning effectiveness of the previous cycles can be checked based on the evaluation of the image history from the memory 122 . In the case of an open, artificial intelligence network, the comparison with the reference databases can be corrected by an expert if necessary. The cleaning results or optimization results can be assessed by a team of experts or a single expert and the algorithms used and the trained model can thus be checked.
  • a model-based pilot control can also be set so that, for example, definable desired values of the pressure in the body cavity are not exceeded.
  • a process optimization and/or a parameter adjustment 138 takes place before the process is restarted (repeat steps 311-315, 124-125).
  • a model to be trained can be optimized in the training phase in order to achieve the desired optimal results.
  • the cleaning parameters can be adjusted, for example, by gradually increasing the fluid volumes in step 138 .
  • the self-learning module 320 can shorten the duration of the cleaning by checking the cleaning result and adapt the cleaning parameters in step 138 such that the cleaning duration is only between 200 ms and 800 ms, for example.
  • the cleaning time can be shortened depending on the degree of contamination and while increasing the pressure.
  • the pressure or the amount of fluid in the cleaning 126 has to be adjusted sufficiently that the contamination can be removed efficiently.
  • the pressure curves are automatically optimized in the self-learning module 320 by parameters being changed in step 138 by the learned model 322 . In this case, the criterion should also be met that there is minimal fluid consumption.
  • the main criterion is cleanliness and complete removal of dirt.
  • a secondary criterion is the minimum cleaning time and minimum fluid consumption.
  • the parameter adjustment 138 is preferably carried out in such a way that the main criteria and preferably also the secondary criteria are met with a high degree of probability.
  • the aim of the model 322 to be trained is therefore an optimal removal of the dirt with a very short cleaning time at the same time in order to disturb the user as little as possible.
  • the process is based on probability considerations as to whether the image quality can be optimized.
  • the above criteria should be met with a high degree of probability.
  • the procedure for image optimization by changing parameters can be used for different image classes or Degrees of contamination may vary and may be stored in a record in a parameter database in memory 122.
  • the self-learning module 320 is configured in such a way that an initial parameter setting and parameter adjustment 138 can take place automatically.
  • the cleaning parameters can be assigned and set using the image analysis 124 .
  • the highest probability of achieving an unpolluted image with sufficiently good image quality for the user can be achieved.
  • the degree of soiling can be determined in relation to the image history. In this case, the degree of soiling may no longer be present or may be less or have remained the same or have deteriorated. Depending on the degree of contamination, a gradual increase can take place, for example an increase in the duration of the cleaning pulse or the pressure used. On the other hand, at high pollution levels, maximum settings can be used to optimize the image. These possible parameter adjustments are marked with reference number 138 in the flow chart. The adjusted parameters can be output to the cleaning module.
  • the cleaning can be repeated with changed parameters.
  • the method is continued back in the area of analysis 301 to the step 311 of extracting the image sections. This is followed by the classification 315 and further analysis steps, which lead to the contamination detection in step 125 in order to decide whether or not a positive change can take place through cleaning.
  • the cleaning module 130 has been activated, the cleaning result is again checked in step 129 . If the result is very good, the cleaning process can be stopped. This is indicated with the YES arrow to the end 161 in the process abort area 160 . On the other hand, the analysis method steps in area 301 can be repeated again.
  • FIG. 7 schematically shows an automated flowchart in particular
  • Method for adjusting parameters for example in method step 138 of FIG. 6 or can be executed by means of the system shown in FIG.
  • cleaning parameters 128 for a two-channel cleaning module 130 designed for cleaning with both a liquid fluid and a gaseous fluid are adjusted in order to perform optimal cleaning 126, 127.
  • a three-channel cleaning module 130 can also be provided, or two cleaning modules 130 in order to be able to optimally clean two distal windows of a stereo endoscope.
  • the cleaning parameters are selected or adjusted as a function of the cleaning module 130 used.
  • Essential parameters are the amount of liquid Vn, such as a water amount or physiological sodium chloride solution from a liquid channel 131, an optimal pressure p and a time parameter t, such as the cleaning duration t or intervals.
  • Gas can be used with the second fluid channel 132 for cleaning or drying, with a gas quantity Vc>as, the pressure p and the duration t of the gas pulse being shown as an example.
  • the self-learning module 320 is designed to determine contamination and preferably a degree of contamination. If contamination is determined in step 125, a corresponding output signal 353 can be output to a cleaning module 130.
  • a "Ctrl" control instruction activates cleaning with a liquid 126 and/or gas 127 via an output 353.
  • the parameters 128 for cleaning can be adjusted.
  • the parameters 138 can also be adjusted after the cleaning result has been determined.
  • the optimization can be carried out with the aid of a classification 315 in a loop. This is shown schematically with a tree diagram and arrows and is described below.
  • a query is first made as to whether or not the image has changed after cleaning.
  • the cleaning results are determined with the self-learning module 320. Depending on a change, the cleaning result can be divided into four classes, for example:
  • Class 1 includes a good result i.e. "OK" after cleaning by liquid or gas, so here the process can be terminated aborted in step 161.
  • Class 3 corresponds to a positive cleaning result, i.e. a change (indicated by the inequality sign , ") for the better "+”, in other words an optimization of the image took place.
  • Class 4 corresponds to a cleaning result with changes the picture is worse than before.
  • step 161 “End” the cleaning process is aborted in step 161 “End” since no further cleaning is necessary or the cleaning cannot be successful.
  • other optimization methods can be determined based on pixel evaluations and parameters such as color, resolution, light, contrast and/or sharpness can then be adjusted.
  • a parameter adjustment 138 takes place in the classification into class 0 and class 3 if a positive change is determined which is not yet sufficient. Since cleaning and adjustment of the parameters in the cleaning module is necessary here, a parameter adjustment 138 takes place in the loop, with parameters 128 of the cleaning module 130 being adjusted for liquid or gas by changing the fluid quantity or the pressure or the pulse duration t.
  • FIG 8 shows a flowchart for a schematic representation of, for example, a further embodiment comprising an application of a trained model 322 (step 5) and a monitoring routine 129.
  • the video signal is first started in step 1.
  • the process starts at step 1 and it is checked in the subsequent step 2 whether a video signal is actually present. If this is not the case, the process proceeds according to the “NO” arrow to process abort 160.
  • the correct connections can be checked and then a restart can be started at step 801 from the beginning.
  • step 2 If the query in step 2 is positive and the answer is "YES". At least one image is captured. A plurality of images i, i+1 and i+2 are shown schematically in FIG.
  • image i is extracted (step 4). This corresponds to the general method step of extracting an image 311.
  • the trained model in step 5 can then be applied to the extracted image.
  • the classification takes place, which includes at least three classes (see 501, 502, 503).
  • the captured image i is classified into three different classes.
  • class 1 is determined, with the image being recognized as not being soiled and thus being classified as “OK”.
  • Step 502 is for Class 2 where visibility is not OK and there is dirt or other impairment.
  • This category is classified as "non-cleanable" because in class 2 the impaired visibility or soiling cannot be remedied by cleaning with liquid and/or gas. This can be the case, for example, if there is an incorrect focus setting.
  • the camera's control unit can be controlled, for example, to adjust the focus for image optimization. This is shown schematically with the arrow pointing to the CCU (Camera Control Unit). Alternatively or additionally, depending on the fault, other equipment units, such as a monitor 364 or an OP equipment unit 367, such as an insufflator. If, for example, a blurred image is determined in the classification step 502, the camera focus can be adjusted by the CCU in such a way that a sharp image of the object to be examined is produced.
  • step 5 All information acquired during the application of the model 322 (step 5) and thus e.g. in the classification steps 501 or 502 by the self-learning module 320 can be stored in the memory in the storage unit 122 in step 7.
  • the next image i+1 is then extracted in step 311 and the analysis process starts again at step 2.
  • the captured image can be assigned to a class 3 after the analysis steps in step 503 .
  • the class 3 means that the image is dirty and can be cleaned by a cleaning system or cleaning module 130 (this is shown here schematically with a "not OK" and an arrow to 130 i.e. the cleaning module).
  • the classified images can now be further assessed and analyzed. In doing so, the contamination can be checked, prioritized and/or evaluated.
  • the image can be divided into sections in order to be able to localize the respective contamination.
  • tissue structures, objects, organs or also other objects to be examined can be recognized and differentiated from dirt or smoke. More classes than those given above can also be added, either by an expert or the self-learning module.
  • a further analysis can be carried out in step 8.
  • an evaluation of the image history can take place, and the presence and type of soiling can be determined.
  • Many categories are conceivable here and not just the ones given above.
  • the degree of soiling can be further graded and categories such as slightly soiled "x", more heavily soiled "xx” or very heavily soiled "xxx” can be specified.
  • Other categories are also conceivably soiled with blood, fat or other disruptive factors such as condensate or smoke.
  • a weighting of the image areas can also take place through a more extensive analysis, which the trained model can determine itself.
  • a permissible percentage of contamination can be assigned to each image area.
  • a preferred embodiment of a self-learning method is that a higher priority is assigned to the center of the image and better quality values than outer areas are required here.
  • method step 8 a decision is made as to whether cleaning is necessary or not. If no cleaning or optimization is necessary, the cycle for optimal image quality is aborted and ended.
  • the method can be repeated continuously at step 2 or started again after specified time intervals by a restart 801 .
  • an additional step for continuous process optimization which is carried out with the help of experts, preferably takes place before the restart 801 . In this way, the process can be continuously optimized.
  • step 8 If it is decided in step 8 that cleaning is to take place, the cleaning module 130 is activated via an activation signal or output signal 353. After the activation of the cleaning step, a comparison with the database can be made using a monitoring routine 129.
  • All results can be stored in a memory 122 in step 7. If a soiled image is determined as the result after step 6 or after step 8, the cleaning parameters are adjusted, preferably with the model 322 based on an open neural network with the aid of classification steps and an optimization 9 in a loop. This principle has already been described schematically and in more detail for FIG. 7 in connection with a parameter adjustment 138 .
  • FIG. 9 shows a further schematic flow chart of the method according to the invention for image optimization.
  • the process begins at the point labeled START or 801. If a video signal is present, data acquisition can begin at step 310.
  • images are extracted. After the extraction 311, individual images are passed on, which can also be broken down into image sections.
  • the extraction 311 is followed by data processing, with the actual data set being determined and the images being able to be pre-processed.
  • the data is evaluated by means of a data analysis.
  • This data analysis 124 takes place with the aid of a self-learning module 320 and a reference database which is stored in the memory 122 .
  • the self-learning module is designed to determine a quality value by comparing at least one specific image structure with image structures in a reference database. The interaction with the reference database during the quality value determination is indicated by the double arrow between the data analysis 124 and the storage unit 122 .
  • the actual status found can be saved in a temporary database "122tmp". If the result is that no optimization is possible or no cleaning is required, this temporary image can later be deleted again. However, if dirty or otherwise impaired images are determined by the analysis, it is advantageous for this data to be stored in the reference database in memory 122 as training data for a model 322 of the self-learning module 320 .
  • the reference database in the storage unit 122 consists of a plurality of databases such as image parameter data sets based on an image database and a parameter database such as cleaning parameters or monitor parameters. Good or dirty images can be classified in the reference databases of the storage unit 122 on the basis of image section data, pixel evaluation, contrast, color, sharpness, resolution, brightness, detection of smoke and/or objects.
  • additional information or additional evaluations 366 is advantageous.
  • a possible piece of additional information 366 is, for example, a captured image with smoke.
  • a large number of objects to be examined can also be stored as additional information: tissue, veins, tendons or bones.
  • Additional information can also Affect lighting condition and relate, for example, to certain wavelengths of light. Any piece of information is suitable as additional information if the goal of optimizing the image quality of the captured images of the endoscope unit is met. Optimization can take place not only through a cleaning process, but also through other optimization processes, such as changing the settings for display on a monitor such as an LCD display.
  • the structures to be examined in the field of view can, for example, be recognized better or more differentiated if certain fluorescence imaging techniques are used.
  • fluorescence imaging techniques For example, the use of indocyanine green (ICG) using light with wavelengths in the near infrared (NIR) can make anatomical structures more visible.
  • the light can be set optimally in the appropriate wavelength by means of the control unit 120 .
  • 3D technologies can also be used and parameters optimized for this can be adjusted. If, for example, a fluorescence technique is used, the wavelength range of the lighting device can be adjusted accordingly.
  • Corresponding video signals are then also stored for the fluorescence technique and a database of the additional information 366 is made available in the memory 122 for this special technology. Said and other additional information can be used to improve the image depending on the technologies used.
  • a further piece of additional information can contain parameters in order to be able to counteract color distortion in the image reproduction of a monitor.
  • Correctly set color spaces for example, are a criterion for good, true-color image reproduction on the monitor. Suitable parameters here are brightness, color saturation settings or focus settings. Since the image quality can also be modulated by the display or the monitor, it is important to save and adjust the optimal settings here as well, depending on whether changes in the basic conditions have taken place.
  • a monitor can also be adapted to the user. For example, if the user wears glasses or has a red-green weakness, user-specific settings can be saved as additional information and activated when the user is recognized by stored data (see reference number 363).
  • the additional information can also relate to an endoscope unit comprising an electronic image acquisition device such as CCD or CMOS systems or at least two image acquisition devices for stereo systems, which are arranged at the tip of the endoscope.
  • Decisive parameters here are optimal light intensity, depth of field and contrast, as well as possible enlargement options.
  • the main task here is to prevent or eliminate faults such as dirt or condensation and to reproduce the recognized surfaces or structures of internal organs with the highest level of fidelity.
  • the trained model 322 can now decide in step 825 whether the captured image can be optimized or not. If the image is not optimizable, it returns to START at step 801 and the process begins again.
  • the decision path does not follow the NO arrow, but rather the YES arrow in order to activate the next method step 835 of the process execution.
  • At least one device unit from a large number of device units such as the cleaning module 130, a monitor 364 or an operating room device 367, is available for activating an image optimization.
  • the plurality of device units are in communication with both the storage unit 122 and the control unit 120 (not shown here). Control instructions are transmitted to at least one of the device units depending on a quality value determined in the analysis, in order finally to carry out the optimization in step 835 .
  • An example of optimization is the activation of an OP device 367 such as an insufflator or the activation of at least one lighting device 111 or 112.
  • the light intensity can be increased or the lighting conditions can be changed by adjusting the parameters of the lighting device.
  • cleaning can be activated by a cleaning module 130 in order to remove or at least reduce a detected contamination on the field of view or on an illumination device 111 .
  • other process executions 835 that can be activated are possible, such as adjustments to the monitor parameters of a monitor 364. After the process execution (step 835), the process returns to data acquisition 310 and begins the individual steps of data preparation (see step 311) and subsequent data assessment (see step 124) again.
  • a large number of databases can be stored in the memory 122 corresponding to the device unit to be controlled.
  • there are appropriately stored adapted cleaning parameters such as the gas or liquid flushing quantity, the pressure, the pulse duration, the intervals between the pulses and the pulse pause ratio or others.
  • the following criteria can be stored for parameter optimization in the memory unit or in the self-learning module.
  • the main criterion for parameter assignment and optimization is cleanliness and image quality, i.e. the most complete elimination of contamination.
  • a secondary criterion for parameter assignment and optimization is the minimum cleaning time. The user should be disturbed as little as possible, analogous to a short wiper movement.
  • Another secondary criterion is the minimum fluid consumption, e.g. of liquid such as water or sodium chloride or other physiologically well-tolerated fluids. Finally, a minimum gas consumption can enter into the parameter formation.
  • the self-learning module is designed in such a way that the parameters are adjusted, such as an increase in pressure or a lengthening of the pulse, preferably in such a way that the main criteria and secondary criteria are met with a high degree of probability.
  • the type and procedure for optimization ie the amount and sequence of parameter changes, can be different for different image class contamination levels.
  • further data sets or a further parameter database can also be assigned in memory 122 for the individual image classes or degrees of soiling.
  • the method is based on probability considerations and the trained model is based on a stochastic model. Other possible models can serve as a basis for the parameter adjustment, such as an empirical model, with measurement data from at least one sensor being included.
  • the images can also be trained by a suitable model itself, labels or identifiers for the to generate the raw data provided.
  • labeled image datasets can facilitate and accelerate training of the training model.
  • experts can still create labeled images.
  • the trained model is based on an open neural network, corrections can be made by experts.
  • labelling an expert or another appropriately trained user can mark an existing image from the raw data with a mark that indicates a need for optimization or with a symbol like OK, which means that no optimization is necessary.
  • These labeled images can then be used as training data for the model to be trained.
  • at least one set of training data preferably several sets of training data, can be prepared and then made available for learning by the model 322 to be trained of the machine learning device (see self-learning module 320 e.g. in FIG. 3).
  • the learning phase of the model can be advantageously shortened,
  • the training data generated by machine learning is in turn stored in the reference database.
  • the self-learning module 320 can form a trained model 322 by means of a neural network, such as a multi-layer neural network, which has image data with corresponding markings, identifiers or labels as the input layer and outputs classified images as the output layer.
  • a neural network also has an intermediate layer and can use a convolutional neural network (CNN), for example.
  • CNN convolutional neural network
  • the preferably labeled training data is stored in the storage unit 122 and the trained model 322 of the self-learning module 320 learns using this training data 331.
  • the model 322 trained with training data 331 performs based on an image captured by the image capture device 1115 (see step 310) or an image portion of this image (see step 311), makes a determination of a quality value (see step 124), and then outputs the determination result (step 825). If the determination result or the quality value shows that no optimization is necessary or no contamination was determined, the process is restarted immediately or at specified time intervals (see NO arrow to step 801).
  • the optimization result can be evaluated with the self-learning module using pixel evaluations with parameters such as color, resolution, light, contrast and/or sharpness.
  • the pixels are preferably evaluated in such a way that organs or tissue to be examined can be distinguished from soiling. This can be done by comparing image data from the database in memory 122 and is indicated by a double arrow between the respective device units 111, 130, 365 and 367 and memory 122.
  • the invention can be used for a large number of endoscopic systems established on the market in order to be able to diagnose the respective examination object more precisely and more reliably and to be able to continue working as quickly as possible on the site despite disturbances.
  • the optimization method and optimization system according to the invention can make automated decisions in step 825 as to whether optimization is necessary and whether image optimization can be carried out by the controllable devices. For example, dirt can be detected automatically and cleaning can take place automatically. Fast cleaning results are very important, especially in medical technology.
  • the quality of the AI algorithms is continuously improved through the continuous provision of training data, and the process implementations are optimally "tuned" through continuous parameter adjustments.
  • a software or computer program product for carrying out the image optimization method is configured to detect non-optimal images or faults such as image contamination with sufficient probability using image analysis algorithms.
  • image analysis Using the image analysis, a quality value and existing image data (image history) or parameter data can be evaluated and compared with the latest image data and previous optimization results.
  • the algorithms of a stochastic model can use and Issue control instructions based on corresponding marginal probabilities as to whether the current image can be optimized or not.
  • existing data records can be corrected by experts in addition to automatic methods, and the reference database in memory 122 can be expanded to include new data records automatically or manually.
  • a continuous, semi-automatic or automatic check of the optimization method leads to an increase in safety for the user and thus for the person being examined with the endoscopic method.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und Steuerungssystem, zur Bildanalyse und Bildoptimierung von wenigstens einem am distalen Ende eines Endoskops erfassten Bild, wobei das Verfahren die folgenden Schritte umfasst: Erfassen von Bilddaten (310) mittels einer Bilderfassungseinrichtung (115) eines Endoskops; Empfangen der Bilddaten durch eine Steuereinheit (120), Voranalyse (313) wenigstens einer Teilmenge der Bilddaten (310) eines oder mehrerer aufeinander folgender Bilder durch eine Steuereinheit (120) zum Bestimmen wenigstens einer Bildstruktur; Bestimmen eines Qualitätswertes mittels eines trainingsdatenbasierten, vorzugsweise selbstlernenden, Modules (320), durch einen Vergleich der wenigstens einen bestimmten Bildstruktur mit Bildstrukturen einer Referenz-Datenbank, die in einer Speichereinheit (122) gespeichert sind, und auf Grundlage des bestimmten Qualitätswertes manuelles oder automatisches Ausgeben von Steueranweisungen von der Steuereinheit (120) an eine Einheit zur Aktivierung einer Bildoptimierung. Ferner werden ein Computerprogrammprodukt und ein trainierten Modell zur Ausführung der erfindungsgemäßen Verfahren bereitgestellt.

Description

Verfahren, System und trainiertes Modell zur Bildoptimierung für Endoskope
Beschreibung
Die Erfindung betrifft ein Verfahren zur Bildanalyse und Bildoptimierung, ein Steuerungssystem zur Bildoptimierung, ein trainiertes Modell und ein Computerprogrammprodukt zur Ausführung des genannten Verfahrens.
Technologischer Hintergrund
Endoskope sind bekannte medizinische Vorrichtungen zur Untersuchung von Hohlräumen in einem Körper oder von technischen Hohlräumen. Eine häufig eingesetzte Art der Endoskope weist ein optisches System am distalen, d.h. körperzugewandten Endoskopende auf, und ist ausgebildet, Bilder zu erfassen und diese an den Bediener des Endoskops zu übertragen. Optional können weitere Funktionen über einen Arbeitskanal zur Verfügung gestellt werden.
Bekannterweise werden Endoskope in minimalinvasiven chirurgischen Verfahren eingesetzt. Ein Beispiel hierzu ist die Laparoskopie. Hier ist die Sicht auf das zu untersuchende Feld für den Bediener des Endoskops eine entscheidende Voraussetzung, um eine Diagnose, Manipulation oder Operation sicher und schnell durchführen zu können. Es ist wichtig verschiedene Gewebestrukturen der Körperhöhle sicher unterscheiden zu können, um eine korrekte Diagnose zu stellen oder Komplikationen zu vermeiden. Hierzu sind optimale Sichtverhältnisse notwendig.
Bei Eingriffen in einen menschlichen oder tierischen Körper ist das Blickfeld eines Endoskops sehr klein und schon kleinste Verunreinigungen, wie z.B. durch Blutspritzer, Gewebepartikel oder Ablagerung von Dampf oder Rauch bzw. Fett können die Sicht des Bedieners sehr stark beeinträchtigen. Wird zum Beispiel hochfrequenzchirurgisch assistiert (HF-Chirurgie) werden mit dem Einsatz von elektrischer Energie thermisch induzierte Veränderungen von Gewebezellen mit dem Ziel der Blutstillung oder Gewebeversiegelung durchgeführt. Bei dieser Art von medizinischen Verfahren können bei der HF Aktivierung Gewebepartikel entstehen, die das Bild für den Endoskopbediener sehr stark beeinträchtigen. Wird die Sicht des Bedieners derart durch unbeabsichtigten Gewebekontakt oder andere Verunreinigungen gestört, muss das Endoskop extrakorporal gereinigt werden.
Diese extrakorporale Reinigung des Endoskops an seinem distalen Ende ist zum Teil nicht gewünscht, insbesondere, wenn Komplikationen auftreten und der Endoskopbediener dadurch sein medizinisches oder diagnostisches Verfahren unterbrechen muss. Zudem erfordert eine extrakorporale Reinigung auch eine gewisse Zeitdauer, die von der Gesamtdauer einer Operation zu berücksichtigen ist. Wenn zum Beispiel Komplikationen durch die Perforation einer Arterie entstehen, muss in möglichst kurzer Zeit die Blutung gestoppt werden und eine sehr gute Sicht für den Endoskopbenutzer gewährleistet werden. Wenn eine Blutungsstoppung nicht schnell gelingt, sind andere Operationsmethoden, die offenchirurgisch sind, möglicherweise notwendig. Dies sollte unbedingt vermieden werden, um den Eingriff so minimal wie möglich für den Patienten zu halten.
Eine klare und deutliche Visualisierung des zu beobachtenden Objektfeldes ist von großer Bedeutung in endoskopischen Verfahren. Die Bedienperson, die die Visualisierung an einem Monitor verfolgt, kann durch nicht optimale Einstellungen des Monitors oder von Umgebungsparametern wie Raumbeleuchtung negativ beeinflusst werden. Handelt es sich bei der Bedienperson um einen Brillenträger kann in der Regel darauf nicht eingegangen werden. Wenn die Sicht aufgrund der genannten Probleme jedoch behindert wird, muss die Bedienperson des Endoskops gegebenenfalls die Prozedur unterbrechen. Nicht notwendige Unterbrechungen und Ablenkungen während des endoskopischen Verfahrens können in Fehlurteile münden oder die Gesundheit eines Patienten, bei dem das Endoskop eingesetzt wurde, gefährden. Jede Störung der Sicht verlängert auch das gesamte endoskopische Verfahren und erhöht damit die Kosten und senkt die Effizienz.
Es ist Aufgabe der Erfindung die genannten Probleme zu überwinden und den Bedürfnissen einer Bedienperson endoskopischen Verfahren gerecht zu werden, wobei ein geeignetes Verfahren zur Bildanalyse und Bildoptimierung, vorzugsweise mit Hilfe eines Endoskopreinigungsmoduls, eingesetzt werden soll. Dabei soll die Bedienperson möglichst wenig gestört werden, optimal unterstützt werden und eine automatisches Bildoptimierungsverfahren vorgesehen werden. Da aufgrund einer Verschmutzung die Bilderfassung auch bei Einsatz einer leistungsfähigen Bilderfassungseinrichtung nicht mehr mit der erforderlichen Qualität durchgeführt werden kann, besteht zunächst der Bedarf zur automatischen Erkennung von Schmutz oder anderen Störfaktoren. Zudem besteht der Bedarf für Verfahren, die erkannten Störungen zu beheben und/oder die Umgebungsparameter zu verbessern. Es besteht ferner der Bedarf ein System und ein Computerprogrammprodukt zur Verfügung zu stellen, dass mit Hilfe von Automatisierungsprozessen die Sicherheit während eines Endoskopverfahrens für den Anwender und Patienten erhöhen.
Beschreibung der Erfindung
Auf Grundlage der Erfindung sollen die oben genannten Aufgaben besser als in herkömmlichen Verfahren insbesondere für human- oder veterinärmedizinische Anwendungen gelöst werden. Die erfindungsgemäßen Verfahren und Systeme zur Bildanalyse können zur Untersuchung sowohl von Hohlräumen in einem Körper als auch von technischen Hohlräumen wie Rohrleitungen oder Ähnliches verwendet werden. Dabei sollen die Sichtverhältnisse bzw. Qualität für den Bediener des Endoskops optimiert werden.
Diese Aufgaben werden mit einem Verfahren zur Bildanalyse und Bildoptimierung, einem Steuerungssystem und einem Computerprogrammprodukt und einem trainierten Modell gemäß den Merkmalen der unabhängigen und der nebengeordneten Ansprüche gelöst. Bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den sich an den unabhängigen Ansprüchen anschließenden Unteransprüchen.
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zur Bildanalyse und Bildoptimierung von wenigstens einem am distalen Ende eines Endoskops erfassten Bild, das die folgenden Schritte umfasst:
- Erfassen von Bilddaten mittels einer Bilderfassungseinrichtung eines Endoskops; Empfangen der Bilddaten durch eine Steuereinheit,
- Voranalyse wenigstens einer Teilmenge der Bilddaten eines oder mehrerer nachfolgender Bilder durch eine Steuereinheit zum Bestimmen wenigstens einer Bildstruktur;
- Bestimmen eines Qualitätswertes mittels eines trainingsdatenbasierten, vorzugsweise selbstlernenden, Modules, durch einen Vergleich der wenigstens einen bestimmten Bildstruktur mit Bildstrukturen einer Referenz-Datenbank, die in einer Speichereinheit gespeichert sind; und - auf Grundlage des bestimmten Qualitätswertes manuelles oder automatisches Ausgeben von Steueranweisungen von einer Steuereinheit an eine Einheit zur Aktivierung einer Bildoptimierung.
Wenigstens die Bildanalyse mit der Bestimmung des Qualitätswertes und optional auch die Voranalyse können automatisch in dem trainingsdatenbasierten oder trainingsdatenbasierten selbstlernenden Modul ablaufen. Bei einer Aktivierung nach einer manuellen Freigabe kann eine Bildoptimierung mit dem genannten Verfahren Sichtverhältnisse und Sichtqualität während einer Operation zumindest teilweise automatisiert sicherstellen. Wird der Prozess ohne manuellen Eingriff also vollkommen automatisiert eingestellt, muss eine Bedienperson nicht mehr entscheiden, ob die Bedingungen für eine Aktivierung einer Einheit beispielsweise eines Endoskops zur Bildoptimierung gegeben sind. Durch Bestimmen des Qualitätswerts kann schnell und effizient eine automatisierte Bildoptimierung bereitgestellt werden und es können Unterbrechungen vermieden werden.
Das computerimplementierte Verfahren umfasst als ersten Schritt das Erfassen von Bilddaten mittels einer Bilderfassungseinrichtung eines Endoskops. Die Bilderfassungeinrichtung kann nicht nur medizinische Endoskope umfassen sondern auch Endoskope, die in anderen Situationen zur Untersuchung von nicht einsehbaren Hohlräumen Anwendung finden wie z.B. im Handwerk bei Rohrleitungen und Schächten. Des Weiteren kann als Bilderfassungeinrichtung statt einer Monokamera auch ein Stereo-Endoskop bereitgestellt werden, das zwei optische Systeme aufweist. Von der Bilderfassungseinrichtung können die Daten von einer Steuereinheit kabellos, beispielsweise über Funk oder über ein Kabel empfangen werden. Die Steuereinheit kann entweder lokal im Endoskop oder Kamerakopf bereitgestellt werden oder dezentral in einem Netzwerk. Die Information bzw. Bilddaten können dabei über ein Internet oder ein anderes Netzwerk wie ein OP-Netz oder Krankenhausnetz sowie „remote“ wie z.B. cloudbasiert empfangen bzw. übermittelt werden. Die verschiedenen Verfahrensschritte des erfindungsgemäßen computerimplementierten Verfahrens können an verschiedenen Orten wie das Endoskop selbst, in einem Computer und/oder auf dezentralen Servern ausgeführt werden.
Die Steuereinheit kann Elemente eines Computers wie einen oder mehrere Mikroprozessoren oder Grafikprozessoren enthalten. Ein Grafikprozessor (englisch „graphics processing unit“ GPU) kann beispielweise 2D- oder bei Bereitstellung eines Stereo-Endoskops 3D-Bilder in Echtzeit einem Nutzer an einem Bildschirm oder über einer Brille ein 2D- oder 3D-Bild anzeigen. Zudem hat die Steuereinheit vorteilhafterweise eine Speichereinheit oder ist mit einer Speichereinheit kommunikativ verbunden. Die Speichereinheit, die lokal in der Steuereinheit oder dezentral z.B. über Server oder Netzwerke bereitgestellt werden kann, weist wenigstens eine Datenbank auf. Eine Datenbank umfasst wenigstens eine Referenzdatenbank mit Bilddaten umfassend Bildstrukturen.
Durch eine Voranalyse wenigstens einer Teilmenge der Bilddaten, wie z.B. eines Bildabschnittes kann eine Bildstruktur erkannt werden. In dieser Voranalyse kann vorteilhafterweise eine Objekterkennung oder eine Ist-Datenerfassung erfolgen. Vorzugsweise kann das Bildzentrum als Teilmenge der Bilddaten eines Bildes verwendet werden. Wenn Daten bereits im Speicher vorhanden sind bzw. von einer externen Datenquelle für eine Datenbank zur Verfügung gestellt werden, kann ein Vergleich mit Bilddaten der Datenbank erfolgen.
Der weitere Verfahrensschritt der Qualitätswertbestimmung wird vorteilhafterweise mittels einem trainingsbasierten selbstlernenden Modul wenigstens teilweise automatisiert durchgeführt. Mit Hilfe von Trainingsdaten kann ein Qualitätswert durch Vergleich der in der Voranalyse bestimmten Bildstruktur mit einer Historie von Bildstrukturen aus der Referenzdatenbank bestimmt werden. Hiermit kann eine Klassifizierung der Daten in Abhängigkeit von dem Qualitätswert erfolgen.
Das selbstlernende Modul kann auf maschinellen Lernen beruhen und sich durch die Trainingsdaten und Erfahrung selbst verbessern. Beim maschinellen Lernen kann manuell eine Datenreduktion vorgenommen werden, indem eine Person eine sogenannte Feature- Extraktion durchführt, damit nur eine Teilmenge der verfügbaren Features für das maschinelle Lernen verwendet wird (Vorklassifizierung oder überwachtes Lernen).
In einer bevorzugten Ausführungsform kann das selbstlernende Modul ein sogenanntes Deep Learning Modell verwenden, welches vollkommen selbständig ohne menschlichen Eingriff lernen kann und vorzugweise als Eingabe „Deep Data“ verwenden kann und mit einem neuronalen Netz arbeitet. Beim Deep Learning ist der Eingriff eines Menschen nicht mehr notwendig und das neuronale Netz übernimmt die Feature-Extraktion bzw. Vorklassifizierung, um im Anschluss eine qualitätswertabhängige Klassifizierung vornehmen zu können.
Auf Grundlage des bestimmten Qualitätswertes können manuell oder automatisch Steueranweisungen von einer Steuereinheit an eine Einheit des Endoskops zur Aktivierung einer Bildoptimierung ausgegeben werden.
Gemäß einer bevorzugten Ausführungsform kann eine weitere Datenbank, nämlich eine sogenannte Parameter-Datenbank für Steuerungsanweisungen für weitere Einheiten wie Kamera, Lichtquelle; Insufflator oder ein Reinigungsmodul bereitgestellt werden und umfasst je nach anzusteuernder Einheit angepasste Parameter. Mögliche Parameter können z.B. für eine Lichtquelle ein Emissionsspektrum oder Intensität, für einen Insufflator Insufflationsdruck, Feuchtigkeistgehalt oder Gasaustauschparameter oder für ein Reinigungsmodul Reinigungsparameter sein. Die Anpassung der Parameter kann auch mittels des selbstlernenden Modules erfolgen und optional auf Deep learning in Verbindung mit einem stochastischen Approximationsalgorithmus (Stochastic Approximation Algorithmen) beruhen. Auf diese Weise kann vorteilhaft ein optimales Reinigungsergebnis erzielt werden und der Arbeit des Operateurs wird nicht mehr durch Verschmutzungen oder andere automatisch detektierbare Faktoren beeinträchtigt.
Gemäß einer bevorzugten Ausführungsform ist die zur Bildoptimierung aktivierbare Einheit eine Einheit des Endoskops, wobei die genannte Einheit vorzugsweise ein Reinigungsmodul ist, das zur Reinigung wenigstens eines distalen Fensters mittels wenigstens eines Fluids ausgelegt ist.
Durch das aktivierbare Reinigungsmodul kann eine definierte Spülmenge oder Volumen an Gas oder Flüssigkeit mit einem vorbestimmbaren Spüldruck für wenigstens ein distales Fenster manuell freigegeben oder automatisch angesteuert werden. Wenn beispielsweise in einer vorbestimmten Anzahl von Sekunden (z.B. 2 oder 3 s) kritische Verschmutzungen mittels des Qualitätswertes festgestellt wurden, kann automatisch die Entscheidung zur Reinigung getroffen werden und dem Reinigungsmodul mitgeteilt werden, ein Fluidventil für ein vorbestimmtes Volumen von Gas oder Flüssigkeit (z.B. Kohlenstoffdioxid oder Natriumchlorid) zu öffnen. Nach der Aktivierung kann auch automatisch die Steuerungsanweisung zum Prozessabbruch gegeben werden d.h. zum Schließen des Fluidventils. Durch ein Schließsteuerungssignal wird vermieden, dass die Bedienperson die Reinigungsaktivierung länger als benötigt aktiviert.
Gemäß einer bevorzugten Ausführungsform hängt der Qualitätswert von der erfassten Helligkeit des Bildes und/oder Verschmutzung des wenigstens einem distalen Fenster ab, wobei in dem Schritt des Bestimmens des Qualitätswertes mittels des selbstlernenden Modules eine Klassifizierung in Verschmutzungswahrscheinlichkeiten und/oder Grad der Verschmutzung erfolgt.
Mittels dieser Klassifizierung kann jedes Bild mit kritischen Verschmutzungen klassifiziert werden. Die Klassifizierungshistorie wird in der Speichereinheit gespeichert und steht dem weiteren Lernprozess zur Verfügung. Die Trainingsmethoden des selbstlernenden Moduls sind abhängig von dem gewählten zu trainierenden bzw. trainierten Modell und den Eingabedaten. Als Eingabe bzw. Eingabeschicht des Modells des selbstlernenden Moduls dient eine Teilmenge oder die Gesamtheit der Bilddaten eines endoskopischen Bildes, das in der Regel als eine zwei- oder dreidimensionale Matrix aus Pixeln vorliegt. Dreidimensionale Bilder können von Stereoskopen z,B. 3D-Endoskopen mit zwei CCD Kameras am distalen Ende bereitgestellt werden. Dabei kann ein Stereomesssystem als Eingabedaten für das Modell auch Information bereitstellen, ob und welches der beiden distalen Fenster verschmutzt ist. Als Ausgabe oder Ausgabeschicht des trainierten Modells ergibt sich vorzugsweise eine Wahrscheinlichkeit einer Verschmutzung.
Gemäß einer bevorzugten Ausführungsform umfasst das selbstlernende Modul ein Modell mit einem neuronales Netzwerk, wobei die Eingabedaten die von der Bilderfassungseinrichtung erfassten Bilddaten sind, die als Einzelbilder, Pixel und/oder Bildabschnitte extrahierbar sind; und wobei die Ausgabedaten die Wahrscheinlichkeit einer Verschmutzung oder Blindheit der Bilderfassungseinrichtung umfasst.
Zwischen der Eingabe und Ausgabe erfolgt die Vorklassifizierung und die Klassifizierung. Das selbstlernende Modul hat wenigstens eine Lerneinheit, das zu Beginn des Prozesses als zu trainierendes Modell ausgebildet ist. Das Modell kann dabei auf den Technologiebereich der künstlichen Intelligenz, insbesondere auf maschinelles Lernen bzw. bevorzugt auf ein künstliches neurales Netzwerk beruhen. Eine bevorzugte Ausführungsform eines neuronalen Netzwerk ist ein faltendes neuronales Netzwerk (convolutional neural network; CNN), welches die Bildklassifikation optimal durchführen kann. Grundsätzlich besteht die Systemarchitektur eines klassischen CNNs aus einem oder mehreren Convolutional Layer, gefolgt von einem Pooling Layer, der überflüssige Informationen verwirft. Diese Einheit kann sich prinzipiell beliebig oft wiederholen. Bei einer hohen Anzahl von Wiederholungen spricht man von „Deep Convolutional Neural Networks“, die in den Bereich Deep Learning fallen. Andere Formen des maschinellen Lernens oder Deep Learning Modelle können auch als Systemarchitektur des selbstlernenden und trainingsdatenbasierten Moduls verwendet werden, solange sie geeignet sind eine Bildklassifikation anhand von Endoskopbildern mit schneller Berechnungsgeschwindigkeit und zuverlässig d.h. mit geringen Fehlerquoten von beispielsweise weniger als 3% und einer Richtig-positiv-Rate von wenigstens 97 % durchzuführen.
Bei dem Beispiel eines binären Klassifikators, wobei die Klassifizierungsalgorithmen die Eingabedaten in nur zwei mögliche Klassen einteilen, können in manchen Fällen die verwendeten trainingsbasierten Modelle ein analysiertes Bild einer falschen Klasse zuordnen, wobei die Richtig-positiv-Rate bzw. Sensitivität wenigstens 97%, und vorzugsweise 98 % betragen. Dabei gibt die Richtig-positive-Rate an, mit welcher Wahrscheinlichkeit eine Verschmutzung auch tatsächlich erkannt wurde.
Gemäß einer bevorzugten Ausführungsform umfassen die Trainingsdaten in einer Speichereinheit gespeicherte Bildstrukturen und/oder eine Kennzeichensammlung, die zum Training des selbstlernenden Modules verwendet werden, wobei ein trainiertes Modell des selbstlernenden Modules zur Klassifizierung der Bilddaten in folgende verschmutzungsabhängige Datenbankklassen oder Kategorien trainiert ist:
1. nicht verschmutze Bilder,
2. verschmutzte Bilder, die durch ein Reinigungsmodul reinigbar sind; und
3. verschmutzte oder Kennzeichen aufweisende Bilder, die durch andere Module als das Reinigungsmodul optimierbar sind. Zur Klassifizierung können neben erkannten Bildstrukturen auch Kennzeichen verwendet werden. Vorzugweise wird in wenigstens zwei Kategorien oder Datenbankklassen unterschieden, die von der Verschmutzung abhängen (Beispiel eines binären Klassifikators: Klasse 1. (nicht verschmutzt) und Klasse 2. (verschmutzt)). Die als verschmutzt klassifizierten Bilder können zum einem durch ein Reinigungsmodul reinigbar sein oder durch andere Module wie z.B. ein Insufflator zur Entfernung von Rauch. Ferner kann die Verschmutzung in weitere Kategorien oder Klassen in Abhängigkeit vom Verschmutzungsgrad oder der Art der Verschmutzung wie folgt unterteilt werden: a) gering verschmutzt b) stärker verschmutzt c) sehr stark verschmutzt d) verschmutzt mit Blut e) verschmutzt mit Fett
Mit Hilfe von Fabeln und/oder Kennzeichen kann kontrolliert werden, mit welcher Aufgabe das Modell des selbstlernenden Moduls trainiert wird. Mittels der bereitgestellten Trainingsdaten (z.B. Bilder von zu untersuchenden Objekten wie Gewebestrukturen mit oder ohne Verschmutzung oder Rauch oder Kondensat) und dazugehöriger Eabels (die Kategorie der Verschmutzung bzw. Bildverschlechterung) kann ein Modell wie z.B. ein künstliches neuronales Netzwerk entsprechend lernen.
Gemäß einer bevorzugten Ausführungsform beruht das selbstlernende Modul auf maschinellen Fernen, wobei durch einen Experten oder mehrere Personen eine Vorklassifizierung durchgeführt wird und die anschließende qualitätswertabhängige Klassifizierung durch ein neuronales Netz durchgeführt wird. Die Klassifizierung von digitalen Bildern und die Beurteilung der Qualität eines Teilbildes oder des gesamten Bildes stellt eine technische Anwendungsform von maschinellen Fernen dar. Dabei dienen die verwendeten Klassifizierungsalgorithmen auch dazu den technischen Zweck der Bildoptimierung zu unterstützen. Zusätzlich sind aus den Trainingsdaten abgeleitete Algorithmen für das Modell des selbstlernenden Modules von wenigstens einem Experten überprüfbar und korrigierbar. Auf diese Weise kann optional eine zusätzliche Beurteilung bei der Vorklassifizierung durch wenigstens einen Experten zur Überwachung eingesetzt werden. Hierzu kann ein einzelner oder ein Team von Experten Rohdaten bzw. Trainingsbilder wie Operationsvideos und Operationsbilder über eine geeignete Schnittstelle wie ein Userinterface labeln. Zum Labeln einer Datenbank von Endoskopbildern kann beispielsweise ImageNet eingesetzt werden. Das Labeln der Endoskopbilder kann beispielsweise über einen Web-Service erfolgen, wobei ein entsprechendes Web-Labeling-Tool für alle beteiligten Mitarbeiter bereitgestellt wird. Die Experten von Endoskopbildern liefern somit für das Training des Modells des selbstlernenden Moduls Label, welches kennzeichnen, in welche Klassifikation oder Kategorie das jeweiligen Trainingsbild fällt. Schließlich können Experten, insbesondere bei einem offenen Netzwerk, eine Übersteuerung beispielsweise in der Trainings- oder Anlern- Phase des Modells vornehmen, um Korrekturen frühzeitig durchzuführen.
Es versteht sich, dass der Begriff „offenes neuronales Netzwerk“ im Kontext dieser Offenbarung, ein künstliches Intelligenz- Netzwerk definiert, wobei ein Dritter wie z,B. ein Experte den Lern- oder Trainingsvorgang wenn nötig korrigiert, so das ein überwachtes maschinelles Lernen („supervised learning“) erfolgt. Wenn die Trainingsdaten beispielsweise aus Paaren von Eingabedaten und Ausgabedaten bestehen, kann ein externer Experte dem neuronalen Netz zu jeder Eingabe die korrekte Ausgabe angeben und somit während des Trainings mögliche Fehler und Abweichungen minimiert werden.
Dagegen wird unter dem Begriff „geschlossenes neuronales Netzwerk“ im Rahmen dieser Offenbarung ein neuronales Netzwerk verstanden, das nicht überwacht lernt („unsupervised learning“). Dabei erfolgen Korrekturen automatisch d.h. es werden z.B. ohne Beeinflussung von außen Eingabedaten in Klassen aufgeteilt.
Gemäß einer bevorzugten Ausführungsform weist das selbstlernende Modul als zu trainierendes bzw. trainiertes Modell ein Modell mit einem neuronalen Netz basierend auf maschinellen Lernen oder Deep Learning auf, wobei das neuronale Netz ausgewählt ist aus der Gruppe umfassend: ein offenes neuronales Netz, ein geschlossenes neuronales Netz, ein einschichtiges neuronales Netz, ein mehrschichtiges feedforward Netz mit verdeckten Schichten, ein rückgekoppeltes neuronales Netz und Kombinationen davon. Die oben genannten neuronalen Netze zeichnen sich durch ihre Lernfähigkeit aus, wobei sie eine Aufgabe wie Klassifizierung anhand von Trainingsdaten erlernen können. Dabei können neuronale Netze Bildstrukturen in Bilddaten finden und auf diese Weise Muster erkennen. Mit dem Instrument von künstlichen neuronalen Netzen, vorzugsweise durch die Klassifizierung von Bilddaten, können wesentliche Merkmale extrahiert und funktionale Zusammenhänge zwischen den Bildstrukturen approximiert werden, so dass ein Qualitätswert bestimmt werden kann.
Es können offene oder geschlossene künstlichen Intelligenz- Netzwerke verwendet werden, die einerseits überwachte und andererseits nicht überwachte Verfahren des maschinellen Lernens verwenden. Alternativ kann auch eine Mischform dieser Verfahren, eine sogenannte „semi-supervised“ Lernerfahren Anwendung finden, um die durch einen Experten verursachten Kosten gering zu halten und gleichzeitig kleinere Datensätze im Vergleich zu nicht überwachten Training des selbstlernenden Modules zu erhalten.
Eine Möglichkeit der Überwachung durch Experten oder Anwender ist, mit Hilfe von Labels Operationsbilder oder andere geeignete Datensätzen einen Qualitätswert z.B. in Abhängigkeit von der Störung der Bildqualität zuzuordnen. Solche Experten, Anwender oder extern beauftragte Labelling-Teams, haben Erfahrung Bilddaten qualitativ zu beurteilen und können auf das notwendige Expertenwissen zurückgreifen. Die erzeugten Label können für Trainingsdaten für das selbstlernende Modul und somit für neuronale Netze herangezogen werden. In Abhängigkeit von der Rate der gelabelten Daten liegt entweder ein überwachtes oder ein nur zum Teil überwachtes („semi-supervised“) Lernverfahren vor.
Gemäß einer bevorzugten Ausführungsform stellt die wenigstens eine Bildstruktur wenigstens ein zu untersuchendes Objekt dar, das in dem erfassten Bild abgebildet wird; wobei eine Verschmutzungs-, Verschlechterungs- oder Raucherkennung auf eine Veränderung der Bildstruktur basiert.
In der Voranalyse kann durch den Vergleich der Bildstrukturen eine Objekterkennung erfolgen. Auf diese Weise können Objekte, Organe, zu untersuchende Gewebestrukturen oder andere Strukturen erkannt werden. In einem weiteren Analyseschritt erfolgt eine Klassifizierung, die auf maschinellem Lernen basiert, wobei das trainierte Modell erkennen kann, wenn sich die erkannte Bildstruktur beispielsweise durch Rauch, Kondensat oder Verschmutzung oder andere Störfaktoren verändert hat. Auf Basis der Veränderung kann dann beispielsweise ein Rauchereignis erkannt oder ein Verschmutzungsgrad mit Hilfe des berechneten Qualitätswertes klassifiziert werden.
Gemäß einer bevorzugten Ausführungsform kann im Verfahrensschritt der Voranalyse eine Unterteilung eines erfassten Bildes in Bildabschnitte vorgenommen und/oder es erfolgt auf Grundlage von Analysewerten eine Unterteilung eines erfassten Bildes in einzelne Regionen auf Basis von Pixeln, wobei der Qualitätswert für jede der Bildabschnitte und/oder Bildregionen bestimmt werden kann.
Gemäß einer bevorzugten Ausführungsform ist das Reinigungsmodul ausgebildet, in Abhängigkeit von einer festlegbaren Gewichtung von Regionen und/oder in Abhängigkeit einer zulässigen prozentualen Verschmutzung, eine regional gezielte Reinigung zu aktivieren, wobei vorzugsweise die Region des distalen Fensters, die dem Bildzentrum zuordenbar ist, gezielt gereinigt werden kann.
Auf Basis der Analyse bevorzugter Regionen oder Bildabschnitte kann die Reinigung gezielt für diese Regionen/Abschnitte erfolgen und somit die Effizienz der Reinigung optimiert werden. Als bevorzugt zu reinigende Region gilt das Bildzentrum, da hier sich in der Regel das zu untersuchende Objekt befindet und daher der Anwender ein besonderes Interesse hat, dass ein optimales Bild bereitgestellt wird. Falls ein Stereo-Endoskop bereitgestellt wird, können in Abhängigkeit von der Verschmutzung wahlweise ein oder zwei distale Fenster und damit die zugehörigen Bilderfassungseinrichtungen gereinigt werden.
Gemäß einer bevorzugten Ausführungsform wird nach Aktivierung des Reinigungsmoduls ein Puls eines Fluidstrahls mit einer Dauer von einigen Millisekunden bis maximal 1000 ms und unter hohem Druck (p) von maximal 3 bar auf wenigstens einen Teil des distalen Fensters der Bilderfassungseinrichtung und/oder auf eine oder mehrere distale Beleuchtungsfenster von Lichtquellen gezielt zur Reinigung gerichtet.
Auf diese Weise kann die Reinigung gezielt für bestimmt Teile oder die Gesamtheit des wenigstens einen optischen Fensters einer Bilderfassungseinrichtung erfolgen. Vorteilhafterweise wird die Lichtquelle oder Beleuchtungseinrichtung mitgereinigt, um die Lebensdauer zu verlängern und die Lichtausbeute der Lichtquelle zu optimieren.
Ein Vorteil der Kombination von hohen Druck und kurzen Fluidpulsen ist, dass der Anwender des Endoskops kaum gestört wird, da das Sichtfeld in Art eines Scheibenwischers nur kurzfristig durch das Reinigungsfluid verdeckt wird. Zudem kann vorteilhafterweise die Steuerungsanweisung oder ein entsprechendes Signal zur Reinigung einer anderen Einheit mitgeteilt werden. Beispielsweise kann einem Insufflator mitgeteilt werden, dass die Reinigung aktiviert wurde, damit der Insufflator sich an die damit einhergehende Druckänderung anpassen kann.
Gemäß einer bevorzugten Ausführungsform wird die zur Bildoptimierung aktivierbare Einheit ausgewählt aus der Gruppe umfassend: eine oder mehrere Lichtquellen des Endoskops zur Veränderung der Beleuchtungsstärke; wenigstens ein Filter zur Optimierung eines Kontrastes; Autofokussystem zur Anpassung der Schärfe des Bildes; Farbspektrumsänderungseinheit; Endlinsenbeheizung;Monitor; anwenderabhängige und/oder endoskop- oder lichtleiterabhängige anpassbare Software; Raumbeleuchtung des OP-Saales und Kombinationen davon.
Auf diese Weise kann vorteilhafterweise das Bild auch durch andere OP-Einheiten als ein oder mehrere Reinigungsmodule optimiert werden. Beispielsweise kann durch eine Änderung des Farbspektrums Wellenlängenbereiche zur Beheizung angesteuert werden, um mittels der Bildklassifizierung durch das selbstlernende Modul erkannte Kondensatbildung zu reduzieren bzw. zu entfernen. Wird als Einheit ein Autofokussystem aktiviert, kann die Schärfe des Bildes mit optimierten Parametern als Ausgabe aus dem trainierten Modell eingestellt werden.
Auch Faktoren, die nicht unmittelbar das vom Endoskop zu untersuchende Objekt betreffen, wie z.B. Raumbeleuchtung des OP-Saales kann zur Bildoptimierung verwendet werden. Zum Beispiel kann der Kontrast des Monitors verbessert werden, indem die Störstrahlungen von Raumbeleuchtungen entsprechend gedimmt werden. Gemäß einer bevorzugten Ausführungsform umfasst die Bestimmung eines Qualitätswertes einen Blindheitswert durch Rauch oder Kondensation, wobei mittels der Steuereinheit ein Vergleich von erfassten Kennzeichen für Rauch oder Kondensation mit Kennzeichen einer in der Referenzdatenbank gespeicherten Kennzeichensammlung erfolgt.
Das selbstlernende Modul ist somit ausgebildet, anhand eines sogenannten Blindheits wertes eine Sichtbeeinträchtigung durch Rauch oder Kondensatbildung zu bestimmen. Auf diese Weise können durch die Sichtbeeinträchtigung hervorgerufene Störeinflüsse automatisch erkannt und durch eine Aktivierung einer Einheit wie einer Beheizungseinheit oder eines Reinigungsmoduls eliminiert oder zumindest verringert werden. Auf diese Weise kann die Qualität der in dem erfassten Bild enthaltenen Bildinformation verbessert werden.
Gemäß einer bevorzugten Ausführungsform umfasst das Verfahren ferner eine Steuerungsanweisung zur Aktivierung an einen Rauchgasabsauger und/oder einen Insufflator oder eine Spülpumpe, um das Bild durch eine Rauchgasabsaugung zu optimieren; und/ oder mittels des Insufflators oder der Spülpumpe das Fluidmanagement in der mit dem Endoskop zu untersuchenden Körperhöhle in Abhängigkeit von Fluidflüssen bei einer Rauchgasabsaugung oder Reinigung zu optimieren.
Gemäß einer bevorzugten Ausführungsform wird mit einem Drucksensor der intrakorporale Druck in der Körperhöhle gemessen und die Steuereinheit steuert Ereignis- und/oder Zeitgesteuert wenigstens während der Dauer einer Reinigung den intrakorporalen Druck mittels einer Regelung der wenigstens einen Pumpe oder einer Regelung eines Druckregler so, dass der intrakorporale Druck einen vorbestimmten maximalen Grenzwert nicht überschreitet.
Auf diese Weise kann die Sicherheit während eines endoskopischen Verfahrens für die zu untersuchende Person erhöht werden.
Gemäß einer bevorzugten Ausführungsform ist das Reinigungsmodul ausgelegt in Abhängigkeit der Datenbankklassen und/oder an einen Verschmutzungsgrades die Art der Reinigung mittels Reinigungsparameterveränderung anzupassen, wobei ein oder mehrere Reinigungsparameter ausgewählt sind aus einer Gruppe umfassend: Art des Fluids, Fluidvolumen, Fluidvolumina, Fluidgeschwindigkeit, Druck, Pulsdauer, Pulsanzahl, Puls-Pausenverhältnis und/oder gesamte Reinigungsdauer.
Beispielsweise erfolgt eine Reinigung mittels eines Reinigungsmoduls durch Aufbringen von unter hohem Druck stehenden Fluidstrahlen auf die zu reinigende Oberfläche mit dem Ziel, den zu entfernenden und auf der Oberfläche des wenigstens einen distalen Endfensters des Endoskops anhaftenden Stoff oder Dampf zumindest zu reduzieren. Geeignete Fluide sind vorzugsweise Wasser oder Natriumchlorid oder eine andere physiologische Flüssigkeit. Auch ein gasförmiges Fluid wird so gewählt, dass es physiologisch unbedenklich und biokompatibel ist, und kann z.B. Kohlenstoff dioxid sein. Parameter wie Fluidvolumen, - geschwindigkeit und Reinigungsdauer können vorteilhafterweise an den durch das selbstlernende Modul bestimmten Verschmutzungsgrad angepasst werden.
Die Begrenzung der Reinigung auf eine Pulsdauer von wenigen Millisekunden beispielsweise maximal 2000 ms, oder Festlegung eines Puls-Pausenverhältnis haben den Vorteil, dass der Bediener des Endoskops die Reinigungsfunktion nicht länger als benötigt aktiviert. Daraufhin sammelt sich nicht so viel Flüssigkeit in der Körperhöhle wie z.B. dem Pneumoperitoneum an. Durch die Reduzierung der Flüssigkeit muss auch weniger Flüssigkeit aus der Körperhöhle abgesaugt werden. Mithilfe der Reinigungsdauerbegrenzung kann die Reinigungszeit sowie Reinigungsmenge bzw. Flüssigkeitsmenge effizient automatisiert und abgestimmt werden. Übernimmt das selbstlernende Modul vollständig die Steuerung wie z.B. in einem geschlossenen neuronalen Netzwerk, muss der Anwender nicht mehr entscheiden, ob und wie lange er die Flüssigkeitsreinigungsfunktion aktiviert, und kann sich vollständig auf seine eigentliche Aufgabe konzentrieren. Dies erhöht die Sicherheit des Patienten, der mit dem endoskopischen Verfahren behandelt oder diagnostiziert wird.
Eine Reinigungsparameterveränderung bzw. -anpassung kann mit Hilfe von maschinellem Lernen oder einem Deep Learning Modell des selbstlernenden Moduls automatisiert erfolgen. Beispielsweise ist eine Parameteranpassung mit stochastischen Approximationsalgorithmen (Stochastic Approximation Algorithmen bzw. SA) möglich.
Gemäß einer bevorzugten Ausführungsform weist das selbstlernende Modul auf Grundlage von einer Bild- Analysehistorie einen Reinigungssteuerungsalgorithmus auf, der die Reinigungswirksamkeit vorheriger Zyklen überprüft, um an die Historie angepasste Reinigungsparameter, vorzugsweise basierend auf stochastische Approximationsalgorithmen, auszuwählen, um die höchste Wahrscheinlichkeit eines Bildes mit ausreichend guter Bildqualität zu erzielen.
Gemäß einer bevorzugten Ausführungsform erfolgt die Anpassung der Reinigungsparameter mittels eines Deep Learning Modells des selbstlernenden Modules oder basierend auf einer schrittweisen Erhöhung oder mittels Maximal-Einstellungen.
Gemäß einer bevorzugten Ausführungsform empfängt das selbstlernende Modul zum Aufbau der Referenzdatenbank Trainingsdaten von Bildstrukturen von charakteristischen Bildern von zu untersuchenden Objekten, vorzugsweise Organe oder Gewebestrukturen, und/oder von Rauch über eine Eingabeschnittstelle automatisch oder durch eine Eingabe über einen Benutzer.
Der Empfang der Trainingsdaten kann beispielsweise cloudbasiert erfolgen. Sind mehrerer Krankenhäuser vernetzt können kontinuierlich oder diskontinuierlich aktuelle Datensätze in die Referenzdatenbank hochgeladen werden.
Gemäß einer bevorzugten Ausführungsform des Verfahrens erfolgen vor oder während des Erfassens von Bilddaten folgende Initialisierungsverfahrensschritte:
-Bereitstellen von wenigstens einer weiteren Datenbank mit technischen Daten verwendbarer Bilderfassungseinrichtungen und/oder mit technischen Daten von Reinigungsmodulen;
- Vergleichen der bereitgestellten Bilderfassungseinrichtung mit den technischen Daten und Erkennen der bereitgestellten Bilderfassungseinrichtung und abhängig von der erkannten Bilderfassungseinrichtung Übermitteln von gespeicherten Reinigungsparametern an das Reinigungsmodul für die Reinigungsaktivierung.
Mit Hilfe einer weiteren Datenbank, die als Parameter-Referenzbank dient, kann der Anwender flexible zwischen verschiedenen Endoskopen und Reinigungsmodulen wählen. Durch die automatische Erkennung werden die in der Parameterdatenbank hinterlegten Parameter automatisch bei der Reinigungsaktivierung aufgerufen. Ferner umfasst das Verfahren folgende Schritte:
- Starten einer Erkennungsroutine, um basierend auf den Bilddaten Strukturen einer Körperhöhle oder eines technischen Hohlraumes, vorzugsweise eines zu untersuchenden Bereiches oder Objektes zu erkennen, und basierend auf einem positiven Ergebnis der Erkennungsroutine Fortführen des Verfahrens oder basierend auf einem negativen Ergebnis der Erkennungsroutine Abbrechen des Verfahrens.
Falls das Abbrechen des Verfahrens veranlasst wird, sollten die Anschlüsse zur Steuereinheit und/oder die Stromversorgung überprüft werden, um daraufhin einen Neustart der Erkennungsroutine zu veranlassen.
In einer bevorzugten Ausführungsform umfasst das Verfahren eine Überwachungsroutine mit folgenden Verfahrensschritten:
-Nach der Reinigung mittels des Reinigungsmoduls Analysieren der Bilddaten durch eine Steuereinheit.
-Vergleichen der Bilddaten mit gespeicherten Parametern für ein positives Reinigungsergebnis .
- In Abhängigkeit vom Reinigungsergebnis Abbrechen der Reinigung oder Wiederholen der Reinigung.
Ist das Reinigungsergebnis noch nicht ausreichend und die optimale Bildqualität nicht erreicht, wird automatisch eine weiterer Fluidpuls zur Reinigung und/oder Trocknung aktiviert bis das Reinigungsergebnis positiv ist bzw. den Sollwerten entspricht. Auf diese Weise kann überwacht werden, ob eine optimale Bildqualität (positives Reinigungsergebnis) vorliegt. Bei einer Wiederholung des Reinigungsvorganges kann bei einem geringeren Verschmutzungsgrad eine Anpassung der Reinigungsparameter durch Reduzierung der Reinigungsdauer oder des Fluidvolumens erfolgen. Durch die anpassbare Reinigung ist eine geringere Spülmenge von Gas oder Fluid notwendig und die benötigte Reinigungsspülmenge kann zu einem Minimum reduziert werden, so dass in die Körperhöhle keine unnötigen Flüssigkeitsmengen gelangen. In einer bevorzugten Ausführungsform umfasst das Verfahren weiterhin folgende Verfahrensschritte:
Anpassung der Reinigung an den Grad der Bildverschlechterung, wobei bei einer starken Bildverschlechterung eine Reinigung mit Flüssigkeit aktiviert wird und in Abhängigkeit von dem bereitgestellten Endoskop definierte Reinigungsparameter bereitgestellt werden. Ferner kann bei einer geringen Bildverschlechterung oder ausreichender Wahrscheinlichkeit einer Bildverbesserung nach Flüssigkeitsreinigung eine Reinigung mit Gas aktiviert werden und in Abhängigkeit von dem bereitgestellten Endoskop definierte Reinigungsparameter zur Trocknung bereitgestellt werden.
Falls eine starke Verunreinigung festgestellt wird, ist eine Reinigung mit Flüssigkeit bevorzugt, während bei leichten Verunreinigungen oder Beschlagen des optischen Fensters die Aktivierung einer Reinigung mit Gas oder einer Trocknung mit Gas ausreichend sein kann.
Gemäß einem weiteren Aspekt wird ein Steuerungssystem zur Bildoptimierung von wenigstens einem am distalen Ende eines Endoskops erfassten Bild bereitgestellt, wobei das System eine Bilderfassungseinrichtung, eine Steuereinheit mit einem selbstlernenden Modul in Kommunikation mit der Bilderfassungsvorrichtung zum Empfangen der Bilddaten und einer Speichereinheit umfasst. Dabei ist das selbstlernende Modul ausgebildet, wenigstens einem Qualitätswert basierend auf Trainingsdaten durch einen Vergleich wenigstens einer bestimmten Bildstruktur mit Bildstrukturen einer Referenz-Datenbank, die in der Speichereinheit gespeichert ist, zu bestimmen. Ferner ist die Steuereinheit ausgebildet, auf Grundlage des bestimmten Qualitätswertes automatisch Steueranweisungen an eine Einheit des Endoskops oder eine externe Einheit zur Aktivierung einer Bildoptimierung auszugeben.
Ferner kann das Steuerungssystem ein oder mehrere Verfahrensschritte des oben beschriebenen Verfahrens zur Bildoptimierung ausführen.
Ferner wird ein Computerprogrammprodukt bereitgestellt, das Anweisungen umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte eines der oben beschriebenen Verfahren durchzuführen. Ferner wird ein computerlesbares Medium bereitgestellt, auf dem das genannte Computerprogramm gespeichert ist.
Ferner wird ein trainiertes Modell bereitgestellt, das mit Trainingsdaten trainiert ist, und wobei das trainierte Modell ausgelegt ist, die Schritte wenigstens eines der oben beschriebenen Verfahren durchzuführen.
Dabei umfassen die Trainingsdaten Eingabedaten, die vorzugsweise in einer Speichereinheit gespeichert sind und Bilddaten, optional Bildstrukturen, und/oder eine Kennzeichensammlung umfassen, die zum Training des Modells verwendet werden. Bevorzugt ist das trainierte Modell des selbstlernenden Modules zur Klassifizierung der Bilddaten in folgende verschmutzungsabhängige Datenbankklassen oder Kategorien trainiert:
1. nicht verschmutze Bilder,
2. verschmutzte Bilder, die durch ein Reinigungsmodul reinigbar sind; und
3. verschmutzte oder Kennzeichen aufweisende Bilder, die durch andere Module als das Reinigungsmodul optimierbar sind.
Mit Hilfe von maschinell antrainierten Datenbankklassen oder Kategorien, kann ein trainiertes Modell aktuelle Bilddaten eines untersuchten Objektes zuverlässig und reproduzierbar klassifizieren, wobei das trainierte Modell erkennen kann, wenn sich eine erkannte Bildstruktur beispielsweise durch Rauch, Kondensat oder Verschmutzung oder andere Störfaktoren verändert hat. Ein maschinell trainiertes Modell ist dabei nicht von subjektiven Beurteilungen von Nutzern abhängig. Auf Basis der erkannten Veränderung können manuell oder automatisch Steueran Weisungen von einer Steuereinheit an eine Einheit zur Aktivierung einer Bildoptimierung ausgegeben werden. Durch eine Aktivierung kann eine Bildoptimierung Sichtverhältnisse und Sichtqualität während einer Operation zumindest teilweise automatisiert sichers teilen.
Kurze Figurenbeschreibung
Die Erfindung sowie weitere vorteilhafte Ausführungsformen und Weiterbildungen derselben werden im Folgenden anhand der in den Zeichnungen dargestellten Beispiele näher beschrieben und erläutert. Die Zeichnungen dienen zur Illustration und sind nicht maßstabsgetreu. Begriffe wie oberhalb sind nicht beschränkend zu verstehen. Die in der folgenden Beschreibung und den Zeichnungen zu entnehmende Merkmale können einzeln für sich oder zu mehreren in beliebiger Kombination erfindungsgemäß angewandt werden.
Die Fig. la ist eine perspektivische Ansicht eines distalen Endes eines Endoskops mit einer erfindungsgemäßen Vorrichtung zur Reinigung;
Fig. 1b zeigt eine Explosionsdarstellung und eine Detailansicht der Figur la, wobei die Düse und zwei Fluidkanäle des Reinigungsmodules gezeigt werden;
Figur 2 zeigt eine weitere Ausführungsform eines distalen Endes eines Endoskops mit einer lokalen Steuereinheit;
Fig. 3 zeigt schematisch eine Ausführungsform mit einer Steuereinheit und damit in Kommunikation stehende Einheiten zur Ausführung des erfindungsgemäßen Verfahrens;
Fig. 4 zeigt schematisch die Datenverarbeitung;
Fig. 5 zeigt ein Flussdiagram eines erfindungsgemäßen Reinigungsverfahrens mit Initiali sierungsroutine ;
Fig. 6 zeigt ein Flussdiagram eines automatisierten Prozessablaufes mit automatisierten Analyseschritten und Reinigung;
Fig. 7 zeigt schematisch im Flussdiagramm ein automatisiertes Verfahren zur Anpassung für die Reinigungsparameter bei einem flüssigen Fluid bzw. bei einem gasförmigen Fluid;
Fig. 8 zeigt ein Flussdiagramm zur schematischen Darstellung mit Beispiel einer Klassifizierung in Kombination mit einer Überwachungsroutine; und
Fig. 9 zeigt ein weiteres schematisches Flussdiagramm des erfindungsgemäßen Verfahrens.
Detaillierte Figurenbeschreibung
Figur la ist eine perspektivische Ansicht eines distalen Endes eines Endoskops mit einem distalen Fensters HO, wobei Figur 1b eine detaillierte Explosionsdarstellung der Figur la zeigt. Die Ausführungsform gemäß Figur la und 1b weist ein Reinigungsmodul 130 auf mit einer Düse 140. Das optische Fenster 110 einer Bilderfassungseinrichtung 115 wie ein Endoskop ist oberhalb des Reinigungsmoduls 130 in einem gemeinsamen Schaft 150 angeordnet. Die gezeigten Komponenten zeigen ein modulares System 100, wobei das Reinigungsmodul 130 lösbar oder integral mit den anderen Komponenten und/oder der Bilderfassungseinrichtung verbindbar sind.
Figur 1b zeigt, dass das Reinigungsmodul 130 zwei Fluidkanäle 131, 132 aufweist. Auf diese Weise können Reinigungsfluide wie eine Flüssigkeit und ein Gas getrennt voneinander zum optischen Fenster 110 transportiert werden. Als Flüssigkeit können Wasser oder Kochsalzlösung oder andere physiologische Lösungen verwendet werden. Als Gase finden häufig Luft oder Kohlenstoffdioxid Anwendung. Die Fluidkanäle sind mit den jeweiligen externen Quellen der Fluide verbunden.
Zur Vermeidung einer Vermischung von zwei verschiedenen Fluiden, wird in dieser Ausführungsform vorteilhaft als Düse 140 eine Zweikanaldüse eingesetzt, wobei die Zuläufe sowie die Sprühkanäle bis zum Düsenaustritt getrennt verlaufen. Die Fluidkanäle 131, 132 können getrennt und unabhängig voneinander aber auch gleichzeitig aktiviert werden. Dabei werden starke Verschmutzungen in der Regel mit Hilfe von Flüssigkeiten besser entfernt, während geringe Verschmutzungen oder Kondensat auf dem optischen Fenster mittels Gas entfernt werden kann. Alternative kann das Reinigungsmodul 130 ausgeführt werden mit einer Einkanaldüse in Kombination mit zwei Zufuhr-Kanäler (nicht gezeigt) oder mit einer Einkanaldüse in Kombinationen mit nur einer Zufuhrkanal (nicht gezeigt), der dann intermittierend mit verschiedene Reinigungsfluide zuführt.
Figur 2 zeigt eine schematische Darstellung einer weiteren Ausführungsform eines Systems 100 zur Optimierung eines Bildes, das durch ein optisches Fenster 110 an einem distalen Ende eines Endoskops mittels einer Bilderfassungseinrichtung 115 erfasst wird. Das System umfasst eine Steuereinheit 120, die lokal als Kamerakontrolleinheit 116 (CCU) bereitgestellt werden kann.
Ferner kann eine Speichereinheit 122 bereitgestellt werden, die in dieser Ausführungsform ebenfalls lokal angeordnet ist. Optional kann die Steuereinheit 120 und die Speichereinheit 122 nicht lokal am distalen Ende des Endoskops angeordnet sein, sondern über Kabel oder kabellos außerhalb des Endoskops zur Verfügung gestellt werden. Die lokale oder externe Speichereinheit 122, die eine Vielzahl von bereits erfassten Bilddaten von dieser Bilderfassungseinrichtung 115 (siehe Referenzzeichen 310 in Fig. 2) oder von anderen Bildsensoren, wie sie z.B. bei Stereo-Endoskopen Anwendung finden (nicht gezeigt) speichern kann, können an die Steuereinheit 120 zur weiteren Verarbeitung durch wenigstens einen Prozessor 121 übertragen werden.
Der Prozessor 121 kann ein oder mehrere Mikroprozessoren oder Grafikprozessoren umfassen und zur Bildanalyse 124 und Optikerkennung 123 verwendet werden. Die Optikerkennung 123 kann als Initialisierungsroutine genutzt werden, um die angeschlossene Bilderfassungseinrichtung 115 zu erkennen und abhängig von der erkannten
Bilderfassungsvorrichtung 115 gespeicherte Reinigungsparameter 128 an das
Reinigungsmodul 130 für die Reinigungssteuerung bzw. -aktivierung zu übermitteln. Im Speicher 122 sind für das Reinigungsmodul 130 Reinigungsparameter 128 wie Fluidvolumen V, Druck p und Puls- oder Reinigungsdauer t abgespeichert. Die Reinigungsparameter 128 können weitere Parameter wie Pulsanzahl, Pulsdauer t, gesamte Reinigungsdauer t, Puls- Pausenverhältnis, Art des Fluids, Fluidvolumen V, Fluidvolumina (Flüssigkeits- oder Gasmenge) und/oder Fluidgeschwindigkeit umfassen.
Mit Hilfe der Reinigungsparameter 128 kann vorzugsweise der Druck p und die Pulsdauer t eines Fluidpuls oder einer Mehrzahl von Pulsen im Reinigungsmodul 130 optimal gesteuert werden. Insbesondere sehr kurze Fluidpulse mit einer Dauer in einem Bereich von nur 200- 1000 ms sind nur mit Hilfe einer automatisierten Steuerung zuverlässig realisierbar. Dadurch kann das System wesentlich genauer gesteuert werden als durch eine manuelle Aktivierung und Deaktivierung durch einen Anwender. In Figur 2 kann wie in Figur 1 ein Ausführungsbeispiel eines Reinigungsmoduls 130 mit zwei getrennten Fluidkanälen 131, 132 verwendet werden. Andere Reinigungsmodule 130 wie z.B. mit nur einem Fluidkanal 131, der sowohl Flüssigkeit als auch Gas in einem Kanal zur Reinigungsdüse 140 fördern kann, können ebenfalls mit der Steuereinheit 121 und dem System verbunden und gesteuert werden.
Die Geometrie der Düse 140 kann so konfiguriert werden, dass sie in einem vorbestimmten Abstand relativ zum optischen Fenster 110 und/oder zu wenigstens einem weiteren Fenster für die Beleuchtungseinrichtungen 111 und 112 positioniert ist, dass der Fluidstrahl wenigstens über die gesamte Außengeometrie des einen optischen Fensters 110 oder von wenigstens zwei Fenstern (nicht gezeigt) gerichtet ist. Dies ist mit Hilfe der gestrichelten Trapezfläche schematisch angedeutet. Bei einer weiteren bevorzugten Ausführungsform ist das Reinigungsmodul 130 und die Düse 140 so ausgelegt, dass zusätzlich die seitlichen Beleuchtungseinrichtungen 111 und 112 effizient gereinigt werden können (nicht gezeigt).
Figur 3 zeigt eine schematische Darstellung einer weiteren Ausführungsform eines Systems und Verfahrens zur Optimierung eines Bildes bzw. von Bilddaten 310, die durch eine Bilderfassungseinrichtung 115 an einem distalen Ende eines Endoskops mittels wenigstens einem geeigneten Bildsensor oder wenigstens einer Kameras erfasst werden. Über die Bilderfassungseinrichtung 115 können Bilddaten 310 wenigstens eines extrahierten Einzelbildes an die Steuereinheit eingegeben werden. Weitere Eingaben 300 oder Inputsignale sind möglich und können vorzugsweise über eine Schnittstelle 360 von einem Anwender über ein geeignetes Interface eingegeben werden.
Die Schnittstelle 360 kann hard- und/oder softwaremäßig ausgebildet sein. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System- ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstelle 360 eigene, integrierte Schaltkreise umfasst oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstelle 360 ein oder mehrere Softwaremodule sein, die beispielsweise auf einem Mikrokontroller neben anderen Softwaremodulen vorhanden sind. Um eine Eingabe 300 bzw. Eingabedaten zu erhalten, kann beispielsweise eine Verbindung mit einer Cloud hergestellt werden (siehe auch Figur 4).
Das zentrale Modul des Systems zur Bildoptimierung ist ein selbstlernendes Modul 320. Das selbstlernende Modul basiert insbesondere auf künstlicher Intelligenz. In dem gezeigten Ausführungsbeispiel werden sogenannte Labels 332 als Eingabe 300 herangezogen. Diese können über die Schnittstelle 360 eingegeben werden. Unter den Labels 332 werden vorzugsweise Datenpaare verstanden. Unter dem Label 322 kann beispielsweise verstanden werden, dass ein bekanntes Inputsignal, und damit eine Eingabe 300, einem Ausgangssignal und eine entsprechende Steuerungsanweisung oder Ausgabe 351, 353, 354, 355 zugeordnet werden kann. Um das selbstlernende Modul 320 und das darin enthaltende zu trainierende Modell 322 zu trainieren, können durch einen Anwender oder Experten gelabelte Inputsignale sogenannte Labels 332, d.h. Eingaben 300, sowie bekannte Ausgaben 351, 353, 354, 355 etc. vorgegeben werden. Auf diese Weise lernt sich das selbstlernende Modul 320 bzw. das darin enthaltene zu trainierende Modell 322 derart an, dass bei einer Eingabe 300 mit Labeln 332 aufgrund der Datenverarbeitung eine Steuerungsanweisung oder Ausgabe 351, 352, 353, 354, 355 an eine Einheit zur Bildoptimierung generiert wird. Die Labels 332 können entweder durch eine Simulation generiert werden oder durch Experten mit Hilfe eines firmeninternen Labeltool 333, wie es in der Figur 4 gezeigt wird, bereitgestellt werden. Die manuelle Erzeugung der Labels 332 kann anhand großer Datenbanken von bereits erfassten Bilddaten mit Endoskopen oder anhand einer ausgewählten Teilmenge der verfügbaren Daten erfolgen. Ferner können die Labels 332 auch durch Unternehmen, die auf der Erzeugung von derartigen Labels 332 spezialisiert sind und dabei auf das entsprechende Fachwissen zurückgreifen können, hergestellt werden.
Als grundlegende Eingabe 300 für das selbstlernende Modul 320 werden Bilder bzw. die zugehörigen Bilddaten 310 der Bilderfassungsvorrichtung 115 eines Endoskops bereitgestellt. Aus einer Vielzahl von aufeinanderfolgenden Bildern werden in einem nächsten Schritt 311 Bilddaten 310 von einem Einzelbild oder wenigstens eine Teilmenge der Bilddaten 310 extrahiert. Dieses extrahierte Einzelbild, sowie die gelabelten oder ungelabelten Bilddaten, können als Trainingsdaten für das selbstlernende Modul 320 verwendet werden. Die Bilddatenhistorie sowie die gelabelten Bilddaten können im Speicher 122 gespeichert werden (siehe Labels 332 als Eingabe und Pfeil in Richtung Speicher 122). Auf Basis der zusammengeführten Information aus aktuell erfassten Bilddaten 310, woraus ein Einzelbild 311 und/oder eine Teilmenge wie Bildabschnitte extrahiert werden, und den gespeicherten Trainingsdaten 331 kann sich das Modell 322 selbsttätig trainieren.
Die Informationen des Bildes 310, die in dem Schritt 311 extrahiert wurden, werden vorzugsweise aufbereitet. Unter aufbereiteten Informationen werden hierbei spezielle Informationen zu der aktuellen Bildgebung verstanden. Dabei können die Bilddaten nach unterschiedlichen Kriterien überprüft werden und z.B. eine Objekterkennung durchgeführt werden. Hierbei handelt es sich beispielsweise um erkannte Bildstrukturen, wie beispielsweise Strukturen von Geweben oder Organen, die von der Bilderfassungsvorrichtung 115 erfasst wurden. Es können aber auch Informationen wie Helligkeit oder andere Umgebungsbedingungen aus dem Einzelbild gewonnen werden. Die gewonnenen Informationen können temporär oder langfristig im Speicher 122 gespeichert werden.
Das trainierte Modell 322 ist ausgelegt und trainiert dazu, dass die extrahierten Einzelbilder 311 oder einzelnen Bildabschnitte oder Pixel bewertet werden, ob eine Verschmutzung vorliegt und wie stark diese Verschmutzung ist. Um den Verschmutzungsgrad quantifizieren zu können, wird eine Klassifizierung 315 in entsprechende Kategorien vorgenommen. Die Klassifizierung 315 enthält wenigstens zwei Klassen. Beispielsweise könnten die zwei Klassen eine unzureichende Helligkeit und eine ausreichende Helligkeit umfassen. Bei einer ausreichenden Helligkeit erfolgt keine Ausgabe zur Aktivierung einer Einheit zur Bildoptimierung. Bei einer unzureichenden Helligkeit können wenigstens ein Ausgabesignal oder eine Steuerungsanweisung zur Bildoptimierung ausgegeben werden. Beispielsweise wird an die Bilderfassungsvorrichtung 115 die Ausgabe 352 übermittelt, um die Kamerakontrolleinheit (CCU) entsprechend zu steuern. Alternativ oder zusätzlich kann der Monitor 364 über ein entsprechendes Steuerungssignal angepasst werden. Kann die Helligkeit über Steuerungsanweisungen an wenigstens eine Beleuchtungseinrichtung 111, 112 verbessert werden, indem eine Ausgabesignal 351 an die jeweilige Beleuchtungseinheit 111, 112 ausgegeben wird.
Eine Vielzahl von Klassifizierungen sind möglich. So kann beispielsweise in die Kategorien „scharf1 und „unschar 1 unterschieden werden, und bei Feststellung eines unscharfen Bildes über eine Ausgabe 352 beispielsweise ein Fokussystem durch die Kamerakontrolleinheit aktiviert werden. Weitere Einheiten wie OP-Einheiten 367 wie z.B. ein Insufflator oder andere im OP-Raum befindliche Einheiten, die vorteilhaft zur Bildoptimierung genutzt werden, können, können über die Ausgabe 355 angesteuert werden.
Eine häufige Ursache für eine Bildstörung oder Verschlechterung ist das Vorliegen einer Verschmutzung, die beispielsweise durch Blut oder Fett oder andere Verschmutzungsfaktoren erzeugt werden kann. In dem Schritt der Klassifizierung 315 kann das trainierte Modell 322 den Verschmutzungsgrad feststellen und als Aktivierungssignal in Form der Ausgabe 353 an das Reinigungsmodul 130 ausgegeben werden. Je nach Verschmutzung kann ein Flüssigkeitspuls oder ein Gaspuls aktiviert werden. Auf diese Weise kann ein automatisiertes, selbstlernendes Modul 320 eine Schmutzerkennung erlernen und das trainierte Modell 322 das Reinigungsmoduls 130 mit einer gezielt ausgerichteten Düse 140 (siehe z.B. Figur 2), so aktivieren, dass nicht nur das optische Fenster HO der Bilderfassungsvorrichtung 115 sondern auch die Beleuchtungseinrichtungen 111 und 112 gereinigt werden. Wird wenigstens eine Beleuchtungseinrichtung 111, 112 mitgereinigt, kann sich gleichzeitig vorteilhafterweise die Lebensdauer und die Lichtausbeute erhöhen.
Die Reinigung kann durch das trainierte Modell 322 automatisch erfolgen, so dass der Anwender bei seiner Untersuchung oder Arbeit nicht gestört wird. Dabei ist die Reinigungsdauer so optimiert, dass die Sicht des Anwenders nicht oder nur sehr kurz beeinträchtigt wird. Dies erfolgt bevorzugt durch die Einstellung hoher Drücke, die kurzzeitig z.B. maximal für eine Dauer von 1000 ms eingestellt werden können. Drücke von maximal bis zu 3 bar stellen eine effiziente Reinigung sicher, wobei wie bei einem Scheibenwischer die Sichtbeeinträchtigung nur sehr kurz und damit kaum wahrnehmbar eingestellt werden kann.
Zu Beginn des Trainings kann ein Experte oder der Anwender die Reinigung auch manuell freigeben, bzw. die Schmutzerkennungsroutinen überprüfen. Die digitale Bildauswertung mittels des trainierten Modells 322 kann genutzt werden, die Reinigung halb- oder vollautomatisch auszulösen. Je länger das Modell 322 trainiert ist, desto zuverlässiger sind die Klassifizierungsergebnisse und die Reinigungsfunktion muss nicht mehr manuell freigegeben werden.
Figur 4 zeigt schematisch eine Ausführungsform einer Datenverarbeitung. Die Datenbank 422, die in diesem Beispiel zentralisiert ausgeführt ist und in Form einer Cloud zur Verfügung gestellt werden kann, speichert die Rohdaten 410 für den Prozess. Die Eingabedaten sind mittels Pfeile zu der zentralisierten Datenbank 422 gezeigt. Insbesondere können Kameradaten 361 importiert werden. Diese Kameradaten 361 oder Bilddaten 310 können von einer Mehrzahl von Krankenhausnetzwerken 371 und 372 zur Verfügung gestellt werden. Alternativ kann auch nur ein einziges Kameramodul oder Bilderfassungseinrichtung 115 die Rohdaten 410 zur Verfügung stellen. Weiterhin können automatische Zusatzdaten 362 importiert werden. Diese Daten 362 können Zusatzinformationen aus Überwachungssystem oder verwendeten Robotersystemen enthalten Solche Zusatzdaten 362 können mit dem OP-Raum Zusammenhängen und können die Temperatur des OP-Raums oder Helligkeit des OP-Raums angeben. Weiterhin können Patientendaten 363 wie Vitaldaten aber auch anwenderspezifische Daten für die Rohdatenbank 410 zur Verfügung gestellt werden. Alle Daten können zentralisiert gespeichert werden. Alternativ oder zusätzlich ist auch eine dezentrale Speicherung möglich. Auf die Rohdaten 410 der Referenzdatenbank 422 kann eine weitere Einheit des Netzwerkes, wie ein Labellingeinheit 333, zugreifen. Dieses Labelling-Einheit 333 ist in diesem Ausführungsbeispiel eine Cloud oder ein Webservice, der zum Labeln oder Kennzeichnung der Eingangsinformation geeignet ist.
Die Rohdaten 410 können Operationsvideos ohne Labelling bzw. Kennzeichnung sein und können in der zentralisierten Referenzdatenbank 422 gespeichert werden. Daraufhin kann ein firmeninternes Team oder externe Experten mit dem Weblabelling-Tool bzw. Einheit 333 die Rohdaten 422 labeln. Auf diese Weise können die gelabelten Operationsbilder oder andere geeignete Datensätze beispielsweise Störungen der Bildqualität und Qualitätswerte festlegen.
Das Labelling kann durch verschiedene Personen 301 302 303 durchgeführt werden. Diese können entweder Experten oder Anwender sein oder extern beauftragte Labelling-Teams, die die Operationsbilder qualitativ gut beurteilen können und auf das notwendige Expertenwissen zurückgreifen können. Das erzeugte Label 332 kann für Trainingsdaten 331 (siehe Fig. 3) für das selbstlernende Modul 320 und somit für neuronale Netze herangezogen werden. Die Trainingsdaten 331 oder gelabelten Datensätze 365 sind die Inputdaten für das trainierte Modell 322 (in Fig. 4 nicht gezeigt). Durch das Labellingverfahren kann ein Qualitätswert bestimmt werden, der für einen späteren Vergleich mit einer bestimmten Bildstruktur einer Referenzdatenbank genutzt werden kann.
Grundsätzlich beruht der Lernprozess in dem selbstlernenden Modul 320 auf wenigstens ein Modell 322, das in einer bevorzugten Ausführungsform ein stochastisches Modell ist und auf Wahrscheinlichkeitsbetrachtung, ob die Bildqualität optimiert werden kann, beruht. In anderen Worten, das aktuelle Bild wird mit Datenbankklassen verglichen und es wird vorzugsweise mit Hilfe von gelabelten Datensätzen 365 entschieden, ob das Bild optimierbar ist. Auf Basis von entsprechenden Grenzwahrscheinlichkeiten werden die Entscheidungen getroffen und es kann auch eine neue Datenbankklasse erforderlich sein und durch das selbstlernende Modul 320 hinzugefügt werden.
In der Aufbau- und Trainingsphase des Modells 322 kann bevorzugt ein offenes KI Netzwerk verwendet werden, das auf künstliche Intelligenz basiert. Hier können die Bilddatensätze durch die Experten 301, 302, 303 korrigiert werden. Diese Experten können einen Vergleich bzw. eine Auswertung der bestehenden Bilddatenbanken mit den neuesten Ergebnissen durchführen. Auf diese Weise wird ein bestehender Datensatz korrigiert und zusätzlich kann die Referenzdatenbank um neue Datensätze erweitert werden. Die gelabelten Datensätze 365 können somit die Qualität des Klassifizierungsprozesses sicherstellen.
Figur 5 zeigt schematisch die Verfahrensschritte einer Ausführungsform des erfindungsgemäßen Verfahrens zur Bildoptimierung. Das Verfahren beginnt mit dem Schritt 1 (Start) und startet durch die Steuereinheit eine geeignete Software bzw. ein Computerprogramm, um die Bilderfassung zu starten. Im Schritt 123 erfolgt die Initialisierungsroutine. Diese Initialisierungsroutine startet eine Bilderkennung und/oder eine Optikerkennung. Auf diese Weise erkennt die Software, welche Optik oder Kamerasensor angeschlossen ist. Auch die angeschlossenen Beleuchtungseinrichtungen können durch die Initialisierungsroutine erkannt werden. Die Optikerkennung kann mit Hilfe der Initialisierungsroutine ferner feststellen, welche Art von Endoskop verwendet wird und welche Reinigungsmodule angeschlossen sind.
In dem Entscheidungsschritt 2 wird beispielsweise geprüft, ob ein Videosignal vorhanden ist oder ob eine Optik angeschlossen ist. In dem Fall, dass in dem Schritt 2 keine Optik erkannt wird, wird der Prozessabbruch 3 initiiert (gekennzeichnet durch den Pfeil NEIN im Fließdiagramm). Dieser Prozessabbruch 3 kann dem Anwender über einen Monitor oder ein Alarmsignal gemeldet werden, so dass der Anwender die geeigneten Schritte zur Behebung des Problems einleiten kann. Hierzu können z.B. die Anschlüsse zur Steuereinheit überprüft werden oder die Stromversorgung.
In dem Fall, dass ein positives Ergebnis bei der Optikerkennung festgestellt wird, folgt das Fließschema dem JA Pfeil zur Analyseroutine 124. Die Analyseroutine greift auf ein selbstlernendes Modul 320 (siehe Fig. 3) zurück und wendet künstliche Intelligenz an. Die aktuell erfassten Bilddaten werden hier mit bereits gespeicherten Bilddaten verglichen und es kann ein Qualitätswert basierend auf diesem Vergleich ermittelt werden. Durch diesen Vergleich kann auch eine automatische Erkennung von OP-Umgebung oder Verunreinigung des Sichtfeldes festgestellt werden.
In dem darauffolgenden Schritt 125 wird abgefragt, ob das erfasste Bild ein Objekt erkannt hat oder nicht. Die Objekterkennung kann z.B. ein zu untersuchender technischer Hohlraum, eine zu untersuchende Körperhöhle, Gewebestrukturen oder eine OP Umgebung feststellen. Falls diese Abfrage 125 negativ ist (NEIN bei dem gestrichelten Pfeil), wird der Prozess im Schritt 160 abgebrochen. Ohne eine Objekterkennung ist die Verschmutzung oder eine andere Störung der Bildqualität nicht feststellbar und das Verfahren kann in dem Schritt 161 beendet werden.
Wird die Abfrage in dem Schritt 125 positiv bewertet, wenn beispielsweise eine Verunreinigung oder ein unscharfes oder zu dunkles Bild festgestellt werden, führt der JA Stufenpfeil zu einer weiteren Entscheidungsabfrage. Hier wird nun unterschieden, ob es eine Verunreinigung oder Störung gibt, die man mit dem Reinigungsmodul beheben kann oder ob es sich um andere Störfaktoren handelt, die man mit dem Reinigungsmodul nicht beheben kann. Sind andere Störfaktoren vorhanden, wird die Analyseroutine 124 erneut durchgeführt (siehe gestrichelter NEIN Stufenpfeil zurück zu 124).
Ist das Ergebnis positiv, das heißt dass eine Verunreinigung vorliegt, die man mit Hilfe eines Reinigungsverfahrens beheben kann, ist nun der Entscheidungsbaum so, dass entweder eine Reinigung 126 mit einem flüssigen Fluid oder eine Reinigung 127 mit einem Gas oder beides hintereinander durchgeführt wird. Nach einer Flüssigkeitsreinigung 126 kann die Gasreinigung 127 als Trocknung genutzt werden. Eine ausschließliche Trocknung 127 kann beispielsweise vorteilhaft sein, wenn sich Kondensat auf dem optischen Fenster gebildet hat. Eine Gaszufuhr in dem Schritt 127 kann das Kondensat trocknen und die Bildstörung beheben. Zudem sind auch hier nicht gezeigte Kombinationen von gleichzeitiger Aktivierung von einer Reinigung mit Flüssigkeit (Schritt 126) und Reinigung mit Gas (Schritt 127) möglich. Vorteilhafterweise wird die Reinigung durch Flüssigkeit 126 nur für eine kurze Zeitdauer von wenigen Millisekunden aktiviert, damit der Anwender bei der Operation oder Untersuchung nicht gestört wird. Dieser sogenannte Scheibenwischereffekt kann nur durch eine Softwaresteuerung ausgeführt werden, da solche kurzen Perioden nicht manuell einstellbar sind.
Nach Durchführung der Reinigung wird die Überwachungsroutine 129 gestartet. Die Reinigung kann in Abhängigkeit des Verschmutzungsgrades ausgeführt werden und durch die Überwachungsroutine 129 optimiert werden. In der Regel werden starke Verunreinigungen mit Flüssigkeit gereinigt (Schritt 126). Bei leichten Verunreinigungen oder Beschlagen des optischen Fensters ist eine Reinigung mit Gas und damit eine Trocknung 127 ausreichend. Aktivierung der Reinigungsschritte erfolgt entweder automatisiert oder nach einer Freigabe durch den Anwender.
Die Überwachungsroutine 129 überprüft nach einer Aktivierung, ob das Sichtfeld und die Bildqualität wieder optimal ist. Ist dies der Fall geht es zurück zur Analyseroutine 124 (siehe Pfeil JA). Für die Überwachungsroutine 129 wird ein geschlossener Regelkreis bereitgestellt, der überprüft, ob vorgegebene Sollwerte der Bildqualität durch die aktivierte Reinigung 126 oder Trocknung 127 erreicht werden oder nicht. Durch die Überwachungsroutine 129 kann die Sicherheit für den Patienten erhöht werden. Ist das Reinigungsergebnis nicht optimal, kann zunächst eine Wiederholung der Reinigung 126 oder Trocknung 127 initiiert werden. Wird durch die Überwachungsroutine 129 festgestellt, dass keine Verbesserung der Qualität des Bildes durch die Reinigung 126 oder 127 erfolgt, kann das Optimierungsverfahren mittels Reinigungsmodul in Schritt 160 abgebrochen werden (siehe Ende 161).
Basierend auf dem selbstlernenden Modul 320 und dem darin enthaltenen trainierten Modell 322 (siehe z.B. Figur 3) können nicht nur automatisierte Analyseroutinen 124 und anschließend automatisierte Reinigungsprozesse 126, 127 ablaufen, sondern auch die Reinigungsparameter angepasst werden. Dies wird zu Figur 7 detaillierter ausgeführt.
Figur 6 zeigt eine weitere Ausführungsform des erfindungsgemäßen Verfahrens mit einem schematischen Flussdiagramm. Das Flussdiagramm ist in fünf Bereiche, angedeutet durch Spalten, aufgeteilt: Der Erste Bereich der Eingabe 300, der zweite Bereich der Analyse 301, der dritte Bereich der Prozessdurchführung zur Optimierung vorzugsweise durch Reinigung und der vierte Bereich des Optimierungsergebnis mit Überwachungsroutine 129 und Parameteranpassung 138. Schließlich der mögliche Prozessabbruch 160.
In dem Bereich der Eingabe 300 wird das Verfahren in dem Schritt 401 gestartet. Hier kann als Eingabesignal ein Videosignal eines Endoskops zur Verfügung gestellt werden. Im Schritt 402 wird überprüft, ob ein Videosignal vorhanden ist. Aufgrund dieser Überprüfung wird entweder ein positives Ergebnis (JA) oder ein negatives Ergebnis (NEIN) erhalten. Ergibt diese Abfrage 402 ein NEIN, wird der Prozess im Schritt 403 abgebrochen. Da in dem Fall des Prozessabbruches 403 kein Videosignal vorliegt, sollte nach dem Prozessabbruch 403 überprüft werden, ob alle Verbindungen bestehen bzw. eine Stromversorgung gegeben ist.
Ergibt die Überprüfung 402 ein positives Ergebnis (JA) wird der Prozess in dem Analysebereich 301 weitergeführt. In dem Schritt 311 erfolgt das sogenannte Extrahieren wenigstens eines Bildes. D. h. aus dem Videosignal werden einzelne Bilder extrahiert. In einem Schritt 312 können optional die Bilder in Bildabschnitte unterteilt werden. Auf diese Weise kann das Bild in verschiedene Abschnitte zerlegt werden, z.B. A, B, C, wobei z.B. C eine zentrale Region des Bildes darstellen kann.
Im nächsten Verfahrensschritt 313 findet eine Voranalyse der Bilder bzw. wenn der Schritt
312 angewandt worden ist, eine Voranalyse der Bildabschnitte statt. In dem Verfahrens schritt
313 der Voranalyse werden die Bilder vorverarbeitet und mit einer Datenbank, die im Speicher 122 gespeichert ist, verglichen. Bevorzugt findet ein Vergleich von wenigstens einer bestimmten Bildstruktur mit Bildstrukturen einer Referenzdatenbank statt. Dabei können unterschiedliche Kriterien überprüft werden und eine Objekterkennung erfolgen bzw. eine Ist-Datenerfassung.
Im darauffolgenden Schritt kann die Klassifizierung 315 in verschiedene Klassen bzw. Kategorien stattfinden. Die Bildklassifizierung erfolgt auf Grundlage eines Qualitätswertes der mittels eines trainingsbasierten Modelles (siehe Referenznummer 322 z.B. in Fig. 3) ermittelt werden kann. Dieses Modell 322 ist Teil eines selbstlernenden Moduls 320 in einer Steuereinheit 120 des bildoptimierenden Systems und arbeitet mit der Referenzdatenbank, die in dem Speicher 122 enthalten ist, zusammen. Diese Speichereinheit 122 kann die Historie von vorangegangenen Bilderfassungen speichern. In den Speicher 122 können auch gelabelte Videobilder (siehe 365 in Fig. 4) eines Endoskops gespeichert werden, um damit den Qualitätswert zu bestimmen. Auf diese Weise kann mit hinterlegten Parametern oder Kennzeichen ein erfasstes Bild hinsichtlich der Bildqualität qualifiziert werden.
Die Klassifizierungshistorie ist in dem Speicher 122 gespeichert und wird kontinuierlich um die aktuell erfassten Bilddaten ergänzt. Dabei werden nicht nur die erfassten Bilder aus den vorangegangenen Schritten sondern auch die zugehörigen Bewertungen der Videosignale gespeichert. Die Speicherung in Speichereinheit 122 kann lokal oder dezentralisiert erfolgen. Durch die sogenannte Bildhistorie kann eine fortlaufende Dokumentation erfolgen und das zu trainierende Modell 322 (siehe z.B. Figur 3) weiter kontinuierlich optimiert werden. Je größer die abrufbaren Datensätze desto präziser kann das maschinelle Lernen erfolgen und damit die die Lernfähigkeit des Modells 322 erhöht werden Bei einer ausreichend großen Datensatz kann beispielsweise auf künstliche Intelligenz mit einem Deep Data Modell zurückgegriffen werden.
In dem Schritt der Klassifizierung 315 können einzelne Bildabschnitte oder Pixel bewertet werden, ob eine Verschmutzung vorliegt und wie stark die Verschmutzung ist. Dabei wird auf die vorhandenen Datenbankklassen oder -kategorien zurückgegriffen. So kann z.B. in eine Klasse 1 „OK“ d.h. „optimale Bilder“ und in eine weitere Klasse 2 d.h. „verschmutzte Bilder“ unterschieden werden. Auch andere Klassen wie gut ausgeleuchtete Bilder und schlecht ausgeleuchtete Bilder können in der Datenbankklasse hinterlegt werden. Zusatzinformation über beispielsweise Rauch oder Helligkeit oder Fokuseinstellungen kann für die folgenden Verfahrensschritte und Steuerungsanweisungen bzw. Ausgabe 353 oder Aktivierungssignale 135 genutzt werden, um das Bild zu optimieren. Wird beispielsweise Rauch festgestellt, kann eine Kommunikation mit wenigstens einer anderen OP-Einheit 351 erfolgen, um den Rauch abzusaugen.
Die Analyse 124 bewertet die Art der Verschmutzung anhand der Pixel und optional anhand der Position im Bild. Wird in der Klasse 2 „verschmutzte Bilder“ eine Verschmutzung festgestellt kann ferner darin unterschieden werden, ob diese Verschmutzung reinigbar ist oder nicht. In einer bevorzugten Ausführungsform kann im Analyseschritt 124 beispielsweise der Verschmutzungsgrad aufgrund einer Auswertung der im Speicher 122 gespeicherten Bildhistorie festgestellt werden. Bevorzugt erfolgt in Schritt 124 eine Gesamt- Auswertung der Bildqualität in Abhängigkeit von zulässigen prozentualen „Verschmutzung“-Anteilen. Bildrandbereiche können hierbei weniger gewichtet werden als das Bildzentrum.
In dem Schritt 125 wird festgestellt, ob eine Objekt erkannt worden ist oder nicht. Zudem kann sobald ein Objekt oder eine Bildstruktur erkannt worden ist, festgestellt werden, ob eine Verschmutzung vorliegt oder nicht. Die Art und Grad der Verschmutzung wurde bereits vorab durch eine geeignete Klassifizierung 315 mit Hilfe eines Vergleiches im Klassifizierungsschritt 315 mit der Referenzdatenbank anhand von Algorithmen automatisiert in dem selbstlernenden Modul 322 der Steuereinheit 120 (siehe Fig. 4) festgestellt. In Schritt
125 kann nicht nur eine mögliche Verschmutzung abgefragt werden, sondern es können auch Ausschlüsse von anderen Störfaktoren erfolgen, z.B. der Ausschluss von Rauch oder anderen Bedingungen, wie unzureichender Kontrast, Schärfe oder Licht.
Wird im Schritt 125 festgestellt, dass der Qualitätswert bereits optimal ist, ist eine Optimierung beispielsweise durch eine Prozessdurchführung 835 wie z.B. Reinigung nicht notwendig. Da hier der Zyklus zur optimalen Bildqualität abgeschlossen ist, geht das Verfahren zurück zu einem der Schritte 311 oder 312. Eine nicht vorliegende Verschmutzung wird schematisch mit dem Pfeil NEIN gekennzeichnet, der von dem Schritt 125 zu den Schritten 311 oder 312 führt. Ein Neustart bei 311 kann kontinuierlich erfolgen oder nach festgelegten Zeitabständen.
Wurde in dem Schritt 125 auf Basis der vorangegangenen Analyse 124 die Bildqualität so beurteilt, dass eine Reinigung oder eine Optimierung durch eine Prozessdurchführung 835 erfolgen kann, geht das Verfahren weiter (siehe Pfeil JA in Fig. 6) und es wird ein Aktivierungssignal über eine Ausgabe 353 ausgegeben. Im Bereich der Prozessdurchführung 835 kann beispielsweise ein Reinigungsmodul 130 aktiviert werden, um eine Reinigung 126 oder eine Trocknung 127 durch ein Fluid durchzuführen. Die Prozessdurchführung 835 des Reinigungsvorganges kann automatisiert durch das selbstlernende Modul 320 aktiviert werden oder alternativ, nachdem das selbstlernende Modul 320 eine Reinigung empfohlen hat, manuell aktiviert werden. Die Reinigung kann über eine Düse einerseits mit Flüssigkeit
126 erfolgen oder mit Gas 127, um eine Reinigung oder Trocknung zu initiieren. Diese beiden Reinigungsarten 126 und 127 (nicht in Figur 6 gezeigt siehe z.B. Figur 5 oder 7) können auch kombiniert werden.
In einer bevorzugten Ausführungsform ist bei größeren Verschmutzungen das Fluid flüssig und die Reinigung kann mit wenigstens einem Fluidpuls mit einer Dauer von nur einigen Millisekunden bis maximal tausend Millisekunden erfolgen. Wird zusätzlich oder alternativ beispielsweise das Vorhandensein von Rauch festgestellt, kann durch ein Aktivierungssignal 135 eine Kommunikation 351 mit einer anderen Geräteeinheit erfolgen. Eine andere Geräteeinheit kann eine OP-Geräteeinheit 367 (siehe Fig. 3) sein wie beispielsweise eine Rauchgasabsaugung, die aktiviert wird, wenn durch die vorhergehenden Schritte Rauch erkannt worden ist. Ferner können eine Insufflatorpumpe oder andere Operationseinheiten 367 angesteuert werden, um ein optimales Reinigungsergebnis oder die gewünschte Bildoptimierung zu erhalten.
In dem nächsten Bereich erfolgt die Überwachung 129 des Ergebnisses der Optimierung. Wenn die aktivierte Prozessdurchführung 835 eine Reinigung war, wird in diesem Bereich zunächst das Reinigungsergebnis mit einer Datenbank verglichen. Dies erfolgt in dem Verfahrensschritt 129, der eine Überwachungsroutine 129 umfasst. Mit Hilfe der Überwachungsroutine 129 kann die Reinigungswirksamkeit der vorherigen Zyklen anhand der Auswertung der Bildhistorie aus dem Speicher 122 überprüft werden. Bei einem offenen, künstlichen Intelligenz- Netzwerk kann der Vergleich mit den Referenzdatenbanken durch einen Experten ggf. korrigiert werden. Dabei können die Reinigungsergebnisse oder Optimierungsergebnisse von einem Expertenteam oder einem einzelnen Experten beurteilt werden und damit die verwendeten Algorithmen und das trainierte Modell überprüft werden. Bei einem geschlossenen neuralen Netzwerk können Korrekturen automatisiert durch das selbstlernende Modul 320 erfolgen, während in einem offenen neuralen Netzwerk es durch Experten auch entschieden werden kann, ob eine neue Datenbankklasse erforderlich ist. Gegebenenfalls kann ein Experte nicht nur Korrekturen vornehmen, sondern eine Vorsteuerung vornehmen. Alternativ kann nach einer ausreichenden Anlernphase des Modells 322 auch eine modellbasierte Vorsteuerung eingestellt werden, damit beispielsweise festlegbare Sollwerte des Druckes in der Körperhöhle nicht überschritten werden. Bei einem offenen neuralen Netzwerk oder einem geschlossenen neuronalen Netzwerk oder einer Mischform aus beiden („semi-supervised“) erfolgt vor dem Neustart des Verfahrens (Wiederholung der Schritte 311-315, 124-125) eine Prozessoptimierung und/oder eine Parameteranpassung 138. Damit kann ein zu trainierendes Modell in der Trainingsphase optimiert werden, um die gewünschten optimalen Ergebnisse zu erreichen. Die Reinigungsparameter können beispielsweise durch eine schrittweise Erhöhung der Fluidvolumina im Schritt 138 angepasst werden.
Gemäß einer beispielhaften Ausführungsform der Reinigungsanpassung 138 kann das selbstlernende Modul 320 durch Überprüfung des Reinigungsergebnisses die Dauer der Reinigung verkürzen und die die Reinigungsparameter in Schritt 138 so anpassen, dass die Reinigungsdauer beispielsweise nur zwischen 200 ms bis 800 ms beträgt. Die Reinigungsdauer kann verkürzt werden in Abhängigkeit von dem Verschmutzungsgrad und bei gleichzeitiger Erhöhung des Drucks. Der Druck oder die Fluidmenge bei der Reinigung 126 muss ausreichend eingestellt werden, dass die Verschmutzung effizient entfernt werden kann. Im selbstlernenden Modul 320 erfolgt automatisch eine Optimierung der Druckverläufe, indem Parameter in Schritt 138 durch das angelernte Modell 322 verändert werden. Dabei soll auch das Kriterium erfüllt sein, dass ein minimaler Fluidverbrauch erfolgt.
Vorzugsweise werden folgende Kriterien für die Parameter-Zuordnung und Parameter- Optimierung berücksichtigt:
Hauptkriterium ist die Sauberkeit und vollständige Beseitigung der Verschmutzung. Nebenkriterium ist die minimale Reinigungsdauer und minimaler Fluidverbrauch.
Die Parameteranpassung 138 erfolgt vorzugweise in der Art, dass die Hauptkriterien und vorzugsweise auch die Nebenkriterien mit hoher Wahrscheinlichkeit erfüllt werden. Das Ziel des zu trainierenden Modells 322 ist daher eine optimale Beseitigung der Verschmutzung bei gleichzeitig sehr kurze Reinigungszeit, um den Anwender minimal zu stören.
Grundsätzlich beruht der Prozess auf Wahrscheinlichkeitsbetrachtungen, ob die Bildqualität optimiert werden kann. Die oben genannten Kriterien sollen dabei mit hoher Wahrscheinlichkeit erfüllt werden. Die Vorgehensweise zur Bildoptimierung durch eine Parameterveränderung (Höhe, Reihenfolge etc.) kann für verschiedene Bild-Klassen oder Verschmutzungsgrade unterschiedlich sein und kann in einem Datensatz in einer Parameter- Datenbank im Speicher 122 gespeichert werden. Das selbstlernende Modul 320 ist so konfiguriert, dass eine erstmalige Parametereinstellung und Parameteranpassung 138 automatisch erfolgen kann. Eine Zuordnung und Einstellung der Reinigungsparameter kann anhand der Bildanalyse 124 vorgenommen werden. Auf Basis einer optimalen Parametereinstellung und einer adaptiven und gleichzeitig prädiktiven Steuerung durch das selbstlernende Modul kann die höchste Wahrscheinlichkeit erzielt werden, ein unverschmutztes Bild in ausreichend guter Bildqualität für den Anwender zu erzielen.
In einer bevorzugten Ausführungsform kann beispielsweise der Verschmutzungsgrad gegenüber der Bildhistorie festgestellt werden. Hierbei kann der Verschmutzungsgrad nicht mehr vorliegen oder weniger oder gleichgeblieben sein oder sich verschlechtert haben. Je nach Verschmutzungsgrad kann eine schrittweise Erhöhung erfolgen, beispielsweise eine Erhöhung der Dauer des Reinigungspulses oder des verwendeten Druckes. Andererseits können bei hohen Verschmutzungsgraden Maximaleinstellungen verwendet werden, um das Bild zu optimieren. Diese möglichen Parameteranpassungen werden in dem Flussdiagramm mit dem Referenzzeichen 138 gekennzeichnet. Die angepassten Parameter können an das Reinigungsmodul ausgegeben werden.
Ist das Reinigungsergebnis besser aber noch nicht zufriedenstellend, können die Reinigungen mit veränderten Parametern wiederholt durchgeführt werden. Nach der Reinigungsparameteranpassung 138 wird das Verfahren zurück in dem Bereich der Analyse 301 zu dem Schritt 311 Extrahieren der Bildabschnitte weitergeführt. Darauf folgen die Klassifizierung 315 und weitere Analyseschritte, die in die Verschmutzungserkennung in dem Schritt 125 mündet, um zu entscheiden, ob eine positive Veränderung durch Reinigung erfolgen kann oder nicht. Nach Aktivierung der Reinigungsmoduls 130 wird das Reinigungsergebnis wieder im Schritt 129 überprüft. Ist das Ergebnis sehr gut kann der Prozess der Reinigung abgebrochen werden. Dies wird mit dem JA-Pfeil zum Ende 161 in den Bereich Prozessabbruch 160 gekennzeichnet. Andererseits können die Analyseverfahrensschritte im Bereich 301 erneut wiederholt werden.
Figur 7 zeigt schematisch in einem Flussdiagramm insbesondere ein automatisiertes
Verfahren zur Anpassung von Parametern, das beispielsweise in dem Verfahrens schritt 138 der Figur 6 angewandt werden kann bzw. mittels dem in Figur 3 gezeigten System umfassend eine Steuereinheit 120 einem oder mehreren Prozessoren 121 ausführbar ist.
In dieser Ausführungsform werden Reinigungsparameter 128 für ein zweikanaliges Reinigungsmodul 130, das für eine Reinigung sowohl mit einem flüssigen Fluid und einem gasförmigen Fluid ausgelegt ist, angepasst, um eine optimale Reinigung 126, 127 durchzuführen. Alternativ zu einem zweikanaligen Reinigungsmodul 130 kann auch ein dreikanaliges Reinigungsmodul 130 bereitgestellt werden oder zwei Reinigungsmodule 130, um zwei distale Fenster eines Stereo-Endoskops optimal reinigen zu können.
Zu Beginn des Verfahrens werden die Reinigungsparameter in Abhängigkeit von dem verwendeten Reinigungsmodul 130 ausgewählt bzw. angepasst. Wesentliche Parameter sind die Flüssigkeitsmenge Vn, wie z.B. eine Wassermenge oder physiologische Natriumchloridlösung aus einem Flüssigkeitskanal 131, ein optimaler Druck p und ein Zeitparameter t wie die Reinigungsdauer t oder Intervalle. Andere in Fig. 7 nicht gezeigte Parameter wie Puls-Pazsenverhältnisse, Pulsanzahl etc. sind ebenfalls regelbar. Mit dem zweiten Fluidkanal 132 kann Gas zur Reinigung oder Trocknung verwendet werden, wobei eine Gasmenge Vc>as, der Druck p und die Dauer t des Gaspulses beispielhaft gezeigt werden.
In der Steuereinheit 120 ist das selbstlernende Modul 320 ausgebildet, eine Verschmutzung und vorzugsweise einen Verschmutzungsgrad festzustellen. Wird eine Verschmutzung in dem Schritt 125 festgestellt, kann ein entsprechendes Ausgabesignal 353 an ein Reinigungsmodul 130 ausgegeben werden. Eine Steuerungsanweisung „Strg“ aktiviert über eine Ausgabe 353 eine Reinigung mit einer Flüssigkeit 126 und/oder Gas 127.
Abhängig von dem ermittelten Verschmutzungsgrad können die Parameter 128 für die Reinigung angepasst werden. Die Anpassung der Parameter 138 kann zudem nach Ermittlung des Reinigungsergebnisses erfolgen. Basiert das trainierte Modell 322 auf einem offenen neuronalen Net kann die Optimierung unter Zuhilfenahme einer Klassifizierung 315 in einem Loop durchgeführt werden. Dies wird schematisch mit einem Baumdiagramm und Pfeilen dargestellt und im Folgenden beschrieben. In Schritt 328 wird als erstes eine Abfrage gemacht, ob das Bild nach einer Reinigung eine Veränderung aufweist oder nicht. Die Reinigungsergebnisse werden mit dem selbstlernenden Modul 320 ermittelt. Das Reinigungsergebnis kann dabei in Abhängigkeit von einer Veränderung in beispielsweise in vier Klassen eingeteilt werden:
Klasse 1 umfasst ein gutes Ergebnis d.h. „OK“ nach der Reinigung durch Flüssigkeit oder Gas, so dass hier der Prozess abgebrochen in Schritt 161 beendet werden kann.
Klasse 0, entspricht einem Reinigungsergebnis ohne Veränderung und wird gekennzeichnet durch das Gleichheitszeichen, ,=“ d.h. das Bild ist gleich geblieben ist.
Klasse 3 entspricht einem positiven Reinigungsergebnis, d.h. einer Veränderung (gekennzeichnet durch das Ungleichzeichen , “) zum Besseren „+“ in anderen Worten eine Optimierung des Bildes erfolgte.
Klasse 4 entspricht einem Reinigungsergebnis mit Veränderung wobei das Bild schlechter ist als vorher.
Ergibt sich Klasse 1, Klasse 3 mit einer ausreichenden Bildoptimierung oder Klasse 4, wird der Reinigungsprozess in Schritt 161 „Ende“ abgebrochen, da keine weitere Reinigung notwendig ist oder kein Erfolg durch die Reinigung erzielt werden kann. Im letzteren Fall können gegebenenfalls können andere Optimierungsmethoden anhand von Pixelauswertungen ermittelt werden und daraufhin Parameter wie Farbe, Auflösung, Licht, Kontrast und/oder Schärfe angepasst werden.
Eine Parameteranpassung 138 erfolgt bei der Klassifizierung in Klasse 0 und Klasse 3, wenn eine positive Veränderung festgestellt wird, die noch nicht ausreichend ist. Da hier eine Reinigung und Anpassung der Parameter in dem Reinigungsmodul notwendig ist erfolgt hier eine Parameteranpassung 138 in der Loop, wobei Parameter 128 des Reinigungsmoduls 130. für Flüssigkeit oder Gas angepasst werden, indem die Fluidmenge oder der Druck oder die Pulsdauer t verändert werden.
Wurde das Reinigungsergebnis in eine Kategorie eingeteilt, wo eine Anpassung der Parameter erfolgt, wird wiederum eine im Schritt 328 festgestellt, ob eine positive, negative oder keine Veränderung vorliegt. Ist das Reinigungsergebnis gemäß der Klassifizierung 315 besser aber noch nicht zufriedenstellend, können die Reinigungen mit veränderten Parametern wiederholt durchgeführt werden. Dann wird das Reinigungsergebnis wieder in Schritt 328 überprüft. Ist das Ergebnis schließlich Klasse 1 „OK“ oder gemäß Klasse 0 „=“ gleichbleibend, kann der Prozess der Reinigung im Schritt 161 „ENDE“ abgebrochen werden.
Figur 8 zeigt ein Flussdiagram zur schematischen Darstellung z.B. einer weiteren Ausführungsform umfassend eine Anwendung eines trainierten Modells 322 (Schritt 5) und eine Überwachungsroutine 129. In der Figur 8 wird wie in einem der vorangegangenen Verfahren zunächst in dem Schritt 1 das Videosignal gestartet. Der Prozess beginnt bei Start bei Schritt 1 und es wird in dem anschließenden Schritt 2 überprüft, ob ein Videosignal tatsächlich vorhanden ist. Ist dies nicht der Fall, geht es gemäß dem Pfeil „NEIN“ zu dem Prozessabbruch 160. Hier kann eine Überprüfung der korrekten Anschlüsse erfolgen und dann wieder von vorne mit einem Neustart bei Schritt 801 angefangen werden.
Ist die Abfrage in Schritt 2 positiv und wird mit „JA“ beantwortet. Wird wenigstens ein Bild erfasst. In Figur 8 wird eine Mehrzahl an Bildern i, i+1 und i+2 schematisch dargestellt. In dem nächsten Schritt der Voranalyse wird ein Einzelbild extrahiert, in dem gezeigten Fall wird das Bild i extrahiert (Schritt 4). Dies entspricht dem allgemeinen Verfahrens schritt ein Bild zu extrahieren 311. Auf das extrahierte Bild kann daraufhin das trainierte Modell in dem Schritt 5 angewendet werden. In dem Schritt 5 erfolgt die Klassifizierung die wenigstens drei Klassen umfasst (siehe 501, 502, 503).
In dem gezeigten Ausführungsbeispiel des Optimierungsverfahrens wird das erfasste Bild i in drei verschiedene Klassen eingeordnet.
Im Klassifizierungsschritt 501 wird die Klasse 1 festgestellt, wobei das Bild als nicht verschmutzt erkannt wird und somit als „OK“ klassifiziert wird.
Schritt 502 betrifft die Klasse 2, wobei die Sicht nicht OK ist und eine Verschmutzung oder andere Beeinträchtigung vorliegt. Diese Kategorie wird als „nicht reinigbar“ eingeordnet, da in Klasse 2 die Sichtbeeinträchtigung oder Verschmutzung nicht durch eine Reinigung mit Flüssigkeit und/oder Gas behoben werden kann. Dies kann beispielsweise der Fall sein, wenn eine falsche Fokuseinstellung vorliegt. In diesem Fall kann die Steuereinheit der Kamera beispielsweise angesteuert werden, um den Fokus zur Bildoptimierung anzupassen. Dies wird schematisch dargestellt mit dem Pfeil, der zu der CCU (Camera Control Unit) zeigt. Alternativ oder zusätzlich können in Abhängigkeit von der Störung andere Geräteeinheiten, wie z.B. ein Monitor 364 oder eine OP-Geräteeinheit 367, wie ein Insufflator angesteuert werden. Wird beispielsweise ein unscharfes Bild im Klassifizierungsschritt 502 festgestellt, kann der Kamerafokus durch die CCU so eingestellt werden, dass ein scharfes Bild des zu untersuchenden Objektes entsteht.
Alle während der Anwendung des Modells 322 (Schritt 5) und somit z.B. in den Klassifizierungsschritten 501 oder 502 durch das selbstlernende Modul 320 erfassten Informationen können in dem Speicher in der Speichereinheit 122 in dem Schritt 7 gespeichert werden. Daraufhin wird das nächste Bild i+1 im Schritt 311 extrahiert und das Analyseverfahren beginnt von Neuem bei Schritt 2.
Zudem kann das erfasste Bild nach den Analyseschritten in dem Schritt 503 einer Klasse 3 zugeordnet werden. Die Klasse 3 bedeutet, dass das Bild verschmutzt ist und durch ein Reinigungssystem oder Reinigungsmodul 130 reinigbar ist (dies ist hier schematisch mit einem „nicht OK“ und einem Pfeil zu 130 d.h. dem Reinigungsmodul dargestellt). In dem Schritt 6 können die klassifizierten Bilder nun weiter beurteilt und analysiert werden. Dabei kann eine Überprüfung, Priorisierung und/oder Bewertung der Verschmutzung erfolgen. Optional kann das Bild in Abschnitte unterteilt werden, um eine Lokalisierung der jeweiligen Verschmutzung vornehmen zu können.
Mit Hilfe des trainierten Modells 322 können Gewebestrukturen, Objekte, Organe oder auch andere zu untersuchenden Objekten erkannt werden und von Verschmutzungen oder Rauch unterschieden werden. Es können auch weitere Klassen als die oben angegebenen hinzugefügt werden, entweder durch einen Experten oder dem selbstlernenden Modul.
Nach einer Voranalyse und Klassifizierung 5 durch das trainierte Modell 322 kann noch eine weiterführende Analyse in dem Schritt 8 erfolgen. Hier kann eine Auswertung der Bildhistorie stattfinden, sowie das Vorhandensein und die Art einer Verschmutzung festgestellt werden. Hierbei sind viele Kategorien denkbar und nicht nur die oben angegebenen. Es kann der Grad der Verschmutzung weiter abgestuft werden und Kategorien wie gering verschmutzt „x“ stärker verschmutzt „xx“ oder sehr stark verschmutzt „xxx“ spezifiziert werden. Auch andere Kategorien sind denkbar verschmutzt mit Blut, Fett oder andere Störfaktoren, wie Kondensat oder Rauch. Ferner kann durch eine weitergehende Analyse auch eine Gewichtung der Bildareale stattfinden, die das trainierte Modell selbst festlegen kann. Jedem Bildbereich kann eine zulässige prozentuale Verschmutzung zugeordnet werden. Eine bevorzugte Ausführungsform eines selbstlernenden Verfahrens ist, dass eine höhere Priorität dem Bildzentrum zugeordnet wird und hier bessere Qualitäts werte als außenliegende Bereiche gefordert werden.
In dem Verfahrensschritt 8 wird entschieden, ob eine Reinigung notwendig ist oder nicht. Ist keine Reinigung oder Optimierung notwendig, wird der Zyklus für optimale Bildqualität abgebrochen und beendet. Das Verfahren kann kontinuierlich bei Schritt 2 wiederholt werden oder nach festgelegten Zeitabständen durch einen Neustart 801 wieder begonnen werden. Bei der Verwendung des trainierten Moduls, umfassend ein offenes Netzwerk, erfolgt vor dem Neustart 801 vorzugsweise ein zusätzlicher Schritt zur kontinuierlichen Prozessoptimierung, der mit Hilfe von Experten durchgeführt wird. Auf diese Weise kann kontinuierlich der Prozess optimiert werden.
Wird in Schritt 8 entschieden, dass eine Reinigung erfolgen soll, erfolgt eine Aktivierung des Reinigungsmoduls 130 über ein Aktivierungssignal oder Ausgabesignal 353. Nach der Aktivierung des Reinigungsschrittes kann ein Vergleich mit der Datenbank mittels einer Überwachungsroutine 129 erfolgen.
Alle Ergebnisse können in einem Speicher 122 in dem Schritt 7 gespeichert werden. Wird nach Schritt 6 bzw. nach Schritt 8 ein verschmutztes Bild als Ergebnis festgestellt, erfolgt eine Anpassung der Reinigungsparameter bevorzugt mit dem Modell 322 basierend auf einem offenen neuralen Netz mit Hilfe von Klassifizierungsschritten und einer Optimierung 9 in einer Loop. Dieses Prinzip wurde schematisch und in mehr Detail bereits zu Figur 7 in Zusammenhang mit einer Parameteranpassung 138 beschrieben.
Nach Abschluss der oben genannten Verfahrensschrittes 9 erfolgt eine Extrahierung eines neues Bild i+1 und eine neuer Zyklus der Analyseschritte 2 kann bei Schritt beginnen. Dies wird durch die nach oben gerichteten Pfeilen zu dem Schritt 2 angezeigt. Dann beginnt der Prozess von Neuem und die Bildoptimierung kann wieder. Figur 9 zeigt ein weiteres schematisches Flussdiagramm des erfindungsgemäßen Verfahrens zur Bildoptimierung. Der Prozess wird begonnen in dem Punkt, der gekennzeichnet ist mit START bzw. 801. Ist ein Videosignal vorhanden kann die Datenerfassung in dem Schritt 310 beginnen. In dem Schritt 311 werden Bilder extrahiert. Nach der Extrahierung 311 werden Einzelbilder weitergegeben, die auch in Bildabschnitte zerlegt werden können. Das Extrahieren 311 wird von einer Datenaufbereitung gefolgt, wobei der Ist-Datensatz festgestellt wird und ein Vorbearbeitung der Bilder erfolgen kann.
In dem anschließenden Schritt 124 werden die Daten mittels einer Datenanalyse beurteilt. Diese Datenanalyse 124 erfolgt mit Hilfe eines selbstlernenden Moduls 320 und einer Referenzdatenbank, die in dem Speicher 122 gespeichert wird. Dabei ist das selbstlernende Modul ausgelegt, durch einen Vergleich wenigstens einer bestimmten Bildstruktur mit Bildstrukturen einer Referenzdatenbank einen Qualitätswert zu ermitteln. Das Zusammenspiel mit der Referenzdatenbank während der Qualitätswertbestimmung wird durch den Doppelpfeil zwischen der Datenanalyse 124 und der Speichereinheit 122 angedeutet. Der gefundene Ist-Zustand kann in einer temporären Datenbank „122tmp“ gespeichert werden. Bei einem Ergebnis, dass keine Optimierung möglich ist oder keine Reinigung erforderlich ist, kann dieses temporäre Bild später wieder gelöscht werden. Werden jedoch verschmutzte oder anderweitig beeinträchtigte Bilder durch die Analyse festgestellt, ist es vorteilhaft, dass diese Daten als Trainingsdaten für ein Modell 322 des selbstlernenden Moduls 320 in der Referenzdatenbank im Speicher 122 gespeichert werden.
Die Referenzdatenbank in der Speichereinheit 122 besteht aus einer Mehrzahl von Datenbänken wie Bildparameterdatensätzen basierend auf eine Bilddatenbank und einer Parameterdatenbank, wie beispielsweise Reinigungsparameter oder Monitorparameter. In den Referenzdatenbänken der Speichereinheit 122, können gute bzw. verschmutzte Bilder anhand von Bildausschnittsdaten, Pixelauswertung, Kontrast, Farbe, Schärfe, Auflösung, Helligkeit, Erkennung von Rauch und/oder Objekten eingeordnet werden.
Zudem ist das Speichern von Zusatzinformationen oder Zusatzauswertungen 366 vorteilhaft. Eine mögliche Zusatzinformation 366 ist z.B. ein erfasstes Bild mit Rauch. Es können zudem eine Vielzahl von Objekten, die zu untersuchen sind, als Zusatzinformation gespeichert werden: Gewebe, Adern, Sehnen oder Knochen. Zusatzinformationen können ebenfalls den Beleuchtungszustand betreffen und sich z.B. auf bestimmte Wellenlängen des Lichtes beziehen. Jede Information ist als Zusatzinformation geeignet, wenn das Ziel, die Bildqualität von den erfassten Bildern der Endoskopeinheit zu optimieren erfüllt ist. Eine Optimierung kann dabei nicht nur durch einen Reinigungsprozess erfolgen, sondern auch durch andere Optimierungsprozesse, wie z.B. eine Änderung der Einstellungen zur Wiedergabe auf einen Monitor wie z.B. ein LCD-Display.
Die im Sichtfeld zu untersuchenden Strukturen können beispielsweise besser oder differenzierter erkannt werden, wenn bestimmte Fluoreszenzbildgebungstechniken eingesetzt werden. Beispielsweise kann durch die Verwendung von Indocyaningrün (ICG) mittels Licht mit Wellenlängen im Nahinfrarot (NIR) besser anatomische Strukturen sichtbar gemacht werden. Hierzu kann mittels der Steuereinheit 120 das Licht optimal in der entsprechenden Wellenlänge eingestellt werden. Außerdem können auch 3D Technologien verwendet werden und hierfür optimierte Parameter angepasst werden. Wird z.B. eine Fluoreszenstechnik eingesetzt, kann der Wellenbereich der Beleuchtungseinrichtung entsprechend angepasst werden. Für die Fluoreszenstechnik werden dann auch entsprechende Videosignale gespeichert und eine Datenbank der Zusatzinformation 366 im Speicher 122 für diese besondere Technologie zur Verfügung gestellt. Genannte und andere Zusatzinformationen können verwendet werden, um das Bild je nach den eingesetzten Technologien zu verbessern.
Eine weitere Zusatzinformation kann Parameter enthalten, um eine Farbverfälschung in der Bildwiedergabe eines Monitors entgegenwirken zu können. Ein Kriterium für eine gute farbtreue Bildwiedergabe am Monitor sind beispielsweise korrekt eingestellten Farbräume. Geeignete Parameter sind hier Helligkeit, Einstellung zur Farbsättigung oder auch Fokuseinstellungen. Da die Bildqualität auch durch das Display oder den Monitor moduliert werden kann, ist es wichtig auch hier die optimalen Einstellungen abzuspeichern und anzupassen, je nachdem ob Veränderungen in den Grundbedingungen stattgefunden haben. Es kann auch ein Monitor an den Anwender angepasst werden. 1st der Anwender beispielsweise Brillenträger oder hat eine Rot-Grün Schwäche können anwenderspezifische Einstellungen als Zusatzinformation abgespeichert werden und bei Erkennung des Anwenders durch hinterlegte Daten (siehe Referenznummer 363) aktiviert werden. Die Zusatzinformation kann auch eine Endoskopeinheit umfassend eine elektronische Bilderfassungseinrichtung wie CCD oder CMOS Systeme oder wenigstens zwei Bilderfassungseinrichtungen für Stereo-Systeme betreffen, die an der Spitze des Endoskops angeordnet sind. Entscheidende Parameter sind hier optimale Lichtstärke, Tiefenschärfe und Kontrast, sowie ggf. Vergrößerungsmöglichkeiten. Dabei ist es Hauptaufgabe Störungen wie Verschmutzung oder Kondensat zu verhindern oder zu beseitigen sowie die erkannten Oberflächen oder Strukturen innerer Organe in höchster Abbildungstreue wiederzugeben.
Auf Basis der in dem Speicher 122 gespeicherten Referenzdatenbanken kann das trainierte Modell 322 nun in dem Schritt 825 entscheiden, ob eine Optimierung des erfassten Bildes erfolgen kann oder nicht. Ist das Bild nicht optimierbar, geht es zurück zu START zu Schritt 801 und der Prozess beginnt von vorne.
Ist eine Optimierung möglich, geht der Entscheidungsweg nicht entlang des NEIN-Pfeiles, sondern entlang des JA-Pfeiles, um den nächsten Verfahrensschritt 835 der Prozessdurchführung zu aktivieren. Zur Aktivierung einer Bildoptimierung steht wenigstens eine Geräteeinheit von einer Vielzahl von Geräteeinheiten, wie das Reinigungsmodul 130, ein Monitor 364 oder ein OP-Gerät 367 zur Verfügung. Die Vielzahl an Geräteeinheiten steht in Kommunikation sowohl mit der Speichereinheit 122 als auch mit der Steuereinheit 120 (hier nicht gezeigt). Steuerungsanweisungen werden abhängig von einem in der Analyse bestimmten Qualitätswert an wenigstens eine der Geräteeinheiten übermittelt, um die Optimierung schließlich in dem Schritt 835 durchzuführen.
Ein Beispiel zur Optimierung ist die Aktivierung eines OP-Gerätes 367 wie ein Insufflator oder die Aktivierung wenigstens einer Beleuchtungseinrichtung 111 oder 112. Dabei kann eine Erhöhung der Lichtstärke oder Veränderung der Lichtverhältnisse durch Anpassung der Parameter der Beleuchtungseinrichtung erfolgen. Alternativ oder zusätzlich kann eine Aktivierung einer Reinigung durch ein Reinigungsmodul 130 erfolgen, um eine erkannte Verschmutzung auf dem Sichtfeld oder auf einer Beleuchtungseinrichtung 111 zu entfernen oder wenigstens zu reduzieren. Alternativ sind andere aktivierbare Prozessdurchführungen 835 möglich, wie Anpassungen der Monitorparameter eines Monitors 364. Nach der Prozessdurchführung (Schritt 835) geht der Prozess wieder zurück zur Datenerfassung 310 und beginnt die einzelnen Schritte der Datenaufbereitung (siehe Schritt 311) und anschließender Datenbeurteilung (siehe Schritt 124) wieder von neuem.
In dem Speicher 122 kann entsprechend den anzu steuernden Geräteeinheit eine Vielzahl von Datenbänke hinterlegt sein. Vorzugsweise gibt es wenigstens eine Parameterdatenbank, die für die Prozessdurchführung 135 Anwendung findet, wenn in der Optimierungsabfrage (Schritt 825) verschmutzte Bilder festgestellt worden sind. Je nach der Kategorie der verschmutzten Bilder gibt es entsprechend hinterlegte angepasste Reinigungsparameter, wie z.B. die Gas- oder Flüssigkeitsspülmenge, der Druck, die Pulsdauer, die Intervalle zwischen den Pulsen und das Pulspausenverhältnis oder andere.
Folgende Kriterien können für die Parameteroptimierungen in der Speichereinheit bzw. in dem selbstlernenden Modul hinterlegt werden. Das Hauptkriterium für die Parameterzuordnung und Optimierung ist die Sauberkeit und die Bildqualität, d.h. die möglichst vollständige Beseitigung von Verschmutzungen. Ein Nebenkriterium für die Parameterzuordnung und Optimierung ist die minimale Reinigungsdauer. Es soll der Anwender minimal gestört werden analog zu einer kurzen Scheibenwischerbewegung. Ein weiteres Nebenkriterium ist der minimale Fluidverbrauch z.B. von Flüssigkeit wie Wasser oder Natriumchlorid oder andere physiologisch gut verträgliche Fluide. Schließlich kann ein minimaler Gasverbrauch die Parameterbildung eingehen.
Das selbstlernende Modul ist so ausgebildet, dass die Parameteranpassung, wie z.B. eine Druckerhöhung oder eine Pulsverlängerung, vorzugsweise in der Art erfolgt, dass die Hauptkriterien und Nebenkriterien mit hoher Wahrscheinlichkeit erfüllt werden. Dabei kann die Art bzw. die Vorgehens weise zur Optimierung, d.h. die Höhe und Reihenfolge der Parameterveränderung, zu verschiedenen Bildklassenverschmutzungsgraden unterschiedlich sein. Dies bedeutet, dass für die einzelnen Bildklassen bzw. Verschmutzungsgrade auch weitere Datensätze bzw. eine weitere Parameterdatenbank im Speicher 122 zugeordnet werden können. Dabei beruht das Verfahren auf Wahrscheinlichkeitsbetrachtungen und das trainierte Modell beruht auf einem stochastischen Modell. Andere mögliche Modelle können als Grundlage für die Parameteranpassung dienen wie z.B. ein empirisches Modell, wobei Messdaten von wenigstens einem Sensor einfließen, beruht. Die Bilder können auch durch ein geeignetes Modell selbst trainiert werden, Labels oder Kennzeichen für die zur Verfügung gestellten Rohdaten zu generieren. Auf diese Weise können gelabelte Bilddatensätze, das Anlernen des Trainingsmodells erleichtern und beschleunigen. Zusätzlich oder als Korrektur können weiterhin Experten gelabelte Bilder erzeugen.
Wenn das trainierte Modell auf einem offenen neuralen Netzwerk beruht, können Korrekturen durch Experten vorgenommen werden. Durch das sogenannte Labelling kann ein Experte oder ein anderer entsprechend ausgebildeter Anwender ein vorhandenes Bild aus den Rohdaten mit einem Kennzeichen, das eine Optimierungsbedarf angibt, markieren oder mit einem Symbol wie OK, das bedeutet, dass keine Optimierung nötig ist. Diese gelabelten Bilder können dann als Trainingsdaten für das zu trainierende Modell verwendet werden. Hierbei können wenigstens ein Satz von Trainingsdaten, vorzugsweise mehrere Sätze von Trainingsdaten, vorbereitet werden und dann durch das zu trainierende Modell 322 der maschinellen Lernvorrichtung (siehe selbstlernendes Modul 320 z.B. in Fig. 3) zum Lernen zur Verfügung gestellt werden. Insbesondere wenn für jede Klasse eine möglichst große Anzahl von Trainingsbildern, die durch Experten vorgelabelt worden sind, bereitgestellt werden, kann die Lernphase des Modells auf vorteilhafte Weise verkürzt werden,
Die durch das maschinelle Lernen erzeugten Trainingsdaten werden wiederum in der Referenzdatenbank gespeichert. Das selbstlernende Modul 320 kann durch ein neuronales Netz, wie etwa ein mehrschichtiges neuronales Netz, ein trainiertes Modell 322 bilden, das als Eingabeschicht Bilddaten mit entsprechenden Markierungen, Kennzeichen oder Labeln aufweist und als Ausgabeschicht klassifizierte Bilder ausgibt. Ein derartiges neuronales Netz hat auch eine Zwischenschicht und kann beispielsweise ein Convolutional Neural Network (CNN) anwenden.
Die vorzugsweise gelabelten Trainingsdaten sind in der Speichereinheit 122 gespeichert und das trainierte Modell 322 des selbstlernenden Moduls 320 lernt unter Verwendung dieser Trainingsdaten 331. Das mit Trainingsdaten 331 trainierte Modell 322 führt basierend auf einem durch die Bilderfassungseinrichtung 1115 erfassten Bildes (siehe Schritt 310) bzw. einem Bildabschnitt dieses Bildes (siehe Schritt 311), eine Bestimmung eines Qualitätswertes (siehe Schritt 124) durch und gibt dann das Bestimmungsergebnis aus (Schritt 825). Ergibt das Bestimmungsergebnis bzw. der Qualitätswert, dass keine Optimierung notwendig ist oder keine Verschmutzung feststellt wurde, wird das Verfahren sofort oder in vorgegebenen Zeitabständen neu gestartet (siehe NEIN Pfeil zu Schritt 801).
Ergab der Entscheidungsschritt 825 eine Prozessdurchführung 835 zur Optimierung des Bildes, kann das Optimierungsergebnis mit dem selbstlernenden Modul anhand von Pixelauswertungen mit Parametern wie Farbe, Auflösung, Licht, Kontrast und/oder Schärfe gewertet werden. Dabei werden die Pixel vorzugsweise so ausgewertet, dass Organe oder zu untersuchende Gewebe von einer Verschmutzung unterschieden werden können. Dies kann mit dem Vergleich von Bilddaten aus der Datenbank im Speicher 122 erfolgen und wird angedeutet durch Doppelpfeil zwischen den jeweiligen Geräteeinheiten 111, 130, 365 und 367 und dem Speicher 122.
Die Erfindung kann für eine Vielzahl der auf dem Markt etablierten endoskopischen Systeme Anwendung finden, um das jeweilige Untersuchungsobjekt präziser und sicherer diagnostizieren und trotz Störungen schnellstmöglich am Situs schnellstmöglich Weiterarbeiten zu können. Das erfindungsgemäße Optimierungsverfahren und Optimierungssystem kann hierbei im Schritt 825 automatisiert Entscheidungen treffen, ob eine Optimierung notwendig ist und ob eine Bildoptimierung durch die ansteuerbaren Geräte durchführbar ist. Beispielsweise kann eine automatisierte Schmutzerkennung erfolgen und automatisiert eine Reinigung erfolgen. Insbesondere in der Medizintechnik sind schnelle Reinigungsergebnisse sehr wichtig. Dabei soll wird vorteilhafter Weise vermieden, dass der Anwender lange gestört wird und die Verschmutzung oder Bildstörung so schnell wie möglich behoben wird. Durch die kontinuierliche Bereitstellung von Trainingsdaten wird die Qualität der Kl-Algorithmen laufend verbessert und durch fortlaufende Parameteranpassungen erfolgt ein optimales „Tuning“ der Prozessdurchführungen 835.
Eine Software oder Computerprogrammprodukt zur Durchführung des Bildoptimierungsverfahrens ist konfiguriert mit Hilfe von Bildanalysealgorithmen nicht optimale Bilder oder Störungen wie z.B. Bildverschmutzungen mit ausreichender Wahrscheinlichkeit erkennen. Mittels der Bildanalyse kann ein Qualitätswert und bestehende Bilddaten (Bildhistorie) oder Parameterdaten ausgewertet und mit den neuesten Bilddaten und vorangegangenen Optimierungsergebnissen verglichen werden. Neben einem statistischen Modell können die Algorithmen eines stochastischen Modells verwenden und Steuerungsanweisungen auf Basis von entsprechenden Grenzwahrscheinlichkeiten, ob das aktuelle Bild optimierbar ist oder nicht, ausgeben. In einem offenen künstlichen Netzwerk können bestehende Datensätze neben automatischen Verfahren durch Experten korrigiert werden und eine Erweiterung der Referenzdatenbank in dem Speicher 122 um neue Datensätze automatisch oder manuell erfolgen. Eine kontinuierliche halbautomatische oder automatische Überprüfung des Optimierungsverfahrens führt zu einer Erhöhung der Sicherheit für den Anwender und somit für die mit dem endoskopischen Verfahren untersuchte Person.
Referenzliste
1 Start
2 Abfrage Videosignal
3 Prozessabbruch
4 Extrahieren Einzelbild i
5 Anwenden trainiertes Modell
6 Überprüfung, Priorisierung und Bewertung einer Verschmutzung
7 Speichern in einem Speicher 122
8 Analyse, Gesamtauswertung mit anschließender Entscheidung zur Optimierung
9 Optimierung durch Klassifizierung im Loop
100 trainingsbasiertes automatisiertes System
110 optisches Fenster
111 erste Beleuchtungseinrichtung
112 zweite Beleuchtungseinrichtung
115 Bilderfassungseinrichtung/Kameraeinheit
116 CCU (camera control unit)
120 Steuereinheit
121 Prozessor
122 Speicher
123 Initialsierungsroutine
124 Analyse basierend auf Trainingsdaten und/oder Vergleich mit gespeicherten Daten
125 Verfahrensschritt umfassend Optimierumgs- oder Verschmutzungserkennung 126 Reinigung mit Flüssigkeit
127 Reinigung mit Gas oder Trocknung
128 Reinigungsparameter
129 Überwachungsroutine
130 Reinigungsmodul
131 erster Fluidkanal
132 zweiter Fluidkanal
133 Zuführkanal
135 Aktivierungssignal
138 Anpassung der Reinigungsparameter in Abhängigkeit vom Reinigungsergebnis oder von ermittelten Endoskoptyp
140 Düse
150 Schaft
152 Hülse
160 Prozessabbruch
161 Ende
300 Eingabe
301 , 302, 303 Experte oder Anwender
310 Bild bzw. Bilddaten
311 Extrahieren eines oder mehrerer Bilder
312 Unterteilung in Bildabschnitte
313 Voranalyse/Vorverarbeitung der Bilder (Objekterkennung; Ist-Datenerfassung)
315 Klassifizierung
320 selbstlernendes Modul unter Anwendung von künstlicher Intelligenz wie maschinelles Lernen oder Deep Learning
322 zu trainierendes bzw. trainiertes Modell
328 Feststellung, ob Veränderung A nach Reinigung 331 Trainingsdaten
332 Labels oder Kennzeichen
333 Cloud oder Webservice für Labelling
351 Ausgabe an Beleuchtung seinrichtung(en)
352 Ausgabe an Steuereinheit (CCU) der Bilderfassungeinrichtung
353 Ausgabe an Reinigungsmodul
354 Ausgabe an Monitor
355 Ausgabe an Geräteeinheit z.B. OP-Einheit
360 Schnittstelle
361 Import Kameradaten
362 Import von automatischen Überwachungsdaten
363 Import Patientendaten oder Anwenderdaten
364 Monitor
365 Gelabelter Datensatz
366 Zusatzanalyse und/oder Information
367 OP-Einheit
371, 372 erstes und zweites Krankenhausnetz
401, 402, 403 Verfahrensschritte
410 Rohdaten
422 zentralisierte Speichereinheit
501, 502, 503 Klassifizierungsschritte in jeweilige Datenbankklasse
801 Neustart
825 Optimierungserkennung bzw. Entscheidung/ Abfrage ob Optimierung
835 Prozessdurchführung
P Druck t Reinigungsdauer V Fluidvolumen
Strg Steuerung

Claims

Patentansprüche
1 . Verfahren zur Bildanalyse und Optimierung von wenigstens einem am distalen Ende eines Endoskops erfassten Bild, wobei das Verfahren die folgenden Schritte umfasst: Erfassen von Bilddaten (310) mittels einer Bilderfassungseinrichtung (115) eines Endoskops;
Empfangen der Bilddaten durch eine Steuereinheit (120),
Voranalyse (313) wenigstens einer Teilmenge der Bilddaten (310) eines oder mehrerer aufeinander folgender Bilder durch eine Steuereinheit (120) zum Bestimmen wenigstens einer Bildstruktur;
Bestimmen eines Qualitätswertes mittels eines trainingsdatenbasierten, vorzugsweise selbstlernenden, Modules (320), durch einen Vergleich der wenigstens einen bestimmten Bildstruktur mit Bildstrukturen einer Referenz-Datenbank, die in einer Speichereinheit (122) gespeichert sind, und auf Grundlage des bestimmten Qualitätswertes manuelles oder automatisches Ausgeben von Steueranweisungen von der Steuereinheit (120) an eine Einheit zur Aktivierung einer Bildoptimierung.
2. Verfahren nach Anspruch 1, wobei die zur Bildoptimierung aktivierbare Einheit eine Einheit des Endoskops ist; und vorzugsweise ein Reinigungsmodul (130) zur Reinigung wenigstens eines distalen Fensters mittels wenigstens eines Fluids umfasst und die Bildoptimierung über die Aktivierung des Reinigungsmoduls (130) erfolgt.
3. Verfahren nach Anspruch 1 oder 2, wobei der Qualitätswert von der erfassten Helligkeit des Bildes und/oder Verschmutzung des wenigstens einem distalen Fenster abhängt, wobei in dem Schritt des Bestimmens des Qualitätswertes mittels des selbstlernenden Modules (320) eine Klassifizierung (315) in Verschmutzungswahrscheinlichkeiten und/oder Grad der Verschmutzung erfolgt.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das selbstlernende Modul (320) ein Modell (322) mit einem neuronalen Netz umfasst, wobei die Eingabedaten die von der Bilderfassungseinrichtung (115) erfassten Bilddaten, die als Einzelbilder, Pixel und/oder Bildabschnitte extrahierbar sind; und
52 wobei die Ausgabedaten die Wahrscheinlichkeit einer Verschmutzung oder Blindheit der Bilderfassungseinrichtung (115) umfasst. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Trainingsdaten in der Speichereinheit (122) gespeicherte Bildstrukturen und/oder eine Kennzeichensammlung umfassen, die zum Training eines Modells (322) des selbstlernenden Modules (320) verwendet werden, wobei das trainierte Modell (322) des selbstlernenden Modules (320) zur Klassifizierung (315) der Bilddaten (311) in folgende verschmutzungsabhängige Datenbankklassen (501, 502, 503) trainiert ist: nicht verschmutze Bilder, verschmutzte Bilder, die durch ein Reinigungsmodul (130) reinigbar sind; und verschmutzte oder Kennzeichen aufweisende Bilder, die durch andere Module als das Reinigungsmodul optimierbar sind. Verfahren gemäß dem vorhergehenden Anspruch, wobei das selbstlernende Modul auf maschinellen Lernen beruht, wobei durch einen Experten (301) oder mehrere Personen (301,302, 303) eine Vorklassifizierung durchgeführt wird und die anschließende qualitätswertabhängige Klassifizierung durch ein neuronales Netz durchgeführt wird; optional sind aus den Trainingsdaten (331) abgeleitete Algorithmen für das Modell (322) des selbstlernenden Modules (320) von wenigstens einem Experten (301) überprüfbar und korrigierbar. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das selbstlernende Modul (320) ein Modell (322) mit einem neuronalen Netz basierend auf maschinellen Lernen oder Deep Learning aufweist, wobei das neuronale Netz ausgewählt ist aus der Gruppe umfassend: ein offenes neuronales Netz; ein geschlossenes neuronales Netz; ein einschichtiges neuronales Netz; ein mehrschichtiges feedforward Netz mit verdeckten Schichten; ein rückgekoppeltes neuronales Netz; und Kombinationen davon.
53 Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die wenigstens eine Bildstruktur wenigstens ein zu untersuchendes Objekt darstellt, das in dem erfassten Bild abgebildet wird; und wobei eine Verschmutzungserkennung, Verschlechterungs- oder Raucherkennung auf eine Veränderung der Bildstruktur basiert. Verfahren nach einem der vorhergehenden Ansprüche, wobei im Verfahrensschritt der Voranalyse eine Unterteilung eines des erfassten Bildes in Bildabschnitte (312) vorgenommen wird und/oder auf Grundlage von Analysewerten eine Unterteilung in einzelne Regionen auf Basis von Pixeln erfolgt, wobei der Qualitätswert für jede der Bildabschnitte und/oder Regionen bestimmbar ist. Verfahren nach einem der vorhergehenden Ansprüche 2 bis 9, wobei das Reinigungsmodul ausgebildet ist, in Abhängigkeit von einer festlegbaren Gewichtung von Regionen und/oder in Abhängigkeit einer zulässigen prozentualen Verschmutzung, eine regional gezielte Reinigung zu aktivieren, wobei vorzugsweise die Region des distalen Fensters, die dem Bildzentrum zuordenbar ist, gezielt gereinigt wird. Verfahren nach Anspruch 10, wobei nach Aktivierung des Reinigungsmoduls ein Puls eines Fluidstrahls mit einer Dauer von einigen Millisekunden bis maximal 1000 ms und unter hohem Druck (p) von maximal 3 bar auf wenigstens einen Teil des distalen Fensters der Bilderfassungseinrichtung und/oder auf eine oder mehrere distale Beleuchtungsfenster von Lichtquellen gezielt zur Reinigung gerichtet wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zur Bildoptimierung aktivierbare Einheit ausgewählt ist aus der Gruppe umfassend: eine oder mehrere Lichtquellen des Endoskops zur Veränderung der Beleuchtungsstärke; wenigstens ein Filter zur Optimierung eines Kontrastes;
Autofokussystem zur Anpassung der Schärfe des Bildes;
Farbspektrumsänderungeinheit;
Endlinsenbeheizung;
Monitor;
54 anwenderabhängige und/oder endoskop- oder lichtleiterabhängige anpassbare Software; Raumbeleuchtung des OP-Saales; und
Kombinationen davon. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bestimmung eines Qualitätswertes einen Blindheitswert durch Rauch oder Kondensation umfasst, wobei mittels der Steuereinheit ein Vergleich von erfassten Kennzeichen für Rauch oder Kondensation mit Kennzeichen einer in der Referenzdatenbank gespeicherten Kennzeichensammlung erfolgt. Verfahren nach einem der Ansprüche 2 bis 13, wobei das Verfahren ferner eine Steuerungsanweisung an einen Rauchgasabsauger und/oder einen Insufflator oder eine Spülpumpe umfasst, um das Bild durch eine Rauchgasabsaugung zu optimieren; und/ oder mittels des Insufflators oder der Spülpumpe das Fluidmanagement in der mit dem Endoskop zu untersuchenden Körperhöhle in Abhängigkeit von Fluidflüssen bei einer Rauchgasabsaugung oder Reinigung zu optimieren. Verfahren nach einem der Ansprüche 2 bis 14, wobei mit einem Drucksensor der intrakorporale Druck in der Körperhöhle gemessen wird und die Steuereinheit (120) Ereignis- und/oder Zeit-gesteuert wenigstens während der Dauer einer Reinigung den intrakorporalen Druck mittels einer Regelung der wenigstens einen Pumpe oder einer Regelung eines Druckregler so steuert, dass der intrakorporale Druck einen vorbestimmten maximalen Grenzwert nicht überschreitet. Verfahren nach einem der Ansprüche 5 bis 15, wobei das Reinigungsmodul (130) ausgelegt ist in Abhängigkeit der Datenbankklassen und/oder an einen Verschmutzungsgrades die Art der Reinigung mittels Reinigungsparameterveränderung (138) anzupassen, wobei ein oder mehrere Reinigungsparameter (128) ausgewählt sind aus einer Gruppe umfassend:
55 Art des Fluids, Fluidvolumen, Fluidvolumina, Fluidgeschwindigkeit, Druck, Pulsdauer, Pulsanzahl, Puls-Pausenverhältnis und/oder gesamte Reinigungsdauer. Verfahren nach einem der vorhergehenden Ansprüche, wobei das selbstlernende Modul (320) auf Grundlage von einer Bild-Analysehistorie einen Reinigungssteuerungsalgorithmus aufweist, der die Reinigung swirksamkeit vorheriger Zyklen überprüft, um an die Historie angepasste Reinigungsparameter (128) vorzugsweise basierend auf stochastische Approximationsalgorithmen, auszuwählen, um die höchste Wahrscheinlichkeit eines Bildes mit ausreichend guter Bildqualität zu erzielen. Verfahren nach Anspruch 16 oder 17, wobei die Anpassung (138) der Reinigungsparameter (128) mittels eines Deep Learning Modells des selbstlernenden Modules oder basierend auf einer schrittweiser Erhöhung oder mittels Maximal- Einstellungen erfolgt. Verfahren nach einem der vorhergehenden Ansprüche, wobei das selbstlernende Modul (320) zum Aufbau der Referenzdatenbank Trainingsdaten (331) von Bildstrukturen von charakteristischen Bildern von zu untersuchenden Objekten, vorzugsweise Organe oder Gewebestrukturen, und/oder von Rauch über eine Eingabeschnittstelle (360) automatisch oder durch eine Eingabe (300) über einen Benutzer empfängt. Verfahren nach einem der vorhergehenden Ansprüche, wobei vor oder während des Erfassens von Bilddaten ferner folgende
Initialisierungsverfahrensschritte (123) erfolgen:
Bereitstellen von wenigstens einer weiteren Datenbank mit technischen Daten verwendbarer Bilderfassungseinrichtungen (115) und/oder Reinigungsmodulen;
Vergleichen der bereitgestellten Bilderfassungseinrichtung (115) mit den technischen Daten und Erkennen der bereitgestellten Bilderfassungseinrichtung; und abhängig von der erkannten Bilderfassungseinrichtung Übermitteln von gespeicherten
Reinigungsparametern (128) an das Reinigungsmodul (130) für die Reinigungsaktivierung.
. Verfahren nach Anspruch 20, wobei das Verfahren ferner folgende Schritte umfasst: Starten einer Erkennungsroutine, um basierend auf den Bilddaten Strukturen einer Körperhöhle oder eines technischen Hohlraumes, vorzugsweise eines zu untersuchenden
Bereiches oder Objektes zu erkennen, und basierend auf einem positiven Ergebnis der Erkennungsroutine Fortführen des Verfahrens oder basierend auf einem negativen Ergebnis der Erkennungsroutine Abbrechen des Verfahrens. . Verfahren nach einem der Ansprüche 2 bis 21, ferner umfassend eine Überwachungsroutine (129) mit folgenden Verfahrensschritten: nach der Reinigung mittels des Reinigungsmoduls (130) Analysieren der Bilddaten durch eine Steuereinheit (120);
Vergleichen der Bilddaten mit gespeicherten Parametern (128) für ein positives Reinigungsergebnis ; in Abhängigkeit vom Reinigungsergebnis Abbrechen der Reinigung oder Wiederholen der Reinigung. . Verfahren nach einem der Ansprüche 2 bis 22, ferner umfassend: Anpassung (138) der Reinigung an dem Grad der Bildverschlechterung; wobei bei einer starken Bildverschlechterung eine Reinigung mit Flüssigkeit aktiviert wird und in Abhängigkeit von dem bereitgestellten Endoskop definierte Reinigungsparameter (128) bereitgestellt werden; und wobei bei einer geringen Bildverschlechterung oder ausreichender Wahrscheinlichkeit einer Bildverbesserung nach Flüssigkeitsreinigung eine Reinigung mit Gas aktiviert wird und in Abhängigkeit von dem bereitgestellten Endoskop definierte Reinigungsparameter (128) zur Trocknung (127) bereitgestellt werden. . Ein Steuerungssystem zur Bildoptimierung von wenigstens einem am distalen Ende eines Endoskops erfassten Bild, wobei das System umfasst: eine Bilderfassungseinrichtung (115); eine Steuereinheit (120) mit einem selbstlernenden Modul (320) in Kommunikation mit der Bilderfassungsvorrichtung zum Empfangen der Bilddaten und einer Speichereinheit (122); wobei das selbstlernende Modul (320) ausgebildet ist, wenigstens einem Qualitätswert basierend auf Trainingsdaten (331) durch einen Vergleich wenigstens einer bestimmten Bildstruktur mit Bildstrukturen einer Referenz-Datenbank, die in der Speichereinheit (122) gespeichert ist zu bestimmen, und wobei die Steuereinheit (120) ausgebildet ist, auf Grundlage des bestimmten Qualitätswertes automatisch Steueranweisungen an eine Einheit des Endoskops oder eine externe Einheit zur Aktivierung einer Bildoptimierung auszugeben. Computerprogrammprodukt, umfassend Anweisungen, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 23 durchzuführen. Ein trainiertes Modell (322), das mit Trainingsdaten (331), vorzugsweise gemäß Anspruch 5, trainiert ist, und wobei das trainierte Modell ausgelegt ist, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 23 auszuführen.
58
EP22838785.8A 2021-12-23 2022-12-15 Verfahren, system und trainiertes modell zur bildoptimierung für endoskope Pending EP4452039A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021134564.2A DE102021134564A1 (de) 2021-12-23 2021-12-23 Verfahren, System und trainiertes Modell zur Bildoptimierung für Endoskope
PCT/EP2022/086135 WO2023117683A1 (de) 2021-12-23 2022-12-15 Verfahren, system und trainiertes modell zur bildoptimierung für endoskope

Publications (1)

Publication Number Publication Date
EP4452039A1 true EP4452039A1 (de) 2024-10-30

Family

ID=84830073

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22838785.8A Pending EP4452039A1 (de) 2021-12-23 2022-12-15 Verfahren, system und trainiertes modell zur bildoptimierung für endoskope

Country Status (4)

Country Link
US (1) US20250049294A1 (de)
EP (1) EP4452039A1 (de)
DE (1) DE102021134564A1 (de)
WO (1) WO2023117683A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118071736B (zh) * 2024-04-17 2024-06-28 华伦医疗用品(深圳)有限公司 一种基于gpu的医疗内窥镜图像实时处理效果评估方法
CN118383874B (zh) * 2024-06-26 2024-11-12 南方医科大学珠江医院 应用于手术机器人组织识别的相关系统和方法
CN119359677A (zh) * 2024-10-21 2025-01-24 东莞市妇幼保健院 医用内镜检测方法、装置、存储介质及程序产品
CN119939324B (zh) * 2025-04-03 2025-09-02 福龙马集团股份有限公司 一种基于多模态感知的洗扫车清洁控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7479106B2 (en) * 2004-09-30 2009-01-20 Boston Scientific Scimed, Inc. Automated control of irrigation and aspiration in a single-use endoscope
JP6010571B2 (ja) 2014-02-27 2016-10-19 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
CN208837888U (zh) 2018-05-22 2019-05-10 中南大学湘雅医院 一种带自净功能的腔镜镜头
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
GB201904857D0 (en) 2019-04-05 2019-05-22 Univ Oxford Innovation Ltd Quality assessment in video endosscopy
CN112190220A (zh) * 2020-09-29 2021-01-08 中国科学院长春光学精密机械与物理研究所 一种腹腔镜镜头冲洗装置及其冲洗方法
US11102381B1 (en) * 2021-01-05 2021-08-24 Board Of Regents, The University Of Texas System Clearcam Inc. Methods, systems and controllers for facilitating cleaning of an imaging element of an imaging device

Also Published As

Publication number Publication date
DE102021134564A1 (de) 2023-06-29
US20250049294A1 (en) 2025-02-13
WO2023117683A1 (de) 2023-06-29

Similar Documents

Publication Publication Date Title
EP4452039A1 (de) Verfahren, system und trainiertes modell zur bildoptimierung für endoskope
WO2020173516A1 (de) Verfahren zur evaluierung von hautläsionen unter verwendung künstlicher intelligenz
DE112016007005T5 (de) Bildverarbeitungsvorrichtung, Lernvorrichtung, Bildverarbeitungsverfahren, Verfahren zum Erstellen eines Klassifizierungskriteriums, Lernverfahren und Programm
DE102022104138A1 (de) Medizinische Bildgebungsvorrichtung, medizinisches System, Verfahren zum Betrieb einer medizinischen Bildgebungsvorrichtung und Verfahren zur medizinischen Bildgebung
DE112018006430T5 (de) Medizinisches beobachtungssystem, medizinische signalverarbeitungsvorrichtung und verfahren zur ansteuerung der medizinischen signalverarbeitungsvorrichtung
DE202024106059U1 (de) Gerät für maschinelles Lernen unterstützte medizinische Segmentierung und Analyse
DE102019128554A1 (de) Endoskopieverfahren zur verbesserten Darstellung eines Videosignals sowie zugehöriges Endoskopiesystem und Computerprogrammprodukt
DE112021004722T5 (de) Steuersystem für einen medizinischen arm, medizinische armvorrichtung, steuerungsverfahren für einen medizinischen arm und programm
WO2023180558A1 (de) System, vorrichtung und verfahren zur erstellung von planungsdatensätzen für die gewebebehandlung der netzhaut eines patienten
EP4021280B1 (de) Vorrichtung zur erzeugung von abbildung von tiefenabhängigen morphologischen strukturen von hautläsionen
EP4633439A1 (de) Verfahren und systeme zur bildoptimierung für 3d-endoskope
DE102019118752B4 (de) Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem
WO2025061992A1 (de) Verfahren zum ausbilden eines vorhersagemodells, verfahren zur ermittlung von laser-bestrahlungsparametern sowie vorrichtung zur netzhautbehandlung
EP4440405A1 (de) Messvorrichtung und messverfahren zum überprüfen eines messbildzustandes
EP4335401A1 (de) Behandlungseinrichtung zur erstellung einer behandlungsplankarte
WO2023237497A1 (de) Medizinische bildgebungsvorrichtung, verfahren zum betrieb einer solchen und verfahren zur medizinischen bildgebung
DE102015000383B4 (de) Chirurgisches Mikroskop
DE102023133232B4 (de) Medizinisches System, medizinisches Bildgebungsinstrument und Verfahren zur Bildgebung mittelseines medizinischen Systems für das Airway-Management eines Patienten
DE102020130805A1 (de) Kontext-abhängige Steuerung eines Operationsmikroskops
DE102020110983A1 (de) Verfahren, Mikroskopiesystem, computerbasiertes Datenverarbeitungssystem, Computerprogramm und Datenträger zur Evaluierung der Güte einer Kapsulorhexis
DE102019126461A1 (de) Verfahren und System zur Verarbeitung von optimierten Parametern
WO2023116985A1 (de) Vorrichtung, system und verfahren zur reinigung und/oder trocknung für ein endoskop
AT525510A1 (de) Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut
DE102024123453A1 (de) Automatische OP-Konfiguration mittels Anomaliedetektion
CH721835A2 (de) Verfahren und Vorrichtung zum Unterstützen von ophthalmischen Untersuchungen oder Eingriffen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240722

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)