EP4633439A1 - Verfahren und systeme zur bildoptimierung für 3d-endoskope - Google Patents

Verfahren und systeme zur bildoptimierung für 3d-endoskope

Info

Publication number
EP4633439A1
EP4633439A1 EP23821179.1A EP23821179A EP4633439A1 EP 4633439 A1 EP4633439 A1 EP 4633439A1 EP 23821179 A EP23821179 A EP 23821179A EP 4633439 A1 EP4633439 A1 EP 4633439A1
Authority
EP
European Patent Office
Prior art keywords
image
image data
image sensor
endoscope
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23821179.1A
Other languages
English (en)
French (fr)
Inventor
Simon Haag
Martin Leonhard
Sebastian WENZLER
Marius Zepf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz SE and Co KG
Original Assignee
Karl Storz SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz SE and Co KG filed Critical Karl Storz SE and Co KG
Publication of EP4633439A1 publication Critical patent/EP4633439A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • A61B1/126—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements provided with means for cleaning in-use
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00048—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user

Definitions

  • the invention relates to methods and systems for image analysis and image optimization for a 3D endoscope, preferably comprising a stereoscope with two image sensors. Furthermore, a computer program product and a trained self-learning model are provided in order to carry out the steps of the method mentioned.
  • Endoscopes are well-known medical devices for examining cavities in a body or technical cavities.
  • a frequently used type of endoscope has an optical system at the distal end of the endoscope, i.e. the end facing the body, and is designed to capture images and transmit them to the endoscope operator.
  • endoscopes can be inserted into the cavities to be reached in patients to be examined through natural openings such as the mouth or through access created through a minimally invasive incision, and an image of at least one area of the cavity can be transmitted to the specialist staff.
  • endoscopes can be used for inspection and navigation in technical cavities in pipelines or shafts.
  • 3D endoscopes such as stereoscopes.
  • Methods for obtaining 3D image data can be carried out using at least one image sensor or two image sensors that are set up at the distal end of the endoscope.
  • the 3D effect is usually created in a two-dimensional display device using the principle of stereoscopy.
  • Two image sensors of a 3D endoscope simulate the binocular vision of a person on a display device if the geometric dimensions such as the distance between the image sensors are known.
  • 3D images can thus be generated on the basis of two two-dimensional images from different perspectives or from partial images that are offset horizontally from one another, so that a visual impression with depth information can be created, as in natural vision.
  • Extracorporeal cleaning of the endoscope at its distal end is particularly disadvantageous if complications arise and the user has to interrupt their diagnostic procedure or an operation, for example.
  • extracorporeal cleaning also requires a certain amount of time, which must be taken into account in the overall duration of an operation. If, for example, complications arise from a perforation of an artery, the bleeding must be stopped as quickly as possible and optimal vision must be restored quickly for the endoscope user. If hemostasis cannot be achieved quickly, other surgical methods that involve open surgery may be necessary. This should be avoided if possible in order to keep the intervention for the patient as minimal as possible.
  • a method for image analysis of image data acquired by means of a 3D endoscope, in particular for medical applications comprises the following steps:
  • control unit Operating the 3D endoscope depending on the determined first and second quality values in a first playback mode or a second playback mode; wherein the control unit is designed to output three-dimensional image data of the work area in the first playback mode based on the combination of the two two-dimensional images; and wherein the control unit is designed to output a two-dimensional image of the work area in the second playback mode based on the first image data or the second image data.
  • the at least one image sensor or two image sensors of the 3D endoscope each form a stereo instrument to capture a working area of any non-visible cavity from different perspectives.
  • the term at least one image sensor also includes the options of two, three, four or more image sensors. In other words, the examples of one image sensor or two image sensors mentioned are not to be understood as limiting.
  • the stereo images generated by the 3D endoscope can be captured by a common image sensor if a right and left image are generated as stereoscopic half images. which are offset by a parallax. With a single image sensor, this means that the first image data (e.g. right image) and the second image data (left image) are recorded from different spatial positions or angles, whereby the image sensor can have two separate light-sensitive surfaces for this purpose.
  • the term "stereo" refers to the two image channels offset from each other by a distance, also known as the stereo base, which are required to generate a 3D image.
  • a first image sensor can capture first image data and a second image sensor can capture second image data in real time from different perspectives to also produce a three-dimensional (3D) image.
  • Image sensors typically include CCD (charge-coupled device) sensors with two-dimensional CCD arrays, CMOS sensors, or the like.
  • one of the image sensors can be assigned to the right eye (first image channel with first image data) and the other of the two image sensors to the left eye of the user (second image channel with second image data).
  • a control unit uses an analysis to determine a quality value that differs from the quality value of an undamaged image sensor. Based on the determined loss of quality, a two-dimensional image can be output manually or automatically in a second playback mode based on the image data of the sensor that does not show any change in the quality value. In other words, the user can manually or automatically switch to the two-dimensional second playback mode based on the image data of the undamaged image sensor depending on a quality value automatically determined by the control unit.
  • the image sensor can be switched dynamically to one that is not dirty or otherwise impaired. As soon as the user is presented with two-dimensional images, no Impairments such as headaches due to inadequate 3D representations are to be expected.
  • a particular advantage of automatic switching is that the work of the 3D endoscope user is not interrupted.
  • control unit can also issue a recommendation based on the determined quality value to switch to the second playback mode so that the user can manually switch to the second playback mode or to a 2D view. Any extracorporeal cleaning that may be necessary can be postponed if the remaining image sensor is functional.
  • Various method steps of the method according to the invention can be computer-implemented and based on suitable image processing algorithms and/or software programs. The execution of the method steps can be carried out in different locations such as the 3D endoscope itself, i.e. in a processor of a computer, a cloud and/or on decentralized servers.
  • the reproduction of three-dimensional image data or two-dimensional image data can take place on a suitable reproduction or display device such as a display, monitor or suitable glasses that have a display for each eye.
  • the poorer image data can be switched off when the control unit switches from the first playback mode (output of 3D images) to the second playback mode (output of two-dimensional images), so that one eye would be black.
  • the image data with the better quality value can be output to both eyes of the 3D glasses when switching to the second playback mode. The latter has the advantage that the perceived image brightness is not impaired.
  • the analysis of the first and second image data for determining the quality value comprises an image processing algorithm and/or a self-learning module for detecting at least one of the following events: contamination, at least one disturbing object; loss of image quality, condensation, damage or smoke.
  • events such as those mentioned above that are unnoticed by the user can also be automatically determined, thus preventing an unintentional continuation in the first playback mode.
  • the image data of an image sensor of two image sensors that is not affected by the event, or in the case of a single image sensor, the image data of a first light-sensitive area of two areas can be displayed to the user in two dimensions. In this way, the second playback mode can be switched on manually or automatically to avoid irritation, pain or fatigue for the user.
  • the analysis of the first and second image data to determine the quality value using an image processing algorithm can be based on a wide variety of known image processing algorithms.
  • self-learning modules can preferably be used in conjunction with training data, whereby the self-learning module can also use known image processing algorithms.
  • a self-learning module can use Gaussian methods to determine pollution or other disturbance events. See well-known specialist literature as an example of an algorithm for event classification C.E. Rasmussen, K. I. Williams, Gaussian Processes for Machine Learning, in MIT Press (2006).
  • the image data sets of the first and second image data can be analyzed for deviations from the normal state or from the other partial image.
  • image processing algorithms can be used to detect anomalies. Classification problems can be addressed, for example, with the so-called nearest neighbor analysis (see, for example, T. Cover and P. Hart, Nearest neighbor pattern Classification, in IEEE Trans. Information Theory (1967; 21-27.) This method classifies images according to their similarity to other images.
  • the self-learning module which is based on machine learning, data patterns can be recognized without the need for an exact match with patterns stored in a memory unit or images provided as training data.
  • control unit determines that if only one of the two quality values is representative of at least one of the events contamination, disturbing object, loss of image quality, condensation, damage or smoke, a two-dimensional image based on the image data which can be assigned to the other quality value is automatically or manually output in the second playback mode.
  • the control unit determines that a quality value that is exclusively attributable to one image sensor in the image data is representative of at least one of the events contamination, interference object, image quality loss, condensation, damage or smoke, the 3D endoscope is automatically or manually operated in the second playback mode based on the image data of the other of the two image sensors.
  • the analysis of the first and second image data comprises determining an average image contrast in order to determine the quality value based on a comparison of the respective average image contrast by means of a visual threshold condition.
  • the average image contrast can be determined, for example, by analyzing whether a difference occurs (eg with the nearest neighbor analysis mentioned above). If, for example, smoke appears in front of one of two image sensors, the image contrast is lower than the normal image of the image sensor without smoke.
  • the average image contrast is determined by at least one of the following analysis methods: histogram method, application of a Gaussian filter, pattern recognition, corner detection, edge detection and recognition of objects.
  • the first and second image data each comprise a plurality of colors occurring in the work area
  • the analysis of the first and second image data each comprises the detection of a mean color tone in order to determine the quality value based on a comparison of the most frequently occurring color from the plurality of colors with the respective mean color tone
  • the similarity between the first image data and the second image data can be determined using an image processing algorithm using the color or hue parameter. If a deviation or difference in the average hue is greater than a predetermined threshold, the second playback mode can be activated for a two-dimensional image with the image data whose hue does not reach the threshold and thus represents an average hue typical for the working area.
  • the first and second image data each comprise a plurality of colors occurring in the work area, wherein if the most frequently occurring color of the plurality of colors is white or gray, smoke is detected; or if the most frequently occurring color of the plurality of colors is red, contamination by blood is detected.
  • an event such as smoke or a blood splash that is limited to an image sensor or a light-sensitive area of a single sensor can be determined and the affected image sensor or sensor area can be switched off as part of the second playback mode.
  • the at least one image sensor or the plurality of image sensors for capturing the image data is sensitive to light that is visible to the human eye according to a common application example. This includes, for example, a wavelength range between 380 nm and 780 nm (nanometers), but this should not be understood as limiting.
  • the color red is known to be in the high wavelength range between 620 nm and 780 nm.
  • the above-mentioned embodiment does not exclude the possibility that other embodiments can also capture image data for observation in the infrared or near-infrared range or in the ultraviolet range. This is helpful, for example, if the 3D endoscope is used for so-called photodynamic methods such as PDD (photodynamic diagnostics) or for fluorescence observation.
  • PDD photodynamic diagnostics
  • the method further comprises the step of automatically issuing a warning message when a control instruction for activating another playback mode is automatically issued by the control unit.
  • the respective image data is divided into image sections, wherein the quality value for each of the image sections can be determined, wherein the control unit is designed to display exclusively the image sections with a permissible percentage of contamination or a permissible loss of quality, and/or to display at least the image sections that can be assigned to an image center of the respective image sensor.
  • a storage unit can provide data in order to determine a quality value for a given subset or image section and thus permissible or impermissible contamination by comparing historical image data in the database.
  • the reproduction can be targeted at these regions or image sections.
  • the image center can be reproduced either two-dimensionally or three-dimensionally, as this is where the object to be examined is usually located and the user has a particular interest in the image being reproduced optimally. If a 3D endoscope with two image sensors is provided, two-dimensional images of the uncontaminated image sensor can be reproduced, depending on the contamination of only one image sensor determined using the quality value.
  • the cleaning module is designed to clean at least one cover glass of an image sensor or parts thereof with at least one fluid.
  • Suitable fluids for intracorporeal cleaning are preferably water or sodium chloride or another physiological fluid.
  • a gaseous fluid is also selected so that it is physiologically harmless and biocompatible and can be, for example, carbon dioxide.
  • the decision to clean can be made automatically and the cleaning module can be informed to open a fluid valve for a predetermined volume of gas or liquid (e.g. carbon dioxide or sodium chloride).
  • a fluid valve for a predetermined volume of gas or liquid e.g. carbon dioxide or sodium chloride.
  • the control unit can automatically give the control instruction to abort the cleaning process and at the same time switch back to the first playback mode if cleaning is successful.
  • control unit has a cleaning control algorithm which checks the cleaning effectiveness extracorporeally and/or intracorporeally with the activatable unit of the 3D endoscope for one or two image sensors, so that at least one two-dimensional image or one three-dimensional image with sufficiently good image quality can be reproduced or a repetition of the cleaning is activated.
  • the method comprising a cleaning module is designed to adapt the type of cleaning by changing the cleaning parameters depending on the degree of contamination, wherein one or more cleaning parameters are selected from a group comprising: type of fluid, fluid volume, fluid volumes, fluid speed, pressure, pulse duration, number of pulses, pulse-pause ratio and/or total cleaning duration. If the cleaning module is intracorporeal, it can be switched back to a first three-dimensional playback mode depending on the determined improvement in the degree of contamination of both image sensors or both sensor surfaces of an image sensor.
  • the self-learning module determines at least one image structure from the image data of the respective image sensor or a sensor partial area of an individual sensor by means of an analysis based on artificial intelligence, preferably using a neural network, in order to classify an event by means of the at least one determined image structure on the basis of a comparison with image structures of a reference database stored in a storage unit in the event of a detected deviation.
  • a storage unit which can be provided locally in the control unit or decentrally, e.g. via servers or networks, has at least one database
  • This database includes at least one reference database with image data comprising image structures that are indicative of an event such as contamination or damage.
  • the self-learning module comprises a model that is trained with training data of image structures stored in the storage unit, wherein the trained model of the self-learning module is trained to classify the image data into the following event-dependent database classes: non-dirty images, dirty images that can be cleaned intracorporeally; dirty images that can be cleaned by a cleaning module; fogged images that can be dried by a module using gas; smoky images, wherein the smoke can be extracted by an extraction module;
  • a trained model can reliably and reproducibly classify current first or second image data of an examined work area.
  • the trained model can recognize when events as mentioned above, such as the appearance of interfering objects, have occurred.
  • the database classes it can be automatically determined whether a recognized image structure to be examined has changed, for example due to smoke, condensate or contamination or other interfering factors.
  • the 3D endoscope advantageously has a storage unit or is communicatively connected to a storage unit, preferably wirelessly.
  • An advantage of a machine-trained model is that it is not dependent on subjective judgments from users. Based on the detected change, manual or automatic control instructions can be given by a control unit regarding the playback mode and/or cleaning. to a unit to activate cleaning using a cleaning module. This ensures image optimization of visibility and visual quality during an operation.
  • control unit has elements of a computer such as one or more microprocessors or graphics processors.
  • a graphics processor for example, can display 2D or 3D images in real time to a user in high quality on a suitable display or playback device such as a display or via 3D glasses.
  • a 3D image is displayed in the first playback mode using a display device and/or 3D glasses, and a 2D image is displayed in the second playback mode.
  • the 3D endoscope is selected from the following group: a stereoscope comprising at least one first image sensor, preferably with two separate light-sensitive surfaces or designed as a facet lens; a stereoscope comprising at least one first image sensor and one second image sensor; an imaging scope comprising at least one first image sensor, one second image sensor and one third image sensor; an imaging scope comprising at least one first image sensor, one second image sensor, a third image sensor and a fourth image sensor; and a stereoscope, which is designed as a fiber optic endoscope.
  • the individual image sensor is designed as a facet lens, also called a fly's eye
  • a large number of microlenses are provided.
  • the large number of microlenses can capture closely spaced individual microimages with respective image data, with each microimage depicting the overall image from the respective perspective.
  • the facet lens can reproduce three-dimensional images that do not require any special tools to view. If a large part of the microlenses become dirty, a two-dimensional image can be displayed by the remaining uncontaminated microlenses without any loss of quality in the second playback mode.
  • control unit analyzes the image data sets from preferably three or more image sensors.
  • an imaging scope with at least three image sensors can be designed as standard so that two of the plurality of image sensors are activated at a time in order to generate stereo images like a stereoscope.
  • three image sensors are arranged on the distal end section of the 3D endoscope so that the image sensors are evenly arranged on a circular line.
  • the control unit is preferably designed so that the pair of the three image sensors is activated whose connecting line between the image sensor centers is as parallel as possible and optimally parallel to a horizontal plane.
  • the horizontal plane is a plane perpendicular to the vector of gravity.
  • the method according to the invention can use the control unit to carry out an analysis of the first and second image data to determine two quality values. If an image sensor is dirty, the system switches to the second playback mode based on the image data of the unaffected image sensor. In addition, if the quality value of an image sensor is insufficient, the third image sensor can be activated and the image data received by the third image sensor can be analyzed in the same way. The first playback mode or the second playback mode is then selected depending on the determined quality values of the third image sensor and the further image sensor.
  • the first playback mode can then be output based on the corresponding image data if at least one pair of image sensors lying next to each other is unaffected.
  • the simultaneous use of three, four or more image sensors has the advantage that possible ambiguities or inaccuracies, such as those that can occur when evaluating stereo image data sets from just two image data sets, can be largely avoided.
  • the accuracy of the 3D image data set can be increased by increasing the number of image sensors.
  • a greater depth of field can be achieved by using several pairs of image sensors with different focal lengths of the lenses. This can be controlled using appropriate software.
  • a control system for image analysis of image data acquired by means of a 3D endoscope, in particular for medical applications for carrying out a method, according to one of the preceding claims comprising: a 3D endoscope with at least one first image sensor, the first image sensor being designed to capture first image data and second image data; or a 3D endoscope with a first image sensor designed to capture first image data and a second image sensor designed to capture second image data; the captured first and second image data each comprising a two-dimensional image of a work area from different perspectives; a control unit in communication with the at least one image sensor for receiving the first and second image data; the control unit being designed to analyze the first and second image data in order to determine a quality value in each case; the control unit being designed to automatically or manually output control instructions to the 3D endoscope for a first or second playback mode based on a specific first and second quality value; the control unit being designed to output three-dimensional image data of the work area in the first
  • a computer program product which comprises instructions which, when executed by a computer, cause the computer to perform the steps of one of the methods described above.
  • a computer-readable medium is provided on which the said computer program is stored.
  • a trained model is provided, preferably self-learning and trained with training data comprising preferably stored image structures and/or a collection of characteristics, and wherein the trained model is designed to carry out the steps of at least one of the methods described above.
  • Fig. 1a is a schematic perspective view of a distal end of a 3D endoscope with a first and a second image sensor for capturing a stereoscopic image pair;
  • Fig. 1b is a schematic perspective view of the 3D endoscope shown in Fig. 1a with a schematic representation of a contamination of an image sensor and the image captured with the uncontaminated image sensor;
  • Fig. 1c is a schematic perspective view of the 3D endoscope shown in Fig. 1a and with a schematic representation of further contamination of an image sensor and the image generated with the uncontaminated image sensor;
  • Fig. 2a is a schematic perspective view of a distal end of a 3D endoscope with a single image sensor with two separate light-sensitive surfaces and a schematic representation of the two-dimensional image pair generated with this sensor;
  • Fig. 2b is a schematic perspective view of the 3D endoscope shown in Fig. 2a with one-sided contamination of the image sensor;
  • Fig. 2c is a schematic perspective view of the 3D endoscope shown in Fig. 2a with further contamination of the image sensor;
  • Fig. 3 shows schematically an embodiment of a 3-endoscope with two separate image sensors, four illumination devices and further components such as control unit and playback device;
  • Fig. 4 Flowchart of a method comprising image optimization or image adaptation from 3D to 2D or 2D to 3D and query to active 3D glasses;
  • Fig. 5a shows a perspective view of another embodiment of a 3D endoscope with a single image sensor and a cleaning module comprising two fluid channels and a nozzle arrangement;
  • Fig. 5b and 5c show an exploded view of the embodiment according to Fig. 5a and a detailed view of the distal end of the two fluid channels;
  • Fig. 6 shows schematically an embodiment of a 3D endoscope with a control unit and units communicating therewith for carrying out a cleaning including a storage unit for storing cleaning parameters;
  • Fig. 7 shows schematically the components of a 3D endoscope with image acquisition device, control unit with storable routines or methods for image optimization comprising adaptation 3D to 2D (output in the second playback mode) and a cleaning module;
  • Fig. 8 shows a schematic flow chart of a further embodiment of the method according to the invention for image optimization, comprising in particular a contamination detection for 3D/2D adaptation and/or cleaning with a liquid fluid and optionally a gaseous fluid.
  • Fig. la schematically shows a distal end of a 3D endoscope 100 with a shaft 150 and two image sensors (first image sensor 111 and second image sensor 112), wherein the recording axes are arranged horizontally displaced. So-called half images (11, 12) or flat images are recorded by each sensor, which form a stereoscopic image pair.
  • Both images show the same object (here a smiley to illustrate a possible object in the center of the image), but with a location offset to the side by the so-called stereo base (x, 125).
  • the recording axes must run parallel and the recording conditions or
  • the setting properties of the two image sensors 111, 112 must be identical (same focal length, sharpness and filters used).
  • the stereo image sensor system uses the two image sensors 111, 112 to simultaneously record the two partial, half or flat images, as long as no contamination or other interference factors significantly affect one of the two image sensors 111, 112.
  • a 3D image can be generated using suitable image software. This can then be shown using a suitable playback device.
  • a car stereo monitor aimed at an observer, or a monitor based on wavelength multiplex technology, or an LCD television monitor with 3D glasses such as shutter glasses as an aid and/or active 3D glasses are suitable for this.
  • Fig. 1b shows the stereo system of Fig. 1a with two image sensors (111, 112), the first image sensor 111 being affected by dirt 113.
  • Both partial or half images are analyzed by an image processing algorithm or a self-learning module in such a way that a first or second quality value is determined.
  • the analysis of the image results in a quality value Q1, which indicates that the cover glass of the first image sensor 111 is approximately 100% covered with dirt 113.
  • the analysis 124 of the captured image 12 of the second image sensor 112 results in a quality value Q2, which indicates that the cover glass of the second image sensor 112 is clean and thus corresponds to the initial values of the image sensor during white balance.
  • switching to the clean image sensor 112 can be carried out either automatically or manually after a corresponding indication.
  • the two-dimensional field of the unaffected second image sensor 112 can be shown using a display device not shown here.
  • Fig. 1c shows the case of contamination 114 on the second image sensor 112.
  • Image analysis 124 results in a quality value Q2, which describes an event such as 100% Contamination or a significant loss of image quality. Threshold values can also be determined here at which a switch to a 2D mode instead of a 3D mode takes place. If the image sensor 112 is 100% contaminated, as shown in Fig. 1b, only image data can be recorded with the first image sensor 111. A quality value Ql is obtained on the basis of the image analysis, which is representative of a contaminant-free cover glass. The user can now continue working with the two-dimensional image 11 of the object (smiley) without any loss of quality in a second playback mode (2D mode).
  • 2D mode second playback mode
  • the 3D endoscope can issue a warning such as "wipe the liver” or "clean ex situ".
  • Fig. 2a is a schematic perspective view of a distal end of a 3D endoscope 100 with a single image sensor 110 with two separate photosensitive surfaces 110R and HOL.
  • an enlargement of the image sensor 110 is shown schematically.
  • the left image sensor surface HOL and the right image sensor surface 110R view the same conical object, which is shown two-dimensionally as a triangle.
  • the two-dimensional half-images as seen by the two image sensor surfaces 110R, HOL from two different perspectives are shown schematically.
  • the example object shown here is the cone shape that is captured from the two perspectives of the recording axes offset by the stereo base x (see double arrow above partial surfaces 110R and 100L), which are each located in the middle of the sensor partial surface 110R, HOL.
  • the right half-image 12R is captured by the sensor surface 110R and the left half-image 11L offset by the stereo base 110X is captured by the surface HOL.
  • a playback device not shown here is suitable for generating two-dimensional 2D images based on the half-images 1 IL and 12R. to be able to play back both images and 3D images. The playback mode is selected depending on the quality values determined on the basis of the image data.
  • Fig. 2b is a schematic perspective view of the 3D endoscope shown in Fig. 2a with one-sided contamination of the image sensor.
  • the contamination 113R covers approximately 100% of the sensor surface 110R.
  • the dashed rectangle in Fig. 2b shows that only the half-image 11L with the object (here a cone as a triangle) can be captured using the surface HOL.
  • the image analysis 124 using a classic image processing algorithm or based on AI (artificial intelligence) with preferably a self-learning module produces corresponding quality values QR or QL for the respective sensor surfaces. Depending on the quality values recorded, it is possible to switch to the clean cover glass and show the two-dimensional image 11L.
  • Fig. 2c is a schematic perspective view of the 3D endoscope shown in Fig. 2a with another example of contamination of the image sensor 110.
  • the image sensor surface HOL completely contaminated with dirt 114L, but also a few parts of the other image sensor surface 110R with further dirt 114R and a line-like contamination 114r.
  • a quality value QL is determined by means of the image analysis 124, which represents 100% contamination for the surface HOL.
  • the quality value QR is determined on the basis of the image data 12R and the hidden image parts 114R and 114r, which corresponds to a partial contamination of less than 30%.
  • the specific associated quality values QR and QL indicate that both sensor surfaces are soiled to varying degrees and QL still provides the user with a sufficient field of view.
  • the system automatically or manually switches to the cover glass of the sensor 110R, which is less soiled.
  • the playback mode in 2D is illustrated in Fig. 2c with the two-dimensional image with the image data 12R.
  • a classification into different classes of contamination can be made.
  • a distinction can be made in that the image center of the area 110R is not affected by the contamination, so that the cone-shaped object to be examined in the image center is still clearly visible and the user can continue working on the object.
  • Fig. 3 schematically shows another embodiment of a 3D endoscope 100 with two separate image sensors 111, 112 and on both sides of them illumination devices 154, 155 and 156, 157.
  • the illumination devices 154, 155, 156 and 157 can be designed as optical fibers that are guided in the shaft 150 from the distal end to the proximal end of the 3D endoscope 100 for connection to a supply unit. They are designed to transmit light for the surgical area or site. The aim of the large number of illumination devices is to offer the user the most natural endoscopic image possible with high resolution for his intervention or inspection.
  • the image sensors 111, 112 can have flat glasses as cover glasses with lenses behind them and are connected to other components such as a control unit and playback device.
  • the control unit 120 comprises a processor 121 for image analysis 124 and dirt detection 125 and a storage unit 122.
  • a quality value Ql and Q2 can be determined for each image sensor 111, 112.
  • control instructions are automatically or manually issued to the 3D endoscope 100 for a first or second playback mode (method step 103).
  • the degree of contamination can be determined using analysis 124 and determination of the quality values (Ql, Q2). If the contamination does not exceed a certain threshold or only exists in the edge area and not in the image center, then you can switch to the less or only partially dirty cover glass.
  • active glasses can also be used that can project 3D in the displays for each eye.
  • the so-called active 3D glasses can then actively switch to a two-dimensional second playback mode or vice versa depending on the determined quality value.
  • This display option using 3D glasses is shown in the flow chart in Fig. 4.
  • Fig. 4 shows a flow chart of a method 400 comprising image optimization or image adaptation from 3D to 2D or 2D to 3D.
  • a warning message is issued to the user (see steps 402, 403).
  • step 402 The user is warned either in step 402 or in step 403 that image optimization is possible.
  • step 402 the user is warned that the mode should be switched from 3D to 2D if, for example, only one lens is dirty.
  • step 403 the user can be warned before the mode changes from 2D to 3D if, for example, one of the two dirty lenses has been successfully cleaned and both can be used again.
  • process steps 401 (2D OK?) or 411 (3D OK?
  • an optional query can be made as to whether image optimization is actually desired.
  • the software for image optimization is activated automatically in step 412 via step 414 or after a positive query (YES arrow).
  • step 422 the output signal of the control unit is automatically switched to 2D.
  • step 413 the corresponding software is activated in step 413.
  • the software for image optimization can also be automatically activated directly from process step 103 via the dashed route (see steps 414 and 415).
  • step 432 it is also asked whether active 3D glasses are being used. If this is the case, the process continues to step 432 via “YES”, where the active 3D glasses 431 are automatically adjusted to the 2D image.
  • an output signal of the 3D endoscope can be automatically switched to 3D in step 423 (2D ⁇ > 3D) and then active 3D glasses can be queried. If the query is positive, the 3D glasses can be adjusted in step 433. If no active 3D glasses are detected, the process continues without activating 3D glasses. If image adjustment to a different playback mode is denied at the beginning of the respective queries 401 and 402, no adjustment takes place (NO arrow).
  • Fig. 5a shows a perspective view of another embodiment of a 3D endoscope with a single image sensor and a cleaning module comprising a nozzle arrangement 140.
  • the single image sensor 110 comprises two light-sensitive surfaces 110R, 100L.
  • Illumination devices 151 and 152 are arranged on the sides.
  • Fig. 5b and c show an exploded view of Figure 5a and a detailed view of the distal end of two fluid channels 131, 132 that open into the nozzle arrangement 140. If liquid is guided in each fluid channel, each partial area can be cleaned in a targeted manner. In addition, gas can also be provided in each channel for drying purposes.
  • Fig. 6 shows schematically an embodiment of a 3D endoscope with a
  • Image capture device 115 shown in Figures 5a-c and further Schematically shows components such as a control unit and units communicating with it to carry out cleaning.
  • the captured first image data 11R and 12L are transmitted to the control unit 120 for further processing by at least one processor 121.
  • the control unit 120 can be provided locally as a camera control unit 116 (CCU).
  • a storage unit 122 may be provided, which is arranged locally in this embodiment.
  • the control unit 120 and the storage unit 122 may not be arranged locally at the distal end of the endoscope, but may be provided via cable or wirelessly outside the endoscope.
  • the local or external storage unit 122 may store a plurality of acquired first and second image data from the image sensor 110.
  • the processor 121 can comprise one or more microprocessors and/or graphics processors and can be used for optics recognition 123 and for analysis 124 of the first image data 11R and second image data 12L.
  • the optics recognition 123 can be used as an initialization routine to recognize the connected image sensor 110 and, depending on this, inform the user whether a 3D endoscope has been recognized.
  • the system has a cleaning module 130 at the distal end of the 3D endoscope for intracorporeal cleaning and can be transmitted to the cleaning module 130 for cleaning control or activation with the cleaning parameters 128 stored in the storage unit 122. Cleaning parameters 128 such as volume V, pressure p and time t of the fluid pulses can also be preselected depending on the recognized optics.
  • the cleaning parameters 128 can then be targeted for each fluid channel and assignable partial area.
  • a dashed triangle for each sensor surface 110R and HOL indicates a local cleaning option for each sensor surface, which can be achieved by the two fluid channels (see 131, 132) and suitable nozzles of the nozzle arrangement 140.
  • the range of the respective cleaning nozzle can also be extended so that the lighting devices 151, 152 can also be cleaned.
  • Fig. 7 schematically shows the components of a 3D endoscope system 700, which comprises an image capture device 115 and control unit 120 and is suitable for carrying out the method according to the invention.
  • the first method step 101 comprises the capture (101) of first image data (11, 11L) and second image data (12, 12R) by means of at least one image sensor of an image capture device 115 of the 3D endoscope.
  • Further method steps according to the invention are preferably computer-implemented and comprise automatable analysis steps for image optimization, comprising an adaptation from 3D to 2D and vice versa, and optionally a cleaning with a cleaning module 130.
  • the image capture device 115 can be an image sensor 110 that has a single image area that is divided in such a way that first and second image data (1 IL, 12R) can be captured with at least two separate partial areas (HOL, 110 R). These image data (1 IL, 12R) are received in method step 102 via a control unit (102) (120).
  • each image sensor 111, 112 has at least one data output, the information of which (first and second image data 11, 12) is sent to the control unit 120 (see arrows to the processor 121 of the control unit 120).
  • an image capture device 115 designed as a facet lens is conceivable, with a plurality of microlenses being provided.
  • the large number of microlenses can capture individual microimages lying close to one another with respective image data.
  • other types of 3D endoscopes can be connected to the system, which comprise at least 3 image sensors or four image sensors or more.
  • the storage unit 120 has a storage unit 122 which can store parameters and routines.
  • the processor 121 can store one or more comprise several microprocessors or graphics processors and are used for image analysis 124 and optics recognition 123.
  • the optics recognition 123 can be used as an initialization routine to recognize the connected image capture device 115 and, depending on the recognized image capture device 115, to transmit stored control or image parameters to the playback device 430 for the respective playback mode (3D or 2D).
  • control unit 120 can automatically or manually output control instructions to the 3D endoscope for a first playback mode (3D) or second playback mode (2D) on the basis of a first and second quality value (Ql, Q2 or QL,QR) determined by means of an analysis, i.e. depending on image sensor-specific quality values - f(Q) (see double arrow in playback device 430).
  • a first and second quality value Ql, Q2 or QL,QR
  • the analysis routines can include an image analysis 124, contamination detection 125, contamination degree analysis 126 and an average color tone detection 321 or an average image contrast determination 317 as well as a classification 315 or other image analysis methods.
  • a surgical environment 127 can also be recognized by means of suitable comparisons with stored image structures.
  • a self-learning module 320 can be used for image optimization, which is based in particular on artificial intelligence and can carry out the aforementioned methods with the help of stored data or databases.
  • the self-learning module has a trained model 322 that is trained to use suitable training data 331 (e.g. in the form of labeled image data) to evaluate individual images, image sections or pixels to determine whether there is contamination and how severe this contamination is.
  • suitable training data 331 e.g. in the form of labeled image data
  • a classification 315 is carried out into corresponding categories.
  • the classification 315 contains at least two classes such as uncontaminated images and contaminated images that can be cleaned by a cleaning module. Not only data, but also the above-mentioned routines such as image analysis 124 etc.
  • cleaning parameters 128 for the cleaning module 130 can be stored in the memory 122.
  • the cleaning parameters 128 can define parameters selected from the following group for individual fluid channels: fluid volume V, pressure p, pulse or cleaning duration t, number of pulses, total cleaning duration, pulse-pause ratio, type of fluid, fluid volume V, fluid volumes (liquid or gas quantity) and/or fluid velocity.
  • manual or automatic control instructions can be issued by the control unit for activating (method step 104) a cleaning module using fluid and/or gas.
  • the pressure p and the pulse duration t of a fluid pulse or a plurality of pulses at the distal end of the 3D endoscope for intracorporeal cleaning can preferably be controlled.
  • very short fluid pulses with a duration in a range of only 200-1000 ms can only be reliably implemented with the help of an automated control system. This means that the system can be controlled much more precisely than by manual activation and deactivation by a user.
  • An embodiment of a cleaning module 130 can have two separate fluid channels 131, 132 as shown in Fig. 5a and 5b in order to be able to clean the partial areas 11 Or and HOL of an image sensor or the two image sensors 111, 112 separately from one another. The dirty image sensor can then be cleaned, while the uncontaminated image sensor can continue to be used for the 2D playback mode.
  • Each fluid channel 131, 132 can convey both liquid and gas in a channel to the nozzle arrangement 140 in order to also enable drying of an image sensor surface or image sensor.
  • Fig. 8 shows a further embodiment of the method according to the invention with a schematic flow chart.
  • the flow chart is divided into five areas, partially indicated by columns: The first area of initialization 300, the second area of the analysis 301, the third area of the process execution 303 for optimization preferably by adaptation from 3D to 2D and/or by cleaning and the fourth area 304 of the optimization result with monitoring routine 129 and possible parameter adjustment 138 of the cleaning parameters 128. Finally, the possible process termination 160.
  • An optimal image quality is achieved when the final values after cleaning correspond to the initial values at the beginning with white balance.
  • the method is started in step 401.
  • a video signal from a 3D endoscope can be provided as an input signal.
  • step 302 it is checked whether a video signal is present. Based on this check, either a positive result (YES) or a negative result (NO) is obtained. If this query 302 results in a NO, the process is aborted in step 403. Since there is no video signal in the case of process abort 162, it should be checked after process abort 162 whether all connections are present or whether a power supply is available. The user can also be informed that no optics were detected.
  • cleaning parameters 128 can be preselected according to the connected optics of the 3D endoscope.
  • step 124 the image analysis of the first and second image data of a 3D endoscope takes place.
  • This analysis can be carried out by an algorithm and/or by a self-learning module 320 (see Fig. 7).
  • the images can optionally be divided into image sections. In this way, each half-image can be broken down into different sections (eg central region of the image) and an automatic detection of contamination in the relevant central field of view can take place.
  • step 127 the images of a 3D endoscope comprising first and further image data are analyzed to determine whether an operating room environment or intracorporeal structures can be recognized. To do this, the images are compared with images from a database that are stored in the memory 122 of the 3D endoscope or externally.
  • a comparison of at least one specific image structure with image structures from a reference database is carried out.
  • object recognition of typical intracorporeal structures can preferably take place. If no operating room environment or intracorporeal structure is recognized, the process is aborted (arrow NO to 162). Otherwise, the process continues with the dirt detection step 125.
  • the method step 125 is used to detect contamination, ie whether contamination is present or not. If there is no contamination, the method can be continued with the image analysis method step 124 (see "NO" arrow to step 124). If, however, contamination is present, the method can be continued with the method step 126.
  • the type and degree of contamination is determined automatically, eg with the help of a comparison with data from the reference database using algorithms or preferably with a self-learning module 322 of the control unit 120 (see Fig. 4). Contamination detection 125 and/or analysis of the degree of contamination in method step 126 can result in a specific quality value for each image sensor or sensor partial surface.
  • Software for adapting 3D images to 2D or vice versa, as well as a computer program product can be configured to carry out the image optimization process.
  • image analysis a quality value and existing image data (image history) or parameter data can be evaluated and compared with the latest image data and previous optimization results.
  • a self-learning module is used, existing data sets can be corrected by experts in an open artificial network in addition to automatic processes, and the reference database in the memory 122 can be expanded to include new data sets automatically or manually.
  • a continuous semi-automatic or automatic check of the optimization process leads to an increase in safety for the user and thus for the person examined using the endoscopic procedure.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

Erfindungsgemäß wird ein Verfahren und ein System zur Bildanalyse von mittels eines 3D-Endoskopes erfassten Bilddaten bereitgestellt. Das Verfahren umfasst die folgenden Schritte: Erfassen von ersten Bilddaten und zweiten Bilddaten mittels wenigstens eines ersten Bildsensors oder mittels eines ersten und zweiten Bildsensors des 3D- Endoskopes; wobei die erfassten ersten und zweiten Bilddaten jeweils ein zweidimensionales Bild eines Arbeitsbereiches aus unterschiedlichen Perspektiven umfassen; Empfangen der Bilddaten durch eine Steuereinheit; wobei die Steuereinheit für eine Analyse der ersten und zweiten Bilddaten ausgebildet ist, um jeweils einen Qualitätswert zu bestimmen; Betreiben des 3D-Endoskops in Abhängigkeit von einem bestimmten ersten und zweiten Qualitätswert in einem ersten Wiedergabemodus oder einem zweiten Wiedergabemodus; wobei die Steuereinheit ausgebildet ist, in dem ersten Wiedergabemodus dreidimensionale Bilddaten des Arbeitsbereiches auf Basis der Kombination der beiden zweidimensionalen Bilder auszugeben; und wobei die Steuereinheit ausgebildet ist, in dem zweiten Wiedergabemodus ein zweidimensionales Bild des Arbeitsbereiches auf Basis der ersten Bilddaten oder der zweiten Bilddaten auszugeben.

Description

Verfahren und Systeme zur Bildoptimierung für 3D-Endoskope
Die Erfindung betrifft Verfahren und Systeme zur Bildanalyse und Bildoptimierung für ein 3D-Endoskop, vorzugsweise umfassend ein Stereoskop mit zwei Bildsensoren. Ferner werden ein Computerprogrammprodukt und ein trainiertes selbstlernendes Modell bereitgestellt, um die Schritte des genannten Verfahrens auszuführen
Technologischer Hintergrund
Endoskope sind bekannte medizinische Vorrichtungen zur Untersuchung von Hohlräumen in einem Körper oder von technischen Hohlräumen. Eine häufig eingesetzte Art von Endoskopen weist ein optisches System am distalen, d.h. körperzugewandten Endoskopende auf, und ist ausgebildet, Bilder zu erfassen und diese an den Bediener des Endoskops zu übertragen. Auf diese Weise können bei zu untersuchenden Patienten durch natürliche Öffnungen wie z.B. den Mundraum oder durch einen minimal -invasiven Schnitt erzeugten Zugang Endoskope in die zu erreichende Hohlräume eingeführt werden und dem Fachpersonal ein Bild wenigstens eines Bereiches des Hohlraumes übermittelt werden. Zudem können Endoskope zur Inspektion und Navigation in technischen Hohlräumen von Rohrleitungen oder Schächten verwendet werden.
Um die fehlende Tiefeninformation beim Einsatz von monokularen Endoskopen auszugleichen, werden verschiedene Ansätze verfolgt. Die ständig zunehmende Verfügbarkeit leistungsstarker Rechner ermöglicht für medizinische Anwendungen eine Echtzeitüberwachung eines ausgewählten Arbeitsbereiches in einer Körperhöhle mit dreidimensionale Bilddaten, die von 3D-Endoskopen mit beispielsweise zwei CCD Sensoren am distalen Ende bereitgestellt werden können. Auf diese Weise kann eine Tiefenwahmehmung der Arbeitsbereiche ermöglicht werden und die Bedienperson des 3D-Endoskops Strukturen besser identifizieren, um präzisere Arbeits schritte bezüglich Navigation, Inspektion oder Operation vornehmen zu können.
Bekannte Systeme zur Erfassung von 3D-Bildern sind sogenannte 3D-Endoskope wie z.B. Stereoskope. Verfahren zur Gewinnung von 3D Bilddaten können mit Hilfe von wenigstens einem Bildsensor oder zwei Bildsensoren, die am distalen Ende des Endoskops eingerichtet sind erfolgen. Der 3D-Effekt wird bei einer zweidimensionalen Anzeigevorrichtung meist über das Prinzip der Stereoskopie erzeugt. Dabei simulieren zwei Bildsensoren eines 3D-Endoskopes das binokulare Sehen eines Menschen auf einer Anzeigevorrichtung, wenn man die geometrischen Abmessungen wie Distanz der Bildsensoren zueinander kennt. Somit können auf Basis von zwei zweidimensionalen Bildern aus unterschiedlicher Perspektive bzw. von Teilbildern, die horizontal zueinander versetzt sind, 3D-Bilder generiert werden, sodass ein Seheindruck mit Tiefeninformation wie beim natürlichen Sehen entstehen kann.
Prinzipiell unterscheidet man bei den Wiedergabeverfahren von 3D-Bildern mit Anzeigevorrichtungen in solche, bei denen man zur Wahrnehmung der räumlichen Tiefe keine Hilfsmittel benötigt (Display oder Mikrodisplay(s) in einer Brille), und in jene Verfahren, die zusätzlich zur Anzeigevorrichtung Hilfsmittel wie 3D-Brillen benötigen. Dabei gibt es mehrere Arten von 3D-Brillen als Hilfsmittel. Auf einer passiven Bildtrennung beruhen z.B. 3D- Brillen mit farbcodierter Bildtrennung oder Polarisationsverfahren. Es sei darauf hingewiesen, dass allgemeine Kenntnisse zur Stereoskopie und Wiedergabemethoden sich beispielsweise in Fachliteratur wie „Stereo-3D: Grundlagen, Technik und Bildgestaltung“ von Holger Tauer, 2010, Berlin Schiele& Schoen ISBN 978-3-7949-0791-5 finden und hier nicht weiter erläutert werden.
Es bestehen folgende mögliche Nachteile beim Einsatz von 3D-Endoskopen in Hohlräumen von menschlichen oder tierischen Körpern: arbeitet der Anwender in situ, d.h. in einer Körperhöhle kann ein einziger Bildsensor oder Deckglas eines Stereoskops z.B. durch Partikel verschmutzt bzw. durch Dampf oder Rauch zumindest teilweise verdeckt werden. Da das Blickfeld eines einzelnen Bildsensors eines 3D-Endoskopes relativ klein ist, können schon kleinste Ablagerungen von Fett, das durch einen unbeabsichtigten Gewebekontakt hervorgerufen werden kann, oder wenige Gewebepartikel, die z.B. bei der HF- Chirurgie entstehen können, den 3D-Eindruck des Anwenders und somit seine Sicht stark beeinträchtigen. Bei einer Verdeckung eines gesamten Einzel-Bildsensors ist eine Tiefenwahmehmung nicht mehr möglich. Bei herkömmlichen Systemen ist in dieser Situation eine Reinigung des distalen Endes des Endoskopes notwendig. Hierzu ist es jedoch regelmäßig notwendig, das Endoskop aus der Körperhöhle zu entnehmen und extrakorporal zu reinigen. Daher ist es eine Aufgabe eine Arbeitszeitreduktion durch die Vermeidung von Reinigungsvorgängen zu erzielen.
Eine extrakorporale Reinigung des Endoskops an seinem distalen Ende ist insbesondere nachteilhaft, wenn Komplikationen auftreten und der Anwender dadurch z.B. sein diagnostisches Verfahren oder eine Operation unterbrechen muss. Zudem erfordert eine extrakorporale Reinigung auch eine gewisse Zeitdauer, die von der Gesamtdauer einer Operation zu berücksichtigen ist. Wenn zum Beispiel Komplikationen durch eine Perforation einer Arterie entstehen, muss in möglichst kurzer Zeit die Blutung gestoppt werden und eine optimale Sicht für den Endoskopbenutzer schnell wiederhergestellt werden. Wenn eine Blutstillung nicht schnell gelingt, sind andere Operationsmethoden, die offenchirurgisch sind, möglicherweise notwendig. Dies sollte möglichst vermieden werden, um den Eingriff für den Patienten so minimal wie möglich zu halten.
Insbesondere ist es bei binokularen 3D-Endoskopen im Gegensatz zu regulären monokularen Endoskopen möglich, dass eine Bildverschlechterung z.B. durch Verschmutzung, Störobjekte, Rauch oder Beschädigung oder andere Störfaktoren ungleichmäßig die beiden Bildsensoren betrifft. Dies kann bedeuten, dass nur ein Objektiv oder bestimmte Flächen von einem oder beiden Deckgläsern verschmutzt sind. Da geringfügige Verschmutzungen der Teilverschmutzungen von einem Anwender toleriert werden können und ein 3D-Anzeige ohne signifikante Beeinträchtigung beibehalten werden kann, ist es eine Aufgabe Informationen zum Verschmutzungsgrad zu erhalten, um beispielsweise unnötige Reinigungen zu vermeiden. So kann es hilfreich sein, zu erfassen, ob ein Bildsensor völlig oder nur teilweise verschmutzt ist und ob der Grad einer Verschmutzung bei den jeweiligen Bildsensoren unterschiedlich ist.
Wenn das 3D-Bild mit einer 3D fähigen Anzeigevorrichtung oder einer 3D-Brille dem Anwender präsentiert wird, kann eine durch Störfaktoren erzeugte Asymmetrie bei nur einem Bildsensor zu Beschwerden des Betrachters führen. Mögliche Beschwerden sind schnellere Ermüdung der Augen, Kopfschmerzen, Übelkeit oder Schwindelgefühl. Auch wenn dem Anwender des 3D-Endoskopes bei einseitigen Sensorverschlechterung solche Beschwerden während einer Inspektion oder Operation nicht sofort auffallen können, kann jedoch die Aufmerksamkeit und Konzentration des Operateurs leiden. Daher ist es eine Aufgabe der vorliegenden Erfindung ein Verfahren zum Sicherstellen optimaler Sichtverhältnisse bzw. - Qualität während einer Operation bereitzustellen.
Beschreibung der Erfindung
Auf Grundlage der Erfindung sollen wenigstens ein der genannten Nachteile überwunden bzw. die oben genannten Aufgaben besser als bei herkömmlichen 3D- Endoskopen gelöst werden. Dabei soll eine klare und deutliche Visualisierung des zu beobachtenden Objektfeldes gewährleistet werden, wobei die Arbeitsprozesse des Anwenders nicht oder nur kurzzeitig unterbrochen werden sollen.
Diese Aufgaben werden mit einem Verfahren zur Bildoptimierung, einem Steuerungssystem, einem Computerprogrammprodukt und einem trainierten vorzugsweise selbstlernenden Modell gemäß den Merkmalen der unabhängigen Ansprüche und der nebengeordneten gelöst. Bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den von den abhängigen Unteransprüchen. Die Aufgabe einer möglichst unterbrechungsfreien in-situ Untersuchung oder Operation kann in einer bevorzugten Ausführungsform durch intrakorporale Reinigungsmodule unterstützt werden.
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zur Bildanalyse von mittels eines 3D-Endoskopes erfassten Bilddaten insbesondere für medizinische Anwendungen bereitgestellt, das die folgenden Schritte umfasst:
Erfassen von ersten Bilddaten und zweiten Bilddaten mittels wenigstens eines ersten Bildsensors oder mittels eines ersten und zweiten Bildsensors des 3D-Endoskopes; wobei die erfassten ersten und zweiten Bilddaten jeweils ein zweidimensionales Bild eines Arbeitsbereiches aus unterschiedlicher Perspektive umfassen;
Empfangen der Bilddaten durch eine Steuereinheit; wobei die Steuereinheit für eine Analyse der ersten und zweiten Bilddaten ausgebildet ist, um jeweils einen Qualitätswert zu bestimmen;
Betreiben des 3D- Endoskops in Abhängigkeit von den bestimmten ersten und zweiten Qualitätswert in einem ersten Wiedergabemodus oder einem zweiten Wiedergabemodus; wobei die Steuereinheit ausgebildet ist, in dem ersten Wiedergabemodus dreidimensionale Bilddaten des Arbeitsbereiches auf Basis der Kombination der beiden zweidimensionalen Bilder auszugeben; und wobei die Steuereinheit ausgebildet ist, in dem zweiten Wiedergabemodus ein zweidimensionales Bild des Arbeitsbereiches auf Basis der ersten Bilddaten oder der zweiten Bilddaten auszugeben.
Der wenigstens eine Bildsensor oder zwei Bildsensoren des 3D-Endoskopes bilden jeweils ein Stereoinstrument, um einen Arbeitsbereich von einem beliebigen nicht einsehbaren Hohlraum aus unterschiedlicher Perspektiven zu erfassen. Der Begriff wenigsten ein Bildsensor umfasst auch die Optionen von zwei, drei, vier oder mehr Bildsensoren. In anderen Worten die genannten Beispiele von einem Bildsensor bzw. zwei Bildsensoren sind nicht als beschränkend zu verstehen. Dabei können die von dem 3D-Endoskop erzeugten Stereobilder von einem gemeinsamen Bildsensor erfasst werden, wenn man ein rechtes und linkes Bild als stereoskopische Halbbilder erzeugt, die um eine Parallaxe versetzt sind. Bei einem einzigen Bildsensor bedeutet dies, dass sie ersten Bilddaten (z.B. rechtes Bild) und die zweiten Bilddaten (linkes Bild) aus unterschiedlichen räumlichen Lagen oder Winkeln aufgenommen werden, wobei der Bildsensor hierzu zwei voneinander getrennte lichtempfindliche Flächen aufweisen kann. In diesem Kontext bezieht sich der Begriff „Stereo“ auf die beiden zueinander um einen Abstand, auch Stereobasis genannt, versetzten Bildkanäle, die man zur Erzeugung eines 3D-Bildes benötigt.
Alternativ können ein erster Bildsensor erste Bilddaten und ein zweiter Bildsensor zweite Bilddaten in Echtzeit aus unterschiedlichen Perspektiven erfassen, um ebenfalls ein dreidimensionales (3D) Bild zu erzeugen. Bildsensoren umfassen üblicherweise CCD (charge-coupled device)- Sensoren mit zweidimensionalen CCD- Arrays, CMOS-Sensoren oder Ähnliches.
Arbeitet der Anwender beispielsweise mit einem 3D-Endoskop mit zwei Bildsensoren, ist einer der Bildsensoren dem rechten Auge (erster Bildkanal mit ersten Bilddaten) und der andere der beiden Bildsensoren dem linken Auge des Anwenders (zweiter Bildkanal mit zweiten Bilddaten) zuordenbar. Wird nun ein Deckglas der beiden Bildsensoren verschmutzt oder anderweitig signifikant beeinträchtigt, wird von einer Steuereinheit ein Qualitätswert mittels einer Analyse bestimmt, der sich von dem Qualitätswert eines unbeeinträchtigten Bildsensors unterscheidet. Auf Grundlage des bestimmten Qualitätsverlustes kann manuell oder automatisch in einem zweiten Wiedergabemodus ein zweidimensionales Bild auf Basis der Bilddaten des Sensors, der keine Änderung des Qualitätswert aufweist, ausgegeben werden. In anderen Worten kann der Anwender in Abhängigkeit eines über die Steuereinheit automatisch ermittelten Qualitätswertes manuell oder automatisch in den zweidimensionalen zweiten Wiedergabemodus auf Basis der Bilddaten des unbeeinträchtigten Bildsensors umschalten.
Erfolgt diese Umschaltung automatisch kann dynamisch auf den Bildsensor umgeschaltet werden, der nicht verschmutzt bzw. anderweitig beeinträchtigt ist. Sobald dem Anwender zweidimensionale Bilder präsentiert werden, sind keine Beeinträchtigungen wie Kopfschmerzen durch unzureichende 3D-Darstellungen zu erwarten. Ein besonderer Vorteil einer automatischen Umschaltung ist, dass die Arbeit des 3D-Endoskop-Anwenders nicht unterbrochen wird.
Alternativ kann die Steuereinheit auch eine Empfehlung auf Basis des ermittelten Qualitätswertes zum Umschalten in den zweiten Wiedergabemodus ausgeben, damit der Anwender manuell in den zweiten Wiedergabemodus bzw. auf eine 2D-Ansicht umschalten kann. Eine möglicherweise notwendige extrakorporale Reinigung kann bei gegebener Funktionalität des verbleibenden Bildsensors aufgeschoben werden. Verschiedene Verfahrensschritte des erfindungsgemäßen Verfahrens wie die Analyse oder die Erzeugung oder Berechnung der 3D-Bilder können computerimplementiert sein und auf geeignete Bildverarbeitungsalgorithmen und/oder Softwareprogrammen beruhen. Die Ausführung der Verfahrensschritte können an verschiedenen Orten wie das 3D-Endoskop selbst, d.h. in einem Prozessor eines Computers, einer Cloud und/oder auf dezentralen Servern ausgeführt werden. Die Wiedergabe von dreidimensionalen Bilddaten oder zweidimensionalen Bilddaten kann auf einer geeigneten Wiedergabe- oder Anzeigevorrichtung wie ein Display, Monitor oder eine geeignete Brille, die je Auge eine Anzeige aufweist, erfolgen.
Bei der Verwendung einer 3D-Brille mit einem Mikrodisplay je Auge können beim Umschalten durch die Steuereinheit von dem ersten Wiedergabemodus (Ausgabe von 3D-Bildem) zum zweiten Wiedergabemodus (Ausgabe von zweidimensionalen Bildern) die schlechteren Bilddaten ausgeschaltet werden, sodass ein Auge schwarz sein würde. Gemäß einem alternativen Ausführungsbeispiel können beim Umschalten in den zweiten Wiedergabemodus die Bilddaten mit dem besseren Qualitätswert auf beide Augen der 3D-Brille ausgegeben werden. Letzteres hat den Vorteil, dass die wahrgenommene Bildhelligkeit nicht beeinträchtigt wird.
Gemäß einer bevorzugten Ausführungsform umfasst die Analyse der ersten und zweiten Bilddaten zur Bestimmung des Qualitätswertes einen Bildverarbeitungsalgorithmus und/oder ein selbstlernendes Modul zur Erkennung von wenigstens eines der folgenden Ereignisse umfasst: eine Verschmutzung, wenigstens ein Störobjekt; ein Bildqualitätsverlust, eine Kondensation, eine Beschädigung oder Rauch.
Mit Hilfe von computerimplementierten Algorithmen können auch vom Anwender unbemerkte Ereignisse wie oben genannt automatisch bestimmt werden und somit ein unbeabsichtigtes Fortfahren im ersten Wiedergabemodus vermieden werden. Somit kann so bald ein für ein Teilbild störendes Ereignis mit Hilfe des Qualitätswertes erkannt wird, die nicht vom Ereignis betroffenen Bilddaten eines Bildsensors von zwei Bildsensoren bzw. bei einem einzelnen Bildsensor die Bilddaten einer ersten lichtempfindlichen Fläche von zwei Flächen sind dem Anwender zweidimensional angezeigt werden. Auf diese Weise kann der zweite Wiedergabemodus manuell oder automatisch eingeschalten werden, um Irritationen, Schmerzen oder Ermüdung des Anwenders zu vermeiden.
Die Analyse der ersten und zweiten Bilddaten zur Bestimmung des Qualitätswertes mittels einem Bildverarbeitungsalgorithmus kann auf verschiedenste bekannte Bildverarbeitungsalgorithmen beruhen. Zudem können selbstlernende Module vorzugsweise in Verbindung mit Trainingsdaten zur Anwendung kommen, wobei das selbstlernende Modul ebenfalls bekannte Bildverarbeitungsalgorithmen verwenden kann. Beispielsweise kann ein selbstlernendes Modul mit Hilfe von Gausschen Verfahren Verschmutzungs- oder andere Störereignisse bestimmen. Sieh hierzu bekannte Fachliteratur als Beispiel eines Algorithmus zur Ereignisklassifikation C.E. Rasmussen, K. I. Williams, Gaussian Processes for Machine Learning, in MIT Press (2006).
Um das zu detektierende Ereignis erkennen zu können, können die Bilddatensätze der ersten und zweiten Bilddaten u.a. auf eine Abweichung zum Normalzustand bzw. zu dem jeweils anderen Teilbild analysiert werden. In diesem Kontext können verschiedenste Bildverarbeitungsalgorithmen zur Anomaliedetektion eingesetzt werden. Klassifizierungsprobleme können z.B. mit der sogenannten nächsten Nachbar- Analyse, „Nearest Neighbor“, adressiert werden (siehe z.B. T. Cover und P. Hart, Nearest neighbor pattern Classification, in IEEE Trans. Information Theory (1967; 21-27.) Diese Methode klassifiziert Bilder nach ihrer Ähnlichkeit mit anderen Bildern. Mit Hilfe des selbstlernenden Modules, welches auf Maschinenlernen beruht, können somit Datenmuster erkannt werden, ohne dass eine exakte Übereinstimmung mit in einer Speichereinheit gespeicherten Mustern oder Bildern, die als Trainingsdaten zur Verfügung gestellt werden, benötigt wird.
Gemäß einer bevorzugten Ausführungsform des Verfahrens bestimmt die Steuereinheit, dass wenn ausschließlich einer von beiden Qualitätswerten für wenigstens eines der Ereignisse Verschmutzung, Störobjekt, Bildqualitätsverlust, Kondensation, Beschädigung oder Rauch repräsentativ ist, automatisch oder manuell in dem zweiten Wiedergabemodus ein zweidimensionales Bild auf Basis der Bilddaten, der dem anderen Qualitätswert zuordenbar ist, ausgegeben wird.
In anderen Worten, wenn zwei Bildsensoren bereitgestellt werden, bestimmt die Steuereinheit, dass ein Qualitätswert, der den Bilddaten ausschließlich einem Bildsensor zuordenbar ist, repräsentativ für wenigstens eines der Ereignisse Verschmutzung, Störobjekt, Bildqualitätsverlust, Kondensation, Beschädigung oder Rauch ist, das 3D-Endoskop automatisch oder manuell im zweiten Wiedergabemodus auf Basis der Bilddaten des anderen der beiden Bildsensoren betrieben wird.
Gemäß einer bevorzugten Ausführungsform des Verfahrens umfasst die Analyse der ersten und zweiten Bilddaten die Bestimmung eines mittleren Bildkontrastes, um den Qualitätswert basierend auf einem Vergleich des jeweiligen mittleren Bildkontrastes mittels einer visuellen Schwellenwertbedingung zu bestimmen.
Auf diese Weise kann mit bekannten Bildverarbeitungsalgorithmen der jeweilige Qualitätswert bestimmt werden. Dabei kann der mittlere Bildkontrast, z.B. mittels Analysen, ob ein Unterschied auftritt, bestimmt werden (z.B. mit der oben genannten nächsten Nachbar- Analyse). Beim Auftreten von beispielsweise Rauch vor einem von zwei Bildsensoren, ergibt sich ein geringerer Bildkontrast im Vergleich zum normalen Bild des Bildsensors ohne Rauch. Gemäß einer bevorzugten Ausführungsform des Verfahrens wird der mittlere Bildkontrast durch wenigstens eines der folgenden Analyseverfahren bestimmt: Histogramm-Verfahren, Anwendung eines Gaußfilters, Mustererkennung, Eckendetektion, Kantendetektion und Erkennung von Objekten.
Gemäß einer bevorzugten Ausführungsform des Verfahrens umfassen die ersten und zweiten Bilddaten jeweils eine Vielzahl von in dem Arbeitsbereich vorkommenden Farben, wobei die Analyse der ersten und zweiten Bilddaten jeweils die Erkennung eines mittleren Farbtones umfasst, um den Qualitätswert basierend auf einem Vergleich der am häufigsten vorkommenden Farbe aus der Vielzahl von Farben mit dem jeweiligen mittleren Farbton zu bestimmen.
Auf diese Weise kann mit Hilfe eines Bildverarbeitungsalgorithmus mit Hilfe des Parameters Farbe oder Farbton die Ähnlichkeit zwischen den ersten Bilddaten und zweiten Bilddaten bestimmt werden. Falls eine Abweichung bzw. Differenz des mittleren Farbtones größer als ein vorgegebener Schwellenwert ist, kann der zweite Wiedergabemodus für ein zweidimensionales Bild mit den Bilddaten, deren Farbton den Schwellenwert nicht erreicht und somit einen für den Arbeitsbereich typischen mittleren Farbton repräsentiert, aktiviert werden.
Gemäß einer bevorzugten Ausführungsform des Verfahrens umfassen die ersten und zweiten Bilddaten jeweils eine Vielzahl von in dem Arbeitsbereich vorkommenden Farben, wobei, wenn die am häufigsten vorkommende Farbe aus der Vielzahl der Farben Weiß oder grau ist, Rauch erkannt wird; oder wenn die am häufigsten vorkommende Farbe aus der Vielzahl der Farben rot ist, eine Verschmutzung durch Blut erkannt wird.
Auf diese Weise kann mit Hilfe einer Farbanalyse die Bilddaten ein Ereignis wie Rauch oder ein Blutspritzer, der auf einen Bildsensor oder ein lichtempfindliches Flächen eines Einzelsensors begrenzt ist, bestimmt werden und der betroffene Bildsensor oder Sensorfläche im Rahmen des zweiten Wiedergabemodus ausgeschalten werden. Zu den vorkommenden Farben ist prinzipiell zu bemerken, dass der wenigstens eine Bildsensor oder die Vielzahl von Bildsensoren für die Erfassung der Bilddaten gemäß einem häufigen Anwendungsbeispiel gegenüber für das menschliche Auge sichtbaren Licht empfindlich ist bzw. sind. Dies umfasst beispielsweise einen Längenwellenbereich zwischen 380 nm bis 780 nm (Nanometer), was jedoch nicht als einschränkend zu verstehen ist. Die Farbe Rot liegt bekannterweise in dem hohen Wellenlängenbereich zwischen 620nm und 780 nm.
Insbesondere schließt das oben genannte Ausführungsbeispiel nicht aus, dass andere Ausführungsbeispiele auch zur Beobachtung im Infrarot oder Nahinfrarot-Bereich bzw. im Ultraviolett-Bereich Bilddaten erfassen können. Dies ist beispielsweise hilfreich, wenn das 3D-Endoskop für die sogenannte photodynamische Verfahren wie PDD (Photodynamische Diagnostik) oder zur Fluoreszenz-Beobachtung eingesetzt wird.
Gemäß einer bevorzugten Ausführungsform umfasst das Verfahren ferner den Verfahrensschritt einer automatischen Ausgabe von einem Warnhinweis, wenn automatisch mit der Steuereinheit eine Steuerungsanweisung zur Aktivierung eines anderen Wiedergabemodus ausgegeben wird.
Auf diese Weise wird der Anwender informiert, dass der Wiedergabemodus gewechselt wurde. So kann sich der Anwender darauf einstellen, dass im zweiten Wiedergabemodus keine Tiefeninformation mehr zur Verfügung steht. Andererseits kann nach Behebung des Störereignis eine Rückkehr zum dreidimensionalen Bild mittels einem Warnhinweis angegeben werden. Somit können die nächsten Arbeits schritte der Untersuchung an den jeweiligen Wiedergabemodus angepasst werden und die Sicherheit für den Patienten erhöht werden.
Gemäß einer bevorzugten Ausführungsform des Verfahrens wird in einem Verfahrensschritt der Voranalyse eine Unterteilung der jeweiligen Bilddaten in Bildabschnitte vorgenommen, wobei der Qualitätswert für jeden der Bildabschnitte bestimmbar ist, wobei die Steuereinheit ausgebildet ist, ausschließlich die Bildabschnitte mit einer zulässigen prozentualen Verschmutzung oder einem zulässigen Qualitätsverlust wiederzugeben, und/oder wenigstens die Bildabschnitte, die einem Bildzentrum des jeweiligen Bildsensors zuordenbar sind, wiederzugeben.
Durch eine Voranalyse wenigstens einer Teilmenge der Bilddaten, wie z.B. eines Bildabschnittes, kann ein lokaler Qualitätsverlust mit einem korrespondierenden Qualitätswert erkannt werden. Eine Speichereinheit kann Daten zur Verfügung stellen, um mit Hilfe eines Vergleiches von historischen Bilddaten der Datenbank einen Qualitätswert für eine vorgegebene Teilmenge oder Bildabschnitt und damit eine zulässige bzw. unzulässige Verschmutzung zu bestimmen.
Auf Basis der Voranalyse bevorzugter Regionen oder Bildabschnitte kann die Wiedergabe gezielt für diese Regionen oder Bildabschnitte erfolgen. In Abhängigkeit von dem Qualitätswert kann bevorzugt das Bildzentrum entweder zweidimensional oder dreidimensional wiedergegeben werden, da sich hier in der Regel das zu untersuchende Objekt befindet und der Anwender ein besonderes Interesse hat, dass das Bild optimal wiedergegeben wird. Falls ein 3D-Endoskop mit zwei Bildsensoren bereitgestellt wird, können in Abhängigkeit, von der mittels des Qualitätswertes bestimmten Verschmutzung nur eines Bildsensors zweidimensionale Bilder des nicht verschmutzten Bildsensors wiedergegeben werden.
Gemäß einer bevorzugten Ausführungsform des Verfahrens erfolgt auf Grundlage des bestimmten Qualitätswertes ein manuelles oder automatisches Ausgeben von Steueranweisungen von der Steuereinheit zur Aktivierung eines Reinigungsmoduls mittels Fluid und/oder Gas, wobei das Reinigungsmodul eine aktivierbare Einheit des 3D-Endoskopes zur vorzugsweise intrakorporalen Reinigung ist oder als extrakorporale Einheit bereitgestellt wird.
Auf diese Weise können in Abhängigkeit von der Verschmutzung oder anderem Ereignis wahlweise ein oder zwei Bildsensoren bzw. die zugehörigen lichtempfindlichen Flächen intrakorporal oder extrakorporal gereinigt werden, wobei der Reinigungsprozess manuell freigegeben oder automatisch angesteuert werden kann. Dabei ist das Reinigungsmodul ausgelegt, mit wenigstens einem Fluid wenigstens eines Deckglases eines Bildsensors oder Teile davon zu reinigen. Geeignete Fluide für eine intrakorporale Reinigung sind vorzugsweise Wasser oder Natriumchlorid oder eine andere physiologische Flüssigkeit. Auch ein gasförmiges Fluid wird so gewählt, dass es physiologisch unbedenklich und biokompatibel ist, und kann z.B. Kohlenstoffdioxid sein. Mit dem Reinigungsmodul kann vorzugsweise intrakorporal eine definierte Spülmenge oder Volumen an Gas oder Flüssigkeit mit einem vorbestimmbaren Spül druck durch den Schaft nahe zu den jeweiligen Bildsensorflächen geführt werden.
Wenn beispielsweise kritische Verschmutzungen mittels des Qualitätswertes festgestellt wurden, kann automatisch die Entscheidung zur Reinigung getroffen werden und dem Reinigungsmodul mitgeteilt werden, ein Fluidventil für ein vorbestimmtes Volumen von Gas oder Flüssigkeit (z.B. Kohlenstoffdioxid oder Natriumchlorid) zu öffnen. Solange die Reinigung begrenzt auf einen Bildsensor oder Sensorteilfläche erfolgt, kann der andere Bildsensor bzw. Sensorteilfläche weiterhin Bilder für den zweiten Wiedergabemodus erfassen. Nach der Aktivierung kann die Steuereinheit automatisch die Steuerungsanweisung zum Prozessabbruch der Reinigung geben und zugleich bei erfolgreicher Reinigung in den ersten Wiedergabemodus zurückgeschalten werden.
Weist das Reinigungsmodul wenigstens zwei Fluidkanäle und zugehörige Düsen auf, ist es geeignet, gezielt einen von zwei Bildsensoren bzw. von zwei Sensorteilflächen mit Fluid und/oder Gas zu reinigen. Bei einem Fluidkanal pro Bildsensor muss zwischen Fluid und Gas umgeschaltet werden, da nur ein Kanal je Bildsensor zur Verfügung steht. Sollen beide Reinigungsmethoden (Flüssigreinigung und Gastrocknung) schnell hintereinander ansteuerbar sein, sind zwei Fluidkanäle pro Bildsensor vorteilhaft. Bei allen Konfigurationen kann die Steuerungseinheit zugleich die Reinigung (flüssig und/oder mit Gas) und einen Wechsel in den zweiten Wiedergabemodus ansteuem. Durch das Umschalten auf die nicht zu reinigende Sensorfläche wird vermieden, dass die Bedienperson die Reinigung als störend bemerkt bzw. kann weiterhin mit dem zweidimensionalen Bild arbeiten.
Gemäß einer bevorzugten Ausführungsform des Verfahrens weist die Steuereinheit einen Reinigungssteuerungsalgorithmus auf, der die Reinigungswirksamkeit extrakorporal und/oder intrakorporal mit der aktivierbaren Einheit des 3D- Endoskops für einen oder zwei Bildsensoren überprüft, sodass wenigstens ein zweidimensionales Bild oder ein dreidimensionales Bild mit ausreichend guter Bildqualität wiedergebbar ist oder eine Wiederholung der Reinigung aktiviert wird.
Gemäß einer bevorzugten Ausführungsform ist das Verfahren umfassend ein Reinigungsmodul ausgelegt, in Abhängigkeit vom einen Verschmutzungsgrades die Art der Reinigung mittels Reinigungsparameterveränderung anzupassen, wobei ein oder mehrere Reinigungsparameter ausgewählt sind aus einer Gruppe umfassend: Art des Fluids, Fluidvolumen, Fluidvolumina, Fluidgeschwindigkeit, Druck, Pulsdauer, Pulsanzahl, Puls-Pausenverhältnis und/oder gesamte Reinigungsdauer. Ist das Reinigungsmodul intrakorporal kann in Abhängigkeit von der ermittelten Verbesserung des Verschmutzungsgrades beider Bildsensoren oder beider Sensorflächen eines Bildsensors wieder zurück in einen ersten dreidimensionalen Wiedergabemodus geschaltet werden.
Gemäß einer bevorzugten Ausführungsform des Verfahrens bestimmt das selbstlernende Modul mittels einer auf künstlicher Intelligenz basierten Analyse, vorzugsweise unter Anwendung eines neuronalen Netzes, aus den Bilddaten des jeweiligen Bildsensors oder einer Sensorteilfläche eines Einzelsensors wenigstens eine Bildstruktur, um mittels der wenigstens einen bestimmten Bildstruktur auf Basis eines Vergleiches mit in einer Speichereinheit gespeicherten Bildstrukturen einer Referenz-Datenbank bei einer festgestellten Abweichung ein Ereignis zu klassifizieren.
Eine Speichereinheit, die lokal in der Steuereinheit oder dezentral z.B. über Server oder Netzwerke bereitgestellt werden kann, weist hierzu wenigstens eine Datenbank auf. Diese Datenbank umfasst wenigstens eine Referenzdatenbank mit Bilddaten umfassend Bildstrukturen, die indikativ für ein Ereignis wie Verschmutzung oder Beschädigung sind.
Gemäß einer bevorzugten Ausführungsform des Verfahrens umfasst das selbstlernende Modul ein Modell, dass mit Trainingsdaten von in der Speichereinheit gespeicherten Bildstrukturen trainiert wird, wobei das trainierte Modell des selbstlernenden Modules zur Klassifizierung der Bilddaten in folgende ereignisabhängige Datenbankklassen trainiert ist: nicht verschmutze Bilder, verschmutzte Bilder, die intrakorporal reinigbar sind; verschmutzte Bilder, die durch ein Reinigungsmodul reinigbar sind; beschlagene Bilder, die durch ein Modul mittels Gas getrocknet werden können; verrauchte Bilder, wobei der Rauch durch ein Absaugmodul absaugbar ist;
Bilder mit Qualitätsverlust; die durch andere Module optimierbar sind;
Bilder die ein oder mehr Störobjekte aufweisen; und/oder Bilder die wenigstens eine Beschädigung anzeigen.
Mit Hilfe von maschinell antrainierten Datenbankklassen, kann ein trainiertes Modell aktuelle erste bzw. zweite Bilddaten eines untersuchten Arbeitsbereiches zuverlässig und reproduzierbar klassifizieren. Dabei kann das trainierte Modell erkennen, wenn Ereignisse wie oben genannt wie z.B. das Auftreten von Störobjekten eingetreten sind. Ferner kann mit Hilfe der Datenbankklassen automatisch bestimmt werden, ob sich eine erkannte zu untersuchende Bildstruktur beispielsweise durch Rauch, Kondensat oder Verschmutzung oder andere Störfaktoren verändert hat. Hierzu weist das 3D-Endoskop vorteilhafterweise eine Speichereinheit auf oder ist mit einer Speichereinheit kommunikativ, vorzugsweise drahtlos, verbunden.
Ein Vorteil eines maschinell trainierten Modells ist, dass es nicht von subjektiven Beurteilungen von den Anwendern abhängig ist. Auf Basis der erkannten Veränderung können manuell oder automatisch Steueranweisungen von einer Steuereinheit bezüglich des Wiedergabemodus und/oder bezüglich einer Reinigung an eine Einheit zur Aktivierung der Reinigung mittels eines Reinigungsmodules ausgegeben werden. So kann eine Bildoptimierung der Sichtverhältnisse und Sichtqualität während einer Operation sichergestellt werden.
Für die oben genannten Verfahren, die auf Algorithmen oder maschinellem Lernen beruhen, weist die Steuereinheit Elemente eines Computers wie einen oder mehrere Mikroprozessoren oder Grafikprozessoren auf. Ein Grafikprozessor (englisch „graphics processing unit“ GPU) kann beispielweise 2D- oder 3D-Bilder in Echtzeit einem Anwender an eine geeignete Anzeige- oder Wiedergabevorrichtung wie ein Display oder über eine 3D-Brille in hoher Qualität anzeigen.
Gemäß einer bevorzugten Ausführungsform des Verfahrens wird mit einer Anzeigevorrichtung und/oder eine 3D-Brille im ersten Wiedergabemodus ein 3D-Bild und in dem zweiten Wiedergabemodus ein 2D Bild angezeigt.
Zudem sind Kombinationen einer Anzeigevorrichtung mit speziellen 3D-Brillen als Hilfsmittel denkbar. Bei einer passiven farbcodierter Bildtrennung kann mit Hilfe eines Wamhinweises, der automatisch mit der Steuereinheit bei Ausgabe eines anderen Wiedergabemodus ausgegeben wird, der Anwender informiert werden, eine Polarisationsbrille abzunehmen bzw. aufzusetzen.
Gemäß einer bevorzugten Ausführungsform des Verfahrens ist das 3D-Endoskop aus folgender Gruppe ausgewählt: ein Stereoskop umfassend wenigstens einen ersten Bildsensor, vorzugsweise mit zwei voneinander getrennte lichtempfindliche Flächen oder ausgebildet als eine Facettenlinse; ein Stereoskop umfassend wenigstens einen ersten Bildsensor und einen zweiten Bildsensor; ein Bildgebungskop umfassend wenigstens einen ersten Bildsensor, einen zweiten Bildsensor und einen dritten Bildsensor; ein Bildgebungskop umfassend wenigstens einen ersten Bildsensor, einen zweiten Bildsensor, einen dritten Bildsensor und einen vierten Bildsensor; und ein Stereoskop, was als ein Glasfaserendoskop ausgebildet ist.
Ist der einzelne Bildsensor als Facettenlinse, auch Fliegenauge (Fly’s eye) genannt, ausgebildet, wird eine Vielzahl von Mikrolinsen bereitgestellt. Die große Anzahl von Mikrolinsen kann dicht einander liegende individuelle Mikrobilder mit jeweiligen Bilddaten erfassen, wobei jedes Mikrobild das Gesamtbild aus der jeweiligen Perspektive abbildet. Die Facettenlinse können dreidimensionale Bilder wiedergeben, die zur Betrachtung keine speziellen Hilfsmittel benötigen. Wird nun ein großer Teil der Mikrolinsen verschmutzt, kann ein zweidimensionales Bild von dem verbleibenden unverschmutzten Mikrolinsen ohne Qualitätsverlust im zweiten Wiedergabemodus angezeigt werden.
Bei einem Bildgebungskops mit drei oder mehr Bildsensoren analysiert die Steuereinheit die Bilddatensätze von bevorzugt drei oder mehr Bildsensoren. Alternativ kann ein Bildgebungsskop mit mindestens drei Bildsensoren, standardmäßig so ausgelegt sein, dass jeweils zwei der Vielzahl der Bildsensoren aktiviert werden, um wie ein Stereoskop Stereobilder zu erzeugen.
In einer beispielhaften Ausführungsform, die die Lage des 3D-Endoskopes berücksichtigen soll, sind drei Bildsensoren an dem distalen Endabschnitt des 3D- Endoskops so angeordnet, dass die Bildsensoren gleichmäßig auf einer Kreislinie angeordnet sind. Die Steuereinheit ist vorzugsweise so ausgelegt, dass das Paar von den drei Bildsensoren aktiviert wird, deren Verbindungslinie zwischen den Bildsensorzentren möglichst parallel und optimaler Weise parallel zu einer Horizontebene ist. Die Horizontebene ist eine Ebene senkrecht zum Vektor der Schwerkraft. Auf diese Weise können jeweils zwei Bildsensoren in Abhängigkeit der Lage des 3D-Endoskops ausgewählt werden, damit sich das erzeugte 3D-Bild möglichst nicht mit dreht, wenn man das Endoskop um seine Längsachse in Bezug auf eine Horizontebene dreht. Für die jeweils zwei aktivierten Bildsensoren eines Bildendoskops mit drei Bildsensoren kann das erfindungsgemäße Verfahren mittels der Steuereinheit eine Analyse der ersten und zweiten Bilddaten zur Bestimmung zweier Qualitätswerte durchführen. Bei Verschmutzung eines Bildsensors wird auf den zweiten Wiedergabemodus auf Basis der Bilddaten des unbeeinträchtigten Bildsensors umgeschaltet. Zudem kann bei unzureichendem Qualitätswert eines Bildsensors der dritte Bildsensor aktiviert werden und analog eine Analyse der von dem dritten Bildsensor empfangenen Bilddaten erfolgen. In Abhängigkeit von dem bestimmten Qualitätswerten des dritten Bildsensors und des weiteren Bildsensors wird dann der erste Wiedergabemodus oder der zweite Wiedergabemodus gewählt.
Wenn mehr als drei Bildsensoren bereitgestellt werden, kann zwischen jeweils zwei Sensorpaaren hin- und hergeschalten werden. Alternativ können alle Bildsensoren ähnlich wie bei einer Facettenlinse die Mikrolinsen gleichzeitig aktiviert werden. In Abhängigkeit der Auswertung der jeweiligen Bilddatensätze und den bestimmten Qualitätswerten kann dann bei mindestens einem unbeeinträchtigten Bildsensorpaar von nebeneinander liegenden Bildsensoren der erste Wiedergabemodus auf Basis der entsprechenden Bilddaten ausgegeben werden.
Der gleichzeitige Einsatz von drei, vier oder mehr Bildsensoren hat den Vorteil, dass eventuelle Mehrdeutigkeiten oder Ungenauigkeiten, wie sie bei der Auswertung von Stereo-Bilddatensätzen von nur zwei Bilddatensätzen auftreten können, weitgehend vermieden werden können. Die Genauigkeit des 3D-Bilddatensatzes kann mit der Erhöhung der Bildsensoranzahl erhöht werden. Zudem kann bei einer geraden Anzahl von Bildsensoren durch mehrere Bildsensorpaare mit unterschiedlicher Brennweite der Linsen eine größere Tiefenschärfe erreicht werden. Diese kann über eine entsprechende Software gesteuert werden.
Gemäß einem weiteren Aspekt der Erfindung wird ein Steuerungssystem zur Bildanalyse mittels eines 3D-Endoskopes erfassten Bilddaten, insbesondere für medizinische Anwendungen zur Ausführung eines Verfahrens, gemäß einem der vorhergehenden Ansprüche bereitgestellt, wobei das System umfasst: ein 3D-Endoskop mit wenigstens einem ersten Bildsensor, wobei der erste Bildsensor ausgebildet ist, erste Bilddaten und zweite Bilddaten zu erfassen; oder ein 3D- Endoskop mit einem ersten Bildsensor ausgebildet zur Erfassung von ersten Bilddaten und einem zweiten Bildsensor ausgebildet zur Erfassung von zweiten Bilddaten; wobei die erfassten ersten und zweiten Bilddaten jeweils ein zweidimensionales Bild eines Arbeitsbereiches aus unterschiedlichen Perspektiven umfassen; eine Steuereinheit in Kommunikation mit dem wenigstens einem Bildsensor zum Empfangen der ersten und zweiten Bilddaten; wobei die Steuereinheit für eine Analyse der ersten und zweiten Bilddaten ausgebildet ist, um jeweils einen Qualitätswert zu bestimmen; wobei die Steuereinheit ausgebildet ist, auf Grundlage eines bestimmten ersten und zweiten Qualitätswertes automatisch oder manuell Steueran Weisungen an das 3D- Endoskop für einen ersten oder zweiten Wiedergabemodus auszugeben; wobei die Steuereinheit ausgebildet ist, in dem ersten Wiedergabemodus dreidimensionale Bilddaten des Arbeitsbereiches auf Basis der Kombination der beiden zweidimensionalen Bilder auszugeben; und wobei die Steuereinheit ausgebildet ist, in dem zweiten Wiedergabemodus ein zweidimensionales Bild des Arbeitsbereiches auf Basis der ersten Bilddaten oder der zweiten Bilddaten auszugeben.
Ferner wird ein Computerprogrammprodukt bereitgestellt, das Anweisungen umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte eines der oben beschriebenen Verfahren durchzuführen.
Ferner wird ein computerlesbares Medium bereitgestellt, auf dem das genannte Computerprogramm gespeichert ist.
Ferner wird ein trainiertes Modell bereitgestellt, vorzugsweise selbstlernend und mit Trainingsdaten umfassend vorzugsweise gespeicherte Bildstrukturen und/oder einer Kennzeichensammlung trainiert ist, und wobei das trainierte Modell ausgelegt ist, die Schritte wenigstens eines der oben beschriebenen Verfahren durchzuführen. Kurze Figurenbeschreibung
Die Erfindung sowie weitere vorteilhafte Ausführungsformen und Weiterbildungen derselben werden im Folgenden anhand der in den Zeichnungen dargestellten Beispiele näher beschrieben und erläutert. Die Zeichnungen dienen zur Illustration und sind nicht maßstabsgetreu. Begriffe wie rechts oder links oder oben und unten sind nicht beschränkend zu verstehen. Die in der folgenden Beschreibung und den Zeichnungen zu entnehmende Merkmale können einzeln für sich oder zu mehreren in beliebiger Kombination erfindungsgemäß angewandt werden.
Fig. la ist eine schematische perspektivische Ansicht eines distalen Endes eines 3D- Endoskops mit einem ersten und zweiten Bildsensor zur Erfassung von einem stereoskopischen Bildpaar;
Fig. 1b ist eine schematische perspektivische Ansicht des in Fig. la gezeigten 3D- Endoskops mit einer schematische Darstellung einer Verschmutzung eines Bildsensors und des mit dem unverschmutzten Bildsensor erfassten Bildes ;
Fig. 1c ist eine schematische perspektivische Ansicht des in Fig. la gezeigten 3D- Endoskops und mit einer schematische Darstellung einer weiteren Verschmutzung eines Bildsensors und des mit dem unverschmutzten Bildsensor erzeugten Bildes; Fig. 2a ist eine schematische perspektivische Ansicht eines distalen Endes eines 3D- Endoskops mit einem einzelnen Bildsensor mit zwei voneinander getrennten lichtempfindliche Flächen und eine schematische Darstellung der mit diesem Sensor erzeugten zweidimensionalen Bildpaar;
Fig. 2b ist eine schematische perspektivische Ansicht des in Fig. 2a gezeigten 3D- Endoskops mit einer einseitigen Verschmutzung des Bildsensors;
Fig. 2c ist eine schematische perspektivische Ansicht des in Fig. 2a gezeigten 3D- Endoskops mit einer weiteren Verschmutzung des Bildsensors;
Fig. 3 zeigt schematisch eine Ausführungsform eines 3 -Endoskopes mit zwei getrennten Bildsensoren, vier Beleuchtungseinrichtungen und weiteren Komponenten wie Steuereinheit und Wiedergabevorrichtung; Fig. 4 Flussdiagramm eines Verfahrens umfassend Bildoptimierung bzw. Bildanpassung von 3D auf 2D bzw. 2D auf 3D und Abfrage zu einer aktiven 3D- Brille;
Fig. 5a zeigt eine perspektivische Ansicht einer weiteren Ausführungsform eines 3D- Endoskopes mit einem einzelnen Bildsensor und einem Reinigungsmodul umfassend zwei Fluidkanäle und eine Düsenanordnung;
Fig. 5b und 5c zeigen eine Explosionsdarstellung der Ausführungsform gemäß Fig. 5a und eine Detailansicht des distalen Endes der zwei Fluidkanäle;
Fig. 6 zeigt schematisch eine Ausführungsform eines 3D-Endoskopes mit einer Steuereinheit und damit in Kommunikation stehende Einheiten zur Ausführung einer Reinigung inklusive Speichereinheit zur Hinterlegung von Reinigungsparameter;
Fig. 7 zeigt schematisch die Komponenten eines 3D-Endoskops mit Bilderfassungseinrichtung, Steuereinheit mit speicherbaren Routinen oder Verfahren zur Bildoptimierung umfassend Anpassung 3D zu 2D (Ausgabe im zweiten Wiedergabemodus) sowie ein Reinigungsmodul;
Fig. 8 zeigt schematisch im Flussdiagramm eine weitere Ausführungsform des erfindungsgemäßen Verfahrens zur Bildoptimierung umfassend insbesondere einer Verschmutzungserkennung zur 3D/2D- Anpassung und/oder Reinigung mit einem flüssigen Fluid und optional einem gasförmigen Fluid.
Detaillierte Figurenbeschreibung
Fig. la zeigt schematisch ein distales Ende eines 3D-Endoskops 100 mit einem Schaft 150 und zwei Bildsensoren (erster Bildsensor 111 und zweiter Bildsensor 112, wobei die Aufnahmeachsen horizontal verschoben, angeordnet sind. Es werden von jedem Sensor sogenannte Halbbilder (11, 12) oder Flachbilder aufgenommen, die ein stereoskopisches Bildpaar bilden.
Beide Aufnahmen zeigen dasselbe Objekt (hier zur Veranschaulichung eines möglichen Objektes im Zentrum des Bildes ein Smiley), jedoch mit einem seitlich um die sogenannte Stereobasis (x, 125) versetzten Standort. Dabei müssen die Aufnahmeachsen parallel verlaufen und die Aufnahmebedingungen bzw. Einstellungseigenschaften der beiden Bildsensoren 111, 112 identisch sein (gleiche Brennweite, Schärfe und verwendende Filter). Das Stereobildsensorsystem nimmt mit den zwei Bildsensoren 111, 112 gleichzeitig die zwei Teil-, Halb- oder Flachbilder auf, solange keine Verschmutzung oder andere Störfaktoren einen Bildsensor von beiden Bildsensoren 111, 112 signifikant beeinträchtigen.
Auf Basis der zwei erfassten Halbbilder 11, 12, die zueinander um die Stereobasis x (Referenzzeichen 125) versetzt sind, kann ein 3D Bild mittels einer geeigneten Bildsoftware erzeugt werden. Diese kann dann mit einer geeigneten Wiedergabevorrichtung gezeigt werden. Hierzu eignet sich zum Beispiel ein Autostereomonitor, der auf einen Beobachter ausgerichtet ist, oder ein Monitor, der auf der Wellenlängen-Multiplex Technik beruht, oder ein LCD-Femsehmonitor mit 3D-Brillen wie Shutterbrillen als Hilfmittel und/oder eine aktive 3D-Brillle.
Fig. 1b zeigt das Stereosystem der Fig. la mit zwei Bildsensoren (111, 112), wobei der erste Bildsensor 111 von einer Verschmutzung 113 betroffen ist. Beide Teil- oder Halbbilder werden von einem Bildverarbeitungsalgorithmus oder einem selbstlernenden Modul so analysiert, dass ein erster bzw. zweiter Qualitätswert bestimmt werden. In dem gezeigten Beispiel ergibt die Analyse des Bildes einen Qualitätswert Ql, der anzeigt, dass das Deckglas des ersten Bildsensors 111 mit Dreck 113 zu ca. 100 % verdeckt ist. Die Analyse 124 des erfassten Bildes 12 des zweiten Bildsensors 112 ergibt dagegen einen Qualitätswert Q2, der anzeigt, dass das Deckglas des zweiten Bildsensors 112 sauber ist und somit den Initialwerten des Bildsensors beim Weißabgleich entspricht. Auf diese Weise kann in Abhängigkeit von den bestimmten ersten und zweiten Qualitätswerten entweder automatisch oder manuell nach einem entsprechenden Hinweis auf den sauberen Bildsensor 112 umgeschaltet werden. Mit einer hier nicht gezeigten Wiedergabevorrichtung kann das zweidimensionale Halbbild des unbeeinträchtigten zweiten Bildsensors 112 gezeigt werden.
Fig. 1c zeigt den Fall einer Verschmutzung 114 auf den zweiten Bildsensor 112. Die
Bildanalyse 124 ergibt einen Qualitätswert Q2, der ein Ereignis wie 100%-ige Verschmutzung oder einen signifikanten Bildqualitätsverlust anzeigt. Es können hier auch Schwellenwerte bestimmt werden bei dem eine Umschaltung auf einen 2D- Modus anstelle eines 3D-Modus erfolgt. Bei einer 100%-igen Verschmutzung des Bildsensors 112, wie in Fig. 1b gezeigt, können nur noch Bilddaten mit dem ersten Bildsensor 111 erfasst werden. Auf Basis der Bildanalyse, der repräsentativ für ein verschmutzungsfreies Deckglas ist ergibt sich ein Qualitätswert Ql. Der Anwender kann nun mit dem zweidimensionalen Bild 11 des Objektes (Smiley) ohne Qualitätsverlust in einem zweiten Wiedergabemodus (2D-Modus) Weiterarbeiten. Wird der erste Bildsensor 11 zu einem späteren Zeitpunkt ebenfalls signifikant verschmutzt und das 3D-Endoskop weist kein distales Reinigungsmodul zur intrakorporalen Reinigung auf, muss der Anwender versuchen ohne Renigungsmodul Abhilfe zu schaffen oder das Endoskop entnehmen und extrakorporal reinigen. Hierzu kann das 3D-Endoskop einen Warnhinweis ausgeben wie z.B. „an der Leber abwischen“ oder „ex situ reinigen“.
Fig. 2a ist eine schematische perspektivische Ansicht eines distalen Endes eines 3D- Endoskops 100 mit einem einzelnen Bildsensor 110 mit zwei voneinander getrennten lichtempfindliche Flächen 110R und HOL. In dem gepunkteten Kreis wird eine Vergrößerung des Bildsensors 110 schematisch gezeigt. Die linke Bildsensorfläche HOL und die rechte Bildsensorfäche 110R betrachten das gleiche kegelförmige Objekt, das zweidimensional als Dreieck gezeigt wird.
Neben dem perspektivische dargestellten 3D-Endoskop werden die zweidimensionalen Halbbilder wie Sie von den beiden Bildsensorflächen 110R, HOL aus zwei unterschiedlichen Perspektiven gesehen werden, schematisch dargestellt. Als Beispielsobjekt wird hier die Kegelform gezeigt, die aus den zwei Perspektiven der um die Stereobasis x (siehe Doppelpfeil über Teilflächen 110R und 100L) versetzten Aufnahmeachsen, die sich jeweils mittig in den Sensorteilfläche 110R, HOL befinden, erfasst wird. Dabei wird das rechte Halbbild 12R von der Sensorfläche 110R und das um die Stereobasis 110X versetzte linke Halbbild 11L von der Fläche HOL erfasst. Eine hier nicht gezeigte Wiedergabevorrichtung ist geeignet, um auf Basis der Halbbilder 1 IL bzw. 12R sowohl zweidimensionale 2D- Bilder als auch 3D Bilder wiedergegeben zu können. Der Wiedergabemodus wird in Abhängigkeit von den auf Basis der Bilddaten bestimmten Qualitätswerte gewählt.
Fig. 2b ist eine schematische perspektivische Ansicht des in Fig. 2a gezeigten 3D- Endoskops mit einer einseitigen Verschmutzung des Bildsensors. Die Verschmutzung 113R verdeckt ca. 100 % der Sensorfläche 110R. Das gestrichelte Rechteck der Fig. 2b zeigt, dass nur noch das Halbbild 11L mit dem Objekt (hier Kegel als Dreieck) mittels der Fläche HOL erfasst werden kann. Die Bildanalyse 124 mittels eines klassischen Algorithmus der Bildverarbeitung oder basierend auf KI (künstliche Intelligenz) mit vorzugsweise einem selbstlernenden Modul ergibt entsprechende Qualitätswerte QR bzw. QL für die jeweiligen Sensorflächen. In Abhängigkeit der erfassten Qualitätswerte kann auf das saubere Deckglas umgeschaltet werden und das zweidimensionale Bild 11L gezeigt werden.
Fig. 2c ist eine schematische perspektivische Ansicht des in Fig. 2a gezeigten 3D- Endoskops mit einem weiteren Beispiel einer Verschmutzung des Bildsensors 110. Hier ist nicht nur die Bildsensorfläche HOL vollständig mit Dreck 114L verschmutzt, sondern auch wenige Teile der anderen Bildsensorfläche 110R mit weiteren Dreck 114R und einer linienartigen Verschmutzung 114r. Somit wird mittels der Bildanalyse 124 ein Qualitätswert QL bestimmt, der eine 100% -ige Verschmutzung für die Fläche HOL repräsentiert. Für die andere Fläche 110R wird auf Basis der Bilddaten 12R und den verdeckten Bildanteilen 114R und 114r der Qualitätswert QR bestimmt, der einer partielle Verschmutzung von unter 30 % entspricht.
Die bestimmten zugehörigen Qualitätswerten QR und QL zeigen an, dass beide Sensorflächen unterschiedlich stark verschmutzt sind, und QL dem Anwender noch ein ausreichendes Sichtfeld zur Verfügung stellt. Aufgrund der Analyseergebnisse wird automatisch oder manuell auf das Deckglas des Sensors 110R umgeschaltet, das weniger verschmutzt ist. Der Wiedergabemodus in 2D wird in Fig. 2c mit dem zweidimensionales Bild mit den Bilddaten 12 R veranschaulicht. Prinzipiell kann eine Klassifizierung in verschiedene Klassen von Verschmutzung erfolgen. In dem gezeigten Fall, kann noch darin unterschieden werden, dass das Bildzentrum der Fläche 110R von der Verschmutzung nicht betroffen ist, sodass das im Bildzentrum zu untersuchende kegelförmige Objekt noch klar sichtbar ist und der Anwender seine Arbeit an dem Objekt fortführen kann.
Fig. 3 zeigt schematisch eine weitere Ausführungsform eines 3D-Endoskopes 100 mit zwei getrennten Bildsensoren 111, 112 und beidseitig von davon jeweils Beleuchtungseinrichtungen 154, 155 und 156, 157. Die Beleuchtungseinrichtungen 154, 155, 156 und 157 können als Lichtleitfasern ausgebildet sein, die in dem Schaft 150 vom distalen Ende zum proximalen Ende des 3D-Endoskopes 100 zum Anschluss an eine Versorgungseinheit geführt werden. Sie sind zur Übertragung von Licht für den Operationsbereich oder situs ausgebildet. Ziel bei der Vielzahl der Beleuchtungseinrichtungen ist es, dem Anwender ein möglichst natürliches endoskopisches Bild mit hoher Auflösung für seine Intervention oder Inspektion zu bieten. Die Bildsensoren 111, 112 können als Deckgläser Plangläser aufweisen mit dahinterliegenden Linsen und sind mit weiteren Komponenten wie Steuereinheit und Wiedergabevorrichtung verbunden.
Die Steuereinheit 120 umfasst einen Prozessor 121 zur Bildanalyse 124 und Schmutzerkennung 125 und eine Speichereinheit 122. Mit Hilfe der genannten Analyseverfahren können für jeden Bildsensor 111, 112 ein Qualitätswert Ql und Q2 bestimmt werden. In Abhängigkeit von diesen Qualitätswerten, was allgemein als Funktion von einem Qualitätswert mit f(Q) beschrieben werden kann, d.h. auf Grundlage eines bestimmten ersten und zweiten Qualitätswertes (Ql, Q2) werden automatisch oder manuell Steueran Weisungen an das 3D-Endoskop 100 für einen ersten oder zweiten Wiedergabemodus ausgegeben (Verfahrensschritt 103).
Ergibt die Analyse der Bilddaten 11 und 12, dass beide Deckgläser verschmutzt sind, kann mit Hilfe der Analyse 124 und Bestimmung der Qualitätswerte (Ql, Q2) ermittelt werden, welcher Verschmutzungsgrad jeweils besteht. Übersteigt die Verschmutzung einen bestimmten Schwellenwert nicht oder besteht sie nur im Randbereich und nicht im Bildzentrum, dann kann auf das weniger oder nur teilweise verschmutze Deckglas umgeschaltet werden.
Anstelle von Wiedergabe- oder Anzeigevorrichtungen 430 können auch aktive Brillen verwendet werden, die 3D in den Anzeigen je Auge projizieren können. Die sogenannten aktiven 3D-Brillen können dann in Abhängigkeit von dem bestimmten Qualitätswert aktiv in einen zweidimensionalen zweiten Wiedergabemodus bzw. umgekehrt umschalten. Diese Anzeigemöglichkeit mittels 3D-Brille wird in Fig. 4 im Fließdiagramm gezeigt.
Fig. 4 zeigt ein Flussdiagramm eines Verfahrens 400 umfassend eine Bildoptimierung bzw. Bildanpassung von 3D auf 2D bzw. 2D auf 3D. Sobald im Verfahrensschritt 103 aufgrund der bestimmten Qualitätswerte der Wiedergabemodus vom ersten in den zweiten oder umgekehrt erfolgen soll, wird ein Wamhinweis an den Anwender ausgegeben (siehe Schritte 402,403).
Wahlweise im Schritt 402 oder im Schritt 403 wird der Anwender gewarnt, dass eine Bildoptimierung möglich ist. Im Schritt 402 wird er gewarnt, dass von 3D in 2D umgeschaltet werden soll, wenn z.B. nur eine Linse verschmutzt ist. Alternativ kann in Schritt 403 vor dem Moduswechsel von 2D nach 3D gewarnt werden, wenn z.B. eine verschmutzte Linse von zweien erfolgreich gereinigt wurde und wieder beide verwendet werden können. In den Verfahrensschritten 401 (2D ok?), bzw. 411 (3D ok?) kann eine optionale Abfrage erfolgen, ob eine Bildoptimierung tatsächlich gewünscht ist.
Ist der zweite Wiedergabemodus, d.h. 2D gewünscht wird in Schritt 412 automatisiert über Schritt 414 oder nach einer positiven Abfrage (JA-Pfeil) die Software zur Bildoptimierung aktiviert. Im Schritt 422 wird das Ausgangssignal der Steuereinheit automatisch auf 2D umgestellt. Ist dagegen 3D gewünscht (JA-Pfeil nach Schritt 411) wird in Schritt 413 die entsprechende Software aktiviert. Ist kein Wamhinweis bzw. Abfrage und keine Möglichkeit zur manuellen Anpassung gewünscht, kann auch direkt vom Verfahrensschritt 103 über jeweils die gestrichelte Route (siehe Schritte 414 bzw. 415) eine automatische Aktivierung der Software zur Bildoptimierung erfolgen.
Weiterhin wird abgefragt, ob eine aktive 3D-Brille im Einsatz ist. Ist dies der Fall geht der Prozess über „JA“ weiter zu Schritt 432, indem eine automatische Anpassung der aktiven 3D-Brille 431 auf das 2D Bild erfolgt.
Analog kann nach einer Aktivierung der Software in Schritt 413 für eine Anpassung an ein 3D-Bild ein Ausgangssignal des 3D-Endoskopes automatisch auf 3D in Schritt 423 (2D~> 3D) umgeschaltet werden und daraufhin eine aktive 3D-Brille abgefragt werden. Bei einer positiven Abfrage kann eine Anpassung der 3D-Brille in Schritt 433 erfolgen. Wird keine aktive 3D-B rille erkannt geht der Prozess ohne Aktivierung einer 3D-B rille weiter. Wird zu Beginn der jeweiligen Abfragen 401 und 402 eine Bildanpassung auf einen anderen Wiedergabemodus verneint, erfolgt keine Anpassung (NEIN Pfeil).
Fig. 5a zeigt eine perspektivische Ansicht einer weiteren Ausführungsform eines 3D- Endoskopes mit einem einzelnen Bildsensor und einem Reinigungsmodul umfassend eine Düsenanordung 140. Der einzelne Bildsensor 110 umfasst zwei lichtempfindlichen Flächen 110R, 100L. seitlich sind Beleuchtungseinrichtungen 151 und 152 angeordnet.
Fig. 5b und c zeigen eine Explosionsdarstellung der Figur 5a und eine Detailansicht des distalen Endes von zwei Fluidkanäle 131, 132 die in die Düsenanordnung 140 münden. Wird in jedem Fluidkanal Flüssigkeit geführt, kann gezielt für jede Teilfläche eine Reinigung erfolgen. Zudem kann in jedem Kanal alternativ auch Gas zur Trocknung bereitgestellt werden.
Fig. 6 zeigt schematisch eine Ausführungsform eines 3D-Endoskopes mit einer
Bilderfassungseinrichtung 115, das in den Figuren 5a-c gezeigt wurde und weitere Komponenten wie eine Steuereinheit und damit in Kommunikation stehende Einheiten zur Ausführung einer Reinigung schematisch zeigt.
Die erfassten ersten Bilddaten 11R und 12L werden an die Steuereinheit 120 zur weiteren Verarbeitung durch wenigstens einen Prozessor 121 übertragen. Die Steuereinheit 120 kann lokal als Kamerakontrolleinheit 116 (CCU) bereitgestellt werden.
Ferner kann eine Speichereinheit 122 bereitgestellt werden, die in dieser Ausführungsform lokal angeordnet ist. Alternativ kann die Steuereinheit 120 und die Speichereinheit 122 nicht lokal am distalen Ende des Endoskops angeordnet sein, sondern über Kabel oder kabellos außerhalb des Endoskops zur Verfügung gestellt werden. Die lokale oder externe Speichereinheit 122, kann eine Vielzahl erfasster erste und zweite Bilddaten von dem Bildsensor 110 speichern.
Der Prozessor 121 kann ein oder mehrere Mikroprozessoren und/oder Grafikprozessoren umfassen und zur Optikerkennung 123 und zur Analyse 124 der ersten Bilddaten 11R und zweiten Bilddaten 12L verwendet werden. Die Optikerkennung 123 kann als Initialisierungsroutine genutzt werden, um den angeschlossene Bildsensor 110 zu erkennen und abhängig davon dem Anwender mitteilen, ob ein 3D-Endoskop erkannt wurde. Das System weist ein Reinigungsmodul 130 am distalen Ende des 3D-Endoskopes zur intrakorporalen Reinigung auf und kann mit den in der Speichereinheit 122 gespeicherten Reinigungsparameter 128 an das Reinigungsmodul 130 für die Reinigungssteuerung bzw. -aktivierung übermittelt werden. Reinigungsparameter 128 wie Volumen V, Druck p und Zeit t der Fluidpulse können auch in Abhängigkeit der erkannten Optik vorgewählt werden. Die Reinigungsparameter 128 können dann je Fluidkanal und zuordenbarer Teilfläche gezielt erfolgen. Ein gestricheltes Dreieck je Sensorflächen 110R und HOL zeigt eine lokale Reinigungsmöglichkeit je Sensorfläche an, was durch die zwei Fluidkanäle (siehe 131, 132) und geeignete Düsen der Düsenanordnung 140 erzielt werden kann. Die Reichweite der jeweiligen Reinigungsdüse kann auch so erweitert werden, dass die Beleuchtungseinrichtungen 151, 152 mit gereinigt werden können. Fig. 7 zeigt schematisch die Komponenten ein 3D-Endoskops-Systems 700, das eine Bilderfassungseinrichtung 115 und Steuereinheit 120 umfasst und geeignet ist die erfindungsgemäßen Verfahren auszuführen. Der erste Verfahrensschritt 101 umfasst das Erfassen (101) von ersten Bilddaten (11, 11L) und zweiten Bilddaten (12, 12R) mittels wenigstens eines Bildsensors einer Bilderfassungsvorrichtung 115 des 3D- Endoskopes. Weitere erfindungsgemäße Verfahrensschritte sind vorzugsweise computerimplementiert und umfasst automatisierbare Analyseschritte zur Bildoptimierung umfassend eine Anpassung 3D zu 2D und umgekehrt sowie optional eine Reinigung mit einem Reinigungsmodul 130.
Bei der Bilderfassungseinrichtung 115 kann es sich im ersten Fall um einen Bildsensor 110 handeln, der eine einzige Bildfläche aufweist, die so unterteilt ist, dass erste und zweite Bilddaten (1 IL, 12R) mit mindestens zwei getrennten Teilflächen (HOL, 110 R) erfasst werden können. Diese Bilddaten (1 IL, 12R) werden im Verfahrensschritt 102 über eine Steuereinheit empfangen (102) (120).
Im zweiten Fall kann es sich insbesondere um mindestens zwei Bildsensoren mit räumlich getrennten Bildflächen handeln, wobei jeder Bildsensor 111, 112 über jeweils mindestens einen Datenausgang verfügt, deren Informationen (erste und zweite Bilddaten 11, 12) an die Steuereinheit 120 gesendet werden (siehe Pfeile zum Prozessor 121 der Steuereinheit 120).
Alternativ ist eine Bilderfassungseinrichtung 115, die als Facettenlinse ausgebildet ist denkbar, wobei eine Vielzahl von Mikrolinsen bereitgestellt wird. Die große Anzahl von Mikrolinsen kann dicht einander liegende individuelle Mikrobilder mit jeweiligen Bilddaten erfassen. Weiterhin sind andere 3D-Endoskoparten an das System anschließbar, die wenigstens 3 Bildsensoren oder vier Bildsensoren oder mehr umfassen.
Die Speichereinheit 120 weist neben dem Prozessor 121 eine Speichereinheit 122 auf, welche Parameter und Routinen speichern kann. Der Prozessor 121 kann ein oder mehrere Mikroprozessoren oder Grafikprozessoren umfassen und zur Bildanalyse 124 und Optikerkennung 123 verwendet werden. Die Optikerkennung 123 kann als Initialisierungsroutine genutzt werden, um die angeschlossene Bilderfassungseinrichtung 115 zu erkennen und abhängig von der erkannten Bilderfassungsvorrichtung 115 gespeicherte Steuer- oder Bildparameter an die Wiedergabevorrichtung 430 für den jeweiligen Wiedergabemodus (3D oder 2D) zu übermitteln.
Im Verfahrensschritt 103 des erfmdungsgemäßen Verfahrens kann die Steuereinheit 120 auf Grundlage eines mittels einer Analyse bestimmten ersten und zweiten Qualitätswertes (Ql, Q2 bzw. QL,QR), d.h. in Abhängigkeit von bildsensorspezifischen Qualitätswerten - f(Q) - automatisch oder manuell Steueranweisungen an das 3D-Endoskop für einen ersten Wiedergabemodus (3D) oder zweiten Wiedergabemodus (2D) ausgeben (siehe Doppelpfeil in Wiedergabevorrichtung 430).
Die Analyseroutinen können eine Bildanalyse 124, Verschmutzungserkennung 125, Verschmutzungsgradanalyse 126 und eine mittlere Farbtonerkennung 321 oder eine mittlere Bildkontrastbestimmung 317 sowie eine Klassifizierung 315 oder andere Bildanalyseverfahren umfassen. Auch kann eine Erkennung einer OP -Umgebung 127 mittels geeigneter Vergleiche mit gespeicherten Bildstrukturen erfolgen.
Zur Bildoptimierung kann ein selbstlernendes Modul 320, verwendet werden, das insbesondere auf künstlicher Intelligenz beruht und die genannten Verfahren mit Hilfe von gespeicherten Daten oder Datenbanken ausführen kann. Das selbstlernende Modul weist ein trainiertes Modell 322 auf, das dazu trainiert ist, mittels geeigneten Trainingsdaten 331 (z.B. in Form von gelabelten Bilddaten), dass einzelne Bilder, Bildabschnitte oder Pixel bewertet werden, ob eine Verschmutzung vorliegt und wie stark diese Verschmutzung ist. Um den Verschmutzungsgrad quantifizieren zu können, wird eine Klassifizierung 315 in entsprechende Kategorien vorgenommen. Die Klassifizierung 315 enthält wenigstens zwei Klassen wie z.B. nicht verschmutzte Bilder und verschmutzte Bilder, die durch ein Reinigungsmodul reinigbar sind Im Speicher 122 können nicht nur Daten, sondern auch die oben genannten Routinen wie Bildanalyse 124 etc. sowie Reinigungsparameter 128 für das Reinigungsmodul 130 abgespeichert werden. Die Reinigungsparameter 128 können für einzelne Fluidkanäle Parameter ausgewählt ausfolgender Gruppe festlegen: Fluidvolumen V, Druck p, Puls- oder Reinigungsdauer t, Pulsanzahl, gesamte Reinigungsdauer, Puls- Pausenverhältnis, Art des Fluids, Fluidvolumen V, Fluidvolumina (Flüssigkeits- oder Gasmenge) und/oder Fluidgeschwindigkeit umfassen.
Auf Grundlage der bestimmten Qualitätswerte (Ql, Q2 bzw, QR, QL) können manuell oder automatisches Steueran Weisungen von der Steuereinheit zur Aktivierung (Verfahrensschritt 104) eines Reinigungsmoduls mittels Fluid und/oder Gas ausgegeben werden. Mit Hilfe der Reinigungsparameter 128 kann vorzugsweise der Druck p und die Pulsdauer t eines Fluidpuls oder einer Mehrzahl von Pulsen am distalen Ende des 3D-Endoskopes zur intrakorporalen Reinigung gesteuert werden. Insbesondere sehr kurze Fluidpulse mit einer Dauer in einem Bereich von nur 200- 1000 ms sind nur mit Hilfe einer automatisierten Steuerung zuverlässig realisierbar. Dadurch kann das System wesentlich genauer gesteuert werden als durch eine manuelle Aktivierung und Deaktivierung durch einen Anwender.
Ein Ausführungsbeispiel eines Reinigungsmoduls 130 kann wie in Fig. 5a und 5b gezeigt zwei getrennten Fluidkanäle 131, 132 aufweisen, um die Teilflächen 11 Or und HOL eines Bildsensors oder die beiden Bildsensoren 111, 112 getrennt voneinander reinigen zu können. Dann kann der verschmutzte Bildsensor gereinigt werden, während der unverschmutzte Bildsensor zum 2D-Wiedergabemodus weiterhin verwendet werden kann. Dabei kann jeder Fluidkanal 131, 132 sowohl Flüssigkeit als auch Gas in einem Kanal zur Düsenanordnung 140 fördern, um auch eine Trocknng einer Bildsensorfläche oder Bildsensors zu ermöglichen.
Fig. 8 zeigt eine weitere Ausführungsform des erfindungsgemäßen Verfahrens mit einem schematischen Flussdiagramm. Das Flussdiagramm ist in fünf Bereiche aufgeteilt, teilweise angedeutet durch Spalten: Der erste Bereich der Initialisierung 300, der zweite Bereich der Analyse 301, der dritte Bereich der Prozessdurchführung 303 zur Optimierung vorzugsweise durch Anpassung von 3D auf 2D und/oder durch Reinigung und der vierte Bereich 304 des Optimierungsergebnisses mit Überwachungsroutine 129 und möglicher Parameteranpassung 138 der Reinigungsparameter 128. Schließlich der mögliche Prozessabbruch 160. Eine optimale Bildqualität wird dabei erreicht, wenn die Endwerte nach der Reinigung den Initialwerten am Anfang mit Weißabgleich entsprechen.
In der Initialisierungsphase 300 wird das Verfahren in dem Schritt 401 gestartet. Hier kann als Eingabesignal ein Videosignal eines 3D-Endoskops zur Verfügung gestellt werden. Im Schritt 302 wird überprüft, ob ein Videosignal vorhanden ist. Aufgrund dieser Überprüfung wird entweder ein positives Ergebnis (JA) oder ein negatives Ergebnis (NEIN) erhalten. Ergibt diese Abfrage 302 ein NEIN, wird der Prozess im Schritt 403 abgebrochen. Da in dem Fall des Prozessabbruches 162 kein Videosignal vorliegt, sollte nach dem Prozessabbruch 162 überprüft werden, ob alle Verbindungen bestehen bzw. eine Stromversorgung gegeben ist. Es kann dem Anwender auch gemeldet werden, dass keine Optik erkannt wurde.
Ergibt die Überprüfung oder Abfrage 302 ein positives Ergebnis (JA) wird der Prozess in dem Analysebereich 301 weitergeführt. Für einen Reinigungsprozess können entsprechend der angeschlossenen Optik des 3D-Endoskopes Reinigungsparameter 128 vorgewählt werden.
In dem Schritt 124 erfolgt die Bildanalyse der ersten und zweiten Bilddaten eines 3D- Endoskops. Diese Analyse kann durch einen Algorithmus und/oder durch ein selbstlernendes Modul 320 (siehe Fig. 7) erfolgen. Es können optional die Bilder in Bildabschnitte unterteilt werden. Auf diese Weise kann jedes Halbbild in verschiedene Abschnitte (z.B. zentrale Region des Bildes) zerlegt und eine automatische Erkennung von Verunreinigungen im relevanten zentralen Sichtfeld erfolgen. Im nächsten Verfahrensschritt 127 findet eine Analyse der Bilder eines 3D- Endoskops umfassend erste und weite Bilddaten dahingehend statt, ob eine OP- Umgebung bzw. intrakorporale Strukturen erkennbar ist. Hierzu werden die Bilder mit Bildern einer Datenbank, die im Speicher 122 des 3D-Endoskops oder extern gespeichert sind, verglichen. Bevorzugt findet ein Vergleich von wenigstens einer bestimmten Bildstruktur mit Bildstrukturen einer Referenzdatenbank statt. Dabei können vorzugsweise eine Objekterkennung von typischen intrakorporalen Strukturen erfolgen. Wird keine OP -Umgebung bzw. intrakorporale Struktur erkannt, wird der Prozess abgebrochen (Pfeil NEIN zu 162). Andererseits geht es weiter zum Verfahrensschritt der Schmutzerkennung 125.
Der Schritt der Klassifizierung 315 in verschiedene Klassen bzw. Kategorien kann optional zwischen den Schritten der OP -Umgebungserkennung 127 und Schmutzerkennung 125 stattfinden. Hier können nicht nur Verschmutzungsklassifizierung (verschmutzt nicht verschmutzt) sondern auch folgende Klassifikationen vorgenommen werden wie: verrauchte Bilder, wobei der Rauch durch ein Absaugmodul absaugbar ist; Bilder mit Qualitätsverlust; die durch andere Module als ein Reinigungsmodul optimierbar sind; Bilder die ein oder mehr Störobjekte aufweisen; und/oder Bilder die wenigstens eine Beschädigung anzeigen. Ist eine bestimmte Klasse erkannt worden, kann diese auch dem Anwender angezeigt werden. Wird beispielsweise Rauch festgestellt, kann eine Kommunikation mit wenigstens einer anderen OP -Einheit erfolgen, um den Rauch abzusaugen.
Der Verfahrensschritt 125 dient zur Erkennung einer Verschmutzung, d.h., ob eine Verschmutzung vorliegt oder nicht. Liegt keine Verschmutzung vor, kann das Verfahren beim Verfahrensschritt 124 der Bildanalyse weitergeführt werden (Siehe „NEIN“ Pfeil zu Schritt 124). Liegt dagegen eine Verschmutzung vor, kann das Verfahren beim Verfahrensschritt 126 weitergeführt werden. In diesem Schritt 126 wird die Art und Grad der Verschmutzung z.B. mit Hilfe eines Vergleiches mit Daten der Referenzdatenbank anhand von Algorithmen automatisiert oder vorzugsweise mit einem selbstlernenden Modul 322 der Steuereinheit 120 (siehe Fig. 4) festgestellt. Eine Verschmutzungserkennung 125 und/oder Analyse des Grades der Verschmutzung im Verfahrensschritt 126 kann einen spezifischen Qualitätswert für jeden Bildsensor bzw. Sensorteilfläch ergeben. Die Qualitätswerte können z.B. mittels eines trainingsbasierten Modelles (siehe Referenznummer 322 in Fig. 7) ermittelt werden. Dieses Modell 322 ist Teil eines selbstlernenden Moduls 320 in einer Steuereinheit 120 des bildoptimierenden Systems und arbeitet mit einer Referenzdatenbank zusammen. Eine externe oder lokale Speichereinheit 122 kann die Historie von vorangegangenen Bilderfassungen speichern. In den Speicher 122 können auch gelabelte Videobilder eines 3D-Endoskops gespeichert werden, um damit den jeweiligen Qualitätswert (Ql, Q2) zu bestimmen. Auf diese Weise kann mit hinterlegten Parametern oder Kennzeichen ein erfasstes Bild hinsichtlich der Bildqualität qualifiziert werden und eine Verschmutzung schneller erkannt und anschließend der prozentuale Verschmutzungsgrad bestimmt werden.
Die Klassifizierungshistorie ist in dem Speicher 122 gespeichert und wird kontinuierlich um die aktuell erfassten Bilddaten ergänzt. Dabei werden nicht nur die erfassten Bilder aus den vorangegangenen Schritten, sondern auch die zugehörigen Bewertungen der Videosignale gespeichert. Die Speicherung in Speichereinheit 122 kann lokal oder dezentralisiert erfolgen. Durch die sogenannte Bildhistorie kann eine fortlaufende Dokumentation erfolgen und das zu trainierende Modell 322 weiter kontinuierlich optimiert werden. Je größer die abrufbaren Datensätze desto präziser kann das maschinelle Lernen erfolgen und damit die Lernfähigkeit des Modells 322 erhöht werden Bei einer ausreichend großen Datensatz kann beispielsweise auf künstliche Intelligenz mit einem Deep Data Modell zurückgegriffen werden.
Im Schritt 126 kann der Verschmutzungsgrad aufgrund einer Auswertung der im Speicher 122 gespeicherten Bildhistorie festgestellt werden. Ein prozentualer Bildqualitätsverlust kann dadurch angezeigt werden, dass die Qualitätswerte um einen Faktor x% schlechter sind als die Initialwerte ohne Verschmutzung (siehe JA-Pfeil x%). Bevorzugt erfolgt in Schritt 126 eine Auswertung der Bildqualität in Abhängigkeit von zulässigen prozentualen „Verschmutzung“-Anteilen. Bildrandbereiche können hierbei weniger gewichtet werden als das Bildzentrum. Ist nur ein Bildsensor von zwei Bildsensoren verschmutzt oder einer von zwei verschmutzten Bildsensoren nur leicht z.B. in den Randbereichen verschmutzt, liegt eine partielle Verschmutzung vor und es kann eine automatische Anpassung des Bildes von 3D auf 2D durch Umschalten des Ausgangssignales der Steuereinheit im Verfahrensschritt 422 erfolgen. Der Anwender kann dieses Umschalten von 3D auf 2D bzw. vorgeschlagene Bildoptimierung erst manuell bestätigen, nachdem er einen entsprechenden Wamhinweis erhalten hat.
Wurde in dem Schritt 126 der Verschmutzungsgraderkennung beurteilt, dass eine Reinigung zu mindestens von einem Bildsensor oder einer Teilfläche eines Bildsensors erfolgen kann (reinigbar durch Fluid) und soll, geht das Verfahren weiter (siehe Pfeil JA zu Verfahrensschritt 141). Im Bereich der Prozessdurchführung 303 kann beispielsweise ein Reinigungsmodul 130 aktiviert werden, um eine Reinigung mit Flüssigkeit 141 oder optional eine Trocknung 142 mit einem Gas durchzuführen. Diese beiden Reinigungsarten 141 und 142 können auch kombiniert werden. Die Prozessdurchführung 303 des Reinigungsvorganges kann automatisiert durch ein selbstlernendes Modul 320 (siehe Fig. 7) aktiviert werden oder alternativ, nachdem das selbstlernende Modul 320 eine Reinigung empfohlen hat, manuell aktiviert werden. Die Reinigung kann bei Verschmutzung nur eines Bildsensors oder einer Teilfläche gleichzeitig zur Bildoptimierung 422 erfolgen.
Besitzt das Reinigungsmodul zwei Fluidkanäle kann gezielt über eine jeweils auf einen Bildsensor gerichtete zugehörige Düse nur der jeweilige verschmutze Bildsensor bzw. Sensorteilfläche gereinigt werden. Wurde Kondensat festgestellt kann auch eine Reinigung nur mit Gas erfolgen und eine Trocknung im Schritt 142 initiiert werden. Dazu werden die vorher definierten hinterlegten Reinigungsparameter entsprechend dem verwendeten Endoskop herangezogen. In der Regel werden bei starken Verschmutzungen Flüssigkeiten zur Reinigung eingesetzt und entsprechende Flüssigkeitsparameter 128 eingestellt, während bei leichten Verschmutzungen Gas für die Reinigung ausreichend ist. Die Überwachungsroutine 129 überprüft nach einer Aktivierung einer aktivierbaren Reinigungseinheit des Reinigungsmoduls 130 die Reinigungswirksamkeit. Insbesondere wird hierbei überwacht, ob das Sichtfeld und die Bildqualität wieder optimal ist und damit dem zugehörigen Qualitätswert entspricht. Ist dies der Fall geht es zurück zur Analyseroutine 124 (siehe Pfeil JA). Die Reinigungsparameter 128 können im Verfahrensschritt 138 optional durch ein selbstlernendes Modul basierend auf künstlicher Intelligenz ständig optimiert werden.
Für die Überwachungsroutine 129 wird ein geschlossener Regelkreis bereitgestellt, der überprüft, ob vorgegebene Sollwerte der Bildqualität durch die aktivierte Reinigung 141 und/oder Trocknung 142 erreicht werden oder nicht. Durch die Überwachungsroutine 129 kann die Sicherheit für den Patienten erhöht werden. Ist das Reinigungsergebnis nicht optimal, kann zunächst eine Wiederholung der Reinigung 141 und/oder Trocknung 142 initiiert werden. Wird durch die Überwachungsroutine 129 festgestellt, dass keine Verbesserung der Qualität des Bildes durch die Reinigung 126 oder 127 erfolgt, kann das Optimierungsverfahren mittels Reinigungsmodul im Bereich 160 abgebrochen werden (siehe Schritt 161 : Ende).
Die Erfindung und eine Anpassung des Wiedergabemodus auf 2D bzw. 3D kann für eine Vielzahl, der auf dem Markt etablierten 3D- Endoskope Anwendung finden, um das jeweilige Untersuchungsobjekt kontinuierlich anzeigen und damit sicher diagnostizieren zu können sowie Störungen am Situs zu vermeiden. Das erfindungsgemäße Optimierungsverfahren und Optimierungssystem kann hierbei automatisiert oder nach einer manuellen Bestätigung Steuersignale ausgeben, ob eine Optimierung notwendig ist und ob eine Bildoptimierung durch die ansteuerbaren Geräte durchführbar ist. Beispielsweise kann eine automatisierte Schmutzerkennung erfolgen und automatisiert eine Bildanpassung in den zweiten Wiedergabemodus (3D 2D) mit einer optionalen Reinigung nur des verschmutzten Bildsensors erfolgen.
Insbesondere in der Medizintechnik sind Qualitätsverluste in der Bildgebung und schnelle Lösungen wie eine Bildanpassung sehr wichtig. Dabei wird bei einer Automatik vorteilhafter Weise vermieden, dass der Anwender lange gestört wird und die Verschmutzung oder Bildstörung so schnell wie möglich behoben wird. Durch die kontinuierliche Bereitstellung von Trainingsdaten wird die Qualität der Kl- Algorithmen laufend verbessert und durch fortlaufende Parameteranpassungen erfolgt ein optimales „Tuning“ der Prozessdurchführungen.
Eine Software zur Anpassung von 3D- Bilder auf 2D oder umgekehrt sowie ein Computerprogrammprodukt kann zur Durchführung des Bildoptimierungsverfahrens konfiguriert sein. Auf diese Weise kann mit Hilfe von Bildanalysealgorithmen nicht optimale Bilder oder Störungen wie z.B. Bildverschmutzungen schnell erkannt werden, die bei 3D-Bilderdarstellungen einem Anwender nicht sofort oder gar nicht auffallen würden. Durch eine Anpassung auf 2D können Ermüdungserscheinungen oder Schmerzen wegen unzureichender 3D-Bilder vermieden werden. Mittels der Bildanalyse kann ein Qualitätswert und bestehende Bilddaten (Bildhistorie) oder Parameterdaten ausgewertet und mit den neuesten Bilddaten und vorangegangenen Optimierungsergebnissen verglichen werden. Wird ein selbstlernendes Modul verwendet können in einem offenen künstlichen Netzwerk bestehende Datensätze neben automatischen Verfahren durch Experten korrigiert werden und eine Erweiterung der Referenzdatenbank in dem Speicher 122 um neue Datensätze automatisch oder manuell erfolgen. Eine kontinuierliche halbautomatische oder automatische Überprüfung des Optimierungsverfahrens führt zu einer Erhöhung der Sicherheit für den Anwender und somit für die mit dem endoskopischen Verfahren untersuchte Person.
Bezugszeichenliste
11 vom ersten Bildsensor erfasste Bilddaten oder Halbbild
11L vom linker Teilfläche des Bildsensor erfasste Daten
12 vom zweiten Bildsensor erfasste Daten oder Halbbild
12R von rechter Teilfläche des Bildsensors erfasste Daten 100 3D-Endoskop
101 Erfassen von ersten Bilddaten (11) und zweiten Bilddaten (12)
102 Empfangen der Bilddaten (11, 12) durch eine Steuereinheit (120)
103 Betreiben des 3D-Endoskops -f (Q)- in einem ersten oder zweiten Wiedergabemodus;
104 Reinigen
105 Stereobasis
110 Bildsensor
110R rechte lichtempfindliche Fläche
HOL linke lichtempfindliche Fläche
111 erster Bildsensor
112 zweiter Bildsensor
113 Verschmutzung auf ersten Bildsensor
114 Verschmutzung auf zweiten Bildsensor
114R, r Verschmutzungen auf rechter Sensorteilfläche 110R
115 Bilderfassungseinrichtung
116 ccu
120 Steuereinheit
121 Prozessor
122 Speicher
123 Initialsierungsroutine
124 Bildanalyse
125 Verfahrensschritt umfassend Verschmutzungserkennung
126 Verschmutzungsgrad analysieren
127 Erkennung OP -Umgebung
128 Reinigungsparameter bzw. Auswahl der Reinigungsparameter in
Abhängigkeit von ermittelten Endoskoptyp
129 Überwachungsroutine
130 Reinigunsgsmodul 131 erster Fluidkanal
132 zweiter Fluidkanal
138 Parameteranpassung
140 Düsenanordnung
141 Reinigung mit Flüssigkeit
141 Reinigung mit Gas: Trocknung
150 Schaft
151 erste Beleuchtungseinrichtung
152 zweite Beleuchtungseinrichtung
154 erste Beleuchtungseinrichtung
155 zweite Beleuchtungseinrichtung
156 dritte Beleuchtungseinrichtung
157 vierte Beleuchtungseinrichtung
160 Prozessabbruch
161 Ende
162 Prozessabbruch
300 Initialisierungsphase
301 Analyse
302 Abfrage Videosignal
304 Ergebnis der Optimierung
315 Klassifizierung
317 mittlerer Bildkontrast bestimmen
320 Selbstlernendes Modul
321 mittleren Farbton bestimmen
322 trainiertes Modell
400 Flussdiagramm zur Bildoptimierung
401 Start
402 Wamhinweis vor möglichem 2D Wiedergabmodus
403 Warnhinweis vor möglichem 3D Wiedergabmodus 411 Entscheidung Ja/Nein
412 Aktivierung der Software der Bildoptimierung zur Anpassung an 2D
413 Aktivierung der Software der Bildoptimierung zur Anpassung an 3D 414 automatisierte Aktivierung der Software zur Anpassung ohne Abfrage
415 automatisierte Aktivierung der Software zur Anpassung auf 3D
422 Umstellung des Ausgabesignals für zweiten Wiedergabemodus (2D)
423 Umstellung des Ausgabesignals für ersten Wiedergabemodus (3D)
430 Wiedergabevorrichtung 431 aktive 3D-Brille
432 Anpassung der 3D-Brille auf 2D
433 Anpassung der 3D-Brille auf 3D
700 3D Endoskop-System
Q, Ql, Q2,QR,QL Qualitätswerte
Stereobasis

Claims

Patentansprüche
1. Verfahren zur Bildanalyse von mittels eines 3D-Endoskopes (100) erfassten Bilddaten, insbesondere für medizinische Anwendungen, die folgenden Schritte umfassend:
Erfassen (101) von ersten Bilddaten (11, 11L) und zweiten Bilddaten (12, 12R) mittels wenigstens eines ersten Bildsensors (110) oder mittels eines ersten Bildsensors (111) und zweiten Bildsensors (112) des 3D-Endoskopes; wobei die erfassten ersten und zweiten Bilddaten jeweils ein zweidimensionales Bild eines Arbeitsbereiches aus unterschiedlichen Perspektiven umfassen;
Empfangen (102) der Bilddaten (11, 12) durch eine Steuereinheit (120); wobei die Steuereinheit (120) für eine Analyse (124) der ersten und zweiten Bilddaten (11R, 11 L, 11, 12) ausgebildet ist, um jeweils einen Qualitätswert (Ql, Q2, QL, QR) zu bestimmen;
Betreiben (103) des 3D-Endoskops (100) in Abhängigkeit von den bestimmten ersten und zweiten Qualitätswerten in einem ersten Wiedergabemodus oder einem zweiten Wiedergabemodus; wobei die Steuereinheit (100) ausgebildet ist, in dem ersten Wiedergabemodus dreidimensionale Bilddaten des Arbeitsbereiches auf Basis der Kombination der beiden zweidimensionalen Bilder auszugeben; und wobei die Steuereinheit ausgebildet ist, in dem zweiten Wiedergabemodus ein zweidimensionales Bild des Arbeitsbereiches auf Basis der ersten Bilddaten oder der zweiten Bilddaten auszugeben.
2. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Analyse (124) der ersten und zweiten Bilddaten (11, 12) zur Bestimmung des jeweiligen Qualitätswertes einen Bildverarbeitungsalgorithmus umfasst und/oder ein selbstlernendes Modul verwendet, um wenigstens eines der folgenden Ereignisse zu erkennen: eine Verschmutzung, wenigstens ein Störobjekt, ein Bildqualitätsverlust, eine Kondensation, eine Beschädigung oder Rauch. Verfahren nach Anspruch 1 oder 2, wobei, wenn die Steuereinheit (120) bestimmt, dass ein Qualitätswert, der für wenigstens eines der Ereignisse Verschmutzung, Störobjekt, Bildqualitätsverlust, Kondensation, Beschädigung oder Rauch repräsentativ ist, automatisch mittels der Steuereinheit oder manuell im zweiten Wiedergabemodus ein zweidimensionales Bild auf Basis der Bilddaten ohne Ereignis, die dem anderen Qualitätswert zuordenbar sind, ausgegeben wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Analyse der ersten und zweiten Bilddaten die Bestimmung eines mittleren Bildkontrastes umfasst; um den Qualitätswert basierend auf einem Vergleich des jeweiligen mittleren Bildkontrastes mittels einer visuellen Schwellenwertbedingung zu bestimmen. Verfahren nach Anspruch 4, wobei der mittlere Bildkontrast durch wenigstens eines der folgenden Analyseverfahren bestimmt wird:
Histogramm-Verfahren, Anwendung eines Gaußfilters, Mustererkennung, Eckendetektion, Kantendetektion und Erkennung von Objekten. Verfahren nach einem der Ansprüche 1 bis 5, wobei die ersten und zweiten Bilddaten (1 IL, 11R, 11, 12) jeweils eine Vielzahl von in dem Arbeitsbereich vorkommenden Farben umfasst; und wobei die Analyse der ersten und zweiten Bilddaten jeweils die Erkennung eines mittleren Farbtones umfasst; um den Qualitätswert basierend auf einem Vergleich der am häufigsten vorkommenden Farbe aus der Vielzahl von Farben mit dem jeweiligen mittleren Farbton zu bestimmen. Verfahren nach Anspruch 6, wobei, wenn die am häufigsten vorkommende Farbe aus der Vielzahl der Farben Weiß oder grau ist, Rauch erkannt wird; oder wenn die am häufigsten vorkommende Farbe aus der Vielzahl der Farben rot ist, eine Verschmutzung durch Blut erkannt wird. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend ein automatisches Ausgeben von einem Wamhinweis, wenn automatisch mit der Steuereinheit eine Steuerungsanweisung zur Aktivierung eines anderen Wiedergabemodus ausgegeben wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei in einem Verfahrensschritt der Voranalyse eine Unterteilung der jeweiligen Bilddaten in Bildabschnitte vorgenommen wird, wobei der Qualitätswert für jeden der Bildabschnitte bestimmbar ist, wobei die Steuereinheit ausgebildet ist, ausschließlich die Bildabschnitte mit einer zulässigen prozentualen Verschmutzung oder einem zulässigen Qualitätsverlust wiederzugeben, und/oder wenigstens die Bildabschnitte, die einem Bildzentrum des jeweiligen Bildsensors zuordenbar sind, wiederzugeben. . Verfahren nach einem der vorhergehenden Ansprüche, wobei auf Grundlage des bestimmten Qualitätswertes ein manuelles oder automatisches Ausgeben von Steueranweisungen von der Steuereinheit zur Aktivierung (104) eines Reinigungsmoduls mittels Fluid und/oder Gas erfolgt, wobei das Reinigungsmodul eine aktivierbare Einheit des 3D-Endoskopes zur vorzugsweise intrakorporalen Reinigung ist oder als extrakorporale Einheit bereitgestellt wird. . Verfahren nach Anspruch 10, wobei die Steuereinheit einen Reinigungssteuerungsalgorithmus aufweist, der die Reinigungswirksamkeit extrakorporal und/oder intrakorporal mit der aktivierbaren Einheit des 3D- Endoskops für einen oder zwei Bildsensoren überprüft (129), sodass wenigstens ein zweidimensionales Bild oder ein dreidimensionales Bild mit ausreichend guter Bildqualität wiedergebbar ist oder eine Wiederholung der Reinigung aktiviert wird. . Verfahren nach einem der Ansprüche 2 bis 11, wobei das selbstlernende Modul mittels einer auf künstlicher Intelligenz basierten Analyse, vorzugsweise unter Anwendung eines neuronalen Netzes, aus den Bilddaten des jeweiligen Bildsensors wenigstens eine Bildstruktur bestimmt, um mittels der wenigstens einen bestimmten Bildstruktur auf Basis eines Vergleiches mit in einer Speichereinheit gespeicherten Bildstrukturen einer Referenz-Datenbank bei einer festgestellten Abweichung ein Ereignis zu klassifizieren. . Verfahren nach Anspruch 12, wobei das selbstlernende Modul ein Modell umfasst, dass mit Trainingsdaten von in der Speichereinheit gespeicherten Bildstrukturen trainiert wird, wobei das trainierte Modell des selbstlernenden Modules zur Klassifizierung der Bilddaten in folgende ereignisabhängige Datenbankklassen trainiert ist: nicht verschmutze Bilder, verschmutzte Bilder, die intrakorporal reinigbar sind; verschmutzte Bilder, die durch ein Reinigungsmodul reinigbar sind; beschlagene Bilder, die durch ein Modul mittels Gas getrocknet werden können; verrauchte Bilder, wobei der Rauch durch ein Absaugmodul absaugbar ist;
Bilder mit Qualitätsverlust; die durch andere Module optimierbar sind; Bilder die ein oder mehr Störobjekte aufweisen; und/oder Bilder die wenigstens eine Beschädigung anzeigen. . Verfahren nach einem der vorhergehenden Ansprüche, wobei mit einer Anzeigevorrichtung und/oder eine 3D-Brille im ersten Wiedergabemodus ein 3D- Bild und in dem zweiten Wiedergabemodus ein 2D Bild angezeigt wird. . Verfahren nach einem der vorhergehenden Ansprüche, wobei das 3D- Endoskop aus folgender Gruppe ausgewählt ist: ein Stereoskop umfassend wenigstens einen ersten Bildsensor, vorzugsweise mit zwei voneinander getrennte lichtempfindliche Flächen; eine Facettenlinse; ein Stereoskop umfassend wenigstens einen ersten Bildsensor und einen zweiten Bildsensor; ein Bildgebungskop umfassend wenigstens einen ersten Bildsensor, einen zweiten Bildsensor und einen dritten Bildsensor; ein Bildgebungskop umfassend wenigstens einen ersten Bildsensor, einen zweiten Bildsensor, einen dritten Bildsensor und einen vierten Bildsensor; und ein Stereoskop, was als ein Glasfaserendoskop ausgebildet ist. . Ein Steuerungssystem zur Bildanalyse mittels eines 3D-Endoskopes erfassten Bilddaten, insbesondere für medizinische Anwendungen zur Ausführung eines Verfahrens, gemäß einem der vorhergehenden Ansprüche, wobei das System umfasst: ein 3D-Endoskop (100) mit wenigstens einem ersten Bildsensor (110), wobei der erste Bildsensor ausgebildet ist, erste Bilddaten (110R) und zweite Bilddaten (HOL) zu erfassen; oder ein 3D-Endoskop mit einem ersten Bildsensor (111) ausgebildet zur Erfassung von ersten Bilddaten (11) und einem zweiten Bildsensor (112) ausgebildet zur Erfassung von zweiten Bilddaten (12); wobei die erfassten ersten und zweiten Bilddaten jeweils ein zweidimensionales Bild eines Arbeitsbereiches aus unterschiedlichen Perspektiven umfassen; eine Steuereinheit in Kommunikation mit dem wenigstens einem Bildsensor zum Empfangen der ersten und zweiten Bilddaten; wobei die Steuereinheit für eine Analyse der ersten und zweiten Bilddaten ausgebildet ist, um jeweils einen Qualitätswert zu bestimmen; wobei die Steuereinheit (120) ausgebildet ist, auf Grundlage eines bestimmten ersten und zweiten Qualitätswertes (Ql, Q2) automatisch oder manuell Steueranweisungen an das 3D-Endoskop (100) für einen ersten oder zweiten Wiedergabemodus auszugeben (103); wobei die Steuereinheit ausgebildet ist, in dem ersten Wiedergabemodus dreidimensionale Bilddaten des Arbeitsbereiches auf Basis der Kombination der beiden zweidimensionalen Bilder auszugeben; und wobei die Steuereinheit ausgebildet ist, in dem zweiten Wiedergabemodus ein zweidimensionales Bild des Arbeitsbereiches auf Basis der ersten Bilddaten oder der zweiten Bilddaten auszugeben.
. Computerprogrammprodukt, umfassend Anweisungen, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens einem der Ansprüche 1 bis 15 durchzuführen. . Ein trainiertes Modell, das vorzugsweise selbstlernend und mit gespeicherten Bildstrukturen und/oder einer Kennzeichensammlung trainiert ist, und wobei das trainierte Modell ausgelegt ist, die Schritte des Verfahrens einem der Ansprüche 2 bis 15 auszuführen.
EP23821179.1A 2022-12-13 2023-12-05 Verfahren und systeme zur bildoptimierung für 3d-endoskope Pending EP4633439A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022133166.0A DE102022133166A1 (de) 2022-12-13 2022-12-13 Verfahren und Systeme zur Bildoptimierung für 3D-Endoskope
PCT/EP2023/084392 WO2024126170A1 (de) 2022-12-13 2023-12-05 Verfahren und systeme zur bildoptimierung für 3d-endoskope

Publications (1)

Publication Number Publication Date
EP4633439A1 true EP4633439A1 (de) 2025-10-22

Family

ID=89164223

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23821179.1A Pending EP4633439A1 (de) 2022-12-13 2023-12-05 Verfahren und systeme zur bildoptimierung für 3d-endoskope

Country Status (3)

Country Link
EP (1) EP4633439A1 (de)
DE (1) DE102022133166A1 (de)
WO (1) WO2024126170A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023129187A1 (de) * 2023-10-24 2025-04-24 Karl Storz Se & Co. Kg Verfahren zur medizinischen Bildgebung und medizinisches Bildgebungssystem

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6655756B2 (ja) * 2017-05-19 2020-02-26 オリンパス株式会社 ３ｄ内視鏡装置、及び、３ｄ映像処理装置
JP7055624B2 (ja) * 2017-12-01 2022-04-18 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置
GB201904857D0 (en) * 2019-04-05 2019-05-22 Univ Oxford Innovation Ltd Quality assessment in video endosscopy
CN114760457B (zh) * 2020-12-28 2024-03-26 生物岛实验室 3d显示系统的2d/3d图像自动切换方法和系统
EP4271305A1 (de) * 2021-01-04 2023-11-08 Intuitive Surgical Operations, Inc. Systeme zur bildbasierten registrierung und zugehörige verfahren

Also Published As

Publication number Publication date
WO2024126170A1 (de) 2024-06-20
DE102022133166A1 (de) 2024-06-13

Similar Documents

Publication Publication Date Title
DE102004062226B4 (de) Vorrichtung zur Betrachtung eines Fundus
DE10304267B9 (de) Augenchirurgie-Mikroskopiesystem
DE60001342T2 (de) Vorrichtung zur Photokoagulation
EP1065966A1 (de) Vorrichtung und verfahren zur untersuchung von biologischen gefässen
DE102017108371B4 (de) Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
DE102013009817B4 (de) Mikroskopiesystem zur Beobachtung von Fluoreszenz in der Ophthalmologie
DE102014207130A1 (de) Operationsmikroskop
EP1333306A2 (de) Stereo-Mikroskopieverfahren und Stereo-Mikroskopiesystem
DE112019002024T5 (de) Bildverarbeitungsverfahren, Programm und Bildverarbeitungsvorrichtung
EP1441249A1 (de) Operationsmikroskop
DE102014000511A1 (de) Endoskop und endoskopiegerät
EP3730037A1 (de) Bestimmung eines refraktionsfehlers eines auges
DE102021134564A1 (de) Verfahren, System und trainiertes Modell zur Bildoptimierung für Endoskope
DE102017110816A1 (de) Optisches Beobachtungsgerät und Verfahren zum effizienten Ausführen eines automatischen Fokussieralgorithmus
EP4633439A1 (de) Verfahren und systeme zur bildoptimierung für 3d-endoskope
EP1954228A2 (de) Vorrichtung und verfahren zur photokoagulation der netzhaut
DE112019002013T5 (de) Bildverarbeitungsverfahren, Programm und Bildverarbeitungsvorrichtung
DE112019002014T5 (de) Bildverarbeitungsverfahren, Programm, Bildverarbeitungsvorrichtung und ophthalmologisches System
DE102006017003A1 (de) Endoskop zur Tiefendatenakquisition
DE112020001487T5 (de) Optischer Aufsatz, Steuervorrichtung und opthalmisches Mikroskopsystem
DE102022126824A1 (de) Verfahren zum Überlagern von Überlagerungsaufnahmeinformationen mit einem Livebild und eine entsprechende Vorrichtung
WO2009143976A1 (de) Optisches system für ophthalmologische geräte, insbesondere funduskameras
DE19720851A1 (de) Ophthalmologisches Untersuchungsgerät sowie Verfahren zu dessen Betrieb
WO2019029772A1 (de) 3d-video-endoskop
WO2014166954A1 (de) Verfahren zur fotografischen beobachtung und/oder dokumentation des fundus eines auges sowie funduskamera

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250623

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)