EP4629870A1 - Verfahren zur optischen kalibrierung und identifizierung - Google Patents

Verfahren zur optischen kalibrierung und identifizierung

Info

Publication number
EP4629870A1
EP4629870A1 EP23818351.1A EP23818351A EP4629870A1 EP 4629870 A1 EP4629870 A1 EP 4629870A1 EP 23818351 A EP23818351 A EP 23818351A EP 4629870 A1 EP4629870 A1 EP 4629870A1
Authority
EP
European Patent Office
Prior art keywords
calibration
marking area
information
imaging device
calibration element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23818351.1A
Other languages
English (en)
French (fr)
Inventor
Lukas Buschle
Simon Haag
Jasmin Keuser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz SE and Co KG
Original Assignee
Karl Storz SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz SE and Co KG filed Critical Karl Storz SE and Co KG
Publication of EP4629870A1 publication Critical patent/EP4629870A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy

Definitions

  • the present invention relates to a method for providing information by marking instruments, marking elements and tools provided with marking elements for use in such a method.
  • an endoscopic instrument which can in particular comprise an endoscope and one or more endoscopic instruments, is guided through a natural body opening or an artificial opening created with the aid of an incision to an operating area located inside the body.
  • Endoscopic instruments for this purpose have an elongated shaft, at the distal end, i.e. the end remote from the user, of which a tool for carrying out surgical manipulations is arranged, which can be operated by a handle or connection of motor drives arranged at the proximal end of the shaft, i.e. the end closest to the user, via an elongated transmission element arranged in the shaft.
  • the shaft can be rigid or flexible.
  • the endoscopic instruments differ, among other things, in terms of the connected tool and thus in their function, although there are also endoscopic instruments in which the tool can be detached from the shaft and replaced by another one.
  • the instrument can be disassembled for cleaning and/or sterilization.
  • Endoscopic instruments are normally used multiple times and the endoscopic surgical equipment usually includes multiple units of the respective endoscopic instruments.
  • Methods are known in the prior art, in particular using artificial intelligence, by means of which the instrument type can be recognized. However, these methods have so far made it possible not to perform detection and/or classification down to the level of the serial number and/or other detailed characteristics of the instrument.
  • Endoscopic interventions are usually carried out with video support.
  • an imaging device is also guided into the interior of the body and corresponding images of the surgical area and the instruments in use are recorded and displayed on a suitable display device.
  • Correct color reproduction is of utmost importance in the display, particularly for the correct identification of tissue.
  • the color representation in the image chain is influenced by various components, such as the light source used, the optics used and/or the camera head. In order to obtain the best possible endoscopic image, it is advisable to carry out a white balance before using the endoscopic system in order to coordinate the various components used.
  • the user points the endoscope at a white or gray surface in accordance with the methods known from the prior art and the white balance is carried out, for example by pressing a corresponding button, in the control software.
  • Subsequent changes such as heating of the light source or changes in sensor efficiency due to temperature changes, cannot be compensated for during the procedure according to the methods known from the state of the art without removing the camera from the actual site of use. Removing an endoscope during an operation to carry out calibrations is possible in principle, but is complicated and time-consuming. Recalibrations at the site of use are therefore preferred.
  • Depth determination using artificial intelligence algorithms is state of the art in the field of endoscopic measurements with a 2D endoscope, for example from “Digging Into Self-Supervised Monocular Depth Estimation”, Godard et.al., 04 Jun 2018-arXiv: Computer Vision and Pattern Recognition or "The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth", Watson et.al., IEEE Conference on Computer Vision and Pattern Recognition 2021.
  • the resulting models can predict the depth of a tissue with pixel precision, but do not contain absolute depth information. Similar limitations arise from the application of other computer vision methods, such as "Structure From Motion” methods, in which 3D information can be obtained by overlapping time-shifted images using parallax; here, too, no absolute depth information can be obtained.
  • images of predefined geometric structures are taken before the endoscopic system is used - similar to manual white balance - in order to be able to determine the deviations and, if necessary, compensate for them for the display of the images.
  • the object of the present invention is to at least partially overcome the disadvantages known in the prior art.
  • the above object is achieved by methods according to the invention according to claims 1 and 6, a marking area according to claim 9, and by an instrument according to claim 15.
  • Preferred embodiments of the invention are the subject of the corresponding subclaims.
  • the present invention discloses markings of instruments for use in endoscopic procedures by means of which, on the one hand, details of the respective instruments can be recognized, i.e., they can be identified, and, on the other hand, calibrations, such as spectral calibrations for white balance or geometric calibrations for measurements, can be carried out and assistance for endoscopic measurements can also be provided.
  • the present invention discloses a method for optical calibration of an imaging device, in particular an endoscope system, wherein the imaging device has an optical system with an optics and an image sensor for recording digital images.
  • the method according to the invention comprises detecting a two-dimensional marking area in the field of view of the imaging device, wherein the Marking area comprises optoelectronically readable writings consisting of lines and/or dots of different widths and gaps therebetween, and the marking area has at least one calibration element with calibration information, detecting the calibration element, and calibrating the imaging device based on the calibration information.
  • An imaging device in the sense of the present invention can be any technical and/or electronic device that is suitable for recording an image of a viewing area, further processing it and/or forwarding it and displaying it on a screen, for example.
  • Medical imaging devices in the sense of the present invention can be all types of endoscopes known to those skilled in the art, in particular dual endoscopes and stereo endoscopes.
  • An endoscope is a mostly narrow and elongated imaging device that is suitable for being inserted into a cavity or through a mostly small opening and for recording an image of a viewing area within the cavity and/or the area behind the small opening using at least one camera or at least one image sensor.
  • room cameras can also be imaging devices in the sense of the present invention.
  • Two-dimensional in the sense of the present invention are in particular marking areas whose information content is based on a two-dimensional representation. This particularly relates to the application of corresponding two-dimensional marking areas on three-dimensional surfaces or surfaces with a three-dimensional structure, such as the surface of an instrument or the round shaft of an instrument.
  • Marking areas comprising optoelectronically readable writings within the meaning of the present invention are in particular bar codes, i.e. representations consisting of parallel lines and gaps of different widths and/or so-called QR codes, i.e. matrices consisting of black and white squares.
  • Data is correspondingly represented in the form of binary symbols. This data can be read in mechanically using optical reading devices, such as cameras, and further processed electronically. The further processing here includes both the extraction of the information represented directly and indirectly using the binary symbols and the application of this information.
  • Directly represented information is information encoded by binary symbols
  • indirectly represented information is information represented by the geometric shape (e.g. size) or the color design.
  • Calibration elements in the sense of the present invention are any representation of information, in particular representations of certain, predefined color values or predefined geometric patterns, on the basis of which an optical calibration can be carried out. Accordingly, calibration elements can have a certain color tone, such as pure white or a predefined gray tone, via which spectral calibrations, such as white balance, are carried out. If the material of the instrument has a known color tone, an untreated section can be provided as a calibration element. Calibration elements for geometric calibrations are in particular patterns or shapes with known dimensions. In particular, the entire marking area or parts of the marking area can also be provided as a calibration element.
  • a white balance in the sense of the present invention is a tone value correction by which a color-neutral image reproduction, i.e. image reproduction without a color cast, can be achieved on a corresponding output device, such as a screen. Tone value corrections can also be carried out separately for all existing color channels, usually the primary colors red, green and blue, whereby the corresponding tone values of the color channels must be calculated to the same brightness for the white balance.
  • Tone value corrections can also be carried out separately for all existing color channels, usually the primary colors red, green and blue, whereby the corresponding tone values of the color channels must be calculated to the same brightness for the white balance.
  • the white balance the brightest point in each color channel can be searched for in an image, and the corrections for the individual color channels can be calculated using their tone values.
  • White balance is problematic if there are no points in the input image that are to be used for the white balance that correspond to the white point. Accordingly, gray or white reference surfaces can be used, whereby with white reference surfaces it must be ensured that the
  • the method may further comprise detecting at least two positioning elements, wherein the positioning elements may be part of the marking area can be integrated in the marking area or can be located in the immediate vicinity of the marking area.
  • Positioning elements in the sense of the present invention are optically recognizable structures or information which facilitate the reading of information stored in the marking area and/or define certain areas.
  • the calibration elements can be defined as such via positioning elements and, if necessary, automatically recognized and read out and/or the corresponding calibration routine can be started automatically.
  • the positioning elements can indicate the position of the at least one calibration element.
  • the at least one calibration element can be dimensioned such that it can be resolved by the image sensor.
  • the limit value for structures resolvable by a sensor can be determined by the Nyquist limit value and is accordingly dependent on the hardware used.
  • the calibration information can include information on geometric and/or spectral calibration.
  • the identification element is dimensioned such that at least one pixel of the sensor is completely filled when captured by the sensor.
  • the identification element is dimensioned such that the structures can be resolved with high contrast.
  • the calibration element for spectral calibration can be at least partially monochrome and unstructured.
  • the color to be used for calibration is not specified and can be selected depending on the application area, with white and shades of gray, similar to the gray cards in classic photography, being particularly preferred.
  • a white balance as a specific form of spectral calibration can be adapted to certain applications such as the use of white light, hyperspectral imaging methods and multispectral imaging methods.
  • the spatially and wavelength-resolved detection in different electromagnetic ranges (spectrum) can be used to detect and make visible structures or objects that are not visible using conventional imaging methods.
  • the calibration element can be unstructured and/or matt in order to prevent optical interference effects.
  • the present invention is further directed to a method for identifying instruments, in particular instruments for use in an endoscope system.
  • the method according to the invention comprises detecting a two-dimensional marking area in the field of view of an imaging device, wherein the marking area comprises optoelectronically readable writings consisting of lines and/or dots of different widths and gaps in between, and the marking area encodes at least identification information.
  • the imaging device can be a room camera or a camera aimed at a specific area, such as a surgical trolley, or a specific object, such as a surgical tray.
  • Marking areas comprising optoelectronically readable writings within the meaning of the present invention are in particular bar codes, i.e. representations consisting of parallel lines and gaps of different widths and/or so-called QR codes, i.e. matrices consisting of black and white squares, which can represent information to the person skilled in the art in a standardized manner.
  • bar codes i.e. representations consisting of parallel lines and gaps of different widths
  • QR codes i.e. matrices consisting of black and white squares
  • the present invention is further directed to marking areas for the optical calibration of an imaging device, in particular an endoscope system, and/or for the identification of instruments, in particular instruments for use in an endoscope system.
  • the marking areas are optoelectronically readable writings that consist of lines and/or dots of different widths and gaps in between, and contain at least one calibration element, wherein the calibration element comprises information for geometric and/or spectral calibration and wherein the optoelectronically readable writings encode identification information.
  • Marking areas are in particular bar codes, i.e. representations consisting of parallel lines and gaps of different widths and/or so-called QR codes, i.e. consisting of black and white squares. Matrices that can represent information to the expert in a standardized manner.
  • At least two positioning elements can be part of the marking area, integrated into the marking area or arranged in the immediate vicinity of the marking area.
  • the positioning elements can be arranged in such a way that they clearly determine the position of the at least one calibration element and thus facilitate recognition and, in certain embodiments, also enable automatic recognition, in particular via computer-based object recognition.
  • the calibration information can include information on geometric and/or spectral calibration, as described above.
  • these can be at least partially monochrome and unstructured.
  • the present invention is further directed to an instrument for use in a method for optical calibration described above and/or in a method for identification described above, comprising a two-dimensional marking area described above.
  • the two-dimensional marking area can be arranged on the instrument by means of printing technology, laser marking, etching, punching and/or labeling.
  • the base color of the material of the instrument can in particular be integrated as a component in the marking area.
  • Fig. 1 shows a checkerboard pattern (1a) and representations of various distortions (1b to 1e).
  • Figures 2a and 2b show the sequences of the methods according to the invention.
  • Figure 3 shows the application of the method according to the invention.
  • Figure 4 shows instruments with marking according to the invention.
  • Figure 5 shows a marking area with positioning elements and calibration elements.
  • Figure 6 shows a marking area with a calibration element.
  • Figure 7 shows a marking area (a) and schematically a perspective distortion on the instrument (b).
  • Figure 8 shows a marking area with geometric calibration element (a) and schematically a perspective distortion on the instrument (b).
  • Figure 1 shows schematically the effects of distortion. Distortion is a rotationally symmetrical image error that increases from the center of the image to the edge of the image. This results in a local change in the Image scale within the image plane, which can be very disruptive in measurement applications. If the magnification increases towards the edges of the image field, a square is distorted in a pincushion shape. In the opposite case, this is referred to as barrel distortion.
  • Figure 1a shows a checkerboard pattern without distortion.
  • Figure 1b shows tangential distortion
  • Figure 1c shows radial barrel distortion
  • Figure 1d shows radial pincushion distortion
  • Figure 1e shows tangential and radial distortion.
  • Figure 2a shows the method for optical calibration of an imaging device, in particular an endoscope system, wherein the imaging device has an optical system with an optics and an image sensor for recording digital images.
  • the imaging device records at least one digital image, whereby the recording of digital images can also take place continuously, for example in the form of video streams.
  • a corresponding marking area comes into the field of view of the imaging device, this is recorded together with the calibration element contained therein.
  • the recording can take place in particular with the aid of appropriate object recognition techniques.
  • the subsequent calibration can then take place manually by the user using the information contained in the calibration element, semi-automatically, for example by automatic recognition and/or selection of the respective calibration routines, but after initiation by suitable user inputs by the user, or fully automatically.
  • Distortions can be compensated for using geometric calibration information, as described in Figure 1. Since the geometric calibration information is known, distortions caused by the optics used can be determined and compensated for by software for display on the output device. Likewise, spectral calibration information can be used for tonal value correction, in particular for white balance. For this purpose, a corresponding reference field with known properties, in particular a white or grey reference field, is captured and recognised; appropriate object recognition techniques can be applied here.
  • Figure 2b shows the method for identifying instruments, in particular instruments for use in an endoscope system.
  • At the beginning of the method at least one digital image is recorded using the imaging device, whereby the recording of digital images can also be carried out continuously, for example in the form of video streams.
  • a corresponding marking area comes into the field of view of the imaging device, this and the identification information contained therein are recorded.
  • the recording can be carried out in particular with the aid of corresponding object recognition techniques.
  • instrument-specific settings can be made or instrument-specific information can be displayed for the user on a display device, such as a monitor.
  • subsequent instrument-specific calibration routines can be initiated or suggested to the user.
  • Room cameras can also be used as imaging devices for the identification process, as described below in connection with Figure 4.
  • identification also allows verification, e.g. via certificates of authenticity, or comparing suitability with regard to the intended use, and the like.
  • a user of the system can be given further information about the instrument identification via a corresponding display device. Accordingly, warnings can be displayed if unverified and/or incompatible devices are detected.
  • the methods for calibration and identification are applied in combination, i.e. the marking areas contain both calibration elements and identification information.
  • FIG. 3 is a schematic representation of the application of the methods described in Figures 2a and 2b in the context of an endoscopic operation in an operating room.
  • the operating room has typical endoscopic surgical equipment, including an endoscope with camera 2 and instruments, with one instrument 3 inserted into the endoscope and the other instruments lying in a sieve 4.
  • the operating room also has a room camera 1, a control unit 6 and a monitor 5.
  • the instruments in the sieve 4 and the instrument or instruments 3 in use can be identified using the method according to the invention via the room camera 1.
  • the instruments in use can be identified using the endoscope camera, according to the method according to the invention, or corresponding calibration routines can be carried out.
  • the calibration routines can be carried out manually, semi-automatically or fully automatically.
  • the digital image of the instrument with the identification area can also be displayed on the monitor 5. Continuous, automatic calibration is also possible. In addition, for example based on digital image analysis, especially with the help of artificial intelligence, image changes can be detected and subsequent calibrations can be suggested or carried out. Depending on the calibration, the display on the monitor was carried out with corrected tonal values and/or compensation for distortions. By regularly recording the marking areas, any new deviations that arise, for example due to temperature changes, can be dynamically recorded and, if necessary, new calibrations can be carried out or suggested via monitor 5 as a corresponding note for the user of the system.
  • Figure 4a shows a marking area in the form of a circumferential bar code on an endoscopic instrument.
  • Figure 4b shows the marking of an endoscopic instrument using so-called QR codes.
  • distances between individual elements of the marking area or the overall size can be used as geometric calibration information before measurements.
  • calibration steps may be necessary to compensate for image errors.
  • the dimensions of the marking areas are known, these can be used for the respective calibrations or the need for calibration can even be automatically recognized based on analysis of the digital images and carried out if necessary.
  • Figure 5 shows a marking area 50 in the form of a further developed bar code.
  • the marking area 50 has calibration elements 54 and positioning elements 52.
  • a calibration element can be defined by triangulation, represented by the auxiliary lines 56. This allows Calibration elements 54 can be verified. For example, it can be ensured that only calibration elements 54 in a suitable orientation to the imaging device (eg when three positioning elements 52 are visible) are used for calibrations.
  • the dimensions of the marking area 50 and/or the thickness and spacing of individual lines can therefore be used as a scale or geometric calibration information.
  • Figure 6 shows a marking area 60 in the form of a further developed QR code.
  • a calibration element 64 is arranged centrally as a gray section for spectral calibration, such as for white balance.
  • the typical corner elements of the QR code serve here as positioning elements 62.
  • the dimensions of the marking area 60 and/or the size of individual squares can therefore be used as a scale or geometric calibration information.
  • the geometric arrangement of the calibration element 64 in the marking area 60 is basically free, but in preferred embodiments it is uniform, the calibration element 64 is arranged at corresponding positions within different marking areas, which can facilitate automated detection.
  • Figure 7a shows a further embodiment of a marking area 70 in the form of a further developed QR code.
  • the calibration element 74 for spectral calibration is arranged as a white field for white balance in one of the corner elements typical for the QR code.
  • the other two corner elements 72 serve as positioning elements.
  • the geometric arrangement of the calibration element 74 in the marking area 70 is also free here, but in preferred embodiments it is uniform.
  • Figure 7b shows the marking area 70 of Figure 7a, arranged on a section 78 of an endoscopic instrument, with the perspective distortion being shown.
  • the endoscopic system can be calibrated so that absolute measurements are possible.
  • a white balance can be carried out via the calibration element 74 - even during use without removing the endoscope from the work area.
  • Figure 8a shows a further embodiment of a marking area 80 in the form of a further developed bar code.
  • the bar code is extended by a geometric calibration element 84.
  • Figure 8b shows the marking area 80 of Figure 8a arranged on a section 80 of an endoscopic instrument, showing the perspective distortion.
  • the calibration element 84 can be used here directly as a scale or also for geometric calibrations.
  • a reference in the appended claims to a method or apparatus or component of an apparatus or system being adapted, arranged, capable, configured, enabled, operable or ready to perform a particular function includes that apparatus, system or component, regardless of whether it or that particular function is activated, enabled or enabled, as long as that apparatus, system or component is adapted, arranged, capable, configured, enabled, operable or ready to perform.
  • this disclosure describes or illustrates certain embodiments as providing certain advantages, certain embodiments may provide none, some or all of those advantages.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

Verfahren zur Bereitstellung von Informationen durch Markierungen von Instrumenten zur Verwendung in endoskopischen Eingriffen mittels derer einerseits Details der jeweiligen Instrumente identifiziert werden können und andererseits Kalibrierungen, wie spektrale Kalibrierungen zum Weißabgleich oder geometrische Kalibrierungen für Vermessungen durchgeführt werden können.

Description

Verfahren zur Optischen Kalibrierung und Identifizierung
Technisches Gebiet
[0001 ] Die vorliegende Erfindung betrifft ein Verfahren zur Bereitstellung von Informationen durch Markierung von Instrumenten, Markierungselemente sowie mit Markierungselementen versehene Werkzeuge zur Verwendung in einem solchen Verfahren.
Hintergrund
[0002] Endoskopische Operationstechniken haben sich für eine Vielzahl chirurgischer Eingriffe durchgesetzt. Dabei wird durch eine natürliche oder eine mit Hilfe einer Inzision geschaffene künstliche Körperöffnung ein endoskopisches Instrumentarium, das insbesondere ein Endoskop und ein oder mehrere endoskopische Instrumente umfassen kann, zu einem im Körperinneren gelegenen Operationsgebiet geführt. Endoskopische Instrumente weisen hierfür einen lang erstreckten Schaft auf, an dessen distalem, d.h. benutzerfernen Ende ein Werkzeug zur Durchführung chirurgischer Manipulationen angeordnet ist, das von einem am proximalen, d.h. benutzernahen Ende des Schafts angeordneten Handgriff oder Anschluss motorischer Antriebe über ein im Schaft angeordnetes langerstrecktes Übertragungselement betätigt werden kann. Der Schaft kann starr oder flexibel ausgebildet sein. Der Handgriff bzw. der Anschluss verbleibt bei einem endoskopischen Eingriff außerhalb der Körperöffnung, während der Schaft mit dem Werkzeug durch die Körperöffnung eingeführt wird.
[0003] Hierbei unterscheiden sich die endoskopischen Instrumente unter anderem hinsichtlich des verbundenen Werkezugs und somit in ihrer Funktion, wobei es auch endoskopische Instrumente gibt, bei denen das Werkzeug vom Schaft gelöst werden kann und durch ein anderes ersetzt werden kann. Insbesondere kann nach Durchführung eines endoskopischen Eingriffs das Instrument zur Reinigung und/oder Sterilisation zerlegt werden.
[0004] Endoskopische Instrumente werden normalerweise mehrfach verwendet und die endoskopische OP-Ausstattung umfasst in der Regel auch mehrere Einheiten der jeweiligen endoskopischen Instrumente. Im Stand der Technik sind Verfahren bekannt, insbesondere unter der Verwendung von künstlicher Intelligenz, mittels derer der Instrumententyp erkannt werden kann. Diese Verfahren erlauben es jedoch bislang nicht eine Erkennung und/oder Klassifizierung bis auf Ebene der Seriennummer und/oder anderer detaillierter Eigenschaften des Instruments durchzuführen.
[0005] Endoskopische Eingriffe werden in der Regel mit Videounterstützung durchgeführt. Das bedeutet, dass neben den endoskopischen Instrumenten auch eine Bildgebungsvorrichtung in das Körperinnere geführt wird und entsprechende Bilder des Operationsgebiets und der im Einsatz befindlichen Instrumente aufgenommen und auf einem geeigneten Wiedergabegerät dargestellt werden. Bei der Darstellung ist die korrekte Farbwiedergabe, insbesondere zur richtigen Identifikation von Geweben, von eminenter Bedeutung. Hierbei wird die Farbdarstellung in der Bildkette von verschiedenen Komponenten, wie beispielsweise der verwendeten Lichtquelle, der verwendeten Optik und/oder des Kamerakopfs beeinflusst. Um das bestmögliche endoskopische Bild zu erhalten ist es ratsam vor der Anwendung des endoskopischen Systems einen Weißabgleich durchzuführen, um die verschiedenen verwendeten Komponenten aufeinander abzustimmen. Für einen manuellen Weißabgleich wird gemäß der aus dem Stand der Technik bekannten Verfahren das Endoskop von dem Anwender auf eine weiße oder graue Fläche gerichtet und der Weißabgleich, beispielsweise durch Betätigung einer entsprechenden Taste, in der Steuersoftware durchgeführt. Nachträgliche Veränderungen, wie beispielsweise durch Erwärmung der Lichtquelle oder Veränderungen der Sensoreffizienz durch Temperaturänderungen können gemäß der aus dem Stand der Technik bekannten Verfahren während des Eingriffs ohne das Entfernen der Kamera vom eigentlichen Einsatzort nicht kompensiert werden. Die Entnahme eines Endoskops während einer Operation zur Durchführung von Kalibrierungen ist grundsätzlich möglich, ist jedoch kompliziert und zeitaufwendig. Entsprechend sind Re-Kalibrierungen am Einsatzort bevorzugt.
[0006] Daneben werden bei endoskopischen Eingriffen häufig geometrische Messungen, beispielsweise zur Vermessung von Strukturen wie Tumoren, durchgeführt. Als schwierig erweist sich hierbei die Erstellung absoluter Messungen, nicht zuletzt aufgrund von optischen Verzerrungen, die sich in Abhängigkeit von der verwendeten Optik unterscheiden können. Hierbei kommen unter Anderem Verzeichnungen zum Tragen.
[0007] Tiefenbestimmung mittels Algorithmen der künstlichen Intelligenz sind in dem Bereich der endoskopischen Vermessungen mit einem 2D-Endoskop im Stand der Technik, beispielsweise aus „Digging Into Self-Supervised Monocular Depth Estimation“, Godard et.al., 04 Jun 2018-arXiv: Computer Vision and Pattern Recognition oder „The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth“, Watson et.al., IEEE Conference on Computer Vision and Pattern Recognition 2021 bekannt. Die daraus resultierenden Modelle können die Tiefe eines Gewebes pixelgenau Vorhersagen, enthalten jedoch keine absoluten Tiefenangaben. Ähnliche Einschränkungen ergeben sich aus der Anwendung anderer computer vision Verfahren, wie beispielsweise „Structure From Motion“ Verfahren, bei der 3D Informationen durch die Überlappung zeitversetzter Bilder unter Ausnützung der Parallaxe gewonnen werden können; auch hier können keine absoluten Tiefenangaben gewonnen werden.
[0008] Für die Kompensation von Verzerrungen, und damit für die Kalibrierung geometrischer Messsysteme, werden - ähnlich dem manuellen Weißabgleich - vor der Anwendung des endoskopischen Systems Bilder vordefinierter geometrischer Strukturen, wie beispielsweise ein Schachbrettmuster, aufgenommen um so die Abweichungen bestimmen und gegebenenfalls für die Darstellung der Bilder kompensieren zu können.
Zusammenfassung der Erfindung
[0009] Aufgabe der vorliegenden Erfindung ist es, die im Stand der Technik bekannten Nachteile wenigstens teilweise zu überwinden. Die vorstehende Aufgabe wird durch erfindungsgemäße Verfahren gemäß Anspruch 1 und 6, einen Kennzeichnungsbereich gemäß Anspruch 9, sowie durch ein Instrument gemäß Anspruch 15 gelöst. Bevorzugte Ausgestaltungsformen der Erfindung sind Gegenstand der entsprechenden Unteransprüche.
[0010] Die vorliegende Erfindung offenbart Markierungen von Instrumenten zur Verwendung in endoskopischen Eingriffen mittels derer einerseits Details der jeweiligen Instrumente erkannt, diese also identifiziert werden können, und andererseits Kalibrierungen, wie spektrale Kalibrierungen zum Weißabgleich oder geometrische Kalibrierungen für Vermessungen, durchgeführt werden können und auch Hilfestellungen für endoskopische Messungen gegeben werden können.
[0011] Entsprechend offenbart die vorliegende Erfindung ein Verfahren zur optischen Kalibrierung einer Bildgebungsvorrichtung, insbesondere eines Endoskopsystems, wobei die Bildgebungsvorrichtung ein optisches System mit einer Optik und einem Bildsensor zum Aufnehmen von digitalen Bildern aufweist. Das erfindungsgemäße Verfahren umfasst das Erfassen eines zweidimensionalen Kennzeichnungsbereichs im Blickfeld der Bildgebungsvorrichtung, wobei der Kennzeichnungsbereich optoelektronisch lesbare Schriften umfasst, die aus verschieden breiten Strichen und/oder Punkten und dazwischen liegenden Lücken bestehen, und der Kennzeichnungsbereich wenigstens ein Kalibrierungselement mit Kalibrierungsinformationen aufweist, das Erfassen des Kalibrierungselements, und das Kalibrieren der Bildgebungsvorrichtung basierend auf den Kalibrierungsinformationen.
[0012] Eine Bildgebungsvorrichtung im Sinne der vorliegenden Erfindung kann jede technische und/oder elektronische Vorrichtung sein, welche geeignet ist, ein Bild eines Betrachtungsbereiches aufzunehmen, weiterzuverarbeiten und/oder weiterzuleiten und beispielsweise auf einem Bildschirm anzuzeigen. Medizinische Bildgebungsvorrichtungen im Sinne der vorliegenden Erfindung können alle dem Fachmann bekannten Arten von Endoskopen, insbesondere Dual-Endoskope und Stereo-Endoskope sein. Ein Endoskop ist dabei eine zumeist schmale und länglich ausgebildete Bildgebungsvorrichtung, welche geeignet ist, diese in einen Hohlraum oder durch eine zumeist kleine Öffnung einzuführen und innerhalb des Hohlraums und/oder des hinter der kleinen Öffnung liegenden Bereiches ein Bild von einem Betrachtungsbereich mittels wenigstens einer Kamera oder wenigstens eines Bildsensors aufzunehmen. Des Weiteren können auch Raumkameras Bildgebungsvorrichtungen im Sinne der vorliegenden Erfindung sein.
[0013] Zweidimensional im Sinne der vorliegenden Erfindung sind insbesondere Kennzeichnungsbereiche, deren Informationsinhalt auf zweidimensionaler Darstellung beruht. Dies betrifft insbesondere die Applikation entsprechender zweidimensionaler Kennzeichnungsbereiche auf dreidimensionalen Oberflächen oder Oberflächen mit einer dreidimensionalen Struktur wie beispielsweise die Oberfläche eines Instruments, oder der runde Schaft eines Instruments.
[0014] Kennzeichnungsbereiche umfassend optoelektronisch lesbare Schriften im Sinne der vorliegenden Erfindung sind insbesondere Strichcodes, also aus verschieden breiten, parallelen Strichen und Lücken bestehende Darstellungen und/oder sogenannte QR-Codes, also aus schwarzen und weißen Quadraten bestehende Matrizes. Entsprechend werden Daten in Form binärer Symbole abgebildet. Diese Daten können mit optischen Lesegeräten, wie z. B. Kameras, maschinell eingelesen und elektronisch weiterverarbeitet. Die Weiterverarbeitung umfasst hier bei sowohl die Extraktion der mittels der binären Symbole direkt und indirekt abgebildeten Information also auch die Anwendung dieser Informationen. Direkt abgebildete Informationen sind durch die binären Symbole codierte Information, indirekt abgebildete Informationen sind die durch die geometrische Form (z.B. Größe) oder auch die farbliche Ausgestaltung.
[0015] Kalibrierungselemente im Sinne der vorliegenden Erfindung sind jedwede Darstellung von Informationen, insbesondere Darstellungen bestimmter, vordefinierter Farbwerte oder vordefinierter geometrischer Muster, aufgrund derer eine optische Kalibrierung durchgeführt werden kann. Entsprechend können Kalibrierungselemente einen bestimmten Farbton, wie Reinweiß oder auch einen vordefinierten Grauton aufweisen, über den spektrale Kalibrierungen, wie der Weißabgleich durchgeführt werden. Sofern das Material des Instruments einen bekannten Farbton hat, kann ein unbehandelter Abschnitt als Kalibrierungselement vorgesehen werden. Kalibrierungselemente für geometrische Kalibrierungen sind insbesondere Muster oder Formen mit bekannter Dimensionierung. Insbesondere kann auch der gesamte Kennzeichnungsbereich oder Teile des Kennzeichnungsbereichs als Kalibrierungselement vorgesehen werden.
[0016] Ein Weißabgleich im Sinne der vorliegenden Erfindung ist eine Tonwertkorrektur durch die eine farbneutrale Bildwiedergabe, also Bildwiedergabe ohne Farbstich, auf einem entsprechenden Ausgabegerät, wie einem Bildschirm, bewirkt werden kann. Hierbei können auch Tonwertkorrekturen separat für alle vorhandenen Farbkanäle, meist die Primärfarben rot, grün und blau, durchgeführt werden, wobei für den Weißabgleich die entsprechenden Tonwerte der Farbkanäle auf die gleichen Helligkeiten gerechnet werden müssen. Für den Weißabgleich kann in einem Bild in jedem Farbkanal der hellste Punkt gesucht werden, und mit deren Tonwerten können die Korrekturen für die einzelnen Farbkanäle ausgerechnet werden. Problematisch ist der Weißabgleich, wenn es im Eingangsbild das für den Weißabgleich verwendet werden soll gar keine Punkte gibt, die dem Weißpunkt entsprechen. Entsprechend können graue oder weiße Referenzflächen verwendet werden, wobei bei weißen Referenzflächen darauf zu achten ist, dass die Tonwerte nicht in der Sättigung sind. Erfindungsgemäß können die Referenzflächen als Kalibrierungselemente als Teil eines auf einem Instrument angeordneten Kennzeichnungsbereich vorgesehen sein.
[0017] In Ausführungsformen des erfindungsgemäßen Verfahrens kann das Verfahren ferner das Erfassen von wenigstens zwei Positionierungselementen umfassen, wobei die Positionierungselemente Teil des Kennzeichnungsbereichs sein können, im Kennzeichnungsbereich integriert sein können oder sich in direkter Nähe des Kennzeichnungsbereichs befinden können.
[0018] Positionierungselemente im Sinne der vorliegenden Erfindung sind optisch erkennbare Strukturen oder Informationen welche das Auslesen von im Kennzeichnungsbereich hinterlegten Informationen erleichtern und/oder bestimmte Bereiche definieren. So können über Positionierungselemente die Kalibrierungselemente als solche definiert und gegebenenfalls automatisch erkannt und ausgelesen werden und/oder die entsprechende Kalibrierungsroutine automatisch gestartet werden.
[0019] Entsprechend können in Ausführungsformen des erfindungsgemäßen Verfahrens die Positionierungselemente die Position des wenigstens einen Kalibrierungselements kennzeichnen.
[0020] In Ausführungsformen des erfindungsgemäßen Verfahrens kann das wenigstens eine Kalibrierungselement so dimensioniert sein, dass es von dem Bildsensor auflösbar ist. Der Grenzwert für von einem Sensor auflösbare Strukturen kann durch den Nyquist-Grenzwert bestimmt werden und ist entsprechend abhängig von der verwendeten Hardware. In Ausführungsformen des erfindungsgemäßen Verfahrens können die Kalibrierungsinformationen Informationen zur geometrischen und/oder spektralen Kalibrierung umfassen. In bevorzugten Ausführungsformen spektraler Kalibrierung ist das Kennzeichnungselement so dimensioniert, dass in der Erfassung durch den Sensor wenigstens ein Pixel des Sensors komplett ausgefüllt wird. In bevorzugten Ausführungsformen geometrischer Kalibrierung ist das Kennzeichnungselement so dimensioniert, dass die Strukturen kontrastreich aufgelöst werden können.
[0021 ] In Ausführungsformen des erfindungsgemäßen Verfahrens kann das Kalibrierungselement zur spektralen Kalibrierung wenigstens teilweise einfarbig und unstrukturierter sein. Die für die Kalibrierung zu verwendende Farbe ist nicht festgelegt und kann je nach Anwendungsbereich gewählt werden, wobei Weiß und Grautöne, ähnlich den Graukarten in der klassischen Fotographie besonders bevorzugt sind. Ein Weißabgleich als spezifische Form der spektralen Kalibrierung kann auf bestimmte Anwendungen wie Verwendung von Weißlicht, hyperspektrale Bildgebungsverfahren und multispektrale Bildgebungsverfahren adaptiert werden. Bei hyperspektraler Bildgebung bzw. multispektraler Bildgebung kann die orts- und wellenlängenaufgelöste Detektion in verschiedenen elektromagnetischen Bereichen (Spektrum) genutzt werden um mit herkömmlichen Bildgebungsverfahren nicht sichtbare Strukturen oder Objekte zu detektieren und sichtbar zu machen. In bevorzugten Ausführungsformen kann das Kalibirierungselement unstrukturiert und/oder matt sein, um optische Störungseffekte zu verhindern.
[0022] Die vorliegende Erfindung ist des Weiteren auf ein Verfahren zur Identifizierung von Instrumenten, insbesondere von Instrumenten zur Verwendung in einem Endoskopsystem gerichtet. Das erfindungsgemäße Verfahren umfasst das Erfassen eines zweidimensionalen Kennzeichnungsbereichs im Blickfeld einer Bildgebungsvorrichtung, wobei der Kennzeichnungsbereich optoelektronisch lesbare Schriften umfasst, die aus verschieden breiten Strichen und/oder Punkten und dazwischen liegenden Lücken bestehen, und der Kennzeichnungsbereich wenigstens Identifikationsinformationen kodiert.
[0023] In Ausführungsformen des erfindungsgemäßen Verfahrens zur Identifizierung von Instrumenten kann die Bildgebungsvorrichtung eine Raumkamera oder eine auf einem bestimmten Bereich, wie einen OP-Wagen, oder einen bestimmten Gegenstand, wie ein OP-Sieb gerichtete Kamera sein.
[0024] Kennzeichnungsbereiche umfassend optoelektronisch lesbare Schriften im Sinne der vorliegenden Erfindung sind insbesondere Strichcodes, also aus verschieden breiten, parallelen Strichen und Lücken bestehende Darstellungen und/oder sogenannte QR-Codes, also aus schwarzen und weißen Quadraten bestehende Matrizes, die dem Fachmann in standardisierter Weise Informationen repräsentieren können.
[0025] Die vorliegende Erfindung ist des Weiteren auf Kennzeichnungsbereiche zur optischen Kalibrierung einer Bildgebungsvorrichtung, insbesondere eines Endoskopsystems, und/oder zur Identifizierung von Instrumenten, insbesondere von Instrumenten zur Verwendung in einem Endoskopsystem, gerichtete. Hierbei sind die Kennzeichnungsbereiche optoelektronisch lesbare Schriften, die aus verschieden breiten Strichen und/oder Punkten und dazwischen liegenden Lücken bestehen, und wenigstens ein Kalibrierungselement enthalten, wobei das Kalibrierungselement Informationen zur geometrischen und/oder spektralen Kalibrierung umfasst und wobei die optoelektronisch lesbaren Schriften Identifikationsinformationen kodieren. Kennzeichnungsbereiche sind insbesondere Strichcodes, also aus verschieden breiten, parallelen Strichen und Lücken bestehende Darstellungen und/oder sogenannte QR-Codes, also aus schwarzen und weißen Quadraten bestehende Matrizes, die dem Fachmann in standardisierter Weise Informationen repräsentieren können.
[0026] In Ausführungsformern der erfindungsgemäßen zweidimensionalen Kennzeichnungsbereiche können wenigstens zwei Positionierungselemente als Teil des Kennzeichnungsbereichs, in den Kennzeichnungsbereich integriert oder in direkter Nähe des Kennzeichnungsbereichs angeordnet sein. Die Positionierungselemente können so angeordnet sein, dass sie die Position des wenigstens einen Kalibrierungselements eindeutig bestimmen und so eine Erkennung erleichtern und in bestimmten Ausführungsformen auch eine automatische, insbesondere über computerbasierte Objekterkennung erfolgende Erkennung ermöglichen.
[0027] In Ausführungsformern der erfindungsgemäßen zweidimensionalen Kennzeichnungsbereiche kann das wenigstens eine Kalibrierungselement so dimensioniert sein, dass es von einem Bildsensor, wie vorstehend beschrieben, auflösbar ist.
[0028] In Ausführungsformern der erfindungsgemäßen zweidimensionalen Kennzeichnungsbereiche können die Kalibrierungsinformationen Informationen zur geometrischen und/oder spektralen Kalibrierung, wie vorstehend beschrieben, umfassen. Für Kalibrierungselemente zur spektralen Kalibrierung können diese wenigstens teilweise einfarbig und unstrukturiert sein.
[0029] Die vorliegende Erfindung ist des Weiteren auf ein Instrument zur Verwendung in einem vorstehend beschriebenen Verfahren zur optischen Kalibrierung und/oder in einem vorstehend beschriebenen Verfahren zur Identifizierung, umfassend einen vorstehend beschriebenen zweidimensionalen Kennzeichnungsbereich gerichtet. In Ausführungsformen der vorliegenden Erfindung kann der zweidimensionale Kennzeichnungsbereich mittels Drucktechnik, Lasermarkierung, Ätzgravur, Einstanzen und/oder Etikettierung auf dem Instrument angeordnet werden. Hierbei kann in bevorzugten Ausführungsformen insbesondere die Grundfarbe des Materials des Instruments als Bestandteil in den Kennzeichnungsbereich integriert sein. Kurzbeschreibung der Abbildungen
[0030] Die beigefügten Abbildungen zeigen beispielhafte Ausführungsformen der Erfindung und dienen dazu, die Prinzipien der Erfindung beispielhaft zu erläutern.
[0031] Abb. 1 zeigt hierbei ein Schachbrettmuster (1a) und Darstellungen verschiedener Verzeichnungen (1 b bis 1e).
[0032] Abbildungen 2a und 2b zeigen die Abläufe der erfindungsgemäßen Verfahren.
[0033] Abbildung 3 zeigt die Anwendung der erfindungsgemäßen Verfahren [0034] Abbildung 4 zeigt Instrumente mit erfindungsgemäßer Kennzeichnung. [0035] Abbildung 5 zeigt einen Kennzeichnungsbereich mit Positionierungselementen und Kalibrierungselementen.
[0036] Abbildung 6 zeigt einen Kennzeichnungsbereich mit einem Kalibrierungselement.
[0037] Abbildung 7 zeigt einen Kennzeichnungsbereich (a) und schematisch eine perspektivische Verzerrung auf dem Instrument (b).
[0038] Abbildung 8 zeigt einen Kennzeichnungsbereich mit geometrischem Kalibrierungselement (a) und schematisch eine perspektivische Verzerrung auf dem Instrument (b).
Detaillierte Beschreibung
[0039] Die vorliegende Erfindung wird im Folgenden ausführlicher unter Bezugnahme auf die beigefügten Abbildungen beschrieben, welche bevorzugte Ausführungsformen zeigen. Die erfindungsgemäße Lehre kann jedoch in vielen verschiedenen Formen ausgeführt werden und ist nicht als auf die hier dargestellten Ausführungsformen beschränkt zu verstehen. Es wird darauf hingewiesen, dass diese Abbildungen die allgemeinen Merkmale der in bestimmten Ausführungsformen verwendeten Verfahren veranschaulichen sollen. Es kann jedoch sein, dass die Abbildungen nicht genau die Struktur oder Merkmale einer bestimmten Ausführungsform wiedergeben. Darüber hinaus bezeichnen gleiche Bezugszeichen in den Figuren entsprechende Teile in den verschiedenen Ansichten oder Ausführungsformen.
[0040] Abbildung 1 zeigt hierbei schematisch die Auswirkungen von Verzeichnungen. Die Verzeichnung ist ein rotationssymmetrischer Bildfehler, der von der Bildmitte zum Bildrand hin zunimmt. Dabei tritt eine lokale Veränderung des Abbildungsmaßstabes innerhalb der Bildebene auf, was bei Messapplikationen sehr störend sein kann. Nimmt die Vergrößerung zu den Rändern des Bildfeldes zu, dann wird ein Quadrat kissenförmig verzeichnet. Im umgekehrten Fall spricht man von tonnenförmiger Verzeichnung. Abbildung 1a zeigt hierbei die Darstellung eines Schachbrettmusters ohne Verzeichnung. Abbildung 1 b zeigt eine tangentiale Verzeichnung, Abbildung 1 c eine radiale tonnenförmige Verzeichnung, Abbildung 1 d eine radiale kissenförmige Verzeichnung und Abbildung 1 e eine tangentiale und radiale Verzeichnung. Welche Bildfehler oder welche Kombination von Bildfehlern auftritt bzw. auftreten ist abhängig von der verwendeten Optik und auch von dem Abstand des dargestellten Objekts bzw. Objektteils. Durch Kalibration des Systems können Verzeichnungen mittels digitaler Bildbearbeitung für die Darstellung kompensiert werden. Während optikbedingte Bildfehler durch einmalige Kalibration, beispielsweise durch Abgleich mit einem Kalibrierungsmuster beispielsweise während der Herstellung in der Regel gut kompensiert werden können, können dynamische Veränderungen oder perspektivische Effekte vorab nicht kompensiert werden. Hierbei sind insbesondere die Möglichkeiten dynamischer Veränderungen so mannigfaltig, dass ein Ausschluss derselben im Vorfeld, beispielsweise durch konstruktive Maßnahmen nicht möglich ist. Hierbei kommen insbesondere Alterungsprozesse, gegebenenfalls gefördert durch externe Parameter wie die Autokiavierung der Bildgebungsvorrichtung oder von außen wirkenden Kräften bei der Anwendung, zum Tragen. So kann sich über die Zeit insbesondere die Position einzelner Komponenten des optischen Systems zueinander verändern, was gravierende Auswirkungen auf die Bildwiedergabe haben kann. Gleichermaßen können bei Bewegungen der Bildgebungsvorrichtung auftretende Kräfte die Optik oder Teile der Optik, wie die Lage von Sensoren oder Linsen zueinander, beeinflussen. Daneben kann auch ein Wechsel der verwendeten Optik, wie bei einem Endoskop mit einem proximalen Kamerakopf zu Veränderungen führen; diese Optikwechsel können von der Kamera ohne zusätzliche Maßnahmen nicht erkannt werden. Entsprechend sind hier erfindungsgemäße dynamische, vorzugsweise automatisierte Kalibrierungen durch Durchführung der Kalibrierungsroutinen während der Anwendung vorteilhaft.
[0041 ] Abbildung 2a zeigt das Verfahren zur optischen Kalibrierung einer Bildgebungsvorrichtung, insbesondere eines Endoskopsystems, wobei die Bildgebungsvorrichtung ein optisches System mit einer Optik und einem Bildsensor zum Aufnehmen von digitalen Bildern aufweist. Zu Beginn des Verfahrens wird mittels der Bildgebungsvorrichtung wenigstens ein digitales Bild aufgenommen, wobei die Aufnahme digitaler Bilder auch kontinuierlich, beispielsweise in Form von Videostreams erfolgen kann. Wenn ein entsprechender Kennzeichnungsbereich in das Blickfeld der Bildgebungsvorrichtung kommt, wird dieser zusammen mit dem darin enthaltenen Kalibrierungselement erfasst. Die Erfassung kann insbesondere unter Zuhilfenahme entsprechender Objekterkennungstechniken erfolgen. Die nachfolgende Kalibrierung kann dann unter Verwendung der in dem Kalibrierungselement enthaltenen Information manuell durch den Benutzer, halbautomatisch, beispielsweise durch automatische Erkennung und/oder Auswahl der jeweiligen Kalibrierungsroutinen, jedoch nach Initiierung durch geeignete Benutzereingaben durch den Benutzer, oder vollautomatisch erfolgen. Über geometrische Kalibrierungsinformationen können Verzeichnungen, wie im Rahmen von Abbildung 1 beschrieben, kompensiert werden. Da die geometrischen Kalibrierungsinformationen bekannt sind können durch die verwendete Optik bedingte Verzeichnungen bestimmt und softwareseitig für die Darstellung auf dem Ausgabegerät kompensiert werden. Gleichermaßen können spektrale Kalibrierungsinformationen für eine Tonwertkorrektur, insbesondere für einen Weißabgleich verwendet werden. Hierfür wir ein entsprechendes Referenzfeld mit bekannten Eigenschaften, insbesondere ein weißes oder graues Referenzfeld erfasst und erkannt; hierbei können entsprechende Objekterkennungstechniken angewendet werden.
[0042] Abbildung 2b zeigt das Verfahren zur Identifizierung von Instrumenten, insbesondere von Instrumenten zur Verwendung in einem Endoskopsystem. Zu Beginn des Verfahrens wird mittels der Bildgebungsvorrichtung wenigstens ein digitales Bild aufgenommen, wobei die Aufnahme digitaler Bilder auch kontinuierlich, beispielsweise in Form von Videostreams erfolgen kann. Wenn ein entsprechender Kennzeichnungsbereich in das Blickfeld der Bildgebungsvorrichtung kommt, wird dieser und die darin enthaltene Identifikationsinformation erfasst. Die Erfassung kann insbesondere unter Zuhilfenahme entsprechender Objekterkennungstechniken erfolgen. Basierend auf der Identifikationsinformation kann zum Beispiel die Benutzung des Instruments protokolliert werden, können instrumentenspezifische Einstellungen vorgenommen werden oder auch instrumentenspezifische Informationen auf einer Darstellungsvorrichtung, wie beispielweise einem Monitor, für den Benutzer angezeigt werden. Alternativ oder in Ergänzung dazu können auch nachfolgende, instrumentenspezifische Kalibrierungsroutinen initiiert oder dem Benutzer vorgeschlagen werden. Als Bildgebungsvorrichtung für das Identifizierungsverfahren können, wie nachfolgen im Zusammenhang mit Abbildung 4 beschrieben, auch Raumkameras verwendet werden. Die Identifizierung erlaubt neben der Dokumentation der Verwendung des identifizierten Instruments auch eine Verifizierung, z.B. über Echtheitszertifikate, oder den Abgleich der Eignung bezüglich des Verwendungszwecks, und dergleichen. So können einem Benutzer des Systems über die Instrumentenidentifizierung weitergehenden Informationen über ein entsprechendes Anzeigegerät gegeben werden. Entsprechend können Warnungen angezeigt werden, wenn nicht verifizierte und/oder inkompatible Geräte erkannt wurden.
[0043] In bevorzugten Ausführungsformen werden die Verfahren zur Kalibrierung und Identifizierung in Kombination angewendet, das heißt dass die Kennzeichnungsbereiche sowohl Kalibrierungselemente als auch Identifikationsinformation in sich tragen.
[0044] Abbildung 3 ist eine schematische Darstellung der Anwendung der in den Abbildungen 2a und 2b beschriebenen Verfahren im Kontext einer endoskopischen Operation in einem Operationssaal. Der Operationssaal verfügt über eine typische endoskopische OP-Ausstattung, inklusive eines Endoskops mit Kamera 2 und Instrumentarium, wobei ein Instrument 3 in das Endoskop eingeführt ist und die übrigen Instrumente in einem Sieb 4 liegen. Der Operationssaal verfügt des Weiteren über eine Raumkamera 1 , eine Steuereinheit 6 und einen Monitor 5. Über die Raumkamera 1 können die im Sieb 4 befindlichen Instrumente, sowie das oder die in Verwendung befindlichen Instrumente 3 unter Anwendung des erfindungsgemäßen Verfahrens identifiziert werden. Daneben können die in Verwendung befindlichen Instrumente über die Endoskop-Kamera, gemäß dem erfindungsgemäßen Verfahren, identifiziert werden oder entsprechende Kalibrierungsroutinen durchgeführt werden. Wie vorstehend beschrieben, können die Kalibrierungsroutinen manuell, halbautomatisch oder vollautomatisch durchgeführt werden. Das digitale Bild des Instruments mit dem Kennzeichnungsbereich kann auch auf dem Monitor 5 dargestellt werden. Auch eine kontinuierliche, automatische Kalibrierung ist möglich. Daneben können, beispielsweise basierend auf digitaler Bildauswertung, insbesondere unter Zuhilfenahme künstlicher Intelligenz, auftretende Bildveränderungen detektiert und nachfolgende Kalibrierungen vorgeschlagen oder durchgeführt werden. Die Darstellung auf dem Monitor erfolgte je nach Kalibrierung mit korrigierten Tonwerten und/oder Kompensation von Verzeichnungen. Über regelmäßiges Erfassen der Kennzeichnungsbereiche können etwaige, zum Beispiel durch Temperaturänderungen bedingte, neu auftretende Abweichungen dynamisch erfasst und gegebenenfalls erneute Kalibrierungen durchgeführt oder über den Monitor 5 als entsprechender Hinweis für den Nutzer des Systems vorgeschlagen werden.
[0045] Wie vorstehend beschrieben ist es durch das Anbringen von Kennzeichnungsbereichen auf einem endoskopischen Instrument 3 möglich, diesen Kennzeichnungsbereich über das von der Endoskop-Kamera 2 erfasste endoskopische Bild auszulesen. Dadurch wird es unter anderem ermöglicht den Instrumententyp über die in dem Kennzeichnungsbereich kodierte Seriennummer eindeutig zu identifizieren und auch zu protokollieren. Durch Korrelation mit Ereignissen (wie zum Beispiel das Auftreten einer Blutung) die mit einem bestimmten Instrument aufgetreten sind können weitergehende Analysen durchgeführt werden, die zur Verbesserung der Indikation führen können. Durch Erfassung des oder der Kennzeichnungsbereiche über die Raumkamera 1 kann eine digitale Siebsichtung ermöglicht werden und so Optimierungsprozesse durchgeführt werden.
[0046] Abbildung 4a zeigt einen Kennzeichnungsbereich in Form eines umlaufenden Strichcodes auf einem endoskopischen Instrument. Abbildung 4b zeigt die Kennzeichnung eines endoskopischen Instruments unter Verwendung von sogenannten QR-Codes. In beiden Fällen können Abstände einzelner Elemente des Kennzeichnungsbereichs oder auch die Gesamtgröße (Länge, oder Breite oder eine Kombination von Länge und Breite) als geometrische Kalibrierungsinformation vor Vermessungen verwendet werden. Wie im Zusammenhang mit Abbildung 1 beschrieben, können hierbei Kalibrierungsschritte notwendig sein, um Bildfehler zu kompensieren. Da die Dimensionen der Kennzeichnungsbereiche jedoch bekannt sind, können diese für die jeweiligen Kalibrierungen verwendet werden oder es kann sogar die Notwendigkeit einer Kalibrierung basierend auf Analyse der digitalen Bilder automatisch erkannt und gegebenenfalls durchgeführt werden.
[0047] Abbildung 5 zeigt einen Kennzeichnungsbereich 50 in Form eines weiterentwickelten Strichcodes. Neben den bekannten parallelen Strichen unterschiedlicher Dicke weist der Kennzeichnungsbereich 50 Kalibrierungselemente 54 und Positionierungselemente 52 auf. Durch Triangulation, dargestellt über die Hilfslinien 56 kann ein Kalibrierungselement definiert werden. Dadurch können Kalibrierungselemente 54 verifiziert werden. Beispielsweise kann so sichergestellt werden, dass nur Kalibrierungselemente 54 in geeigneter Ausrichtung zur Bildgebungsvorrichtung (z.B. wenn drei Positionierungselemente 52 sichtbar sind) für Kalibrierungen verwendet werden. Die Dimensionierung des Kennzeichnungsbereichs 50 und/oder die Dicke und er Abstand einzelner Linien kann hierbei also als Maßstab oder geometrische Kalibrierungsinformation verwendet werden.
[0048] Abbildung 6 zeigt einen Kennzeichnungsbereich 60 in Form eines weiterentwickelten QR-Codes. Hierbei ist zentral ein Kalibrierungselement 64 als ein grauer Abschnitt zur spektralen Kalibrierung, wie für einen Weißabgleich angeordnet. Die typischen Eckelemente des QR-Codes dienen hier als Positionierungselemente 62. Die Dimensionierung des Kennzeichnungsbereichs 60 und/oder die Größe einzelner Quadrate können hierbei also als Maßstab oder geometrische Kalibrierungsinformation verwendet werden. Die geometrische Anordnung des Kalibrierungselements 64 im Kennzeichnungsbereich 60 ist hierbei grundsätzlich frei, in bevorzugten Ausführungsformen ist diese jedoch einheitlich, das Kalibrierungselement 64 ist als innerhalb verschiedener Kennzeichnungsbereiche an entsprechenden Positionen angeordnet, wodurch eine automatisierte Erfassung erleichtert werden kann.
[0049] Abbildung 7a zeigt eine weitere Ausführungsform eines Kennzeichnungsbereichs 70 in Form eines weiterentwickelten QR-Codes. Hier ist das Kalibrierungselement 74 für spektrale Kalibrierung als weißes Feld für den Weißabgleich in einem der für den QR-Code typischen Eckelemente angeordnet. Die beiden anderen Eckelemente 72 dienen als Positionierungselemente. Wie vorstehend bereits beschrieben, ist die geometrische Anordnung des Kalibrierungselements 74 im Kennzeichnungsbereich 70 auch hier frei, in bevorzugten Ausführungsformen jedoch einheitlich.
[0050] Abbildung 7b zeigt den Kennzeichnungsbereich 70 von Abbildung 7a, angeordnet auf einem Abschnitt 78 eines endoskopischen Instruments, wobei die perspektivische Verzerrung dargestellt ist. Durch die Kenntnis der Dimensionierung des Kennzeichnungsbereichs 70 kann das endoskopische System so kalibriert werden, dass absolute Vermessungen möglich sind. Dazu kann über das Kalibrierungselement 74 ein Weißabgleich- auch während der Anwendung ohne Entfernung des Endoskops vom Arbeitsbereich - durchgeführt werden. [0051 ] Abbildung 8a zeigt eine weitere Ausführungsform eines Kennzeichnungsbereichs 80 in Form eines weiterentwickelten Strichcodes. Hier ist der Strichcode um ein geometrisches Kalibrierungselement 84 erweitert.
[0052] Abbildung 8b zeigt den Kennzeichnungsbereich 80 von Abbildung 8a, angeordnet auf einem Abschnitt 80 eines endoskopischen Instruments, wobei die perspektivische Verzerrung dargestellt ist. Das Kalibrierungselement 84 kann hier bei der Anwendung direkt als Maßstab oder auch für geometrische Kalibrierungen verwendet werden.
[0053] Der Umfang dieser Offenbarung schließt alle Änderungen, Ersetzungen, Variationen, Abwandlungen und Modifikationen an den hierin beschriebenen oder veranschaulichten Ausführungsbeispielen ein, die ein durchschnittlicher Fachmann begreifen würde. Der Schutzumfang dieser Offenbarung ist nicht auf die hierin beschriebenen oder veranschaulichten Ausführungsbeispiele beschränkt. Obwohl diese Offenbarung jeweilige Ausführungsformen hierin als bestimmte Komponenten, Elemente, Merkmale, Funktionen, Operationen oder Schritte umfassend beschreibt und veranschaulicht, können zudem beliebige dieser Ausführungsformen, beliebige Kombinationen oder Permutationen beliebiger Komponenten, Elemente, Merkmale, Funktionen, Operationen oder Schritte, die irgendwo hierin beschrieben oder veranschaulicht sind, umfassen, die ein durchschnittlicher Fachmann begreifen würde. Ein Verweis in den angehängten Patentansprüchen darauf, dass ein Verfahren oder eine Vorrichtung oder eine Komponente einer Vorrichtung oder ein System zum Durchführen einer bestimmten Funktion angepasst, eingerichtet, fähig, konfiguriert, befähigt, betriebsfähig oder betriebsbereit ist, schließt des Weiteren dieses Gerät, dieses System oder diese Komponente ein, unabhängig davon, ob es/sie oder diese bestimmte Funktion aktiviert, eingeschaltet oderfreigegeben ist, solange dieses Gerät, dieses System oder diese Komponente dazu angepasst, eingerichtet, fähig, konfiguriert, befähigt, betriebsfähig oder betriebsbereit ist. Obwohl diese Offenbarung bestimmte Ausführungsformen als bestimmte Vorteile bereitstellend beschreibt oder veranschaulicht, können zudem bestimmte Ausführungsformen keine, einige oder alle dieser Vorteile bereitstellen.

Claims

Ansprüche
1. Verfahren zur optischen Kalibrierung einer Bildgebungsvorrichtung, insbesondere eines Endoskopsystems, wobei die Bildgebungsvorrichtung ein optisches System mit einer Optik und einem Bildsensor zum Aufnehmen von digitalen Bildern aufweist, umfassend:
Erfassen eines zweidimensionalen Kennzeichnungsbereichs im Blickfeld der Bildgebungsvorrichtung, wobei der Kennzeichnungsbereich optoelektronisch lesbare Schriften umfasst, die aus verschieden breiten Strichen und/oder Punkten und dazwischen liegenden Lücken bestehen, und der Kennzeichnungsbereich wenigstens ein Kalibrierungselement mit Kalibrierungsinformationen aufweist;
Erfassen des Kalibrierungselements; und
Kalibrieren der Bildgebungsvorrichtung basierend auf den Kalibrierungsinformationen.
2. Verfahren nach Anspruch 1 , ferner umfassend das Erfassen von wenigstens zwei Positionierungselementen, wobei die Positionierungselemente Teil des Kennzeichnungsbereichs sind, im Kennzeichnungsbereich integriert sind oder sich in direkter Nähe des Kennzeichnungsbereichs befinden.
3. Verfahren nach Anspruch 2, wobei die Positionierungselemente die Position des wenigstens einen Kalibrierungselements kennzeichnen.
4. Verfahren nach einem der vorstehenden Ansprüche, wobei das wenigstens eine Kalibrierungselement so dimensioniert ist, dass es von dem Bildsensor auflösbar ist.
5. Verfahren nach einem der vorstehenden Ansprüche, wobei die Kalibrierungsinformationen Informationen zur geometrischen und/oder spektralen Kalibrierung umfassen.
6. Verfahren nach Anspruch 5, wobei das Kalibrierungselement zur spektralen Kalibrierung wenigstens teilweise einfarbig und unstrukturiert ist.
7. Verfahren nach einem der vorstehenden Ansprüche, wobei die Kalibrierung bei Erkennung des wenigstens einen Kalibrierungselements automatisch durchgeführt wird.
7. Verfahren zur Identifizierung von Instrumenten, insbesondere von Instrumenten zur Verwendung in einem Endoskopsystem, umfassend:
Erfassen eines zweidimensionalen Kennzeichnungsbereichs im Blickfeld einer Bildgebungsvorrichtung, wobei der Kennzeichnungsbereich optoelektronisch lesbare Schriften umfasst, die aus verschieden breiten Strichen und/oder Punkten und dazwischen liegenden Lücken bestehen, und der Kennzeichnungsbereich wenigstens Identifikationsinformationen kodiert.
8. Verfahren nach Anspruch 7, wobei die Bildgebungsvorrichtung eine Raumkamera ist.
9. Zweidimensionaler Kennzeichnungsbereich zur optischen Kalibrierung einer Bildgebungsvorrichtung, insbesondere eines Endoskopsystems, und/oder zur Identifizierung von Instrumenten, insbesondere von Instrumenten zur Verwendung in einem Endoskopsystem, umfassend: optoelektronisch lesbare Schriften, die aus verschieden breiten Strichen und/oder Punkten und dazwischen liegenden Lücken bestehen; wenigstens ein Kalibrierungselement, wobei das Kalibrierungselement Informationen zur geometrischen und/oder spektralen Kalibrierung umfasst, wobei die optoelektronisch lesbaren Schriften Identifikationsinformationen kodieren.
10. Zweidimensionaler Kennzeichnungsbereich nach Anspruch 9, wobei wenigstens zwei Positionierungselemente als Teil des Kennzeichnungsbereichs, in den Kennzeichnungsbereich integriert oder in direkter Nähe des Kennzeichnungsbereichs angeordnet sind.
11. Zweidimensionaler Kennzeichnungsbereich nach Anspruch 10, wobei die Positionierungselemente die Position des wenigstens einen Kalibrierungselements kennzeichnen.
12. Zweidimensionaler Kennzeichnungsbereich nach einem der Ansprüche 9 bis
11 , wobei das wenigstens eine Kalibrierungselement so dimensioniert ist, dass es von einem Bildsensor auflösbar ist.
13. Zweidimensionaler Kennzeichnungsbereich nach einem der Ansprüche 9 bis
12, wobei die Kalibrierungsinformationen Informationen zur geometrischen und/oder spektralen Kalibrierung umfasst.
14. Zweidimensionaler Kennzeichnungsbereich nach Anspruch 13, wobei das Kalibrierungselement zur spektralen Kalibrierung wenigstens teilweise einfarbig und unstrukturiert ist.
15. Instrument zur Verwendung in einem Verfahren zur optischen Kalibrierung gemäß einem der Ansprüche 1 bis 6 oder in einem Verfahren zur Identifizierung nach einem der Ansprüche 7 oder 8, umfassend einen zweidimensionalen Kennzeichnungsbereich gemäß einem der Ansprüche 9 bis 143.
16. Instrument nach Anspruch 15, wobei der zweidimensionale Kennzeichnungsbereich mittels Drucktechnik, Lasermarkierung, Ätzgravur, Einstanzen und/oder Etikettierung angeordnet ist.
EP23818351.1A 2022-12-07 2023-12-04 Verfahren zur optischen kalibrierung und identifizierung Pending EP4629870A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022132577.6A DE102022132577A1 (de) 2022-12-07 2022-12-07 Verfahren zur Optischen Kalibrierung und Identifizierung
PCT/EP2023/084120 WO2024121056A1 (de) 2022-12-07 2023-12-04 Verfahren zur optischen kalibrierung und identifizierung

Publications (1)

Publication Number Publication Date
EP4629870A1 true EP4629870A1 (de) 2025-10-15

Family

ID=89122164

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23818351.1A Pending EP4629870A1 (de) 2022-12-07 2023-12-04 Verfahren zur optischen kalibrierung und identifizierung

Country Status (3)

Country Link
EP (1) EP4629870A1 (de)
DE (1) DE102022132577A1 (de)
WO (1) WO2024121056A1 (de)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7547277B2 (en) * 2005-12-15 2009-06-16 Microvision, Inc. Method and apparatus for calibrating an endoscope system
DE102015212352A1 (de) 2015-07-01 2017-01-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren, Anordnung und Computerprogrammprodukt zur Lageerfassung eines zu untersuchenden Objekts
DE102017103804B4 (de) * 2017-02-23 2024-10-17 Schölly Fiberoptic GmbH Endoskopisches Bildaufnahmeverfahren und zugehörige Vorrichtung
US12183038B2 (en) * 2020-10-06 2024-12-31 Asensus Surgical Europe Sàrl Camera calibration using fiducial markers on surgical tools
WO2022251814A2 (en) 2021-05-24 2022-12-01 Stryker Corporation Systems and methods for generating three-dimensional measurements using endoscopic video data

Also Published As

Publication number Publication date
DE102022132577A1 (de) 2024-06-13
WO2024121056A1 (de) 2024-06-13

Similar Documents

Publication Publication Date Title
EP2467051B1 (de) Bildverarbeitungssystem mit einer zusätzlichen zusammen mit der bildinformation zu verarbeitenden massstabsinformation
DE10344922B4 (de) Rundum-Scanner
DE112010006052T5 (de) Verfahren zum Erzeugen stereoskopischer Ansichten von monoskopischen Endoskopbildern und Systeme, die diese verwenden
EP3289398B1 (de) Verfahren zum generieren eines reflexionsreduzierten kontrastbildes und diesbezügliche vorrichtungen
EP3558160B1 (de) Verfahren zur ausrichtung einer kamera oder scanvorrichtung mit einem dentalhilfselement
DE102016002186A1 (de) Verfahren und Bildverarbeitungsvorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes
EP2147346B1 (de) Vorrichtung und verfahren zur kompensation von farbverschiebungen in faseroptischen abbildunssystemen
EP2790408A1 (de) Verfahren zur komprimierten Speicherung von grafischen Daten
DE102009023722A1 (de) Verfahren zur Ermittlung und Bewertung des Tragbilds von Zahnrädern
DE10126546A1 (de) Vorrichtung und Verfahren zur Ermittlung eines ortsabhängigen Intensitäts- und Farbprofils und/oder Schärfeprofils optischer Linsensysteme
DE102018125422B4 (de) Verfahren zum Prüfen oder Kalibrieren einer Stereo-Bilderfassungsvorrichtung
EP4629870A1 (de) Verfahren zur optischen kalibrierung und identifizierung
DE102013223958A1 (de) Verfahren und Vorrichtung zur dentalen Bildgebung
DE102023200671B3 (de) Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und Operationsmikroskop
EP4093018B1 (de) Verfahren zur medizinischen bildgebung und medizinische bildgebungsvorrichtung
WO2023139251A1 (de) Messvorrichtung und messverfahren zum überprüfen eines messbildzustandes
EP3077765B1 (de) Verfahren zum auslesen eines zweidimensionalen codes mittels einer kamera zur dreidimensionalen optischen vermessung von objekten
EP0561228A2 (de) Verfahren und Anordnung zur Farbbildendoskopie mit Farbtransformation
EP4260557A1 (de) Verfahren zum kalibrieren einer medizinischen bildgebungsvorrichtung sowie medizinische bildgebungsvorrichtung
EP3089105A1 (de) Verfahren zum generieren eines kontrastbildes einer objektbeschaffenheit und diesbezügliche vorrichtungen
AT507939B1 (de) Verfahren zum automatisierten nachweis eines defektes an einer oberfläche eines formteils
DE102009054704A1 (de) Mikroskop zur Aufnahme eines Mosaikbildes sowie Aufnahmeverfahren für ein solches Mikroskop
DE102023135587B4 (de) Bildgebungsvorrichtung mit verbesserter Bildverarbeitung sowie Bildverarbeitungsverfahren
EP4171435B1 (de) Verfahren zur digitalen erfassung einer intraoralen struktur und system zur durchführung des verfahrens
EP3798570B1 (de) Verfahren zur kalibrierung eines optischen messsystems, optisches messsystem und kalibrierobjekt für ein optisches messsystem

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250623

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)