EP3332354A1 - Dispositif et procédé de détection automatique d'un outil chirurgical sur une image fournie par un système d'imagerie médicale - Google Patents

Dispositif et procédé de détection automatique d'un outil chirurgical sur une image fournie par un système d'imagerie médicale

Info

Publication number
EP3332354A1
EP3332354A1 EP16757322.9A EP16757322A EP3332354A1 EP 3332354 A1 EP3332354 A1 EP 3332354A1 EP 16757322 A EP16757322 A EP 16757322A EP 3332354 A1 EP3332354 A1 EP 3332354A1
Authority
EP
European Patent Office
Prior art keywords
image
window
surgical tool
pixels
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16757322.9A
Other languages
German (de)
English (en)
Inventor
Sandrine Voros
Anthony AGUSTINOS
Arnold FERTIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Institut National de la Sante et de la Recherche Medicale INSERM
Universite Grenoble Alpes
Original Assignee
Centre National de la Recherche Scientifique CNRS
Institut National de la Sante et de la Recherche Medicale INSERM
Universite Grenoble Alpes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Institut National de la Sante et de la Recherche Medicale INSERM, Universite Grenoble Alpes filed Critical Centre National de la Recherche Scientifique CNRS
Publication of EP3332354A1 publication Critical patent/EP3332354A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Definitions

  • the present application relates to computer-assisted surgical procedures in which the surgeon performs the procedure with the assistance of images provided by a medical imaging system.
  • the present invention more particularly relates to a device and a method for automatic detection of surgical tools on the images provided by the medical imaging system.
  • the abdominal cavity of a patient is inflated with carbon dioxide.
  • Small incisions are made on the abdominal wall and a trocar is inserted into each incision.
  • the number of incisions depends on the type of intervention envisaged and generally varies from 2 to 5.
  • Each trocar corresponds to a hollow and sealed tube in which a surgical tool is slidable.
  • An endoscope and surgical tools are introduced into the abdominal cavity via the trocars.
  • the image provided by the endoscope is captured by a camera and displayed on a display screen.
  • an assistant moves the endoscope according to the instructions given by the surgeon.
  • the surgeon manipulates the surgical tools in the abdominal cavity according to the intervention to be performed.
  • Positioning systems can be used to move the endoscope in place of an assistant.
  • These are, for example, the system marketed by Computer Motion under the name Aesop, the system marketed by Armstrong Healthcare under the name EndoAssist or the system marketed by Intuitive Surgical under the name da Vinci Surgical System. .
  • US 8391571 discloses a method for determining the position of a surgical tool on video images.
  • the positioning system of the endoscope can then be controlled automatically from the determined positions of the surgical tools and, for example, an initial command of the surgeon.
  • a disadvantage of the method described in US8391571 is that it requires the prior determination of the position of the incision point of the surgical tool. This can especially be achieved by a probe whose position is identified by a location device or by triangulation from two images provided by the endoscope. This prior step can be complex to implement.
  • the present application aims to overcome all or part of the disadvantages of automatic detection methods of surgical tools on images provided by a medical imaging system.
  • Another object of an embodiment is not to require the prior determination of the position of the incision of the surgical tool by a localization device.
  • the detection of surgical tools is carried out in real time.
  • an embodiment provides a method of detecting a surgical tool on a first image comprising the following steps:
  • the surgical tool has an elongated shape, the lateral edges of the surgical tool in the third image corresponding to straight lines.
  • candidate rights classified according to a ranking order are determined by applying a Hough transformation to the portion of the third image contained in the second window and the side edges are determined from the candidate lines from the shape parameters.
  • the second window is rectangular and divided into a first sub-window and a second sub-window
  • a first lateral edge corresponds to the candidate right of ranking in the first sub-window and inclined by relative to the major axis of symmetry of the second window is smaller than a first threshold
  • a second lateral edge corresponds to the candidate right of best ranking in the second sub-window, whose inclination relative to the major axis of symmetry of the second window is less than the first threshold and whose distance with the first lateral edge is between a second threshold and a third threshold which depend on the width of the second window.
  • the first processing comprises binarizing the first image and determining the second image from the determination of the distance map of the binarized image.
  • the second processing comprises applying the Frangi algorithm to the first image with a search parameter, representative of the number of pixels of the apparent diameter of tubular structures sought by the Frangi algorithm, less than 10 pixels.
  • the first image is a grayscale image obtained from the 'a' or 'b' component of a fourth image acquired by a camera and coded in the CIE Lab color space.
  • the first windows are rectangular and the second window is selected by retaining only the first windows whose length is greater than half the width.
  • the first image is obtained from a fourth image acquired by a camera, the method further comprising the following steps:
  • the method further comprises the following steps:
  • the method comprises the following steps:
  • Another embodiment provides a device for detecting a surgical tool on a first image, comprising:
  • FIG. 1 schematically represents an embodiment of a device for controlling an endoscope positioning system implementing the method for detecting surgical tools
  • Figure 2 illustrates, in the form of a block diagram, an embodiment of a method for detecting surgical tools
  • FIGS. 3 to 7 are examples of images determined at different stages during the implementation of the embodiment of the method for detecting surgical tools illustrated in FIG. 2;
  • Figure 8 illustrates an embodiment of a method of determining the edges of a surgical tool in an image
  • FIG. 9 illustrates the relationship between the position of a point of space and the projection of this point on the image plane of a camera; and Figures 10 and 11 illustrate an embodiment of a method for determining the central axis of a surgical tool.
  • FIG. 1 represents an embodiment of a device 5 for controlling a positioning system 10 of an endoscope 12 implementing the method for detecting surgical tools according to the invention.
  • the positioning system 10 is placed on the abdomen 14 of a patient whose abdominal cavity has been filled with gas.
  • the positioning system 10 maintains a trocar 15 containing the endoscope 12 and penetrating into the abdominal cavity through an incision 16.
  • a camera 17 is attached to the end of the endoscope 12 outside the endoscope 12. abdominal cavity.
  • the positioning system 10 is of the type allowing a displacement of the trocar 15 and the endoscope 12 according to a certain number of degrees of freedom, for example a degree of freedom of translation and two degrees of freedom of rotation.
  • the positioning system can directly hold the endoscope 12, and move the trocar 15 through the endoscope 12.
  • the images captured by the camera 17 are transmitted to an image acquisition system 20 adapted to display the video images on a display screen 22.
  • the acquisition system 20 is connected to an acquisition card 24 by intermediate of a link 26, for example an S-VIDEO cable, or a digital cable, for example an HDMI cable or a USB cable.
  • the acquisition card 24 is connected to a processing module 28, via a link 29, for example a Fire-Wire cable (IEEE cable 1394). Alternatively, the acquisition card can be directly integrated in the processing module 28.
  • the processing module 28 may comprise a processor, a microprocessor or microcontroller adapted to execute the instructions of a computer program stored in a memory .
  • the acquisition card 24 performs a pre-processing of the video images which are transmitted to the processing module 28.
  • the processing module 28 is adapted, as is explained in more detail below, to analyze the video images to detect the presence of video. surgical tools on the images.
  • the processing module 28 is, moreover, adapted to transmit displacement commands to a control box 30 via a link 32.
  • the control unit 30 is adapted to translate the displacement commands transmitted on the link 32 to control signals of the positioning system 10 and to transmit the control signals to the positioning system 10 via a link 34.
  • the surgeon can activate or deactivate the control box 30 via a
  • the surgeon may provide instructions to the treatment module 28 via a man / machine interface 38 which may include a voice-activated system, a system for detecting the movements of the surgeon's head, and / or a foot control system.
  • the positioning system 10 corresponds, for example, to the positioning system described in the patent US8591397.
  • the endoscope 12 may have the appearance of a cylindrical tube of axis ⁇ about forty centimeters in length and a few centimeters in diameter.
  • the axis ⁇ corresponds, for example, to the optical axis of the endoscope 12 and the camera 17.
  • the positioning system 10 is adapted to modify the inclination of the trocar 15 with respect to the center 0, that is, that is to say to modify the inclination of the axis ⁇ relative to the center 0 and to slide the endoscope 12 in the trocar 15 along the axis ⁇ .
  • the positioning system 10 previously described makes it possible to move the endoscope 12 according to two degrees of freedom of rotation and a degree of freedom of translation from control signals provided by the control box 30.
  • Additional trocars 40, 41 are disposed at incisions 42, 43 of small dimensions made in the abdominal wall 14 of the patient.
  • the additional trocars 40, 41 allow the introduction of surgical tools 44, 45, partially shown in Figure 2, in the abdominal cavity.
  • the trocars 40, 41 may not be present and the surgical tools 44, 45 may be inserted directly through the incisions 42, 43.
  • R Q (0, x, y, Z) a marker, e.g. orthonormal, whose origin 0 corresponds for example to a "fixed point" of the positioning system 10, for example substantially the intersection between the axis ⁇ and the incision 16.
  • the axes (Ox) and (Oy) correspond to two axes perpendicular to each other and perpendicular to the axis (Oz) which is perpendicular to the abdominal wall 14 at the level of the incision 16.
  • the mark R Q is considered to be fixed relative to the patient during the surgical procedure.
  • the camera 17 and the endoscope 12 are, in operation, fixed relative to each other.
  • C a point fixed with respect to the camera 17, located on the axis ⁇ , at a distance r from the point 0.
  • the angle ⁇ corresponds to the angle between the axis ⁇ and the axis (Oz) and the angle ⁇ corresponds to the angle between the projection of the axis ⁇ in the plane (Oxy) and the axis (Ox).
  • the coordinates of point C in the RO frame are (rsinBcoscp, rsinBsincp, rcosB).
  • R Q C, ⁇ B, ⁇ g, ⁇ ⁇
  • the reference R Q is a fixed reference with respect to the camera 17.
  • (X, Y, Z) the coordinates of any point P expressed in the reference
  • FIG. 2 illustrates the steps of an embodiment of a method for detecting surgical tools on an image supplied by the camera 17 implemented by the processing module 28 and Figures 3 to 6 show images determined at certain stages of this detection method.
  • the method is implemented for each new image IQ acquired by the acquisition system 20 and transmitted to the processing module 28.
  • the image IQ is formed in the image plane PI of the camera 17.
  • the image IQ is composed of a matrix of pixels.
  • step S1 the processing module 28 performs IQ image processing to change how the color data is encoded for each pixel in the image.
  • the color data of each image pixel can be encoded in the Red Green Blue or RGB color space.
  • the processing module 28 may determine a new image I] _ for which the color data of each pixel are stored in a color space suitable for human perception, e.g. HSV color spaces, CIE Lab, or CIE Luv.
  • the processing module 28 converts the image into an image Ig I] _ coded in an independent color space the type of camera 7 used.
  • the brightness of the image is coded separately from the actual color of the image.
  • the color data is preferably stored as three components including a component that is representative of the luminance of the pixel and two components that are representative of the chrominance of the pixel.
  • the components that are representative of the chrominance are therefore independent of the illumination of the scene. The process continues in step 52.
  • FIG. 3 represents, in grayscale, the component 'a' of an exemplary image I ] _ in the CIE Lab color space.
  • Continuous line 46 corresponds to the physical limit of image I ] _.
  • image I ] _ shown in Figure 3 there is a gray area 47, darker than the rest of the image, which corresponds to a surgical tool.
  • FIG. 3 shows the reference R PI (Q, ⁇ , ⁇ ).
  • step S2 the processing module 28 determines a new image ⁇ 2 by binarization of the image I ] _.
  • the components representative of the chrominance of the image I ] _ are used to perform the binarization, for example the components a and b of the CIE Lab color space or the components u and v of the CIE Luv color space.
  • only one of the components representative of the chrominance of the image I ] _ is used to perform the binarization.
  • An example of a binarization process is Otsu's method. The Otsu method is, for example, described in the publication entitled "A threshold selection method from gray level histograms" by N. Otsu, IEEE Trans.
  • the binarization can be performed by determining, for all the pixels of the image I ] _, from the representative chrominance components, a histogram of a representative H function the color of the pixel, according to a number of levels, or color classes, which depends on the precision used for the coding of the function H.
  • a threshold is then defined according to the method of Otsu. Pixels for which the function H is below the threshold are then assigned a first color class, for example the lowest color class of the histogram, and the pixels for which the function H is greater than the threshold are assigned a second class.
  • the image I2 obtained after the binarization step comprises two pixel classes that can be represented by black pixels and white pixels.
  • the surgical tools belong to the first class of pixels while the soft tissues belong to the second class of pixels.
  • the white color can be assigned to the pixels of the first class and the black color can be assigned to the pixels of the second class.
  • the pixels of the first class form regions in the image that can potentially correspond to surgical tools. These regions are called potential regions afterwards.
  • the threshold can be determined from the histogram of the selected color component of the image I ] _.
  • FIG. 4 represents an exemplary image ⁇ 2 obtained from the image I ] _ of FIG. 3 after the implementation of steps S1 and S2.
  • the image ⁇ 2 includes several white regions 48, some of which are interconnected and only one of which corresponds to a surgical tool. As shown in FIG. 4, the image ⁇ 2 obtained is a very noisy image. The process continues in step S3.
  • the module 28 determines a new image I3 by image processing ⁇ 2 so as to remove some regions 48 of the image ⁇ 2 of dimensions too small and which can not correspond to a surgical tool and to isolate the regions 48 which could correspond to a surgical tool.
  • the image processing ⁇ 2 may include determining a distance map, also called a distance transform, which associates with each pixel of the image ⁇ 2 the distance to the nearest obstacle point, and the determination of an I3 grayscale image from the distance map.
  • the obstacle points are the black pixels.
  • the distance may correspond to the Euclidean distance, the distance from Manhattan or the distance from Chebyshev.
  • FIG. 5 represents an exemplary image I 3 obtained from the image I2 after the implementation of step S3.
  • the image I 3 comprises regions 50 comprising white or grayscale pixels and substantially corresponding to the regions 48 of the image I2 having large areas. In particular, the regions 48 of small dimensions have disappeared, the corresponding pixels now being black.
  • the edge 51 of each region 50 of the image I 3 comprises a continuous transition in gray levels from white to black. The process continues in step S4.
  • step S4 the module 28 determines, for each region
  • each pixel of region 50 which is in gray levels, can be considered a white pixel.
  • the outline of each region 51 can be searched in the form of a broken line.
  • the module 28 determines, for each region 50 of the image I 3, a window, for example rectangular having the minimum area and whose sides are in contact with the contour of the region 50.
  • the module 28 determines and stores data relating to the window F, for example the position of the center of the window in the image I3, the width of the window F, the length of the window F, the area of the window and the orientation of the major axis of symmetry of the window F.
  • the module 28 can make a first selection among the windows F thus determined keeping only the windows that meet certain criteria. These criteria are defined in particular according to the expected shape of the surgical tools on the I3 image.
  • An example of a criterion is that the ratio between the length and the width of the window F must be greater than two, which corresponds to the fact that the surgical tool has an elongated shape.
  • Another example of a criterion is that the area of the window F must be greater than a threshold. This allows you to exclude windows that are too small to match the potential presence of an instrument. For example, the minimum threshold for the area of the window may be 200 pixels.
  • the processing module 28 has determined windows of interest F in each of which a surgical tool may be present. The process continues in step S5.
  • step S5 the module 18 can implement a second selection among the windows of interest F selected after the first selection.
  • the second selection can be made from information from the detection of surgical tools on a previous image.
  • Step S5 may not be implemented during the acquisition of the initial images by the acquisition system 20 and may be implemented only when surgical tools are detected on the images provided by In one embodiment, this information may include the position of the insertion point of the surgical tool in the plane of the image and / or the position of the edges of the surgical tool in the implant. image plane which are determined at later stages of the method described hereinafter.
  • One criterion may be that the major axis of symmetry of a window of interest F containing a tool The surgical site must pass close to the insertion point of this surgical tool.
  • the windows of interest F preserved at the end of step S5 are called selected windows Fg.
  • step S5 may not be present. The process continues in step S7.
  • the method further comprises a step S6 which can be performed independently and in parallel with the steps S2 to S5 described above.
  • the processing module 28 determines a new image I4 by applying to the image I ] _ a treatment which highlights the contours of the elements present in the image I ] _, and in particular the contours of the surgical tools.
  • the processing implements the Frangi algorithm.
  • Frangi's algorithm is described in particular in the publication by Frangi et al entitled "Multiscale vessel ennhancement filtering" MICCAI '98 Lecture Notes in Computer Science, vol. 1496, PP. 130-137.
  • the Frangi algorithm is used to make tubular elements, in particular blood vessels, appear more clearly on an image.
  • the Frangi algorithm is not used conventionally for contour detection.
  • the Frangi algorithm uses a search parameter that is representative of the number of pixels of the image corresponding to the apparent diameter of the tubular structures sought on the image.
  • the inventors have demonstrated that by using the Frangi algorithm with a search parameter corresponding to less than 10 pixels, preferably less than 5 pixels, in particular about 2 pixels, that is to say at a value lower than those conventionally used and less than the apparent diameter of the surgical tools in the image I4, the contours of the elements of the image I3 appear more clearly in the image I4.
  • FIG. 7 represents an exemplary image I4 obtained from the image I ] _ after the implementation of step S6.
  • step S7 the module 28 searches, for each selected window Fg in step S5, the edges D ] _, D2 of a possible surgical tool in the part of the image I4 determined in step S6 contained in the selected window Fg.
  • the detection method is based on the fact that each surgical tool has a shape known in advance which is generally at least partly cylindrical or frustoconical. In this case, the edges of the surgical tool in the I4 image have a rectilinear shape.
  • each selected window Fg is divided, according to the major axis of symmetry of the window, into a first subregion and a second subregion. When a surgical tool is present in the portion of the image I4 contained in the window Fg, each sub-window must contain a single edge of the surgical tool.
  • Figure 8 schematically shows a window Fg divided into two subwindows F ] _ and F2.
  • the angle ⁇ corresponds to the orientation of the window Fg, that is to say the angle between the long side of the window Fg and a preferred direction, for example the axis (Q, ⁇ ⁇ ) of the reference Rp j .
  • the width of the small side of the window Fg is denoted L.
  • the processing module 28 implements a pattern recognition method in each sub-window F] _ and F2.
  • the treatment module 28 implements a method for recognizing lines in each sub-window F ] _ and F2.
  • the processing module 28 implements the Hough transform described for example in the book "Use of the Hough Transformation to Detect Lines and Curves in Pictures” by Richard 0. Duda and Peter E. Hart , Communications of the ACM, Vol. 15 (1), pp. 11-15, 1972.
  • the Hough transform provides for each pane F] _ and F2 several straight candidates ranked the best candidate to candidate worst.
  • the processing module 28 realizes a selection of the candidate lines provided by the Hough transform for the sub-window F ] _.
  • Each candidate line of the sub-window F ] _ is defined by an angle a which is the angle between the candidate line of the sub-window F ] _ and the preferred direction.
  • the processing mode compares the angle to candidate lines with the angle ⁇ .
  • the edge D ] _ of the surgical tool in the sub-window F ] _ corresponds to the candidate line having the best classification and whose angle a satisfies the following relation (1):
  • the processing module 28 then performs a selection of the candidate lines provided by the Hough transform for the sub-window F2.
  • Each candidate right pane F2 is defined by an angle p which is the angle between the candidate of the right pane F2 and the preferred direction and the mean distance d with the edge D] _ of the sub- window F ] _.
  • the processing mode compares the angle p of the candidate lines with the angle ⁇ and compares the distance d with the width L, expressed in numbers of pixels.
  • the edge D2 of the surgical tool in the sub-window F2 corresponds to the candidate straight line having the best classification satisfying the following relationships (2):
  • the processing module 28 concludes that a surgical tool is present in the selected window.
  • the selected windows Fg in which surgical tools are detected are called instrument windows F j .
  • the processing module 28 stores data such as the position and orientation of the instrument F j corresponding window and the two edges D] _, D2 of the surgical tool.
  • the position and orientation of each instrument window F j can be used by the module 28 in step S5 when processing the next image acquired by the camera 17. The process continues at step S8.
  • step S8 the processing module 28 determines the axis of symmetry of revolution A ⁇ D, also called central axis, of each surgical tool in the reference frame RQ.
  • the processing module 28 determines the axis of symmetry of revolution A ⁇ D in the reference RQ.
  • it is planned, before the surgical procedure, a step of calibration or calibration of the positioning system 10 which consists of determining the passage matrix for obtaining the coordinates (1, m, n) of a point P expressed in the reference RQ from the coordinates (X, Y, Z) expressed in the reference RQ and the relationship between the displacement commands provided by the processing module 28 to the control box 30 and the evolution of the parameters r , ⁇ and ⁇ .
  • the processing module 28 is then adapted to determine at any time the position of the reference RQ relative to the reference RQ from the movement commands supplied to the control box 30.
  • the reference marks RQ and RQ can be defined differently from what has been previously described. The only condition is that the reference RQ can be considered as being fixed relative to the patient during the intervention, that the reference RQ can be considered as being fixed with respect to the camera during the intervention and that one can determine at any time the position of the reference RQ relative to the reference RQ.
  • FIG. 9 diagrammatically shows the marks RQ and RQ whose origins 0 and C are situated on the optical axis ⁇ of the endoscope 12.
  • the camera 17 operates according to a pinhole camera model.
  • a camera model is described, for example, in the book entitled “Three Dimensional Computer Vision - A Geometry Viewpoint” by Olivier Faugeras, series: Artificial Intelligence, the MIT Press, Cambridge Massachussets, ISBN 0-262-6158- 9 (chapter 3).
  • the camera 17 can then be represented by a projection center F and the image plane PI.
  • the image plane PI corresponds to the plane in which the images captured by the camera 17 and transmitted to the acquisition system 20 are formed.
  • the image plane PI and the projection center F are fixed with respect to the reference mark RQ. Any point P of the space is projected in the image plane PI to form a point I.
  • the two-dimensional reference frame Rp j (Q, ⁇ ⁇ , ⁇ B) associated with the image plane PI is represented.
  • another camera model than the pinhole model can be used, for example a fisheye camera model.
  • any camera model which specifies the transformation associating with each point P of any space the corresponding point I in the PI image plane, can be used.
  • a step of calibrating or calibrating the camera 17 is provided. This consists in defining the passage matrix that makes it possible to obtain the coordinates (u, v) of the point I expressed in the reference Rp j to from the coordinates (1, m, n) of the point P expressed in the reference RQ.
  • the point I corresponds to the point of intersection between the image plane PI and the straight line passing through the point P and the projection center F.
  • the transit matrix is obtained from the coordinates of the point F and the equation of the image plane PI expressed in the reference R Q and which depend on the technical characteristics of the camera 17 used.
  • Other camera models can be used.
  • the calibration step of the camera 17 can be performed during the surgical procedure by a calibration process called "online" from the analysis of images acquired by the camera 17 to during the surgical operation.
  • the processing module 28 can determine, for any coordinate point P (X, Y, Z) in the fixed coordinate system R Q , the coordinates (u, v) of the point I, projection of the point P in the image plane PI, regardless of the position of the camera 17 in the frame R Q.
  • FIG. 10 schematically shows the surgical tool 44, the projection center F, the optical axis ⁇ and the image plane PI of the camera 17.
  • the edges D are represented. _, D2 of the surgical tool determined in step S7.
  • the processing module 28 determines the equation in the reference frame R Q of the plane ⁇ ] _ passing through the edge D] _ and the projection center F and the equation in the frame R Q of the plane ⁇ 2 passing through the edge D2 and the projection center F.
  • rfj * the vector normal to the plane
  • the surgical tool 44 having a cylindrical shape, the planes ⁇ ] _ and ⁇ 2 are tangent to the tool 44.
  • the intersection of the planes ⁇ ] _ and ⁇ 2 is a line D of vector director v and passing through the center of projection F.
  • the line D is parallel to the central axis A3p.
  • Figure 11 is a sectional view of the surgical tool 40 in a plane perpendicular to the vectors 3 ⁇ 4 and 3 ⁇ 4.
  • the tool 44 corresponds to a circle CI tangent to the planes ⁇ ] _ and ⁇ 2 and whose radius r is known.
  • the module can then determine the position in the reference RQ of the center of the circle CI which corresponds to the passage point M.
  • the central axis A ⁇ D is defined by the waypoint M and the director vector v.
  • the processing module 28 determines the projection A2D of the central axis A ⁇ D in the image plane PI of the camera 17.
  • the line A2D obtained corresponds to the central axis of the surgical tool expressed in the reference Rp j .
  • the axis A2D corresponds to the axis of symmetry of the edges of the surgical tool. It should be noted that the axis A2D thus determined does not correspond, except in special cases, to the projection of the central axis A ⁇ D in the image plane PI of the camera since the central projection does not maintain the proportions between the distances .
  • step S9 the processing module 28 determines, for each surgical tool 44, 45, the position in the reference frame RQ of a point Pj ⁇ O 'called insertion point, located substantially in the "center" of the incision 42, 43 through which the surgical tool passes.
  • the processing module 28 uses the positions of the central axis A ⁇ D in the reference frame RQ determined in step S8 for at least two different orientations of the surgical tool.
  • the insertion point P13D corresponds to the point of intersection of the lines corresponding to the different positions of the axis A ⁇ D thus determined.
  • the position of the insertion point is obtained from more than two different orientations of the surgical tool.
  • the insertion points Pj ⁇ O of the surgical tools can be used in step S5 when selecting the windows Fg, a window can be selected only if the large axis of symmetry of the window passes close to one of the insertion points.
  • the insertion points P 1 of the surgical tools may be used in steps S7 and S8 for the detection of edges D 1, D 2.
  • edge detection D 1, D 2 is considered poor if the distance between the associated insertion point P13D and the central axis A D of the surgical tool is greater than a threshold.
  • step S9 is not present.
  • the method further comprises a step S10 for determining, for each surgical tool, the position Pp2D of the tip of the surgical instrument in the reference Rp j of the image plane PI of the camera 17 from the filtered image I4 determined in step S 6 and A2D projection of the central axis in the image plane PI determined in step S8.
  • the axis A2D can, according to one embodiment, the processing module 28 search, among the pixels of the axis A2D, a group of successive pixels, comprising for example at least three successive pixels, having a maximum gray level. The tip of the surgical tool corresponds to the group of pixels thus determined.
  • the search for groups of pixels can only be carried out on the parts of the A2D axis that are close, for example to plus or minus 100 pixels, of the sides of the selected window Fg, determined in FIG. step S5, and containing the A2 axis surgical tool ) .
  • the processing module 28 implements a method for selecting pixels based on the Otsu method. It may be necessary, in order to more finely determine the position of the tip of the tool, to consider in more detail the pixels of the central axis around the tip of the tool and to apply color constraints to them to determine if indeed, they belong or not to the tool.
  • the processing module 28 therefore determined for each surgical tool, the central axis, the edges and the tip. The process continues in step SU.
  • step SU the module 28 determines, for each surgical tool, the insertion depth E of the surgical tool relative to the associated passage point M from the position Pp2D of the tip of the surgical tool in the reference Rpj determined in step S10, the position of the point of passage M in the reference frame RQ and the director vector v of the central axis A313.
  • the treatment module 28 can then determine, for each surgical tool, the position Pp3D of the tip of the surgical tool in the reference frame RQ from the position of the point of passage M, the depression E and the director vector v according to the following relation (3):
  • the vector u which passes through the center C of the camera and the point Pp2D of the image I4, expressed in the reference frame RQ, is determined at from the calibration parameters of the camera 17. It is then determined the intersection between the line passing through the point C and having the vector u as a direction vector and the line passing through the waypoint M and having the vector v as vector director.
  • the present invention allows the implementation of complex displacement commands by the processing module 28 for the displacement of the positioning system 10 of the camera 17.
  • the processing module 28 can control the positioning system 10 to move the endoscope 12 until the tip of a particular surgical tool is at the center of the image provided by the camera 17.
  • the surgeon can provide a control of the "center on identification "to the processing module 28 via the voice control system 38.
  • the processing module 28 can then detect the tools present on the image provided by the camera 17. If the tip of the tool corresponding to the identifier provided by the surgeon is present on the image, the processing module 28 then controls the system of positioning 10 to move the endoscope 12 so that the tip of the tool is at a predefined central region of the image.
  • the processing module 28 is adapted to control the system. positioning 10 to move the endoscope 12 to the tip of the tool since the position of the insertion point associated with the tool is known. If the tool corresponding to the identifier provided by the surgeon is not present on the image, the control module 28 can control the positioning system 10 to orient the endoscope 12 towards the insertion point associated with the the desired tool. The tool must then be on the image provided by the camera 17 and the centering on the tip of the tool is performed as described above.
  • control is to move the endoscope 12 so that the tip of a surgical tool is permanently at the central region of the image provided by the camera 17.
  • the surgeon can provide a command of the "follow identifier" type to the processing module 28 via the voice control system 38.
  • the processing module 28 controls the positioning system 10 as previously described to center the image provided by the camera 17 on the tip of the tool corresponding to the identifier provided by the surgeon. Subsequently, for each new image received by the processing module 28, the module 28 controls the positioning system 10 to refocus, if necessary, the image on the tip of the tool.
  • control is to command an "enlargement" of the image at the tip of a particular tool.
  • the surgeon can provide a command of the "zoom on identifier" type to the processing module 28 via the voice control system 38.
  • the processing module 28 controls the positioning system 10 as has been described. previously to center the supplied image by the camera 17 on the tip of the tool corresponding to the identifier provided by the surgeon.
  • the processing module 28 can then determine the distance between the edge lines associated with the tool considered at the tip of the tool and deduce a value representative of the enlargement of the image.
  • the treatment module 28 can then control the positioning system 10 to move the endoscope 12 to increase or reduce such magnification to achieve a predetermined magnification or magnification provided by the surgeon.
  • the camera 17 may include an enlargement function (zoom).
  • the processing module 28 is then adapted to control the enlargement function of the camera 17 from the detection of the distance between the lines.
  • the duration of the processing of an image by the processing module 28 may vary from a few tens of milliseconds to a hundred milliseconds.
  • the processing module 28 can therefore receive new images to be processed at a high frequency.
  • the method of detecting surgical tools according to the invention can therefore be implemented in real time.
  • the present invention thus makes it possible, during a surgical procedure, to relieve the surgeon who does not have to systematically control each movement of the endoscope 12.
  • the commands previously described enable the surgeon to devote all his attention to the surgical operation, the processing module 28 controlling parallel movements of the endoscope 12 automatically according to the initial command provided by the surgeon.
  • the present invention can also be implemented when the surgical tools do not have a cylindrical shape.
  • the preceding embodiment can be directly applied to a tool having an elongated shape and whose projection in a plane comprises straight edges. This is the case for a conical, prismatic, pyramidal shape, etc. More generally, even for tools with more complex shapes, characteristic geometrical parameters of the tools can be memorized at the level of the processing module 28. The steps of the method for detecting the previously described tools can then be adapted according to the characteristic geometrical parameters of each surgical tool.
  • the detection method described above allows the detection of the position of the surgical tool, more specifically the determination of the central axis A ⁇ D of a surgical tool, in the reference R Q.
  • the surgical tool can be carried by a robot.
  • the position of the surgical tool relative to a reference RR linked to the robot is generally known.
  • the processing module 28 can thus determine the relation of passage between the marks R Q and RR.
  • the robot carrying the surgical tool can thus be separated from the system.
  • the geometric model of the robot, from which the position of the tool Surgical can be expressed in the reference R Q can be imprecise.
  • the detection of the position of the surgical tool in the reference frame R Q may then advantageously make it possible to compensate at least in part for the inaccuracy of the geometric model of the robot.
  • the detection of the position of the surgical tool in the reference mark R Q can to improve the calibration of the arms relative to each other.
  • the detection of the position of the surgical tool in the frame R Q can be used to record the movements of the surgical tool directed by the surgeon during the procedure, especially for learning purposes or for the analysis of the surgical procedure.
  • the present invention is susceptible of various variations and modifications which will be apparent to those skilled in the art.
  • the present invention has been described for surgical procedures, for which the video images are provided by a camera attached to an endoscope, the present invention can be applied to any type of image provided by a camera system.
  • medical imaging include, for example, ultrasound images, fluoroscopic images or scanner images.
  • the present invention has been described for a particular example of a positioning system, it can be applied to any type of positioning system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

L'invention concerne un procédé de détection d'un outil chirurgical sur une première image comportant les étapes suivantes : mémoriser des paramètres de forme de l'outil chirurgical; déterminer une deuxième image (I3) contenant des régions de pixels distinctes à partir de la première image par un premier traitement comprenant la segmentation de la première image; déterminer des premières fenêtres (F), chaque première fenêtre entourant l'une des régions; sélectionner au moins une deuxième fenêtre parmi les premières fenêtres à partir des paramètres de forme; déterminer une troisième image à partir de la première image en appliquant à la première image un deuxième traitement mettant en oeuvre 1 ' algorithme de Frangi; et déterminer des bords latéraux de l'outil chirurgical sur la partie de la troisième image contenue dans ladite deuxième fenêtre.

Description

DISPOSITIF ET PROCEDE DE DETECTION AUTOMATIQUE D'UN OUTIL CHIRURGICAL SUR UNE IMAGE FOURNIE PAR UN SYSTEME D'IMAGERIE
MEDICALE
La présente demande de brevet revendique la priorité de la demande de brevet français FR15/57508 qui sera considérée comme faisant partie intégrante de la présente description.
Domaine
La présente demande concerne les interventions chirurgicales assistées par ordinateur dans lesquelles le chirurgien pratique l'intervention avec l'assistance d'images fournies par un système d'imagerie médicale. La présente invention concerne plus particulièrement un dispositif et un procédé de détection automatique d'outils chirurgicaux sur les images fournies par le système d'imagerie médicale.
Exposé de 1 ' art antérieur
Lors d'une intervention chirurgicale coelioscopique, la cavité abdominale d'un patient est gonflée à l'aide de dioxyde de carbone. Des incisions de petites dimensions sont réalisées sur la paroi abdominale et un trocart est introduit dans chaque incision. Le nombre d'incisions dépend du type d'intervention envisagée et varie en général de 2 à 5. Chaque trocart correspond à un tube creux et étanche dans lequel est susceptible de coulisser un outil chirurgical. Un endoscope et des outils chirurgicaux sont introduits dans la cavité abdominale par 1 ' intermédiaire des trocarts . L'image fournie par l'endoscope est captée par une caméra et affichée sur un écran d'affichage. Au cours de l'intervention chirurgicale, un assistant déplace l'endoscope selon les instructions données par le chirurgien. A l'aide de l'image vidéo fournie par la caméra liée à l'endoscope, le chirurgien manipule les outils chirurgicaux dans la cavité abdominale selon l'intervention à réaliser.
Un avantage d'une intervention chirurgicale coelioscopique est qu'elle est peu traumatisante pour le patient puisque les incisions pratiquées sont de dimensions réduites. Toutefois, le chirurgien ne voit pas directement les extrémités des outils chirurgicaux situées dans la cavité abdominale et dispose seulement de l'image vidéo fournie par la caméra liée à l'endoscope pour pratiquer l'intervention. Une intervention chirurgicale coelioscopique requiert donc une grande expérience de la part du chirurgien.
Des systèmes de positionnement peuvent être utilisés pour déplacer l'endoscope à la place d'un assistant. Il s'agit par exemple du système commercialisé par la société Computer Motion sous l'appellation Aesop, du système commercialisé par la société Armstrong Healthcare sous l'appellation EndoAssist ou du système commercialisé par la société Intuitive Surgical sous l'appellation da Vinci Surgical System.
Le brevet US8391571 décrit un procédé de détermination de la position d'un outil chirurgical sur des images vidéo. Le système de positionnement de l'endoscope peut alors être commandé de façon automatique à partir des positions déterminées des outils chirurgicaux et, par exemple, d'une commande initiale du chirurgien.
Un inconvénient du procédé décrit dans le brevet US8391571 est qu'il nécessite la détermination préalable de la position du point d'incision de l'outil chirurgical. Ceci peut notamment être réalisé par un palpeur dont la position est repérée par un dispositif de localisation ou par triangulation à partir de deux images fournies par l'endoscope. Cette étape préalable peut être complexe à mettre en oeuvre .
Résumé
La présente demande vise à pallier tout ou partie des inconvénients des procédés de détection automatique d'outils chirurgicaux sur des images fournies par un système d'imagerie médicale .
Un autre objet d'un mode de réalisation est de ne pas requérir la détermination préalable de la position de l'incision de l'outil chirurgical par un dispositif de localisation.
Selon un autre objet de la présente invention, la détection des outils chirurgicaux est réalisée en temps réel.
Ainsi, un mode de réalisation prévoit un procédé de détection d'un outil chirurgical sur une première image comportant les étapes suivantes :
mémoriser des paramètres de forme de l'outil chirurgical ;
déterminer une deuxième image contenant des régions de pixels distinctes à partir de la première image par un premier traitement comprenant la segmentation de la première image ;
déterminer des premières fenêtres, chaque première fenêtre entourant l'une des régions ;
sélectionner au moins une deuxième fenêtre parmi les premières fenêtres à partir des paramètres de forme ;
déterminer une troisième image à partir de la première image en appliquant à la première image un deuxième traitement mettant en oeuvre 1 ' algorithme de Frangi ; et
déterminer des bords latéraux de l'outil chirurgical sur la partie de la troisième image contenue dans ladite deuxième fenêtre.
Selon un mode de réalisation, l'outil chirurgical a une forme allongée, les bords latéraux de l'outil chirurgical dans la troisième image correspondant à des droites.
Selon un mode de réalisation, des droites candidates classées selon un ordre de classement sont déterminées en appliquant une transformation de Hough dans la partie de la troisième image contenue dans la deuxième fenêtre et les bords latéraux sont déterminés parmi les droites candidates à partir des paramètres de forme.
Selon un mode de réalisation, la deuxième fenêtre est rectangulaire et divisée en une première sous-fenêtre et une deuxième sous-fenêtre, un premier bord latéral correspond à la droite candidate de meilleur classement dans la première sous- fenêtre et dont 1 ' inclinaison par rapport au grand axe de symétrie de la deuxième fenêtre est inférieure à un premier seuil et un deuxième bord latéral correspond à la droite candidate de meilleur classement dans la deuxième sous-fenêtre, dont l'inclinaison par rapport au grand axe de symétrie de la deuxième fenêtre est inférieure au premier seuil et dont la distance avec le première bord latéral est compris entre un deuxième seuil et un troisième seuil qui dépendent de la largeur de la deuxième fenêtre.
Selon un mode de réalisation, le premier traitement comprend la binarisation de la première image et la détermination de la deuxième image à partir de la détermination de la carte de distances de l'image binarisée.
Selon un mode de réalisation, le deuxième traitement comprend l'application de l'algorithme de Frangi à la première image avec un paramètre de recherche, représentatif du nombre de pixels du diamètre apparent de structures tubulaires recherchées par l'algorithme de Frangi, inférieur à 10 pixels.
Selon un mode de réalisation, la première image est une image en niveaux de gris obtenue à partir de la composante 'a' ou 'b' d'une quatrième image acquise par une caméra et codée dans l'espace de couleurs CIE Lab.
Selon un mode de réalisation, les premières fenêtres sont rectangulaires et la deuxième fenêtre est sélectionnée en ne retenant que les premières fenêtres dont la longueur est supérieure à la moitié de la largeur. Selon un mode de réalisation, la première image est obtenue à partir d'une quatrième image acquise par une caméra, le procédé comprenant, en outre, les étapes suivantes :
déterminer des plans de projection contenant les bords latéraux et un centre de projection de la caméra ; et
déterminer la position d'un axe central de l'outil chirurgical à partir de l'intersection des deux plans de projection, des paramètres de forme et d'un point appartenant à l'axe central.
Selon un mode de réalisation, le procédé comprend, en outre, les étapes suivantes :
déterminer la projection de l'axe central dans la troisième image ;
déterminer les pixels de la projection de l'axe central appartenant à l'outil chirurgical ; et
déterminer le pixel de la projection de l'axe central correspondant à l'extrémité de l'outil.
Selon un mode de réalisation, le procédé comprend les étapes suivantes :
attribuer à chaque pixel de la troisième image de la projection de l'axe central une classe de couleur parmi une première ou une seconde classe de couleur ;
sélectionner un premier groupe de pixels adjacents contenant le plus grand nombre de pixels adjacents de la première classe de couleur et un second groupe de pixels adjacents contenant le plus grand nombre de pixels adjacents de la seconde classe de couleur ; et
sélectionner, parmi le premier ou le second groupe de pixels, le groupe de pixels appartenant à l'outil chirurgical.
Un autre mode de réalisation prévoit un dispositif de détection d'un outil chirurgical sur une première image, comprenant :
un moyen de mémorisation de paramètres de forme de l'outil chirurgical ; un moyen de détermination d'une deuxième image contenant des régions de pixels distinctes à partir de la première image par un premier traitement comprenant la segmentation de la première image ;
un moyen de détermination de premières fenêtres, chaque fenêtre entourant l'une des régions ;
un moyen de sélection d'au moins une deuxième fenêtre parmi les premières fenêtres à partir des paramètres de forme ;
un moyen de détermination d'une troisième image à partir de la première image par un deuxième traitement faisant ressortir les contours de l'outil chirurgical dans la première image ; et un moyen de détermination des bords latéraux de l'outil chirurgical sur la partie de la troisième image contenue dans ladite deuxième fenêtre.
Brève description des dessins
Ces caractéristiques et avantages, ainsi que d'autres, seront exposés en détail dans la description suivante de modes de réalisation particuliers faite à titre non limitatif en relation avec les figures jointes parmi lesquelles :
la figure 1 représente, de façon schématique, un mode de réalisation d'un dispositif de commande d'un système de positionnement d'un endoscope mettant en oeuvre le procédé de détection d'outils chirurgicaux ;
la figure 2 illustre, sous la forme d'un schéma-blocs, un mode de réalisation d'un procédé de détection d'outils chirurgicaux ;
la figure 3 à 7 sont des exemples d'images déterminées à différentes étapes lors de la mise en oeuvre du mode de réalisation du procédé de détection d'outils chirurgicaux illustré en figure 2 ;
la figure 8 illustre un mode de réalisation d'un procédé de détermination des bords d'un outil chirurgical dans une image ;
la figure 9 illustre la relation entre la position d'un point de l'espace et la projection de ce point sur le plan image d'une caméra ; et les figures 10 et 11 illustrent un mode de réalisation d'un procédé de détermination de l'axe central d'un outil chirurgical .
Description détaillée
De mêmes éléments ont été désignés par de mêmes références aux différentes figures. Par souci de clarté, seuls les éléments qui sont utiles à la compréhension des modes de réalisation décrits ont été représentés et sont détaillés. Sauf précision contraire, les expressions "approximativement", "sensiblement", et "de l'ordre de" signifient à 10 % près, de préférence à 5 % près.
La figure 1 représente un mode de réalisation d'un dispositif 5 de commande d'un système de positionnement 10 d'un endoscope 12 mettant en oeuvre le procédé de détection d'outils chirurgicaux selon l'invention. Pour une coelioscopie, le système de positionnement 10 est placé sur l'abdomen 14 d'un patient dont la cavité abdominale a été remplie de gaz . Le système de positionnement 10 maintient un trocart 15 contenant l'endoscope 12 et pénétrant dans la cavité abdominale par 1 ' intermédiaire d'une incision 16. Une caméra 17 est fixée à l'extrémité de l'endoscope 12 à l'extérieur de la cavité abdominale. Le système de positionnement 10 est du type permettant un déplacement du trocart 15 et de l'endoscope 12 selon un certain nombre de degrés de liberté, par exemple un degré de liberté de translation et deux degrés de liberté de rotation. A titre de variante, le système de positionnement peut maintenir directement l'endoscope 12, et déplacer le trocart 15 par l'intermédiaire de l'endoscope 12.
Les images captées par la caméra 17 sont transmises à un système d'acquisition d'images 20 adapté à afficher les images vidéo sur un écran d'affichage 22. Le système d'acquisition 20 est relié à une carte d'acquisition 24 par l'intermédiaire d'une liaison 26, par exemple un câble S-VIDEO, ou un câble numérique, par exemple un câble HDMI ou un câble USB. La carte d'acquisition 24 est reliée à un module de traitement 28, par l'intermédiaire d'une liaison 29, par exemple un câble Fire-Wire (câble IEEE 1394). A titre de variante, la carte d'acquisition peut être directement intégrée au module de traitement 28. Le module de traitement 28 peut comprendre un processeur, un microprocesseur ou microcontrôleur adapté à exécuter les instructions d'un programme d'ordinateur stockées dans une mémoire. La carte d'acquisition 24 réalise un prétraitement des images vidéo qui sont transmises au module de traitement 28. Le module de traitement 28 est adapté, comme cela est expliqué plus en détail par la suite, à analyser les images vidéo pour détecter la présence d'outils chirurgicaux sur les images.
Le module de traitement 28 est, par ailleurs, adapté à transmettre des commandes de déplacement à un boîtier de commande 30 par l'intermédiaire d'une liaison 32. Le boîtier de commande 30 est adapté à traduire les commandes de déplacement transmises sur la liaison 32 en signaux de commande du système de positionnement 10 et à transmettre les signaux de commande au système de positionnement 10 par l'intermédiaire d'une liaison 34. Le chirurgien peut activer ou désactiver le boîtier de commande 30 par l'intermédiaire d'un pédalier 36. En outre, le chirurgien peut fournir des instructions au module de traitement 28 par l'intermédiaire d'une interface homme/machine 38 qui peut comprendre un système à commande vocale, un système de détection des mouvements de la tête du chirurgien et/ou un système de commande au pied.
Le système de positionnement 10 correspond, par exemple, au système de positionnement décrit dans le brevet US8591397. L'endoscope 12 peut avoir l'aspect d'un tube cylindrique d'axe Ω d'une quarantaine de centimètres de longueur et de quelques centimètres de diamètre. L'axe Ω correspond, par exemple, à l'axe optique de l'endoscope 12 et de la caméra 17. Le système de positionnement 10 est adapté à modifier l'inclinaison du trocart 15 par rapport au centre 0, c'est-à-dire à modifier l'inclinaison de l'axe Ω par rapport au centre 0 et à faire coulisser l'endoscope 12 dans le trocart 15 selon l'axe Ω. Le système de positionnement 10 précédemment décrit permet de déplacer l'endoscope 12 selon deux degrés de liberté de rotation et un degré de liberté de translation à partir de signaux de commande fournis par le boîtier de commande 30.
Des trocarts supplémentaires 40, 41 sont disposés au niveau d'incisions 42, 43 de petites dimensions pratiquées dans la paroi abdominale 14 du patient. Les trocarts supplémentaires 40, 41 permettent l'introduction d'outils chirurgicaux 44, 45, partiellement représentés en figure 2, dans la cavité abdominale. A titre de variante, les trocarts 40, 41 peuvent ne pas être présents et les outils chirurgicaux 44, 45 peuvent être insérés directement par les incisions 42, 43.
Dans la suite de la description, on appelle RQ (0,x,y, Z) un repère, par exemple orthonormé, dont l'origine 0 correspond par exemple à un "point fixe" du système de positionnement 10, par exemple sensiblement l'intersection entre l'axe Ω et l'incision 16. Les axes (Ox) et (Oy) correspondent à deux axes perpendiculaires entre eux et perpendiculaires à l'axe (Oz) qui est perpendiculaire à la paroi abdominale 14 au niveau de l'incision 16. Le repère RQ est considéré comme étant fixe par rapport au patient au cours de l'intervention chirurgicale. La caméra 17 et l'endoscope 12 sont, en fonctionnement, fixes l'un par rapport à l'autre. On appelle C un point fixe par rapport à la caméra 17, situé sur l'axe Ω, à une distance r du point 0. L'angle Θ correspond à l'angle entre l'axe Ω et l'axe (Oz) et l'angle φ correspond à l'angle entre la projection de l'axe Ω dans le plan (Oxy) et l'axe (Ox) . Les coordonnées du point C dans le repère RO sont (rsinBcoscp, rsinBsincp, rcosB) . On appelle RQ (C, <B, ëg, ë^) le repère sphérique associé au point C. Le repère RQ est un repère fixe par rapport à la caméra 17. On note (X, Y, Z) les coordonnées d'un point P quelconque exprimées dans le repère
RQ et (1, m, n) les coordonnées du point P exprimées dans le repère RQ.
La figure 2 illustre les étapes d'un mode de réalisation d'un procédé de détection d'outils chirurgicaux sur une image fournie par la caméra 17 mis en oeuvre par le module de traitement 28 et les figures 3 à 6 représentent des images déterminées à certaines étapes de ce procédé de détection.
On suppose que le chirurgien a pratiqué les incisions 16, 42, 43 dans la paroi abdominale 14 du patient, a mis en place les trocarts 15, 40, 41 dans les incisions correspondantes, a introduit l'endoscope 12 dans le trocart 15 et a disposé le système de positionnement 10 sur la paroi abdominale 14 du patient. Le procédé est mis en oeuvre pour chaque nouvelle image I Q acquise par le système d'acquisition 20 et transmise au module de traitement 28. L'image I Q se forme dans le plan image PI de la caméra 17. L'image I Q est composée d'une matrice de pixels. On associe au plan de l'image PI un repère à deux dimensions Rpj (Q, ë^, <B ) , où Q correspond, par exemple, au point du plan image PI sur l'axe optique Ω et on appelle (u, v) les coordonnées d'un pixel de l'image dans le repère Rpj.
A l'étape SI, le module de traitement 28 effectue un traitement de l'image I Q pour changer la façon dont sont codées les données de couleur pour chaque pixel de l'image. A titre d'exemple, lors de l'acquisition de l'image I Q par la caméra 17, les données de couleur de chaque pixel d'image peuvent être codées dans l'espace de couleur Rouge Vert Bleu ou RVB. Le module de traitement 28 peut déterminer une nouvelle image I]_ pour laquelle les données de couleur de chaque pixel sont stockées dans un espace de couleur adapté à la perception humaine, par exemple les espaces de couleur HSV, CIE Lab ou CIE Luv. De préférence, le module de traitement 28 convertit l'image Ig en une image I]_ codée dans un espace de couleur indépendant du type de caméra 7 utilisé. De préférence, dans le nouvel espace de couleur, la luminosité de l'image est codée séparément de la couleur propre de l'image. A titre d'exemple, dans le nouvel espace de couleur, les données de couleur sont de préférence stockées sous la forme de trois composantes comprenant une composante qui est représentative de la luminance du pixel et deux composantes qui sont représentatives de la chrominance du pixel. Les composantes qui sont représentatives de la chrominance sont donc indépendantes de l'illumination de la scène. Le procédé se poursuit à l'étape 52.
La figure 3 représente, en niveaux de gris, la composante 'a' d'un exemple d'image I]_ dans l'espace de couleur CIE Lab. Le trait continu 46 correspond à la limite physique de l'image I]_. Sur l'image I]_ représentée en figure 3, on distingue une zone grise 47, plus foncée que le reste de l'image, qui correspond à un outil chirurgical. On a représenté en figure 3 le repère RPI (Q, ë^, ë^) .
A l'étape S2, le module de traitement 28 détermine une nouvelle image ∑2 par binarisation de l'image I]_. Selon un mode de réalisation, seule les composantes représentatives de la chrominance de l'image I]_ sont utilisées pour réaliser la binarisation, par exemple les composante a et b de l'espace de couleur CIE Lab ou les composante u et v de l'espace de couleur CIE Luv. Selon un autre mode de réalisation, seule l'une des composantes représentatives de la chrominance de l'image I]_ est utilisée pour réaliser la binarisation. Un exemple de procédé de binarisation est la méthode d'Otsu. La méthode d'Otsu est, par exemple, décrite dans la publication intitulée "A threshold sélection method from gray level histograms" de N. Otsu, IEEE Trans . Systems, Man and Cybernetics, Vol. 9, pp. 62-66, 1979. Selon un mode de réalisation, la binarisation peut être réalisée en déterminant, pour tous les pixels de l'image I]_, à partir des composantes représentatives de la chrominance, un histogramme d'une fonction H, représentative de la couleur du pixel, selon un nombre de niveaux, ou classes de couleur, qui dépend de la précision utilisée pour le codage de la fonction H. Un seuil est alors défini selon la méthode d'Otsu. On attribue alors aux pixels pour lesquels la fonction H est inférieure au seuil une première classe de couleur, par exemple la classe de couleur la plus basse de l'histogramme et on attribue aux pixels pour lesquels la fonction H est supérieure au seuil une seconde classe de couleur, par exemple la classe de couleur la plus élevée de l'histogramme L'image I2 obtenue après l'étape de binarisation comprend deux classes de pixels qui peuvent être représentés par des pixels noirs et des pixels blancs. Les outils chirurgicaux, appartiennent à la première classe de pixels tandis que les tissus mous appartiennent à la deuxième classe de pixels. A titre d'exemple, la couleur blanche peut être attribuée aux pixels de la première classe et la couleur noire peut être attribuée aux pixels de la deuxième classe. Les pixels de la première classe forment des régions dans 1 ' image ±2 qui potentiellement peuvent correspondre à des outils chirurgicaux. Ces régions sont appelées régions potentielles par la suite. Selon un mode de réalisation, le seuil peut être déterminé à partir de l'histogramme de la composante de couleur sélectionnée de l'image I]_. Un cadre de pixels de la deuxième classe peut être ajouté autour de l'image ±2 pour tenir compte du fait que les outils chirurgicaux s'étendent généralement jusqu'aux bords de l'image I]_ et faciliter la détermination, à une étape ultérieure, de contours de régions de pixels de la première classe. La figure 4 représente un exemple d'image ±2 obtenue à partir de l'image I]_ de la figure 3 après la mise en oeuvre des étapes SI et S2. L'image ±2 comprend plusieurs régions blanches 48 dont certaines sont interconnectées et dont seule l'une correspond à un outil chirurgical. Comme cela apparaît en figure 4, l'image ±2 obtenue est une image très bruitée. Le procédé se poursuit à l'étape S3.
A l'étape S3, le module 28 détermine une nouvelle image I3 par traitement de l'image ±2 de façon à supprimer certaines régions 48 de l'image ±2 de dimensions trop petites et qui ne peuvent pas correspondre à un outil chirurgical et à isoler les régions 48 qui pourraient correspondre à un outil chirurgical. Le traitement de l'image ±2 peut comprendre la détermination d'une carte de distances, également appelée transformée de distances, qui associe à chaque pixel de l'image ±2 la distance au point obstacle le plus proche, et la détermination d'une image I3 en niveaux de gris à partir de la carte de distances. A titre exemple, les points obstacles sont les pixels noirs. La distance peut correspondre à la distance euclidienne, la distance de Manhattan ou la distance de Tchebychev. A titre d'exemple, à chaque pixel de l'image I 3 est attribuée un niveau de gris d'autant plus foncé que la distance déterminée pour le pixel est faible, la couleur noire étant attribuée au pixel lorsque la distance est inférieure à un seuil. La figure 5 représente un exemple d'image I 3 obtenue à partir de l'image I2 après la mise en oeuvre de l'étape S3. L'image I 3 comprend des régions 50 comprenant des pixels blancs ou en niveaux de gris et qui correspondent sensiblement aux régions 48 de l'image I2 ayant des grandes surfaces. En particulier, les régions 48 de petites dimensions ont disparu, les pixels correspondant étant maintenant noirs. Le bord 51 de chaque région 50 de l'image I 3 comprend une transition continue en niveaux de gris du blanc vers le noir. Le procédé se poursuit à l'étape S4.
A l'étape S4, le module 28 détermine, pour chaque région
50 de l'image I 3 , le contour de la région 50. Le contour peut être déterminé selon tout type d'algorithme de détermination de contours, par exemple l'algorithme décrit dans la publication de S. Suzuki et K. Abe intitulée "Topological structural analysis of digitized binary images by border following" (Computer Vision, Graphics, and Image Processing, 1985, vol. 30, no 1, p. 32-46). Pour la recherche des contours, chaque pixel de la région 50, qui est en niveaux de gris, peut être considéré comme un pixel blanc. A titre d'exemple, le contour de chaque région 51 peut être recherché sous la forme d'une ligne brisée. Le module 28 détermine, pour chaque région 50 de l'image I 3 , une fenêtre, par exemple rectangulaire ayant la superficie minimale et dont les côtés sont au contact du contour de la région 50. En figure 6, on a représenté, en surimpression sur l'image I 3 , le contour C et la fenêtre F qui sont obtenus à l'étape S4 pour la région 53 correspondant à un outil chirurgical. Etant donné les traitements numériques mis en oeuvre pour obtenir l'image I 3 , le contour C déterminé à l'étape S4 ne suit pas, en général, le contour réel de l'outil chirurgical dans l'image I Q avec précision. Toutefois, il peut faciliter la détermination des fenêtres F dont au moins certaines contiennent les outils chirurgicaux. Pour chaque fenêtre F ainsi déterminée, le module 28 détermine et stocke des données relatives à la fenêtre F, par exemple la position du centre de la fenêtre dans l'image I3, la largeur de la fenêtre F, la longueur de la fenêtre F, l'aire de la fenêtre et l'orientation du grand axe de symétrie de la fenêtre F. Le module 28 peut réaliser une première sélection parmi les fenêtres F ainsi déterminées en ne conservant que les fenêtres qui satisfont certains critères. Ces critères sont notamment définis en fonction de la forme attendue des outils chirurgicaux sur l'image I3. Un exemple de critère est que le rapport entre la longueur et la largeur de la fenêtre F doit être supérieur à deux, ce qui correspond au fait que l'outil chirurgical a une forme allongée. Un autre exemple de critère est que l'aire de la fenêtre F doit être supérieure à un seuil. Ceci permet d'exclure des fenêtres trop petites pour correspondre à la présence potentielle d'un instrument. A titre d'exemple, le seuil minimum pour l'aire de la fenêtre peut être de 200 pixels. A la fin de l'étape S4, le module de traitement 28 a déterminé des fenêtres d'intérêt F dans chacune desquelles un outil chirurgical peut être présent. Le procédé se poursuit à l'étape S5.
A l'étape S5, le module 18 peut mettre en oeuvre une deuxième sélection parmi les fenêtres d'intérêt F retenues après la première sélection. La deuxième sélection peut être réalisée à partir d'informations issues de la détection des outils chirurgicaux sur une image précédente. L'étape S5 peut ne pas être mise en oeuvre lors de l'acquisition des images initiales par le système d'acquisition 20 et n'être mise en oeuvre qu'à partir du moment où des outils chirurgicaux sont détectés sur les images fournies par le système d'acquisition 20. Selon un mode de réalisation, ces informations peuvent comprendre la position du point d'insertion de l'outil chirurgical dans le plan de l'image et/ou la position des bords de l'outil chirurgical dans le plan de 1 ' image qui sont déterminées à des étapes ultérieures du procédé décrites par la suite. Un critère peut être que le grand axe de symétrie d'une fenêtre d'intérêt F contenant un outil chirurgical doit passer à proximité du point d'insertion de cet outil chirurgical. Les fenêtres d'intérêt F conservées à la fin de l'étape S5 sont appelées fenêtres sélectionnées Fg . Selon un autre mode de réalisation, l'étape S5 peut ne pas être présente. Le procédé se poursuit à l'étape S7.
Le procédé comprend, en outre, une étape S6 qui peut être réalisée indépendamment et en parallèle des étapes S2 à S5 décrites précédemment. A l'étape S6, le module de traitement 28 détermine une nouvelle image I4 en appliquant à l'image I]_ un traitement qui fait ressortir les contours des éléments présents dans l'image I]_, et notamment les contours des outils chirurgicaux. Selon un mode de réalisation, le traitement met en oeuvre l'algorithme de Frangi. L'algorithme de Frangi est notamment décrit dans la publication de Frangi et al intitulée "Multiscale vessel ennhancement filtering" MICCAI ' 98 Lecture Notes in Computer Science, vol. 1496, PP. 130-137. De façon classique, l'algorithme de Frangi est utilisé pour faire apparaître plus distinctement sur une image des éléments tubulaires, notamment des vaisseaux sanguins. L'algorithme de Frangi n'est pas utilisé de façon classique pour la détection de contours. L'algorithme de Frangi utilise un paramètre de recherche qui est représentatif du nombre de pixels de l'image correspondant au diamètre apparent des structures tubulaires recherchées sur l'image. De façon surprenant, les inventeurs ont mis en évidence qu'en utilisant l'algorithme de Frangi avec un paramètre de recherche correspondant à moins de 10 pixels, de préférence moins de 5 pixels, notamment environ 2 pixels, c'est-à-dire à une valeur inférieure à celles utilisées de façon classique et inférieure au diamètre apparent des outils chirurgicaux sur l'image I4, les contours des éléments de l'image I3 apparaissent plus nettement sur l'image I4. La figure 7 représente un exemple d'image I4 obtenue à partir de l'image I]_ après la mise en oeuvre de l'étape S6. Ceci permet, de façon avantageuse, de mettre en oeuvre l'algorithme de Frangi alors que celui-ci n'aurait pas pu être utilisé pour rechercher directement les outils chirurgicaux sur l'image Ι]_· En effet, selon la position relative entre l'outil chirurgical et la caméra 17, le diamètre apparent de l'outil chirurgical sur l'image peut varier et n'est pas connu au préalable, de sorte que les paramètres de recherche de l'algorithme de Frangi (dans son utilisation classique) ne permettraient pas d'isoler l'instrument de façon unique. En outre, selon l'angle de prise de vue de la caméra 17, l'outil chirurgical peut avoir sur l'image I]_ une forme plus ou moins tronconique, différente d'une forme tubulaire, et donc inadaptée à une détection directe par l'algorithme de Frangi. Le procédé se poursuit à l'étape S7.
A l'étape S7, le module 28 recherche, pour chaque fenêtre sélectionnée Fg à l'étape S5, les bords D]_, D2 d'un éventuel outil chirurgical dans la partie de l'image I4 déterminée à l'étape S6 contenue dans la fenêtre sélectionnée Fg. Le procédé de détection se base sur le fait que chaque outil chirurgical a une forme connue à l'avance qui est généralement au moins en partie cylindrique ou tronconique. Dans ce cas, les bords de l'outil chirurgical dans l'image I4 ont une forme rectiligne. Selon un mode de réalisation, chaque fenêtre sélectionnée Fg est divisée, selon le grand axe de symétrie de la fenêtre, en une première sous-région et une deuxième sous-région. Lorsqu'un outil chirurgical est présent dans la partie de l'image I4 contenue dans la fenêtre Fg, chaque sous-fenêtre doit contenir un seul bord de l'outil chirurgical.
La figure 8 représente de façon schématique une fenêtre Fg divisée en deux sous-fenêtres F]_ et F2. L'angle Θ correspond à l'orientation de la fenêtre Fg, c'est-à-dire l'angle entre le grand côté de la fenêtre Fg et une direction privilégiée, par exemple l'axe (Q, ë^) du repère Rpj. La largeur du petit côté de la fenêtre Fg est notée L.
Le module de traitement 28 met en oeuvre un procédé de reconnaissance de formes dans chaque sous-fenêtre F]_ et F2. Lorsque l'outil chirurgical a une forme cylindrique ou tronconique, le module de traitement 28 met en oeuvre un procédé de reconnaissance de droites dans chaque sous-fenêtre F]_ et F2. Selon un mode de réalisation, le module de traitement 28 met en oeuvre la transformée de Hough décrite par exemple dans l'ouvrage intitulé "Use of the Hough Transformation To Detect Lines and Curves in Pictures" de Richard 0. Duda et Peter E. Hart, Communications of the ACM, Vol. 15(1), pp. 11-15, 1972. La transformée de Hough fournit, pour chaque sous-fenêtre F]_ et F2, plusieurs droites candidates classé du meilleur candidat au candidat le moins bon.
Le module de traitement 28 réalise une sélection des droites candidates fournies par la transformée de Hough pour la sous-fenêtre F]_ . Chaque droite candidate de la sous-fenêtre F]_ est définie par un angle a qui est l'angle entre la droite candidate de la sous-fenêtre F]_ et la direction privilégiée. Le mode de traitement compare l'angle a des droites candidates avec l'angle Θ. Selon un mode de réalisation, le bord D]_ de l'outil chirurgical dans la sous-fenêtre F]_ correspond à la droite candidate ayant le meilleur classement et dont l'angle a vérifie la relation (1) suivante :
Θ - 10 < < Θ + 10 (1)
Le module de traitement 28 réalise alors une sélection des droites candidates fournies par la transformée de Hough pour la sous-fenêtre F2. Chaque droite candidate de la sous-fenêtre F2 est définie par un angle p qui est l'angle entre la droite candidate de la sous-fenêtre F2 et la direction privilégiée et par la distance moyenne d avec le bord D]_ de la sous-fenêtre F]_ . Le mode de traitement compare l'angle p des droites candidates avec l'angle Θ et compare la distance d avec la largeur L, exprimée en nombres de pixels. Selon un mode de réalisation, le bord D2 de l'outil chirurgical dans la sous-fenêtre F2 correspond à la droite candidate ayant le meilleur classement vérifiant les relations (2) suivante :
Θ - 10 < p < Θ + 10 (2)
L/2 < d < L + 10 Si les droites candidates fournies par la transformée de Hough ne remplissent pas les critères utilisés pour la détermination de bords D]_ et/ou D2 , ceci signifie que la fenêtre sélectionnée ne contient pas d'outil chirurgical. Si les droites candidates fournies par la transformée de Hough permettent la détermination des bords D]_ et D2 , le module de traitement 28 en conclut qu'un outil chirurgical est présent dans la fenêtre sélectionnée. Les fenêtres sélectionnées Fg dans lesquelles des outils chirurgicaux sont détectés sont appelées fenêtres d'instruments Fj . Pour chaque outil chirurgical détecté, le module de traitement 28 stocke des données telles que la position et l'orientation de la fenêtre d'instrument Fj correspondante et les deux bords D]_, D2 de l'outil chirurgical. Comme cela a été décrit précédemment, la position et l'orientation de chaque fenêtre d'instrument Fj peuvent être utilisées par le module 28 à l'étape S5 lors du traitement de la prochaine image acquise par la caméra 17. Le procédé se poursuit à l'étape S8.
A l'étape S8, le module de traitement 28 détermine l'axe de symétrie de révolution A^D, également appelé axe central, de chaque outil chirurgical dans le repère RQ. Pour certaines applications, il peut être utile de déterminer l'axe de symétrie de révolution A^D dans le repère RQ. Dans ce cas, il est prévu, avant l'intervention chirurgicale, une étape d'étalonnage ou calibrage du système de positionnement 10 qui consiste à déterminer la matrice de passage permettant d'obtenir les coordonnées (1, m, n) d'un point P exprimées dans le repère RQ à partir des coordonnées (X, Y, Z) exprimées dans le repère RQ et la relation entre les commandes de déplacement fournies par le module de traitement 28 au boîtier de commande 30 et l'évolution des paramètres r, Θ et φ. Au cours de l'intervention chirurgicale, le module de traitement 28 est alors adapté à déterminer à tout instant la position du repère RQ par rapport au repère RQ à partir des commandes de déplacement fournies au boîtier de commande 30. Il est clair que les repères RQ et RQ peuvent être définis différemment par rapport à ce qui a été décrit précédemment. La seule condition est que le repère RQ puisse être considéré comme étant fixe par rapport au patient au cours de l'intervention, que le repère RQ puisse être considéré comme étant fixe par rapport à la caméra au cours de l'intervention et que l'on puisse déterminer à tout instant la position du repère RQ par rapport au repère RQ .
En figure 9, on a représenté de façon schématique les repères RQ et RQ dont les origines 0 et C sont situées sur l'axe optique Ω de l'endoscope 12. Selon un mode de réalisation, on considère que la caméra 17 fonctionne selon un modèle du sténopé (caméra pinhole) . Un tel modèle de caméra est décrit, par exemple, dans l'ouvrage intitulé "Three Dimensional Computer Vision - A Géométrie Viewpoint" d'Olivier Faugeras, séries : Artificial Intelligence, the MIT press, Cambridge Massachussets, ISBN 0-262- 06158-9 (chapitre 3) . La caméra 17 peut alors être représentée par un centre de projection F et le plan image PI. Le plan image PI correspond au plan dans lequel se forment les images captées par la caméra 17 et transmises au système d'acquisition 20. Le plan image PI et le centre de projection F sont fixes par rapport au repère RQ. Un point P quelconque de l'espace se projette dans le plan image PI pour former un point I. On a, en outre, représenté le repère à deux dimensions Rpj (Q, ë^, <B ) associé au plan image PI. A titre de variante, un autre modèle de caméra que le modèle du sténopé peut être utilisé, par exemple un modèle de caméra fisheye. De façon générale, n'importe quel modèle de caméra, qui précise la transformation associant à chaque point P quelconque de l'espace le point I correspondant dans le plan image PI, peut être utilisé.
Avant l'intervention chirurgicale, on prévoit une étape d'étalonnage ou calibrage de la caméra 17. Ceci consiste à définir la matrice de passage qui permet d'obtenir les coordonnées (u, v) du point I exprimées dans le repère Rpj à partir des coordonnées (1, m, n) du point P exprimées dans le repère RQ. Selon le modèle pinhole, le point I correspond au point d'intersection entre le plan image PI et la droite passant par le point P et le centre de projection F. La matrice de passage est obtenue à partir des coordonnées du point F et l'équation du plan image PI exprimées dans le repère RQ et qui dépendent des caractéristiques techniques de la caméra 17 utilisée. D'autres modèles de caméra peuvent être utilisés. A titre de variante, l'étape d'étalonnage de la caméra 17 peut être réalisée au cours de l'intervention chirurgicale par un procédé d'étalonnage dit "en ligne" à partir de l'analyse des images acquises par la caméra 17 au cours de l'opération chirurgicale .
Après les étapes d'étalonnage du système de positionnement 10 et de la caméra 17, le module de traitement 28 peut déterminer, pour n'importe quel point P de coordonnées (X, Y, Z) dans le repère fixe RQ, les coordonnées (u, v) du point I, projection du point P dans le plan image PI, quelle que soit la position de la caméra 17 dans le repère RQ.
En figure 10, on a représenté de façon schématique l'outil chirurgical 44, le centre de projection F, l'axe optique Ω et le plan image PI de la caméra 17. Sur le plan image PI, on a représenté les bords D]_, D2 de l'outil chirurgical déterminés à l'étape S7.
Pour déterminer, pour chaque outil chirurgical, l'équation de l'axe central A^D de l'outil dans le repère RQ, le module de traitement 28 détermine l'équation dans le repère RQ du plan ∑]_ passant par le bord D]_ et le centre de projection F et l'équation dans le repère RQ du plan ∑2 passant par le bord D2 et le centre de projection F. On appelle rfj* le vecteur normal au plan
∑]_ et le vecteur normal au plan ∑2- L'outil chirurgical 44 ayant une forme cylindrique, les plans ∑]_ et ∑2 sont tangents à l'outil 44. L'intersection des plans ∑]_ et ∑2 est une droite D de vecteur directeur v et passant par le centre de projection F. La droite D est parallèle à l'axe central A3p. Pour définir complètement la position de l'axe central A^D dans le repère RQ, il est nécessaire de déterminer la position d'un point de passage M dans le repère RQ appartenant à l'axe central A3p.
Un mode de réalisation d'un procédé de détermination de la position de l'axe central A^D est décrit au paragraphe 3.2.3 de la thèse de Rémi Wolf intitulée "Quantification de la qualité d'un geste chirurgical à partir de connaissances a priori" (Thèse de doctorat, Université de Grenoble, 2013) .
La figure 11 est une vue en coupe de l'outil chirurgical 40 dans un plan perpendiculaire aux vecteurs ¾ et ¾. Dans ce plan de coupe, l'outil 44 correspond à un cercle CI tangent aux plans ∑]_ et ∑2 et dont le rayon r est connu. Le module peut alors déterminer la position dans le repère RQ du centre du cercle CI qui correspond au point de passage M. L'axe central A^D est défini par le point de passage M et le vecteur directeur v . Le module de traitement 28 détermine alors la projection A2D de l'axe central A^D dans le plan image PI de la caméra 17. La droite A2D obtenue correspond à l'axe central de l'outil chirurgical exprimée dans le repère Rpj .
Selon un autre mode de réalisation, à l'étape S8, pour chaque outil chirurgical, l'axe A2D correspond à l'axe de symétrie des bords de l'outil chirurgical. Il est à noter que l'axe A2D ainsi déterminé ne correspond pas, sauf cas particulier, à la projection de l'axe central A^D dans le plan image PI de la caméra puisque la projection centrale ne conserve pas les proportions entre les distances.
A l'étape S9, le module de traitement 28 détermine, pour chaque outil chirurgical 44, 45, la position dans le repère RQ d'un point Pj^O' appelé point d'insertion, situé sensiblement au "centre" de l'incision 42, 43 par laquelle passe l'outil chirurgical. Dans ce but, le module de traitement 28 utilise les positions de 1 ' axe central A^D dans le repère RQ déterminées à l'étape S8 pour au moins deux orientations différentes de l'outil chirurgical. Le point d'insertion P13D correspond au point d'intersection des droites qui correspondent aux différentes positions de l'axe A^D ainsi déterminées. De préférence, la position du point d'insertion est obtenue à partir de plus de deux orientations différentes de l'outil chirurgical. Les points d'insertion Pj^O des outils chirurgicaux peuvent être utilisés à l'étape S5 lors de la sélection des fenêtres Fg, une fenêtre ne pouvant être sélectionnée que si le grand axe de symétrie de la fenêtre passe à proximité de l'un des points d'insertion. A titre de variante, les points d'insertion Pj^O des outils chirurgicaux peuvent être utilisés aux étapes S7 et S8 pour la détection des bords D]_, D2. La détection des bords D]_, D2 est, par exemple, considérée comme mauvaise si la distance entre le point d'insertion P13D associé et l'axe central A^D de l'outil chirurgical est supérieure à un seuil . Selon un autre mode de réalisation, l'étape S9 n'est pas présente.
Le procédé comprend, en outre, une étape S10 de détermination, pour chaque outil chirurgical, de la position Pp2D de la pointe de 1 ' instrument chirurgical dans le repère Rpj du plan image PI de la caméra 17 à partir de l'image filtrée I4 déterminée à l'étape S 6 et de la projection A2D de l'axe central dans le plan image PI déterminée à l'étape S8. A titre de variante, comme cela a été décrit précédemment, l'axe A2D peut Selon un mode de réalisation, le module de traitement 28 recherche, parmi les pixels de l'axe A2D, un groupe de pixels successifs, comprenant par exemple au moins trois pixels successifs, ayant un niveau de gris maximal. La pointe de l'outil chirurgical correspond au groupe de pixels ainsi déterminé. Pour réduire les erreurs de détermination, la recherche de groupes de pixels peut n'être réalisée que sur les parties de l'axe A2D proches, par exemple à plus ou moins 100 pixels, des côtés de la fenêtre sélectionnée Fg, déterminée à l'étape S5, et contenant l'outil chirurgical d'axe A2 ). Selon un autre mode de réalisation, le module de traitement 28 met en oeuvre un procédé de sélection de pixels basé sur la méthode d'Otsu. Il peut être nécessaire, pour déterminer plus finement la position de la pointe de l'outil, de considérer plus en détail les pixels de l'axe central autour de la pointe de l'outil et de leur appliquer des contraintes de couleur pour déterminer si, effectivement, ils appartiennent ou non à l'outil. A la fin du procédé de détection des outils chirurgicaux, le module de traitement 28 a donc déterminé pour chaque outil chirurgical, l'axe central, les bords et la pointe. Le procédé se poursuit à l'étape SU.
A l'étape SU, le module 28 détermine, pour chaque outil chirurgical, la profondeur d'enfoncement E de l'outil chirurgical par rapport au point de passage M associée à partir de la position Pp2D de la pointe de l'outil chirurgical dans le repère Rpj déterminée à l'étape S10, de la position du point de passage M dans le repère RQ et du vecteur directeur v de l'axe central A313. Le module de traitement 28 peut alors déterminer, pour chaque outil chirurgical, la position Pp3D de la pointe de l'outil chirurgical dans le repère RQ à partir de la position du point de passage M, de l'enfoncement E et du vecteur directeur v selon la relation (3) suivante :
PP3D = M + E*v (3) Selon un autre mode de réalisation, le vecteur u qui passe par le centre C de la caméra et par le point Pp2D de 1 ' image I4, exprimé dans le repère RQ, est déterminé à partir des paramètres d'étalonnage de la caméra 17. Il est ensuite déterminé l'intersection entre la droite passant par le point C et ayant le vecteur u comme vecteur directeur et la droite passant par le point de passage M et ayant le vecteur v comme vecteur directeur.
La présente invention permet la mise en oeuvre de commandes de déplacement complexes par le module de traitement 28 pour le déplacement du système de positionnement 10 de la caméra 17. A titre d'exemple, le module de traitement 28 peut commander le système de positionnement 10 pour déplacer l'endoscope 12 jusqu'à ce que la pointe d'un outil chirurgical particulier se trouve au niveau du centre de l'image fournie par la caméra 17. Pour ce faire, le chirurgien peut fournir une commande du type "centrer sur identifiant" au module de traitement 28 par l'intermédiaire du système de commande vocale 38. Le module de traitement 28 peut alors détecter les outils présents sur l'image fournie par la caméra 17. Si la pointe de l'outil correspondant à l'identifiant fourni par le chirurgien est présente sur l'image, le module de traitement 28 commande alors le système de positionnement 10 de façon à déplacer l'endoscope 12 pour que la pointe de l'outil se trouve au niveau d'une région centrale prédéfinie de l'image. Si l'outil correspondant à l'identifiant fourni par le chirurgien est présent sur l'image mais que la pointe de l'outil se trouve à l'extérieur de l'image, le module de traitement 28 est adapté à commander le système de positionnement 10 pour déplacer l'endoscope 12 vers la pointe de l'outil puisque la position du point d'insertion associée à l'outil est connue. Si l'outil correspondant à l'identifiant fourni par le chirurgien n'est pas présent sur l'image, le module de commande 28 peut commander le système de positionnement 10 pour orienter l'endoscope 12 vers le point d'insertion associé à l'outil recherché. L'outil doit alors se trouver sur l'image fournie par la caméra 17 et le centrage sur la pointe de l'outil est réalisé comme cela a été décrit précédemment.
Un autre exemple de commande consiste à déplacer l'endoscope 12 de façon que la pointe d'un outil chirurgical se trouve en permanence au niveau de la région centrale de 1 ' image fournie par la caméra 17. Pour ce faire, le chirurgien peut fournir une commande du type "suivre identifiant" au module de traitement 28 par l'intermédiaire du système de commande vocale 38. Le module de traitement 28 commande alors le système de positionnement 10 comme cela a été décrit précédemment pour centrer 1 ' image fournie par la caméra 17 sur la pointe de l'outil correspondant à l'identifiant fourni par le chirurgien. Par la suite, pour chaque nouvelle image reçue par le module de traitement 28, le module 28 commande le système de positionnement 10 pour recentrer, si nécessaire, l'image sur la pointe de l'outil.
Un autre exemple de commande consiste à commander un "agrandissement" de l'image au niveau de la pointe d'un outil particulier. Pour ce faire, le chirurgien peut fournir une commande du type "zoom sur identifiant" au module de traitement 28 par l'intermédiaire du système de commande vocale 38. Le module de traitement 28 commande alors le système de positionnement 10 comme cela a été décrit précédemment pour centrer l'image fournie par la caméra 17 sur la pointe de l'outil correspondant à l'identifiant fourni par le chirurgien. Le module de traitement 28 peut alors déterminer la distance entre les droites de bords associées à l'outil considéré au niveau de la pointe de l'outil et en déduire une valeur représentative de l'agrandissement de l'image. Le module de traitement 28 peut alors commander le système de positionnement 10 pour déplacer l'endoscope 12 afin d'augmenter ou de réduire un tel agrandissement de façon à atteindre un agrandissement prédéterminé ou un agrandissement fourni par le chirurgien. Selon une variante, la caméra 17 peut comporter une fonction d'agrandissement (zoom). Le module de traitement 28 est alors adapté à commander la fonction d'agrandissement de la caméra 17 à partir de la détection de la distance entre les droites.
La durée du traitement d'une image par le module de traitement 28 peut varier de quelques dizaines de millisecondes à une centaine de millisecondes. Le module de traitement 28 peut donc recevoir de nouvelles images à traiter à une fréquence élevée. Le procédé de détection d'outils chirurgicaux selon l'invention peut donc être mis en oeuvre en temps réel.
La présente invention permet donc au cours d'une intervention chirurgicale de soulager le chirurgien qui n'a pas à commander de façon systématique chaque déplacement de l'endoscope 12. En effet, les commandes précédemment décrites permettent au chirurgien de consacrer toute son attention à l'intervention chirurgicale, le module de traitement 28 commandant parallèlement les déplacements de l'endoscope 12 de façon automatique selon la commande initiale fournie par le chirurgien.
La présente invention peut être également mise en oeuvre lorsque les outils chirurgicaux n'ont pas une forme cylindrique.
L'exemple de réalisation qui précède peut directement être appliqué à un outil ayant une forme allongée et dont la projection dans un plan comprend des bords rectilignes. C'est le cas pour une forme conique, prismatique, pyramidale, etc. De façon plus générale, même pour des outils ayant des formes plus complexes, des paramètres géométriques caractéristiques des outils peuvent être mémorisés au niveau du module de traitement 28. Les étapes du procédé de détection des outils précédemment décrites peuvent alors être adaptées en fonction des paramètres géométriques caractéristiques de chaque outil chirurgical.
Le procédé de détection décrit précédemment permet la détection de la position de l'outil chirurgical, plus précisément la détermination de l'axe central A^D d'un outil chirurgical, dans le repère RQ. Selon un mode de réalisation, l'outil chirurgical peut être porté par un robot. La position de l'outil chirurgical par rapport à un repère RR lié au robot est généralement connue. Le module de traitement 28 peut ainsi déterminer la relation de passage entre les repères RQ et RR. De façon avantageuse, il n'est alors pas nécessaire de prévoir un système de liaison mécanique entre le robot portant l'outil chirurgical et le système de positionnement 10 de la caméra 17. Le robot portant l'outil chirurgical peut ainsi être séparé du système de positionnement de la caméra 17. De plus, même dans le cas où le robot portant l'outil chirurgical est lié mécaniquement au système de positionnement 10 de la caméra 17, le modèle géométrique du robot, à partir duquel la position de l'outil chirurgical peut être exprimée dans le repère RQ, peut être imprécis. La détection de la position de l'outil chirurgical dans le repère RQ peut alors, de façon avantageuse, permettre de compenser au moins en partie l'imprécision du modèle géométrique du robot. A titre d'exemple, dans le cas d'un robot comprenant plusieurs bras, l'un portant par exemple un endoscope et d'autres portant des outils chirurgicaux, la détection de la position de l'outil chirurgical dans le repère RQ peut permettre d'améliorer l'étalonnage des bras les uns par rapport aux autres.
Selon un autre mode de réalisation, la détection de la position de l'outil chirurgical dans le repère RQ, et éventuellement dans le repère RQ, peut être utilisée pour enregistrer les mouvements de l'outil chirurgical dirigé par le chirurgien au cours de l'intervention, notamment à des fins d'apprentissage ou pour l'analyse du geste chirurgical.
Bien entendu, la présente invention est susceptible de diverses variantes et modifications qui apparaîtront à l'homme de l'art. En particulier, bien que la présente invention ait été décrite pour des interventions chirurgicales, pour lesquelles les images vidéo sont fournies par une caméra liée à un endoscope, la présente invention peut s'appliquer à tout type d'image fournie par un système d'imagerie médicale. Il s'agit, par exemple, d'images par ultrasons, d'images fluoroscopiques ou d'images scanner. En outre, bien que la présente invention ait été décrite pour un exemple particulier de système de positionnement, elle peut s'appliquer à n'importe quel type de système de positionnement .

Claims

REVENDICATIONS
1. Procédé de détection d'un outil chirurgical (44, 45) sur une première image (I]_) comportant les étapes suivantes :
mémoriser des paramètres de forme de l'outil chirurgical ;
déterminer une deuxième image (I3) contenant des régions
(48) de pixels distinctes à partir de la première image par un premier traitement comprenant la segmentation de la première image ;
déterminer des premières fenêtres (F) , chaque première fenêtre entourant l'une des régions ;
sélectionner au moins une deuxième fenêtre (Fg) parmi les premières fenêtres à partir des paramètres de forme ;
déterminer une troisième image (I4) à partir de la première image en appliquant à la première image un deuxième traitement mettant en oeuvre l'algorithme de Frangi ; et
déterminer des bords latéraux (D]_, D2) de l'outil chirurgical sur la partie de la troisième image contenue dans ladite deuxième fenêtre.
2. Procédé selon la revendication 1, dans lequel l'outil chirurgical (44, 45) a une forme allongée, les bords latéraux (D]_, D2) de l'outil chirurgical dans la troisième image (I4) correspondant à des droites (D]_, D2) .
3. Procédé selon la revendication 2, dans lequel des droites candidates classées selon un ordre de classement sont déterminées en appliquant une transformation de Hough dans la partie de la troisième image (I4) contenue dans la deuxième fenêtre (Fg) et dans lequel les bords latéraux (D]_, D2) sont déterminés parmi les droites candidates à partir des paramètres de forme .
4. Procédé selon la revendication 3, dans lequel la deuxième fenêtre (Fg) est rectangulaire et divisée en une première sous-fenêtre (F]_) et une deuxième sous-fenêtre (F2) , dans lequel un premier bord latéral (D]_) correspond à la droite candidate de meilleur classement dans la première sous-fenêtre et dont 1 ' inclinaison par rapport au grand axe de symétrie de la deuxième fenêtre est inférieure à un premier seuil et dans lequel un deuxième bord latéral (D2) correspond à la droite candidate de meilleur classement dans la deuxième sous-fenêtre, dont 1 ' inclinaison par rapport au grand axe de symétrie de la deuxième fenêtre est inférieure au premier seuil et dont la distance avec le première bord latéral est compris entre un deuxième seuil et un troisième seuil qui dépendent de la largeur de la deuxième fenêtre .
5. Procédé selon l'une quelconque des revendications 1 à 4, dans lequel le premier traitement comprend la binarisation de la première image (I]_) et la détermination de la deuxième image (I3) à partir de la détermination de la carte de distances de l'image binarisée.
6. Procédé selon l'une quelconque des revendications 1 à 5, dans lequel le deuxième traitement comprend l'application de l'algorithme de Frangi à la première image (I]_) avec un paramètre de recherche, représentatif du nombre de pixels du diamètre apparent de structures tubulaires recherchées par 1 ' algorithme de Frangi, inférieur à 10 pixels.
7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel la première image (I]_) est une image en niveaux de gris obtenue à partir de la composante 'a' ou 'b' d'une quatrième image (IQ) acquise par une caméra (17) et codée dans l'espace de couleurs CIE Lab.
8. Procédé selon l'une quelconque des revendications 1 à 7, dans lequel les premières fenêtres (F) sont rectangulaires et dans lequel la deuxième fenêtre (Fg) est sélectionnée en ne retenant que les premières fenêtres dont la longueur est supérieure à la moitié de la largeur.
9. Procédé selon l'une quelconque des revendications 1 à 8, dans lequel la première image (I]_) est obtenue à partir d'une quatrième image (IQ) acquise par une caméra (17), le procédé comprenant, en outre, les étapes suivantes : déterminer des plans de projection (∑]_, ∑2 ) contenant les bords latéraux (D]_, D2 ) et un centre de projection (F) de la caméra ; et
déterminer la position d'un axe central de l'outil chirurgical (44, 45) à partir de l'intersection (D) des deux plans de projection, des paramètres de forme et d'un point (M) appartenant à 1 ' axe central .
10. Procédé selon la revendication 9, comprenant, en outre, les étapes suivantes :
déterminer la projection ( 2O^ de l'axe central (A3J3) dans la troisième image ( I 4 ) ;
déterminer les pixels de la projection de l'axe central appartenant à l'outil chirurgical ; et
déterminer le pixel de la projection de l'axe central correspondant à l'extrémité de l'outil ( Ρρ2ϋ) ·
11. Procédé selon la revendication 10, comprenant les étapes suivantes :
attribuer à chaque pixel de la troisième image ( I 4 ) de la projection (A2D) de l'axe central ( 3J)) une classe de couleur parmi une première ou une seconde classe de couleur ;
sélectionner un premier groupe de pixels adjacents contenant le plus grand nombre de pixels adjacents de la première classe de couleur et un second groupe de pixels adjacents contenant le plus grand nombre de pixels adjacents de la seconde classe de couleur ; et
sélectionner, parmi le premier ou le second groupe de pixels, le groupe de pixels appartenant à l'outil chirurgical (42, 43) .
12. Dispositif de détection d'un outil chirurgical (44, 45) sur une première image (I]_), comprenant :
un moyen de mémorisation (28) de paramètres de forme de l'outil chirurgical ;
un moyen de détermination (28) d'une deuxième image ( I 3 ) contenant des régions (48) de pixels distinctes à partir de la première image par un premier traitement comprenant la segmentation de la première image ;
un moyen de détermination (28) de premières fenêtres (F), chaque fenêtre entourant l'une des régions ;
un moyen de sélection (28) d'au moins une deuxième fenêtre (Fg) parmi les premières fenêtres à partir des paramètres de forme ;
un moyen de détermination (28) d'une troisième image (I4) à partir de la première image par un deuxième traitement faisant ressortir les contours de l'outil chirurgical dans la première image ; et
un moyen de détermination (28) des bords latéraux (D]_, D2) de l'outil chirurgical sur la partie de la troisième image contenue dans ladite deuxième fenêtre.
EP16757322.9A 2015-08-04 2016-08-02 Dispositif et procédé de détection automatique d'un outil chirurgical sur une image fournie par un système d'imagerie médicale Withdrawn EP3332354A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1557508A FR3039910B1 (fr) 2015-08-04 2015-08-04 Dispositif et procede de detection automatique d'un outil chirurgical sur une image fournie par un systeme d'imagerie medicale
PCT/FR2016/052018 WO2017021654A1 (fr) 2015-08-04 2016-08-02 Dispositif et procédé de détection automatique d'un outil chirurgical sur une image fournie par un système d'imagerie médicale

Publications (1)

Publication Number Publication Date
EP3332354A1 true EP3332354A1 (fr) 2018-06-13

Family

ID=54545276

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16757322.9A Withdrawn EP3332354A1 (fr) 2015-08-04 2016-08-02 Dispositif et procédé de détection automatique d'un outil chirurgical sur une image fournie par un système d'imagerie médicale

Country Status (4)

Country Link
US (1) US10671872B2 (fr)
EP (1) EP3332354A1 (fr)
FR (1) FR3039910B1 (fr)
WO (1) WO2017021654A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070789B (zh) * 2020-08-27 2022-06-21 电子科技大学 一种密集纤维细胞的轮廓估算方法
CN114399550B (zh) * 2022-01-18 2024-06-07 中冶赛迪信息技术(重庆)有限公司 一种基于三维激光扫描的汽车鞍座提取方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2897703B1 (fr) * 2006-02-20 2008-04-25 Univ Grenoble 1 Detection automatique d'un outil chirurgical sur une image fournie par un systeme d'imagerie medicale
US9317920B2 (en) * 2011-11-30 2016-04-19 Rush University Medical Center System and methods for identification of implanted medical devices and/or detection of retained surgical foreign objects from medical images
US9111355B1 (en) * 2013-03-13 2015-08-18 Hrl Laboratories, Llc Selective color processing for vision systems that enables optimal detection and recognition
US20150170381A1 (en) * 2013-12-16 2015-06-18 Sony Corporation Tool localization system with image enhancement and method of operation thereof
KR20150077184A (ko) * 2013-12-27 2015-07-07 삼성전자주식회사 의료 영상의 병변 유사도 판단 장치 및 방법
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US9905000B2 (en) * 2015-02-19 2018-02-27 Sony Corporation Method and system for surgical tool localization during anatomical surgery
GB201506842D0 (en) * 2015-04-22 2015-06-03 Ucl Business Plc And Schooling Steven Locally rigid vessel based registration for laparoscopic liver surgery

Also Published As

Publication number Publication date
US20180225538A1 (en) 2018-08-09
US10671872B2 (en) 2020-06-02
FR3039910A1 (fr) 2017-02-10
FR3039910B1 (fr) 2018-08-24
WO2017021654A1 (fr) 2017-02-09

Similar Documents

Publication Publication Date Title
EP1987473B1 (fr) Detection automatique d&#39;un outil chirurgical sur une image fournie par un systeme d&#39;imagerie medicale
Shvets et al. Automatic instrument segmentation in robot-assisted surgery using deep learning
US20220125280A1 (en) Apparatuses and methods involving multi-modal imaging of a sample
US9597009B2 (en) Marker-based tool tracking
Crihalmeanu et al. Enhancement and registration schemes for matching conjunctival vasculature
AU2010202258B2 (en) System and method for classifying follicular units
US9601025B2 (en) Method and system for automatic tool position determination for minimally-invasive surgery training
Saint-Pierre et al. Detection and correction of specular reflections for automatic surgical tool segmentation in thoracoscopic images
Doignon et al. Real-time segmentation of surgical instruments inside the abdominal cavity using a joint hue saturation color feature
Mahmood et al. DSRD-Net: Dual-stream residual dense network for semantic segmentation of instruments in robot-assisted surgery
JP2014166298A (ja) 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
US9721191B2 (en) Method and system for image recognition of an instrument
CA2933684A1 (fr) Suivi sans marqueur d&#39;outils chirurgicaux robotises
Pakhomov et al. Towards unsupervised learning for instrument segmentation in robotic surgery with cycle-consistent adversarial networks
CN115363750B (zh) 一种手术机器人速度限制方法及系统
WO2019028021A1 (fr) Système et méthode de localisation basée sur la vision artificielle et un matériel hybride
Nosrati et al. Simultaneous multi-structure segmentation and 3D nonrigid pose estimation in image-guided robotic surgery
Zhou et al. Visual tracking of laparoscopic instruments
Speidel et al. Automatic classification of minimally invasive instruments based on endoscopic image sequences
EP3332354A1 (fr) Dispositif et procédé de détection automatique d&#39;un outil chirurgical sur une image fournie par un système d&#39;imagerie médicale
Doignon et al. Detection of grey regions in color images: application to the segmentation of a surgical instrument in robotized laparoscopy
US20040247183A1 (en) Method for image analysis
WO2022153673A1 (fr) Dispositif dépilatoire et procédé d&#39;épilation
Sogabe et al. Detection of Instruments Inserted into Eye in Cataract Surgery Using Single-shot Multibox Detector.
WO2007110982A1 (fr) Analyse d&#39;image et programme pour une image stéréo de fond de l&#39;œil

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180206

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200827

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE

Owner name: INSTITUT NATIONAL DE LA SANTE ET DE LA RECHERCHE MEDICALE

Owner name: UNIVERSITE GRENOBLE ALPES

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240618