EP4287922A1 - Method and device for processing images in order to automatically estimate the position of a trocar - Google Patents

Method and device for processing images in order to automatically estimate the position of a trocar

Info

Publication number
EP4287922A1
EP4287922A1 EP22703613.4A EP22703613A EP4287922A1 EP 4287922 A1 EP4287922 A1 EP 4287922A1 EP 22703613 A EP22703613 A EP 22703613A EP 4287922 A1 EP4287922 A1 EP 4287922A1
Authority
EP
European Patent Office
Prior art keywords
trocar
tool
images
image processing
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22703613.4A
Other languages
German (de)
French (fr)
Inventor
Adrien Bartoli
Prasad SAMARAKOON
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Clermont Auvergne Inp
Surgar
Centre National de la Recherche Scientifique CNRS
Universite Clermont Auvergne
Original Assignee
Clermont Auvergne Inp
Surgar
Centre National de la Recherche Scientifique CNRS
Universite Clermont Auvergne
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clermont Auvergne Inp, Surgar, Centre National de la Recherche Scientifique CNRS, Universite Clermont Auvergne filed Critical Clermont Auvergne Inp
Publication of EP4287922A1 publication Critical patent/EP4287922A1/en
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3417—Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421—Cannulas
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Definitions

  • TITLE OF THE INVENTION METHOD AND DEVICE FOR PROCESSING IMAGES FOR THE AUTOMATIC ESTIMATION OF THE POSITION OF A TROCAR
  • the invention relates to a method and an image processing device for the automatic estimation of the position of a trocar, in particular for the processing of images for assistance in endoscopic surgery, in particular laparoscopic.
  • the invention relates more particularly to a method and a device making it possible to estimate in real time the position of a trocar allowing access of a tool or an endoscope into a cavity of the body of a patient, in particular the abdominal cavity.
  • the invention also relates to an endoscopic imaging system comprising an image processing device and/or implementing an image processing method.
  • Laparoscopy also called laparoscopy, is a medical technique of visual exploration of the inside of a patient's body using an endoscope, or more particularly a laparoscope or laparoscope when it is used to observe the abdomen of a patient. a patient.
  • An endoscope generally comprises a light source and a means of capturing the light, for example optical fibers or a video sensor.
  • the laparoscope allows direct or remote vision of the abdominal cavity and allows observation of the surgical site and direct intervention using surgical tools.
  • This surgical technique has the advantage of not requiring a wide opening of the abdominal wall (unlike laparotomy or laparotomy), making it a minimally invasive technique.
  • minimally invasive surgical procedures using an endoscope can be performed in the chest cavity (thoracoscopy) or in the pelvic cavity. We generally speak of an endoscopic operation or surgical endoscopy.
  • computer vision techniques are used on the image obtained by the laparoscope in real time to provide additional information through augmented reality.
  • augmented reality For example, one can display on the image a hidden structure in the organ, such as a tumor.
  • a difficulty in adding additional information comes in particular from the transcription of three-dimensional information (the position of the organs, the position of the tumor, the place of incision, the position of the blood vessels, etc.) a two-dimensional image captured by the laparoscope.
  • trocars are generally formed of small tubes placed in an abdominal incision and allowing the passage of tools while guaranteeing the tightness of the pneumoperitoneum created.
  • a trocar usually allows the passage of only one tool, and these are usually two or three in number.
  • the inventors have thus sought to improve the determination of the zones of intervention of the tool, thanks to a better determination of the pose of the tool and possible movements of 1 tool, and in particular the determination of the position of the trocar allowing the crossing of the tool.
  • the invention aims to provide a method and an image processing device for the automatic estimation of the position of at least one trocar for endoscopic surgery.
  • the invention aims to provide a method and an image processing device allowing a better consideration of the limitations of movements and position of the tool for the determination of the information of assistance to the surgical operation.
  • the invention aims to provide an image processing method and device allowing an estimation of the position of each trocar and a real-time adjustment of the estimated position of each trocar upon receipt of new images.
  • the invention aims to provide a method and an image processing device allowing the display of intervention zones on an image of an organ on which to intervene, depending on the position of the trocar.
  • the invention relates to an image processing method for the automatic estimation of the position of at least one trocar, each trocar being configured to allow the passage of a substantially rectilinear tool through it. , characterized in that it comprises:
  • the invention relates to an image processing method for the automatic estimation of the position of at least one trocar arranged on a wall of the body of a patient, each trocar being configured to allow the passage of a substantially straight tool therethrough in order to access a cavity of the patient's body under the wall, characterized in that it comprises: a step of receiving at least two images of the cavity of the patient, each of the images representing at least one tool passing through each trocar, said tool being in a different position and/or orientation on at least two of the images, a determination step, from the images and on at least said two images, of the position and orientation of each tool relative to a reference position, a step of estimating, from the images, the position of each trocar relative to the reference position, from at least two positions and orientation ons of the tool passing through this trocar.
  • An image processing method therefore makes it possible to estimate the position of a trocar, in particular on a wall of the body of a patient automatically and in real time, in order to be able to adjust the relative instructions movement of the tool passing through this trocar.
  • the wall of the patient's body is preferably an abdominal, thoracic or pelvic wall, each trocar preferably allowing access to an abdominal, thoracic and/or pelvic cavity.
  • the surgical operation is called respectively laparoscopic, thoracoscopic or pelvioscopic surgery, depending on the wall on which the trocar is placed, regardless of the cavity accessed.
  • the method makes it possible to dispense with preoperative steps for determining the position of the trocar by automatically determining its position. Since the position of the trocar can vary over time, the use of the placement of the tool crossing the trocar, that is to say its orientation and its position, makes it possible to estimate in permanently the position of the trocar. On the two minimum images used to estimate the position of the trocar, the tool must have a different position and/or orientation, in particular there must be a change in position and/or orientation between the two images. of the tool which does not leave identical an axis of the tool corresponding to its main direction. The two images are for example referred to as estimation images.
  • This automatic estimation makes it possible to adapt the information provided to the medical staff in real time according to the estimated position of each trocar.
  • augmented reality information displayed on a viewing screen of the endoscope is adjusted as a function of the estimated position of the trocar, to form an augmented endoscopic image, this information taking into account the possible poses of the tool crossing the trocar based on estimated trocar position.
  • the estimation of the position of the trocar also makes it possible to resolve certain discrete ambiguities that sometimes exist on the pose of the tool, that is to say particular poses of the tool in which the only information from the endoscope is not sufficient. not to determine with certainty the pose of the tool, but for which an estimate of the position of the trocar makes it possible to bring additional information making it possible to remove the ambiguity on the pose of the tool.
  • the poses of the tool are indeed restricted by the position of the trocar that the tool passes through, and the analysis of at least two of these different poses allows the determination of the position of the trocar due to its low number of degrees of freedom.
  • the method also makes it possible to determine the position of a trocar even when this trocar is not visible by the endoscope, as long as the tool passing through the trocar is sufficiently visible.
  • the reference position can either be determined in a reference frame external or internal to the camera capturing the images, said camera possibly being an endoscope, for example.
  • An external marker is for example a world marker defined in the operating context, for example a marker linked to an observed organ or more generally in relation to the observed environment, or a marker of a device positioning of the camera (by optical or electromagnetic tracking, for example).
  • a reference internal to the camera or to the endoscope is for example a first position of the camera or of the endoscope at the instant of acquisition of a first image being defined as a reference for the position of the camera or of the the endoscope at the instants of acquisition of the following images, the position of the camera or of the endoscope for the following images being defined relative to this first reference position in the event of inter-image displacement.
  • the step of estimating the position of each trocar comprises, for each trocar:
  • the position of each trocar is determined by the intersection of the axes formed by the tool passing through this trocar in the at least two images where the tool has a different position. Since the movements of F tools are limited by access to the patient's body cavity through the trocar, the position of the trocar can be determined from two axes, since the main axes pass through the trocar. The intersection of the axes can be outside the zone visible by the endoscope without affecting the estimation of the position of the trocar.
  • These sub-steps are performed for each trocar whose position is to be estimated. They can be performed in parallel for each trocar, for example by using the same image to determine the main axes of several tools that appear on the image, or sequentially estimating the position of each trocar one by one before performing the substeps again to estimate the position of the next trocar.
  • the determination of the intersections of the principal axes of each set of principal axes comprises an application of a method of least squares, or preferably of a method with a robust estimator, such as an M-estimator, to the principal axes of the ensemble.
  • the method comprises a step of determining, from the images, the position of at least one organ visible on at least one of the images, called the target organ, with respect to the reference position.
  • the determination of the reference position relative to the target organ facilitates the determination of the position of each trocar according to the target organ.
  • this step allows for example the determination of the position of the target organ with respect to the reference position of the endoscope.
  • the target organ is generally an organ in the patient's body cavity, on which the tool or tools will intervene during the endoscopic surgical operation requiring the implementation of the image processing method.
  • the method comprises a step of determining an organ marker, centered on the target organ, and a step of determining, for each image, the position of the tool relative to the organ marker.
  • the step of estimating the position of the trocar comprises a sub-step of defining said position of the trocar in the organ marker.
  • the definition of the position of the trocar with respect to the organ marker makes it possible to obtain an improved knowledge of the possible interventions of 1 tool passing through the trocar on 1 target organ.
  • the definition of the position of the trocar with respect to the target organ, in the reference mark of the target organ also makes it possible to define the position of the trocar independently with respect to the reference position, for example with respect to the position of the endoscope, which allows movement of the endoscope without affecting the definition of the position of the trocar in the organ marker.
  • the method comprises a step of defining a zone of intervention of the tool on the target organ according to the position of the trocar.
  • the estimation of the position of the trocar makes it possible to determine a possible zone of intervention of the tool on the target organ.
  • the position of the trocar limits the movements of the tool and the knowledge of this position makes it possible to define and display, for example on a display screen, the intervention zone making it possible to assist the medical personnel in establishing the possibility of carrying out the desired intervention with the desired tool.
  • the invention also relates to an image processing device, configured for the automatic estimation of the position of at least one trocar, each trocar being configured to allow the passage of a substantially rectilinear tool through it, characterized in that it comprises:
  • reception unit configured to receive at least two images, each of the images representing at least one tool passing through each trocar, said tool being in a different position on at least two of the images
  • a processing unit comprising: o a module for determining, from the images, the position and orientation of the tool relative to a reference position, o an estimation module, from the images, the position of each trocar from at least two tool positions passing through this trocar.
  • a module can for example consist of a computing device such as a computer, a set of computing devices, an electronic component or a set of electronic components, or for example a computer program, a set of computer programs, of a library of a computer program or of a function of a computer program executed by a computer device such as a computer, a set of computer devices, an electronic component or a set of electronic components .
  • the image processing device also comprises an endoscope configured to acquire said at least two images.
  • the receiving unit receives the images acquired by the endoscope.
  • each trocar is arranged on a wall of the body of a patient during an endoscopy, and the images are images of the abdominal cavity of the patient and each trocar allows the passage of a tool in order to to access the patient's body cavity under the wall.
  • the reference position is a reference position of the endoscope.
  • the module for estimating the position of each trocar comprises, for each trocar: a sub-module for defining a main axis of the tool passing through the trocar, a sub-module for determining, from each image, of a set of principal axes of the tool at each position and orientation of the tool, a sub-module for determining the intersection of the principal axes of the set in each position and orientation of the tool, a sub-module for estimating the position of the trocar by correspondence of said position with the intersection of the main axes corresponding to the tool passing through said trocar.
  • the image processing device comprises a module for determining, from the images, the position of at least one organ visible on at least one of the images, said target organ with respect to the reference position. .
  • the image processing device comprises a module for determining an organ marker, centered on the target organ, and a module for determining, for each image, the position of the tool by relation to the organ reference.
  • the module for estimating the position of the trocar comprises a sub-module for defining said position of the trocar in the organ marker.
  • the image processing device comprises a module for defining a zone of intervention of the tool on the target organ according to the position of the trocar.
  • the image processing device is configured to implement the image processing method according to the invention.
  • the image processing method according to the invention is implemented by an image processing device according to the invention.
  • the modules and sub-modules of the device according to the invention are configured to implement the corresponding steps and sub-steps of the image processing method according to the invention and the steps and sub-steps of the processing method images can be implemented by the corresponding modules and sub-modules of the device according to the invention.
  • the invention also relates to an endoscopic imaging system characterized in that it comprises an image processing device according to the invention, and a display screen, configured to display images received by the image processing device , in particular in one embodiment of the images acquired by the endoscope, and additional information supplied by the processing unit according to the estimated position of each trocar.
  • the system is used for laparoscopic, thoracoscopic or pelvioscopic imaging.
  • the invention also relates to an image processing method, an image processing device and an endoscopic system characterized in combination by all or some of the characteristics mentioned above or below.
  • FIG. 1 is a schematic view of a laparoscopic imaging system according to one embodiment of the invention.
  • FIG. 2 is a schematic representation of the steps of an image processing method according to one embodiment of the invention.
  • FIG. 3 is a schematic view of a first laparoscopic image obtained by an image processing method according to one embodiment of the invention.
  • FIG. 4 is a schematic view of a second laparoscopic image obtained by an image processing method according to one embodiment of the invention.
  • FIG. 5 is a schematic view of an augmented laparoscopic image obtained by an image processing method according to one embodiment of the invention.
  • FIG. 1 schematically represents a laparoscopic imaging system 10 according to one embodiment of the invention.
  • the objective of the system is to make it possible to acquire and disseminate images taken in a cavity 50 of the body of the patient, here a cavity of a patient's abdomen (or abdominal cavity 50), particularly in the context of laparoscopic surgery.
  • the laparoscopic surgery operation can for example be intended for the intervention on a target organ 52 .
  • the system 10 comprises an image processing device according to one embodiment of the invention, comprising in this embodiment an endoscope 12 configured to acquire images of the abdominal cavity 50 of the patient.
  • the endoscope 12 is arranged in the abdominal cavity 50 of the patient thanks to a trocar 14 allowing the endoscope to pass through the abdominal wall.
  • the endoscope used in a laparoscopic operation is commonly called laparoscope or laparoscope.
  • the image processing device also comprises a reception unit configured to receive images, in particular the images acquired by the endoscope.
  • the processing device comprises several modules making it possible to implement a method according to the invention, combined here in a processing unit 16.
  • the processing unit 16 is for example a computer or an electronic card comprising a processor, for example a processor dedicated to the processing of images of the method according to the invention or else a generalist processor configured to, among several functions, in particular execute program instructions for the execution of the steps of the method according to the invention.
  • the images acquired from the endoscope 12 or the images received by the reception unit are displayed on a display screen 18 intended for medical personnel.
  • the acquired images can be augmented, i.e. include additional information added by the laparoscopic imaging system, which can come from the image processing device or other devices.
  • the medical staff is required to intervene on the target organ via at least one tool 54 passing through the abdominal wall 56 thanks to a trocar 58.
  • a trocar is for example a small plastic tube allowing the access to the abdominal cavity while maintaining the tightness of the pneumoperitoneum.
  • the objective of the image processing device is to estimate the position of each trocar 58 allowing the tool 54 to pass through.
  • An image processing method 100 comprises several steps represented with reference to FIG. 2.
  • the image processing method comprises a step 110 of receiving at least two images, in particular images of the abdominal cavity of the patient, each of the images representing at least one organ of the abdomen, called target organ, and at at least one tool passing through each trocar, said tool being in a different position on at least two of the images.
  • the method 100 then comprises a step 120 of determining, from the images, the position of the target organ relative to a reference position.
  • Determining the position of the target organ can be done using several methods. For example, from images acquired by the endoscope or more generally from images received during a step of receiving images of the patient's cavity, it is possible to use a 3D reconstruction solution, or a registration of the images acquired to preoperative data (approximate preliminary knowledge of the positions of organs likely to be visible in the patient's cavity, for example via the endoscope), or any other solution making it possible to define a fixed 3D marker on the target organ.
  • the 3D reconstruction solution can for example be carried out by structure type methods acquired from a movement, also called Structure-from-Motion or SfM in English, or simultaneous visual mapping and localization type methods, also called Simultaneous Localization and Mapping or SLAM in English.
  • the 3D reconstruction solution can be implemented via the Meshroom software published by the ALICEVISION association.
  • the method 100 then comprises a step 130 of determining, from the images, the position and the orientation of the tool with respect to the reference position, for example the position of the endoscope. Since the position of the tool is variable, it cannot be determined by preoperative data. The position of a tool is therefore determined by a 3D reconstruction solution, which can be either generic or adapted to the type of tool used. This last solution can allow a faster and more robust determination of the position of the tool.
  • the method 100 then comprises a step 140 of determining an organ marker, centered on the target organ, and a step 150 of determining the reference position with respect to the organ marker.
  • the determination of the organ marker can be carried out using different methods, depending on the target organ. From a 3D object representative of the organ determined at the stage of determining the position of the target organ, either by 3D reconstruction or by registration of preoperative data (in particular a preoperative 3D model), it is possible to define for example the center of mass of this 3D object as the origin and define the main axes of the target organ which will form the 3 axes of the reference mark of the target organ.
  • the method 100 then comprises a step 160 of estimating, from the images, the position of each trocar from at least two positions and orientations of the tool passing through this trocar.
  • This step comprises in particular, in this embodiment of the invention, a plurality of sub-steps.
  • a sub-step 160a for defining a main axis of each tool can be carried out beforehand, and makes it possible to define a main axis for the type of tool passing through the trocar that one is seeking to locate, so as to maintain a constant reference mark regardless of the position of the tool on the images processed in the following sub-steps.
  • the tools being substantially rectilinear, their main axis is generally defined by the axis in which the tool extends, characterizing in particular its length.
  • the main axis of each tool passes through the trocar in which is inserted 1 tool whatever the position of 1 tool, and it is thanks to this property that the position of the trocar can be estimated.
  • the step 160 of estimating the position of each trocar comprises a sub-step 160b of determining, from each image, sets of main axes of the tools at each position and orientation of each tool.
  • This sub-step makes it possible to associate with each tool a set of principal axes representing the tool in at least two different positions and orientations.
  • FIG. 3 schematically represents a first image 118a as received for processing by the image processing method, for example acquired by the endoscope, and as can be displayed on the display screen 18 previously described with reference to the FIG. 1.
  • a tool 54 and the target organ 52 can be seen, to which the organ marker Oxyz has been assigned.
  • This first image makes it possible to obtain a first main axis 60a associated with the tool 54 in the position and orientation represented on this first image 118a.
  • FIG. 4 schematically represents a second image 118b as received for processing by the image processing method, for example acquired by the endoscope, and as can be displayed on the display screen 18 previously described with reference to the figure 1.
  • the second image 118b is visible the tool 54 and the target organ 52, and makes it possible to obtain a second main axis 60b associated with the tool 54 in the position and orientation represented on this image 118b.
  • step 160 of estimating the position of each trocar then comprises a sub-step 160c of determining the intersections of the main axes of each set corresponding to the same tool in each position and orientation of said tool, The determination of the intersection is carried out according to a precise statistical criterion, for example an intersection in the sense of the least squares, that is to say by applying the method of the least squares to the main axes of each set of main axes to determine 1 intersection of said principal axes.
  • a precise statistical criterion for example an intersection in the sense of the least squares, that is to say by applying the method of the least squares to the main axes of each set of main axes to determine 1 intersection of said principal axes.
  • this intersection allows an estimation of the position of the trocar by correspondence of said position with the intersection corresponding to the tool passing through said trocar.
  • This estimation corresponds to a substep 160d of estimating the position of each trocar of the step 160 of estimating the position of each trocar.
  • the step 160 of estimating the position of each trocar finally comprises a sub-step 160e of defining said position of the trocar in the organ marker.
  • the position of each trocar is thus expressed according to the organ marker.
  • FIG. 5 schematically represents an augmented laparoscopic image 118c as received for processing by the image processing method, for example acquired by the endoscope, following at least one execution of the image processing method described with reference to the FIG. 2.
  • the method made it possible to estimate the position of the trocar 58 visible in FIG. 1 but not visible on the images received by the image processing method, in particular not visible by the endoscope.
  • the trocar could also appear on the image.
  • each trocar Whether each trocar is visible or not, its position is estimated by the intersection 62 of the main axes previously described with reference to FIGS. 3 and 4.
  • the estimation of the position of the trocar allows the display of additional information , such as for example a zone 64 of intervention of the tool on the target organ depending on the position of the trocar, for example to intervene on a tumor 66 of the target organ 52.
  • This zone of intervention is determined by a step 170 of defining a zone of intervention of the tool on the target organ according to the position of the trocar of the method 100.
  • the determination of the intervention zone is made according to the displacement constraints of the tool, which depend in particular on the shape of the tool and the position of the trocar.
  • 1 estimated trocar position can also be displayed on the laparoscopic 118c image as additional information.
  • the method is configured to determine in real time the position of the trocar(s) allowing the passage of the tools, in the event of modification of the position of the trocar relative to the target organ (either by displacement of the trocar, or by displacement of the target organ, or both).
  • the steps of the image processing method are therefore repeated as many times as necessary and the estimation of the position of the trocar adjusted accordingly.
  • the invention is not limited to the embodiment described.
  • the invention is applicable to any type of endoscopic imaging system in the context of endoscopy using trocars, for example in the thoracic or pelvic cavity.
  • the trocar can for example be placed at the level of a chest or pelvic wall.
  • the target organ can for example be in the thoracic or pelvic cavity.
  • a trocar and an endoscope placed on an abdominal wall can for example be used for an intervention on a target organ located in the pelvic or thoracic cavity.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)

Abstract

The invention relates to a method for processing images acquired by an endoscope (12), in order to automatically estimate the position of at least one trocar (58) arranged on a wall (56) of the body of a patient, each trocar (58) being configured to enable the passage of a tool (54) through the wall in order to access a cavity (50) of the body of the patient, characterized in that it comprises a step of acquiring images of the abdominal cavity (50) of the patient by the endoscope (12), each of the images representing at least one tool (54) passing through each trocar (58), a step of determining, on the basis of the images, the position and orientation of the tool (54) relative to the position of the endoscope (12), a step of estimating, on the basis of the images, the position of each trocar (58) on the basis of at least two positions and orientations of the tool (54).

Description

DESCRIPTION DESCRIPTION
TITRE DE L’INVENTION : PROCÉDÉ ET DISPOSITIF DE TRAITEMENT D’IMAGES POUR L’ESTIMATION AUTOMATIQUE DE LA POSITION D’UN TROCART TITLE OF THE INVENTION: METHOD AND DEVICE FOR PROCESSING IMAGES FOR THE AUTOMATIC ESTIMATION OF THE POSITION OF A TROCAR
Domaine technique de l’invention Technical field of the invention
L’invention concerne un procédé et un dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart, en particulier pour le traitement d’images pour une assistance à la chirurgie endoscopique, en particulier cœlioscopique. L’invention concerne plus particulièrement un procédé et un dispositif permettant d’estimer en temps réel la position d’un trocart permettant l’accès d’un outil ou d’un endoscope dans une cavité du corps d’un patient, en particulier la cavité de l’abdomen. L’invention concerne également un système d’imagerie endoscopique comprenant un dispositif de traitement d’images et/ou mettant en œuvre un procédé de traitement d’images. The invention relates to a method and an image processing device for the automatic estimation of the position of a trocar, in particular for the processing of images for assistance in endoscopic surgery, in particular laparoscopic. The invention relates more particularly to a method and a device making it possible to estimate in real time the position of a trocar allowing access of a tool or an endoscope into a cavity of the body of a patient, in particular the abdominal cavity. The invention also relates to an endoscopic imaging system comprising an image processing device and/or implementing an image processing method.
Arrière-plan technologique Technology background
La cœlioscopie, aussi appelée laparoscopie, est une technique médicale d’exploration visuelle de l’intérieur du corps d’un patient grâce à un endoscope, ou plus particulièrement un cœlioscope ou laparoscope lorsque qu’il est utilisé pour observer l’abdomen d’un patient. Un endoscope comprend généralement une source lumineuse et un moyen de captation de la lumière, par exemple des fibres optiques ou un capteur vidéo. Laparoscopy, also called laparoscopy, is a medical technique of visual exploration of the inside of a patient's body using an endoscope, or more particularly a laparoscope or laparoscope when it is used to observe the abdomen of a patient. a patient. An endoscope generally comprises a light source and a means of capturing the light, for example optical fibers or a video sensor.
Lors d’une intervention chirurgicale par cœlioscopie, le cœlioscope permet une vision directe ou déportée de la cavité de l’abdomen et permet l’observation du site chirurgical et l’intervention directe à l’aide d’outils chirurgicaux. Cette technique chirurgicale présente l’avantage de ne pas nécessiter d’ouverture large de la paroi abdominale (contrairement à la laparotomie ou cœliotomie), faisant de celle-ci une technique minimalement invasive. De maniéré analogue, des interventions chirurgicales minimalement invasives utilisant un endoscope peuvent être mises en œuvre dans la cavité thoracique (thoracoscopie) ou dans la cavité pelvienne. On parle généralement d’opération endoscopique ou endoscopie chirurgicale. During laparoscopic surgery, the laparoscope allows direct or remote vision of the abdominal cavity and allows observation of the surgical site and direct intervention using surgical tools. This surgical technique has the advantage of not requiring a wide opening of the abdominal wall (unlike laparotomy or laparotomy), making it a minimally invasive technique. Similarly, minimally invasive surgical procedures using an endoscope can be performed in the chest cavity (thoracoscopy) or in the pelvic cavity. We generally speak of an endoscopic operation or surgical endoscopy.
Les avancées technologiques récentes ont fait évoluer la cœlioscopie d’une vision simple par le personnel médical de l’image de la zone à opérer vers une vision augmentée, qui permet d’afficher à l’écran des informations supplémentaires sur l’image visualisée de façon à assister le personnel médical lors de l’opération. Recent technological advances have made laparoscopy evolve from a simple vision by the medical staff of the image of the area to be operated on towards an increased vision, which makes it possible to display additional information on the screen on the visualized image of so as to assist the medical personnel during the operation.
En particulier, les techniques de vision par ordinateur sont utilisées sur l’image obtenue par le cœlioscope en temps réel pour apporter un complément d’information par réalité augmentée. Par exemple, on peut afficher sur l’image une structure cachée dans l’organe, comme une tumeur. En particulier, on peut souhaiter afficher un lieu d’intervention (incision par exemple) sur l’image de l’organe. Plus généralement, on parle ici de chirurgie guidée par ordinateur. In particular, computer vision techniques are used on the image obtained by the laparoscope in real time to provide additional information through augmented reality. For example, one can display on the image a hidden structure in the organ, such as a tumor. In particular, you may wish to display a place of intervention (incision for example) on the image of the organ. More generally, we are talking here about computer-guided surgery.
Une difficulté de l’ajout du complément d’information vient en particulier de la transcription d’une information tridimensionnelle (la position des organes, la position de la tumeur, le lieu d’incision, la position des vaisseaux sanguins, etc.) à une image bidimensionnelle captée par le cœlioscope. A difficulty in adding additional information comes in particular from the transcription of three-dimensional information (the position of the organs, the position of the tumor, the place of incision, the position of the blood vessels, etc.) a two-dimensional image captured by the laparoscope.
En particulier, l’accès à l’abdomen par les outils n’est pas libre car les outils traversent des éléments de passage permettant la traversée de la paroi de l’abdomen. Ces éléments de passage sont appelés trocarts et sont généralement formés de petits tubes placés dans une incision abdominale et permettant le passage des outils tout en garantissant l’étanchéité du pneumopéritoine créé. Un trocart permet généralement le passage d’un seul outil, et ceux-ci sont généralement au nombre de deux ou trois. In particular, the access to the abdomen by the tools is not free because the tools cross passage elements allowing the crossing of the wall of the abdomen. These passage elements are called trocars and are generally formed of small tubes placed in an abdominal incision and allowing the passage of tools while guaranteeing the tightness of the pneumoperitoneum created. A trocar usually allows the passage of only one tool, and these are usually two or three in number.
Ces trocarts limitent donc la pose des outils, c’est-à-dire leurs orientations et leurs positions. L’ajout d’information sur l’image transmise au personnel médical doit donc prendre en compte cette limitation et fournir notamment des informations d’intervention compatibles avec les mouvements et positions possibles des outils. These trocars therefore limit the positioning of the tools, that is to say their orientations and their positions. The addition of information on the image transmitted to the medical personnel must therefore take this limitation into account and in particular provide intervention information compatible with the possible movements and positions of the tools.
Les inventeurs ont ainsi cherché à améliorer la détermination des zones d’intervention de l’outil, grâce à une meilleure détermination de la pose de l’outil et des mouvements possibles de 1 outil, et en particulier la determination de la position du trocart permettant la traversée de l’outil. The inventors have thus sought to improve the determination of the zones of intervention of the tool, thanks to a better determination of the pose of the tool and possible movements of 1 tool, and in particular the determination of the position of the trocar allowing the crossing of the tool.
Objectifs de l’invention Objectives of the invention
L’invention vise à fournir un procédé et un dispositif de traitement d’images pour l’estimation automatique de la position d’au moins un trocart pour la chirurgie endoscopique. The invention aims to provide a method and an image processing device for the automatic estimation of the position of at least one trocar for endoscopic surgery.
L’invention vise à fournir un procédé et un dispositif de traitement d’images permettant une meilleure prise en compte des limitations de mouvements et position de l’outil pour la détermination des informations d’assistance à l’opération chirurgicale. The invention aims to provide a method and an image processing device allowing a better consideration of the limitations of movements and position of the tool for the determination of the information of assistance to the surgical operation.
L’invention vise à fournir un procédé et un dispositif de traitement d’images permettant une estimation de la position de chaque trocart et un ajustement temps- réel de la position estimée de chaque trocart à la réception de nouvelles images. The invention aims to provide an image processing method and device allowing an estimation of the position of each trocar and a real-time adjustment of the estimated position of each trocar upon receipt of new images.
L’invention vise à fournir un procédé et un dispositif de traitement d’images permettant l’affichage de zones d’intervention sur une image d’un organe sur lequel intervenir, en fonction de la position du trocart. The invention aims to provide a method and an image processing device allowing the display of intervention zones on an image of an organ on which to intervene, depending on the position of the trocar.
Exposé de l’invention Disclosure of Invention
Pour ce faire, l’invention concerne un procédé de traitement d’images pour l’estimation automatique de la position d’au moins un trocart, chaque trocart étant configuré pour permettre le passage d’un outil sensiblement rectiligne au travers de celui-ci, caractérisé en ce qu’il comprend : To do this, the invention relates to an image processing method for the automatic estimation of the position of at least one trocar, each trocar being configured to allow the passage of a substantially rectilinear tool through it. , characterized in that it comprises:
- une étape de réception d’au moins deux images, chacune des images représentant au moins un outil traversant chaque trocart, ledit outil étant dans une position et/ou orientation différente sur au moins deux des images, - a step of receiving at least two images, each of the images representing at least one tool passing through each trocar, said tool being in a different position and/or orientation on at least two of the images,
- une étape de détermination, à partir des images et sur au moins lesdites deux images, de la position et de l’orientation de chaque outil par rapport à une position de référence, - a step of determining, from the images and on at least said two images, the position and orientation of each tool with respect to a reference position,
- une étape d’estimation, à partir des images, de la position de chaque trocart par rapport à la position de référence, à partir d’au moins deux positions et orientations de 1 outil traversant ce trocart. - a step of estimating, from the images, the position of each trocar with respect to the reference position, from at least two positions and orientations of 1 tool passing through this trocar.
Selon une variante de l’invention, l’invention concerne un procédé de traitement d’images pour l’estimation automatique de la position d’au moins un trocart agencé sur une paroi du corps d’un patient, chaque trocart étant configuré pour permettre le passage d’un outil sensiblement rectiligne au travers de celui-ci afin d’accéder à une cavité du corps du patient sous la paroi, caractérisé en ce qu’il comprend : une étape de réception d’au moins deux images de la cavité du patient, chacune des images représentant au moins un outil traversant chaque trocart, ledit outil étant dans une position et/ou orientation différente sur au moins deux des images, une étape de détermination, à partir des images et sur au moins lesdites deux images, de la position et de l’orientation de chaque outil par rapport à une position de référence, une étape d’estimation, à partir des images, de la position de chaque trocart par rapport à la position de référence, à partir d’au moins deux positions et orientations de l’outil traversant ce trocart. According to a variant of the invention, the invention relates to an image processing method for the automatic estimation of the position of at least one trocar arranged on a wall of the body of a patient, each trocar being configured to allow the passage of a substantially straight tool therethrough in order to access a cavity of the patient's body under the wall, characterized in that it comprises: a step of receiving at least two images of the cavity of the patient, each of the images representing at least one tool passing through each trocar, said tool being in a different position and/or orientation on at least two of the images, a determination step, from the images and on at least said two images, of the position and orientation of each tool relative to a reference position, a step of estimating, from the images, the position of each trocar relative to the reference position, from at least two positions and orientation ons of the tool passing through this trocar.
Un procédé de traitement d’images selon l’invention permet donc l’estimation de la position d’un trocart, en particulier sur une paroi du corps d’un patient de façon automatique et en temps réel, afin de pouvoir ajuster les instructions relatives au déplacement de l’outil traversant ce trocart. La paroi du corps du patient est de préférence une paroi abdominale, thoracique ou pelvienne, chaque trocart permettant l’accès de préférence à une cavité abdominale, thoracique et/ou pelvienne. Dans ce contexte, l’opération chirurgicale est dite respectivement chirurgie cœlioscopique, thoracoscopique ou pelvioscopique, en fonction de la paroi sur laquelle est agencée le trocart, quelle que soit la cavité accédée. An image processing method according to the invention therefore makes it possible to estimate the position of a trocar, in particular on a wall of the body of a patient automatically and in real time, in order to be able to adjust the relative instructions movement of the tool passing through this trocar. The wall of the patient's body is preferably an abdominal, thoracic or pelvic wall, each trocar preferably allowing access to an abdominal, thoracic and/or pelvic cavity. In this context, the surgical operation is called respectively laparoscopic, thoracoscopic or pelvioscopic surgery, depending on the wall on which the trocar is placed, regardless of the cavity accessed.
Le procédé permet de s’affranchir d’étapes préopératoires de détermination de la position du trocart en déterminant automatiquement sa position. La position du trocart pouvant varier au cours du temps, l’utilisation de la pose de l’outil traversant le trocart, c’est-à-dire son orientation et sa position, permet d’estimer en permanence la position du trocart. Sur les deux images minimums utilisées pour estimer la position du trocart, il faut que l’outil ait une position et/ou une orientation différente, en particulier qu’il y ait entre les deux images un changement de position et/ou d’orientation de l’outil qui ne laisse pas identique un axe de l’outil correspondant à sa direction principale. Les deux images sont par exemples désignées en tant qu’imagés d’estimation. The method makes it possible to dispense with preoperative steps for determining the position of the trocar by automatically determining its position. Since the position of the trocar can vary over time, the use of the placement of the tool crossing the trocar, that is to say its orientation and its position, makes it possible to estimate in permanently the position of the trocar. On the two minimum images used to estimate the position of the trocar, the tool must have a different position and/or orientation, in particular there must be a change in position and/or orientation between the two images. of the tool which does not leave identical an axis of the tool corresponding to its main direction. The two images are for example referred to as estimation images.
Cette estimation automatique permet d’adapter les informations fournies au personnel médical en temps réel en fonction de la position estimée de chaque trocart. En particulier, des informations en réalité augmentée affichées sur un écran de visualisation de l’endoscope sont ajustées en fonction de la position du trocart estimée, pour former une image endoscopique augmentée, ces informations prenant en compte les poses possibles de l’outil traversant le trocart en fonction de la position estimée du trocart. L’estimation de la position du trocart permet aussi de résoudre certaines ambiguïtés discrètes existants parfois sur la pose de l’outil, c’est- à-dire des poses de l’outil particulières dans lesquelles les seules informations de l’endoscope ne suffisent pas à déterminer de façon sûre la pose de l’outil, mais pour lesquelles une estimation de la position du trocart permet d’apporter une information supplémentaire permettant de lever l’ambiguïté sur la pose de l’outil. This automatic estimation makes it possible to adapt the information provided to the medical staff in real time according to the estimated position of each trocar. In particular, augmented reality information displayed on a viewing screen of the endoscope is adjusted as a function of the estimated position of the trocar, to form an augmented endoscopic image, this information taking into account the possible poses of the tool crossing the trocar based on estimated trocar position. The estimation of the position of the trocar also makes it possible to resolve certain discrete ambiguities that sometimes exist on the pose of the tool, that is to say particular poses of the tool in which the only information from the endoscope is not sufficient. not to determine with certainty the pose of the tool, but for which an estimate of the position of the trocar makes it possible to bring additional information making it possible to remove the ambiguity on the pose of the tool.
Les poses de l’outil sont en effet restreintes par la position du trocart que l’outil traverse, et l’analyse d’au moins deux de ces poses différentes permet la détermination de la position du trocart du fait de son faible nombre de degrés de liberté. The poses of the tool are indeed restricted by the position of the trocar that the tool passes through, and the analysis of at least two of these different poses allows the determination of the position of the trocar due to its low number of degrees of freedom.
En utilisant les poses des outils pour déterminer la position des trocarts, le procédé permet en outre de déterminer la position d’un trocart même lorsque ce trocart n’est pas visible par l’endoscope, du moment que l’outil traversant le trocart est suffisamment visible. By using the poses of the tools to determine the position of the trocars, the method also makes it possible to determine the position of a trocar even when this trocar is not visible by the endoscope, as long as the tool passing through the trocar is sufficiently visible.
La position de référence peut être soit déterminée dans un repère extérieur ou interne à la caméra captant les images, ladite caméra pouvant par exemple être un endoscope. Un repère extérieur est par exemple un repère monde défini dans le contexte opératoire, par exemple un repère lié à un organe observé ou plus généralement par rapport à l’environnement observé, ou un repère d’un dispositif de positionnement de la camera (par suivi optique ou électromagnétique par exemple). Un repère interne à la caméra ou à l’endoscope est par exemple une première position de la caméra ou de l’endoscope à l’instant de l’acquisition d’une première image étant définie comme repère pour la position de la caméra ou de l’endoscope aux instants d’acquisition des images suivantes, la position de la caméra ou de l’endoscope pour les images suivantes étant définie de façon relative à cette première position de référence en cas de déplacement inter-images. The reference position can either be determined in a reference frame external or internal to the camera capturing the images, said camera possibly being an endoscope, for example. An external marker is for example a world marker defined in the operating context, for example a marker linked to an observed organ or more generally in relation to the observed environment, or a marker of a device positioning of the camera (by optical or electromagnetic tracking, for example). A reference internal to the camera or to the endoscope is for example a first position of the camera or of the endoscope at the instant of acquisition of a first image being defined as a reference for the position of the camera or of the the endoscope at the instants of acquisition of the following images, the position of the camera or of the endoscope for the following images being defined relative to this first reference position in the event of inter-image displacement.
Avantageusement et selon l’invention, l’étape d’estimation de la position de chaque trocart comprend, pour chaque trocart : Advantageously and according to the invention, the step of estimating the position of each trocar comprises, for each trocar:
- une sous-étape de définition d’un axe principal de l’outil traversant le trocart, - a sub-step for defining a main axis of the tool passing through the trocar,
- une sous-étape de détermination, à partir de chaque image, d’ensembles d’axes principaux de l’outil à chaque position et orientation de l’outil, - a sub-step for determining, from each image, sets of main axes of the tool at each position and orientation of the tool,
- une sous-étape de détermination de l’intersection des axes principaux de l’ensemble dans chaque position et orientation de l’outil,- a sub-step for determining the intersection of the main axes of the assembly in each position and orientation of the tool,
- une sous-étape d’estimation de la position du trocart par correspondance de ladite position avec l’intersection des axes principaux correspondant à l’outil traversant ledit trocart. - a sub-step of estimating the position of the trocar by correspondence of said position with the intersection of the main axes corresponding to the tool passing through said trocar.
Selon cet aspect de l’invention, la position de chaque trocart est déterminée par l’intersection des axes que forme l’outil traversant ce trocart dans les au moins deux images où l’outil a une position différente. Les déplacements de F outils étant limités par l’accès à la cavité du corps du patient par le trocart, on peut, à partir de deux axes, déterminer la position du trocart, car les axes principaux passent par le trocart. L’intersection des axes peut se trouver en dehors de la zone visible par l’endoscope sans nuire à l’estimation de la position du trocart. According to this aspect of the invention, the position of each trocar is determined by the intersection of the axes formed by the tool passing through this trocar in the at least two images where the tool has a different position. Since the movements of F tools are limited by access to the patient's body cavity through the trocar, the position of the trocar can be determined from two axes, since the main axes pass through the trocar. The intersection of the axes can be outside the zone visible by the endoscope without affecting the estimation of the position of the trocar.
Ces sous-étapes sont exécutées pour chaque trocart dont on cherche à estimer la position. Elles peuvent être exécutées parallèlement pour chaque trocart, par exemple en se servant d’une même image pour la détermination des axes principaux de plusieurs outils qui apparaissent sur l’image, ou bien séquentiellement en estimant une par une la position de chaque trocart avant d’exécuter les sous-étapes une nouvelle fois pour estimer la position du trocart suivant. These sub-steps are performed for each trocar whose position is to be estimated. They can be performed in parallel for each trocar, for example by using the same image to determine the main axes of several tools that appear on the image, or sequentially estimating the position of each trocar one by one before performing the substeps again to estimate the position of the next trocar.
Avantageusement et selon cette dernière variante de l’invention, la détermination des intersections des axes principaux de chaque ensemble d’axes principaux comprend une application d’une méthode des moindres carrés, ou de préférence d’une méthode à estimateur robuste, tel qu’un M-estimateur, aux axes principaux de l’ensemble. Advantageously and according to this last variant of the invention, the determination of the intersections of the principal axes of each set of principal axes comprises an application of a method of least squares, or preferably of a method with a robust estimator, such as an M-estimator, to the principal axes of the ensemble.
Avantageusement et selon l’invention, le procédé comprend une étape de détermination, à partir des images, de la position d’au moins un organe visible sur au moins une des images, dit organe cible, par rapport à la position de référence. Advantageously and according to the invention, the method comprises a step of determining, from the images, the position of at least one organ visible on at least one of the images, called the target organ, with respect to the reference position.
Selon cet aspect de l’invention, la détermination de la position de référence par rapport à l’organe cible permet de faciliter la détermination de la position de chaque trocart en fonction de l’organe cible. Avantageusement et selon l’invention, cette étape permet par exemple la détermination de la position de l’organe cible par rapport à la position de référence de l’endoscope. L’organe cible est généralement un organe de la cavité du corps du patient, sur lequel le ou les outils vont intervenir lors de l’opération chirurgicale endoscopique nécessitant la mise en œuvre du procédé de traitement d’images. According to this aspect of the invention, the determination of the reference position relative to the target organ facilitates the determination of the position of each trocar according to the target organ. Advantageously and according to the invention, this step allows for example the determination of the position of the target organ with respect to the reference position of the endoscope. The target organ is generally an organ in the patient's body cavity, on which the tool or tools will intervene during the endoscopic surgical operation requiring the implementation of the image processing method.
Avantageusement et selon l’invention, le procédé comprend une étape de détermination d’un repère organe, centré sur l’organe cible, et une étape de détermination, pour chaque image, de la position de l’outil par rapport au repère organe. Advantageously and according to the invention, the method comprises a step of determining an organ marker, centered on the target organ, and a step of determining, for each image, the position of the tool relative to the organ marker.
Avantageusement et selon l’invention, l’étape d’estimation de la position du trocart comprend une sous-étape de définition de ladite position du trocart dans le repère organe. Advantageously and according to the invention, the step of estimating the position of the trocar comprises a sub-step of defining said position of the trocar in the organ marker.
Selon cet aspect de l’invention, la définition de la position du trocart par rapport au repère organe permet d’obtenir une connaissance améliorée des interventions possibles de 1 outil traversant le trocart sur 1 organe cible. La définition de la position du trocart par rapport à l’organe cible, dans le repère de l’organe cible, permet en outre de définir la position du trocart de façon indépendante par rapport à la position de référence, par exemple par rapport à la position de l’endoscope, ce qui permet un déplacement de l’endoscope sans impact sur la définition de la position du trocart dans le repère organe. According to this aspect of the invention, the definition of the position of the trocar with respect to the organ marker makes it possible to obtain an improved knowledge of the possible interventions of 1 tool passing through the trocar on 1 target organ. The definition of the position of the trocar with respect to the target organ, in the reference mark of the target organ, also makes it possible to define the position of the trocar independently with respect to the reference position, for example with respect to the position of the endoscope, which allows movement of the endoscope without affecting the definition of the position of the trocar in the organ marker.
Avantageusement et selon l’invention, le procédé comprend une étape de définition d’une zone d’intervention de l’outil sur l’organe cible en fonction de la position du trocart. Advantageously and according to the invention, the method comprises a step of defining a zone of intervention of the tool on the target organ according to the position of the trocar.
Selon cet aspect de l’invention, l’estimation de la position du trocart permet de déterminer une zone d’intervention possible de l’outil sur l’organe cible. En effet, la position du trocart limite les mouvements de l’outil et la connaissance de cette position permet de définir et d’afficher par exemple sur un écran de visualisation, la zone d’intervention permettant d’assister le personnel médical pour établir la possibilité d’effectuer l’intervention souhaitée avec l’outil souhaité. According to this aspect of the invention, the estimation of the position of the trocar makes it possible to determine a possible zone of intervention of the tool on the target organ. Indeed, the position of the trocar limits the movements of the tool and the knowledge of this position makes it possible to define and display, for example on a display screen, the intervention zone making it possible to assist the medical personnel in establishing the possibility of carrying out the desired intervention with the desired tool.
L’invention concerne également un dispositif de traitement d’images, configuré pour l’estimation automatique de la position d’au moins un trocart, chaque trocart étant configuré pour permettre le passage d’un outil sensiblement rectiligne au travers de celui-ci, caractérisé en ce qu’il comprend : The invention also relates to an image processing device, configured for the automatic estimation of the position of at least one trocar, each trocar being configured to allow the passage of a substantially rectilinear tool through it, characterized in that it comprises:
- une unité de réception configurée pour recevoir au moins deux images, chacune des images représentant au moins un outil traversant chaque trocart, ledit outil étant dans une position différente sur au moins deux des images, - a reception unit configured to receive at least two images, each of the images representing at least one tool passing through each trocar, said tool being in a different position on at least two of the images,
- une unité de traitement comprenant : o un module de détermination, à partir des images, de la position et de l’orientation de l’outil par rapport à une position de référence, o un module d’estimation, à partir des images, de la position de chaque trocart à partir d’au moins deux positions de l’outil traversant ce trocart. - a processing unit comprising: o a module for determining, from the images, the position and orientation of the tool relative to a reference position, o an estimation module, from the images, the position of each trocar from at least two tool positions passing through this trocar.
Un module peut par exemple consister en un dispositif informatique tel qu’un ordinateur, d’un ensemble de dispositifs informatiques, d’un composant électronique ou d’un ensemble de composants électroniques, ou par exemple d’un programme informatique, d’un ensemble de programmes informatiques, d’une librairie d’un programme informatique ou d’une fonction d’un programme informatique exécuté par un dispositif informatique tel qu’un ordinateur, un ensemble de dispositifs informatiques, un composant électronique ou un ensemble de composants électroniques. A module can for example consist of a computing device such as a computer, a set of computing devices, an electronic component or a set of electronic components, or for example a computer program, a set of computer programs, of a library of a computer program or of a function of a computer program executed by a computer device such as a computer, a set of computer devices, an electronic component or a set of electronic components .
Avantageusement et selon l’invention, le dispositif de traitement d’images comprend également un endoscope configuré pour acquérir lesdites au moins deux images. L’unité de réception reçoit les images acquises par l’endoscope. Advantageously and according to the invention, the image processing device also comprises an endoscope configured to acquire said at least two images. The receiving unit receives the images acquired by the endoscope.
Avantageusement et selon l’invention, chaque trocart est agencé sur une paroi du corps d’un patient lors d’une endoscopie, et les images sont des images de la cavité abdominale du patient et chaque trocart permet le passage d’un outil afin d’accéder à la cavité du corps du patient sous la paroi. Advantageously and according to the invention, each trocar is arranged on a wall of the body of a patient during an endoscopy, and the images are images of the abdominal cavity of the patient and each trocar allows the passage of a tool in order to to access the patient's body cavity under the wall.
Avantageusement et selon l’invention, la position de référence est une position de référence de l’endoscope. Advantageously and according to the invention, the reference position is a reference position of the endoscope.
Avantageusement et selon l’invention, le module d’estimation de la position de chaque trocart comprend, pour chaque trocart : un sous-module de définition d’un axe principal de l’outil traversant le trocart, un sous-module de détermination, à partir de chaque image, d’un ensemble d’axes principaux de l’outil à chaque position et orientation de l’outil, un sous-module de détermination de l’intersection des axes principaux de l’ensemble dans chaque position et orientation de l’outil, un sous-module d’estimation de la position du trocart par correspondance de ladite position avec l’intersection des axes principaux correspondant à l’outil traversant ledit trocart. Avantageusement et selon 1 invention, le dispositif de traitement d images comprend un module de détermination, à partir des images, de la position d’au moins un organe visible sur au moins une des images, dit organe cible par rapport à la position de référence. Advantageously and according to the invention, the module for estimating the position of each trocar comprises, for each trocar: a sub-module for defining a main axis of the tool passing through the trocar, a sub-module for determining, from each image, of a set of principal axes of the tool at each position and orientation of the tool, a sub-module for determining the intersection of the principal axes of the set in each position and orientation of the tool, a sub-module for estimating the position of the trocar by correspondence of said position with the intersection of the main axes corresponding to the tool passing through said trocar. Advantageously and according to the invention, the image processing device comprises a module for determining, from the images, the position of at least one organ visible on at least one of the images, said target organ with respect to the reference position. .
Avantageusement et selon l’invention, le dispositif de traitement d’images comprend un module de détermination d’un repère organe, centré sur l’organe cible, et un module de détermination, pour chaque image, de la position de l’outil par rapport au repère organe. Advantageously and according to the invention, the image processing device comprises a module for determining an organ marker, centered on the target organ, and a module for determining, for each image, the position of the tool by relation to the organ reference.
Avantageusement et selon l’invention, le module d’estimation de la position du trocart comprend un sous-module de définition de ladite position du trocart dans le repère organe. Advantageously and according to the invention, the module for estimating the position of the trocar comprises a sub-module for defining said position of the trocar in the organ marker.
Avantageusement et selon l’invention, le dispositif de traitement d’images comprend un module de définition d’une zone d’intervention de l’outil sur l’organe cible en fonction de la position du trocart. Advantageously and according to the invention, the image processing device comprises a module for defining a zone of intervention of the tool on the target organ according to the position of the trocar.
Avantageusement, le dispositif de traitement d’images selon l’invention est configuré pour mettre en œuvre le procédé de traitement d’images selon l’invention. Advantageously, the image processing device according to the invention is configured to implement the image processing method according to the invention.
Avantageusement, le procédé de traitement d’images selon l’invention est mis en œuvre par un dispositif de traitement d’images selon l’invention. En particulier, les modules et sous-modules du dispositif selon l’invention sont configurés pour mettre en œuvre les étapes et sous-étapes correspondantes du procédé de traitement d’images selon l’invention et les étapes et sous-étapes du procédé de traitement d’images peuvent être mises en œuvre par les modules et sous-modules correspondants du dispositif selon l’invention. Advantageously, the image processing method according to the invention is implemented by an image processing device according to the invention. In particular, the modules and sub-modules of the device according to the invention are configured to implement the corresponding steps and sub-steps of the image processing method according to the invention and the steps and sub-steps of the processing method images can be implemented by the corresponding modules and sub-modules of the device according to the invention.
L’invention concerne également un système d’imagerie endoscopique caractérisé en ce qu’il comprend un dispositif de traitements d’images selon l’invention, et un écran de visualisation, configuré pour afficher des images reçues par le dispositif de traitements d’images, en particulier dans un mode de réalisation des images acquises par l’endoscope, et des informations supplémentaires fournies par l’unité de traitement en fonction de la position estimée de chaque trocart. De preference, le système est utilise pour 1 imagerie cœlioscopique, thoracoscopique ou pelvio scopique. The invention also relates to an endoscopic imaging system characterized in that it comprises an image processing device according to the invention, and a display screen, configured to display images received by the image processing device , in particular in one embodiment of the images acquired by the endoscope, and additional information supplied by the processing unit according to the estimated position of each trocar. Of Preferably, the system is used for laparoscopic, thoracoscopic or pelvioscopic imaging.
L’invention concerne également un procédé de traitement d’images, un dispositif de traitement d’images et un système endoscopique caractérisés en combinaison par tout ou partie des caractéristiques mentionnées ci-dessus ou ci- après. The invention also relates to an image processing method, an image processing device and an endoscopic system characterized in combination by all or some of the characteristics mentioned above or below.
Liste des figures List of Figures
D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles : Other aims, characteristics and advantages of the invention will appear on reading the following description given solely by way of non-limiting and which refers to the appended figures in which:
[Fig. 1] est une vue schématique d’un système d’imagerie cœlioscopique selon un mode de réalisation de l’invention, [Fig. 1] is a schematic view of a laparoscopic imaging system according to one embodiment of the invention,
[Fig. 2] est une représentation schématique des étapes d’un procédé de traitements d’images selon un mode de réalisation de l’invention, [Fig. 2] is a schematic representation of the steps of an image processing method according to one embodiment of the invention,
[Fig. 3] est une vue schématique d’une première image cœlioscopique obtenue par un procédé de traitement d’images selon un mode de réalisation de l’invention, [Fig. 3] is a schematic view of a first laparoscopic image obtained by an image processing method according to one embodiment of the invention,
[Fig. 4] est une vue schématique d’une deuxième image cœlioscopique obtenue par un procédé de traitement d’images selon un mode de réalisation de l’invention, [Fig. 4] is a schematic view of a second laparoscopic image obtained by an image processing method according to one embodiment of the invention,
[Fig. 5] est une vue schématique d’une image cœlioscopique augmentée obtenue par un procédé de traitement d’images selon un mode de réalisation de l’invention. [Fig. 5] is a schematic view of an augmented laparoscopic image obtained by an image processing method according to one embodiment of the invention.
Description détaillée d’un mode de réalisation de l’inventionDetailed description of an embodiment of the invention
Sur les figures, les échelles et les proportions ne sont pas strictement respectées et ce, à des fins d’illustration et de clarté. In the figures, scales and proportions are not strictly adhered to, for purposes of illustration and clarity.
En outre, les éléments identiques, similaires ou analogues sont désignés par les mêmes références dans toutes les figures. In addition, identical, similar or analogous elements are designated by the same references in all the figures.
La figure 1 représente schématiquement un système 10 d’imagerie cœlioscopique selon un mode de réalisation de l’invention. L’objectif du système est de permettre d’acquérir et diffuser des images prises dans une cavité 50 du corps du patient, ici une cavité de 1 abdomen d un patient (ou cavité 50 abdominale), notamment dans le cadre d’une chirurgie cœlioscopique. L’opération de chirurgie cœlioscopique peut par exemple être destinée à l’intervention sur un organe 52 cible. FIG. 1 schematically represents a laparoscopic imaging system 10 according to one embodiment of the invention. The objective of the system is to make it possible to acquire and disseminate images taken in a cavity 50 of the body of the patient, here a cavity of a patient's abdomen (or abdominal cavity 50), particularly in the context of laparoscopic surgery. The laparoscopic surgery operation can for example be intended for the intervention on a target organ 52 .
Pour ce faire, le système 10 comprend un dispositif de traitement d’images selon un mode de réalisation de l’invention, comprenant dans ce mode de réalisation un endoscope 12 configuré pour acquérir des images de la cavité 50 abdominale du patient. L’endoscope 12 est agencé dans la cavité 50 abdominale du patient grâce à un trocart 14 permettant à l’endoscope de traverser la paroi abdominale. L’endoscope utilisé dans le cadre d’une opération cœlioscopique est couramment appelé cœlioscope ou laparoscope. Le dispositif de traitement d’image comprend également une unité de réception configurée pour recevoir des images, en particulier les images acquises par l’endoscope. To do this, the system 10 comprises an image processing device according to one embodiment of the invention, comprising in this embodiment an endoscope 12 configured to acquire images of the abdominal cavity 50 of the patient. The endoscope 12 is arranged in the abdominal cavity 50 of the patient thanks to a trocar 14 allowing the endoscope to pass through the abdominal wall. The endoscope used in a laparoscopic operation is commonly called laparoscope or laparoscope. The image processing device also comprises a reception unit configured to receive images, in particular the images acquired by the endoscope.
Le dispositif de traitement comprend plusieurs modules permettant de mettre en œuvre un procédé selon l’invention, réunis ici dans une unité 16 de traitement. L’unité 16 de traitement est par exemple un ordinateur ou une carte électronique comprenant un processeur, par exemple un processeur dédié au traitement d’images du procédé selon l’invention ou bien un processeur généraliste configuré pour, parmi plusieurs fonctions, exécuter notamment des instructions de programme pour l’exécution des étapes du procédé selon l’invention. The processing device comprises several modules making it possible to implement a method according to the invention, combined here in a processing unit 16. The processing unit 16 is for example a computer or an electronic card comprising a processor, for example a processor dedicated to the processing of images of the method according to the invention or else a generalist processor configured to, among several functions, in particular execute program instructions for the execution of the steps of the method according to the invention.
Les images acquises de l’endoscope 12 ou les images reçues par l’unité de réception sont affichées sur un écran 18 de visualisation destiné au personnel médical. Les images acquises peuvent être augmentées, c’est-à-dire comprendre des informations supplémentaires ajoutés par le système d’imagerie cœlioscopique, qui peuvent provenir du dispositif de traitement d’images ou d’autres dispositifs. The images acquired from the endoscope 12 or the images received by the reception unit are displayed on a display screen 18 intended for medical personnel. The acquired images can be augmented, i.e. include additional information added by the laparoscopic imaging system, which can come from the image processing device or other devices.
Lors de l’opération de chirurgie cœlioscopique, le personnel médical est amené à intervenir sur l’organe cible via au moins un outil 54 traversant la paroi 56 abdominale grâce à un trocart 58. Un trocart est par exemple un petit tube en plastique permettant l’accès à la cavité abdominale en maintenant l’étanchéité du pneumopéritoine. L’objectif du dispositif de traitement d’images est d’estimer la position de chaque trocart 58 permettant la traversée d’outil 54. Lors d une operation de chirurgie cœlioscopique classique, on peut compter généralement entre un et trois trocarts dédiés à l’utilisation d’outils dans la cavité abdominale, en complément du trocart permettant le passage de l’endoscope. During the laparoscopic surgery operation, the medical staff is required to intervene on the target organ via at least one tool 54 passing through the abdominal wall 56 thanks to a trocar 58. A trocar is for example a small plastic tube allowing the access to the abdominal cavity while maintaining the tightness of the pneumoperitoneum. The objective of the image processing device is to estimate the position of each trocar 58 allowing the tool 54 to pass through. During a classic laparoscopic surgery operation, there are generally between one and three trocars dedicated to the use of tools in the abdominal cavity, in addition to the trocar allowing the passage of the endoscope.
Un procédé 100 de traitements d’images selon un mode de réalisation de l’invention comprend plusieurs étapes représentées en référence avec la figure 2. An image processing method 100 according to one embodiment of the invention comprises several steps represented with reference to FIG. 2.
Le procédé de traitements d’images comprend une étape 110 de réception d’au moins deux images, en particulier des images de la cavité abdominale du patient, chacune des images représentant au moins un organe de l’abdomen, dit organe cible, et au moins un outil traversant chaque trocart, ledit outil étant dans une position différente sur au moins deux des images. The image processing method comprises a step 110 of receiving at least two images, in particular images of the abdominal cavity of the patient, each of the images representing at least one organ of the abdomen, called target organ, and at at least one tool passing through each trocar, said tool being in a different position on at least two of the images.
Le procédé 100 comprend ensuite une étape 120 de détermination, à partir des images, de la position de l’organe cible par rapport à une position de référence. The method 100 then comprises a step 120 of determining, from the images, the position of the target organ relative to a reference position.
La détermination de la position de l’organe cible peut s’effectuer selon plusieurs méthodes. Par exemple, à partir d’images acquises par l’endoscope ou plus généralement d’images reçues lors d’une étape de réception d’images de la cavité du patient, on peut utiliser une solution de reconstruction 3D, ou un recalage des images acquises à des données préopératoires (connaissances préalable approximatives des positions d’organes susceptibles d’être visibles dans la cavité du patient, par exemple via l’endoscope), ou tout autre solution permettant de définir un repère 3D fixe sur l’organe cible. La solution de reconstruction 3D peut par exemple être effectué par des méthodes de type structure acquise à partir d’un mouvement, aussi appelée Structure-from-Motion ou SfM en anglais, ou des méthodes de type cartographie et localisation simultanées visuelle, aussi appelée Simultaneous Localisation and Mapping ou SLAM en anglais. Par exemple, la solution de reconstruction 3D peut être implémentée via le logiciel Meshroom édité par l’association ALICEVISION. Determining the position of the target organ can be done using several methods. For example, from images acquired by the endoscope or more generally from images received during a step of receiving images of the patient's cavity, it is possible to use a 3D reconstruction solution, or a registration of the images acquired to preoperative data (approximate preliminary knowledge of the positions of organs likely to be visible in the patient's cavity, for example via the endoscope), or any other solution making it possible to define a fixed 3D marker on the target organ. The 3D reconstruction solution can for example be carried out by structure type methods acquired from a movement, also called Structure-from-Motion or SfM in English, or simultaneous visual mapping and localization type methods, also called Simultaneous Localization and Mapping or SLAM in English. For example, the 3D reconstruction solution can be implemented via the Meshroom software published by the ALICEVISION association.
Le procédé 100 comprend ensuite une étape 130 de détermination, à partir des images, de la position et de l’orientation de l’outil par rapport à la position de référence, par exemple la position de l’endoscope. La position de l’outil étant variable, elle ne peut pas être déterminée par des données préopératoires. La determination de la position de 1 outil s effectue donc par une solution de reconstruction 3D, qui peut être soit générique, soit adaptée au type d’outil utilisé. Cette dernière solution peut permettre une détermination plus rapide et plus robuste de la position de l’outil. The method 100 then comprises a step 130 of determining, from the images, the position and the orientation of the tool with respect to the reference position, for example the position of the endoscope. Since the position of the tool is variable, it cannot be determined by preoperative data. The The position of a tool is therefore determined by a 3D reconstruction solution, which can be either generic or adapted to the type of tool used. This last solution can allow a faster and more robust determination of the position of the tool.
Le procédé 100 comprend ensuite une étape 140 de détermination d’un repère organe, centré sur l’organe cible, et une étape 150 de détermination de la position de référence par rapport au repère organe. Ces étapes permettent de mieux définir les positions de chaque objet (trocarts, outils, etc.) dans le contexte opératoire, en fonction de l’organe cible qui est celui sur lequel une partie des opérations chirurgicales devra avoir lieu. La définition du repère organe permet de caractériser les positions relatives des différents objets indépendamment de la position de référence. The method 100 then comprises a step 140 of determining an organ marker, centered on the target organ, and a step 150 of determining the reference position with respect to the organ marker. These steps make it possible to better define the positions of each object (trocars, tools, etc.) in the operating context, depending on the target organ, which is the one on which part of the surgical operations will have to take place. The definition of the organ reference makes it possible to characterize the relative positions of the various objects independently of the reference position.
La détermination du repère organe peut être effectuée selon différentes méthodes, en fonction de l’organe cible. À partir d’un objet 3D représentatif de l’organe déterminé à l’étape de détermination de la position de l’organe cible, soit par reconstruction 3D ou par recalage de données préopératoires (en particulier un modèle 3D préopératoire), on peut définir par exemple le centre de masse de cet objet 3D comme origine et définir des axes principaux de l’organe cible qui formeront les 3 axes du repère de l’organe cible. The determination of the organ marker can be carried out using different methods, depending on the target organ. From a 3D object representative of the organ determined at the stage of determining the position of the target organ, either by 3D reconstruction or by registration of preoperative data (in particular a preoperative 3D model), it is possible to define for example the center of mass of this 3D object as the origin and define the main axes of the target organ which will form the 3 axes of the reference mark of the target organ.
Le procédé 100 comprend ensuite une étape 160 d’estimation, à partir des images, de la position de chaque trocart à partir d’au moins deux positions et orientations de l’outil traversant ce trocart. Cette étape comprend notamment, dans ce mode de réalisation de l’invention, une pluralité de sous-étapes. The method 100 then comprises a step 160 of estimating, from the images, the position of each trocar from at least two positions and orientations of the tool passing through this trocar. This step comprises in particular, in this embodiment of the invention, a plurality of sub-steps.
Une sous-étape 160a de définition d’un axe principal de chaque outil. Cette étape peut être effectuée au préalable, et permet de définir un axe principal pour le type d’outil traversant le trocart que l’on cherche à localiser, de façon à conserver un repère constant quelle que soit la position de l’outil sur les images traitées dans les sous-étapes suivantes. Les outils étant sensiblement rectilignes, leur axe principal est généralement défini par l’axe dans lequel s’étend l’outil, caractérisant notamment sa longueur. A sub-step 160a for defining a main axis of each tool. This step can be carried out beforehand, and makes it possible to define a main axis for the type of tool passing through the trocar that one is seeking to locate, so as to maintain a constant reference mark regardless of the position of the tool on the images processed in the following sub-steps. The tools being substantially rectilinear, their main axis is generally defined by the axis in which the tool extends, characterizing in particular its length.
En pratique, l’axe principal de chaque outil passe par le trocart dans lequel est insere 1 outil quelle que soit la position de 1 outil, et c est grâce a cette propriété que la position du trocart pourra être estimée. In practice, the main axis of each tool passes through the trocar in which is inserted 1 tool whatever the position of 1 tool, and it is thanks to this property that the position of the trocar can be estimated.
Pour ce faire, l’étape 160 d’estimation de la position de chaque trocart comprend une sous-étape 160b de détermination, à partir de chaque image, d’ensembles d’axes principaux des outils à chaque position et orientation de chaque outil. Cette sous-étape permet d’associer à chaque outil un ensemble d’axes principaux représentant l’outil à au moins deux positions et orientations différentes. To do this, the step 160 of estimating the position of each trocar comprises a sub-step 160b of determining, from each image, sets of main axes of the tools at each position and orientation of each tool. This sub-step makes it possible to associate with each tool a set of principal axes representing the tool in at least two different positions and orientations.
La figure 3 représente schématiquement une première image 118a telle que reçue pour traitement par le procédé de traitement d’images, par exemple acquise par l’endoscope, et telle que pouvant être affichée sur l’écran 18 de visualisation décrit précédemment en référence avec la figure 1. Sur la première image 118a est visible un outil 54 et l’organe 52 cible, auquel on a attribué le repère organe Oxyz. Cette première image permet d’obtenir un premier axe 60a principal associé à l’outil 54 dans la position et l’orientation représentée sur cette première image 118a. FIG. 3 schematically represents a first image 118a as received for processing by the image processing method, for example acquired by the endoscope, and as can be displayed on the display screen 18 previously described with reference to the FIG. 1. On the first image 118a, a tool 54 and the target organ 52 can be seen, to which the organ marker Oxyz has been assigned. This first image makes it possible to obtain a first main axis 60a associated with the tool 54 in the position and orientation represented on this first image 118a.
La figure 4 représente schématiquement une deuxième image 118b telle que reçue pour traitement par le procédé de traitement d’images, par exemple acquise par l’endoscope, et telle que pouvant être affichée sur l’écran 18 de visualisation décrit précédemment en référence avec la figure 1. FIG. 4 schematically represents a second image 118b as received for processing by the image processing method, for example acquired by the endoscope, and as can be displayed on the display screen 18 previously described with reference to the figure 1.
Sur la deuxième image 118b est visible l’outil 54 et l’organe 52 cible, et permet d’obtenir un deuxième axe 60b principal associé à l’outil 54 dans la position et l’orientation représentée sur cette image 118b. On the second image 118b is visible the tool 54 and the target organ 52, and makes it possible to obtain a second main axis 60b associated with the tool 54 in the position and orientation represented on this image 118b.
Le premier axe 60a principal et le deuxième axe 60b principal, tous deux représentés sur la figure 4, forment un ensemble d’axes principaux associés à l’outil 54. The first main axis 60a and the second main axis 60b, both represented in FIG. 4, form a set of main axes associated with the tool 54.
En référence avec la figure 2, l’étape 160 d’estimation de la position de chaque trocart comprend ensuite une sous-étape 160c de détermination des intersections des axes principaux de chaque ensemble correspondant à un même outil dans chaque position et orientation dudit outil, La détermination de l’intersection s’effectue selon un critère statistique précis, par exemple une intersection au sens des moindres carrés, c’est-à-dire en appliquant la méthode des moindres carrés aux axes principaux de chaque ensemble d’axes principaux pour determiner 1 intersection desdits axes principaux. With reference to FIG. 2, step 160 of estimating the position of each trocar then comprises a sub-step 160c of determining the intersections of the main axes of each set corresponding to the same tool in each position and orientation of said tool, The determination of the intersection is carried out according to a precise statistical criterion, for example an intersection in the sense of the least squares, that is to say by applying the method of the least squares to the main axes of each set of main axes to determine 1 intersection of said principal axes.
Comme l’ensemble des axes principaux associés à un outil passent par le trocart, cette intersection permet une estimation de la position du trocart par correspondance de ladite position avec l’intersection correspondant à l’outil traversant ledit trocart. Cette estimation correspond à une sous-étape 160d d’estimation de la position de chaque trocart de l’étape 160 d’estimation de la position de chaque trocart. As all the main axes associated with a tool pass through the trocar, this intersection allows an estimation of the position of the trocar by correspondence of said position with the intersection corresponding to the tool passing through said trocar. This estimation corresponds to a substep 160d of estimating the position of each trocar of the step 160 of estimating the position of each trocar.
L’étape 160 d’estimation de la position de chaque trocart comprend enfin une sous-étape 160e de définition de ladite position du trocart dans le repère organe. La position de chaque trocart est ainsi exprimée selon le repère organe. The step 160 of estimating the position of each trocar finally comprises a sub-step 160e of defining said position of the trocar in the organ marker. The position of each trocar is thus expressed according to the organ marker.
La figure 5 représente schématiquement une image 118c cœlioscopique augmentée telle que reçue pour traitement par le procédé de traitement d’images, par exemple acquise par l’endoscope, suite à au moins une exécution du procédé de traitement d’images décrit en référence avec la figure 2. Le procédé a permis l’estimation de la position du trocart 58 visible sur la figure 1 mais non visible sur les images reçues par le procédé de traitement d’images, en particulier non visible par l’endoscope. Selon la disposition de l’endoscope ou la caméra susceptible de fournir l’image traitée par le procédé de traitement d’images, le trocart pourrait aussi apparaître sur l’image. FIG. 5 schematically represents an augmented laparoscopic image 118c as received for processing by the image processing method, for example acquired by the endoscope, following at least one execution of the image processing method described with reference to the FIG. 2. The method made it possible to estimate the position of the trocar 58 visible in FIG. 1 but not visible on the images received by the image processing method, in particular not visible by the endoscope. Depending on the arrangement of the endoscope or the camera likely to provide the image processed by the image processing process, the trocar could also appear on the image.
Que chaque trocart soit visible ou non, la position de celui-ci est estimée par l’intersection 62 des axes principaux décrits précédemment en référence aux figures 3 et 4. L’estimation de la position du trocart permet l’affichage d’informations supplémentaires, tels que par exemple une zone 64 d’intervention de l’outil sur l’organe cible en fonction de la position du trocart, par exemple pour intervenir sur une tumeur 66 de l’organe 52 cible. Cette zone d’intervention est déterminée par une étape 170 de définition d’une zone d’intervention de l’outil sur l’organe cible en fonction de la position du trocart du procédé 100. Whether each trocar is visible or not, its position is estimated by the intersection 62 of the main axes previously described with reference to FIGS. 3 and 4. The estimation of the position of the trocar allows the display of additional information , such as for example a zone 64 of intervention of the tool on the target organ depending on the position of the trocar, for example to intervene on a tumor 66 of the target organ 52. This zone of intervention is determined by a step 170 of defining a zone of intervention of the tool on the target organ according to the position of the trocar of the method 100.
La détermination de la zone d’intervention se fait en fonction des contraintes de déplacement de l’outil, qui dépendent notamment de la forme de l’outil et de la position du trocart. The determination of the intervention zone is made according to the displacement constraints of the tool, which depend in particular on the shape of the tool and the position of the trocar.
Si l’intersection 62 et donc l’estimation de la position du trocart est comprise dans 1 image 118c cœlioscopique, 1 estimation de la position du trocart peut aussi être affichée sur l’image 118c cœlioscopique comme information supplémentaire. If the intersection 62 and therefore the estimate of the position of the trocar is included in 1 laparoscopic 118c image, 1 estimated trocar position can also be displayed on the laparoscopic 118c image as additional information.
Le procédé est configuré pour déterminer en temps réel la position du ou des trocarts permettant le passage des outils, en cas de modification de la position du trocart par rapport à l’organe cible (soit par déplacement du trocart, soit par déplacement de l’organe cible, ou les deux). Les étapes du procédé de traitement d’images sont donc répétées autant de fois que nécessaire et l’estimation de la position du trocart ajustée en fonction. The method is configured to determine in real time the position of the trocar(s) allowing the passage of the tools, in the event of modification of the position of the trocar relative to the target organ (either by displacement of the trocar, or by displacement of the target organ, or both). The steps of the image processing method are therefore repeated as many times as necessary and the estimation of the position of the trocar adjusted accordingly.
Les modes de réalisation représentés aux figures 1 à 5 se focalisent sur l’estimation de la position d’un seul trocart pour des raisons d’illustration et de clarté, mais les étapes du procédé de traitements d’images s’appliquent pour chaque trocart dont on cherche à estimer la position et les mêmes étapes s’appliquent donc pour la détection de deux ou davantage de trocarts. L’invention ne se limite donc pas à la détection d’un seul trocart. The embodiments shown in Figures 1 to 5 focus on estimating the position of a single trocar for reasons of illustration and clarity, but the steps of the image processing method apply for each trocar whose position it is desired to estimate and the same steps therefore apply for the detection of two or more trocars. The invention is therefore not limited to the detection of a single trocar.
L’invention ne se limite pas au mode de réalisation décrit. En particulier, l’invention est applicable à tout type de système d’imagerie endoscopique dans le cadre d’une endoscopie utilisant des trocarts, par exemple dans la cavité thoracique ou pelvienne. Le trocart peut par exemple être disposé au niveau d’une paroi thoracique ou pelvienne. L’organe cible peut par exemple se trouver dans la cavité thoracique ou pelvienne. Un trocart et un endoscope disposés sur une paroi abdominale peuvent par exemple être utilisé pour une intervention sur un organe cible situé dans la cavité pelvienne ou thoracique. The invention is not limited to the embodiment described. In particular, the invention is applicable to any type of endoscopic imaging system in the context of endoscopy using trocars, for example in the thoracic or pelvic cavity. The trocar can for example be placed at the level of a chest or pelvic wall. The target organ can for example be in the thoracic or pelvic cavity. A trocar and an endoscope placed on an abdominal wall can for example be used for an intervention on a target organ located in the pelvic or thoracic cavity.

Claims

REVENDICATIONS Procédé de traitement d’images pour l’estimation automatique de la position d’au moins un trocart (58), chaque trocart (58) étant configuré pour permettre le passage d’un outil (54) sensiblement rectiligne au travers de celui-ci, caractérisé en ce qu’il comprend : une étape (110) de réception d’au moins deux images (118a, 118b), chacune des images représentant au moins un outil (54) traversant chaque trocart (58), ledit outil étant dans une position et/ou orientation différente sur au moins deux des images (118a, 118b), une étape (130) de détermination, à partir des images et sur au moins lesdites deux images, de la position et de l’orientation de chaque outil (54) par rapport à une position de référence, une étape (160) d’estimation, à partir des images, de la position de chaque trocart (58) par rapport à la position de référence, à partir d’au moins deux positions et orientations de l’outil (54) traversant ce trocart (58). Procédé de traitement d’images selon la revendication 1, caractérisé en ce que l’étape (160) d’estimation de la position de chaque trocart (58) comprend, pour chaque trocart : une sous-étape (160a) de définition d’un axe (60a, 60b) principal de de l’outil (54) traversant le trocart (58), une sous-étape (160b) de détermination, à partir de chaque image, d’un ensemble d’axes principaux de l’outil à chaque position et orientation de l’outil, une sous-étape (160c) de détermination de l’intersection (62) des axes principaux de l’ensemble dans chaque position et orientation de l’outil, une sous-étape (160d) d’estimation de la position du trocart (58) par correspondance de ladite position avec l’intersection (62) des axes principaux correspondant à l’outil (54) traversant ledit trocart (58). Procédé de traitement d images selon 1 une des revendications 1 ou 2, caractérisé en ce qu’il comprend une étape (120) de détermination, à partir des images, de la position d’au moins un organe visible sur au moins une des images, dit organe (52) cible par rapport à la position de référence. Procédé de traitement d’images selon la revendication 3, caractérisé en ce qu’il comprend une étape (140) de détermination d’un repère organe, centré sur l’organe (52) cible, et une étape (150) de détermination, pour chaque image, de la position de l’outil (54) par rapport au repère organe. Procédé de traitement d’images selon la revendication 4, caractérisé en ce que l’étape (160) d’estimation de la position du trocart (58) comprend une sous- étape (160e) de définition de ladite position du trocart (58) dans le repère organe. Procédé de traitement d’images selon l’une des revendications 3 à 5, caractérisé en ce qu’il comprend une étape (170) de définition d’une zone (64) d’intervention de l’outil sur l’organe (52) cible en fonction de la position du trocart (58). Dispositif de traitement d’images, configuré pour l’estimation automatique de la position d’au moins un trocart, chaque trocart étant configuré pour permettre le passage d’un outil sensiblement rectiligne au travers de celui-ci, caractérisé en ce qu’il comprend : une unité de réception configurée pour recevoir au moins deux images, chacune des images représentant au moins un outil (54) traversant chaque trocart (58), ledit outil (54) étant dans une position différente sur au moins deux des images, une unité (16) de traitement comprenant : un module de détermination, à partir des images, de la position et de l’orientation de l’outil (54) par rapport à une position de référence, un module d’estimation, à partir des images, de la position de chaque trocart (58) à partir d’au moins deux positions de l’outil (54) traversant ce trocart (58). Dispositif de traitement d images selon la revendication 7, caractérisé en ce que le module d’estimation de la position de chaque trocart (58) comprend, pour chaque trocart : un sous-module de définition d’un axe (60a, 60b) principal de de l’outil (54) traversant le trocart (58), un sous-module de détermination, à partir de chaque image, d’un ensemble d’axes principaux de l’outil à chaque position et orientation de l’outil, un sous-module de détermination de l’intersection (62) des axes principaux de l’ensemble dans chaque position et orientation de l’outil, un sous-module d’estimation de la position du trocart (58) par correspondance de ladite position avec l’intersection (62) des axes principaux correspondant à l’outil (54) traversant ledit trocart (58). Dispositif de traitement d’images selon l’une des revendications 7 ou 8, caractérisé en ce qu’il comprend un module (120) de détermination, à partir des images, de la position d’au moins un organe visible sur au moins une des images, dit organe (52) cible par rapport à la position de référence. Dispositif de traitement d’images selon la revendication 9, caractérisé en ce qu’il comprend un module de détermination d’un repère organe, centré sur l’organe (52) cible, et un module de détermination, pour chaque image, de la position de l’outil (54) par rapport au repère organe. Dispositif de traitement d’images selon la revendication 10, caractérisé en ce que le module d’estimation de la position du trocart (58) comprend un sous- module de définition de ladite position du trocart (58) dans le repère organe. Dispositif de traitement d’images selon l’une des revendications 9 à 11, caractérisé en ce qu’il comprend un module de définition d’une zone (64) d’intervention de l’outil sur l’organe (52) cible en fonction de la position du trocart (58). Système d’imagerie endoscopique, caractérisé en ce qu’il comprend un dispositif de traitements d’images selon l’une des revendications 7 à 12, et un écran (18) de visualisation, configuré pour afficher des images reçues par le dispositif de traitements d’images et des informations supplémentaires fournies par l’unité (16) de traitement en fonction de la position estimée de chaque trocart (58). CLAIMS Image processing method for the automatic estimation of the position of at least one trocar (58), each trocar (58) being configured to allow the passage of a substantially rectilinear tool (54) through it. ci, characterized in that it comprises: a step (110) of receiving at least two images (118a, 118b), each of the images representing at least one tool (54) passing through each trocar (58), said tool being in a different position and/or orientation on at least two of the images (118a, 118b), a step (130) of determining, from the images and on at least said two images, the position and the orientation of each tool (54) relative to a reference position, a step (160) for estimating, from the images, the position of each trocar (58) relative to the reference position, from at least two positions and orientations of the tool (54) passing through this trocar (58). Image processing method according to Claim 1, characterized in that the step (160) of estimating the position of each trocar (58) comprises, for each trocar: a sub-step (160a) of defining a main axis (60a, 60b) of the tool (54) passing through the trocar (58), a sub-step (160b) for determining, from each image, a set of main axes of the tool at each position and orientation of the tool, a sub-step (160c) for determining the intersection (62) of the principal axes of the assembly in each position and orientation of the tool, a sub-step (160d ) estimation of the position of the trocar (58) by correspondence of said position with the intersection (62) of the main axes corresponding to the tool (54) passing through said trocar (58). Image processing method according to one of Claims 1 or 2, characterized in that it comprises a step (120) of determining, from the images, the position of at least one organ visible on at least one of the images , said organ (52) target with respect to the reference position. Image processing method according to claim 3, characterized in that it comprises a step (140) of determining an organ marker, centered on the target organ (52), and a step (150) of determining, for each image, of the position of the tool (54) with respect to the organ marker. Image processing method according to Claim 4, characterized in that the step (160) of estimating the position of the trocar (58) comprises a sub-step (160e) of defining the said position of the trocar (58) in the organ reference. Image processing method according to one of Claims 3 to 5, characterized in that it comprises a step (170) of defining a zone (64) of intervention of the tool on the member (52 ) target as a function of the position of the trocar (58). Image processing device, configured for the automatic estimation of the position of at least one trocar, each trocar being configured to allow the passage of a substantially rectilinear tool through it, characterized in that it comprises: a receiving unit configured to receive at least two images, each of the images representing at least one tool (54) passing through each trocar (58), said tool (54) being in a different position on at least two of the images, a processing unit (16) comprising: a module for determining, from the images, the position and orientation of the tool (54) with respect to a reference position, an estimation module, from the images, of the position of each trocar (58) from at least two positions of the tool (54) passing through this trocar (58). Image processing device according to Claim 7, characterized in that the module for estimating the position of each trocar (58) comprises, for each trocar: a sub-module for defining a main axis (60a, 60b) of the tool (54) passing through the trocar (58), a sub-module for determining, from each image, a set of main axes of the tool at each position and orientation of the tool, a sub-module for determining the intersection (62) of the main axes of the assembly in each position and orientation of the tool, a sub-module for estimating the position of the trocar (58) by correspondence of said position with the intersection (62) of the principal axes corresponding to the tool (54) passing through said trocar (58). Image processing device according to one of Claims 7 or 8, characterized in that it comprises a module (120) for determining, from the images, the position of at least one visible organ on at least one images, said organ (52) target relative to the reference position. Image processing device according to Claim 9, characterized in that it comprises a module for determining an organ marker, centered on the target organ (52), and a module for determining, for each image, the position of the tool (54) relative to the component mark. Image processing device according to Claim 10, characterized in that the module for estimating the position of the trocar (58) comprises a sub-module for defining the said position of the trocar (58) in the organ marker. Image processing device according to one of Claims 9 to 11, characterized in that it comprises a module for defining a zone (64) of intervention of the tool on the target organ (52) by depending on the position of the trocar (58). Endoscopic imaging system, characterized in that it comprises an image processing device according to one of Claims 7 to 12, and a display screen (18), configured to display images received by the image processing device and additional information supplied by the processing unit (16) according to the estimated position of each trocar (58).
EP22703613.4A 2021-02-03 2022-02-01 Method and device for processing images in order to automatically estimate the position of a trocar Pending EP4287922A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2101020A FR3119306B1 (en) 2021-02-03 2021-02-03 METHOD AND DEVICE FOR IMAGE PROCESSING FOR AUTOMATIC ESTIMATION OF THE POSITION OF A TROCAR FOR ENDOSCOPIC SURGERY
PCT/EP2022/052367 WO2022167428A1 (en) 2021-02-03 2022-02-01 Method and device for processing images in order to automatically estimate the position of a trocar

Publications (1)

Publication Number Publication Date
EP4287922A1 true EP4287922A1 (en) 2023-12-13

Family

ID=76601256

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22703613.4A Pending EP4287922A1 (en) 2021-02-03 2022-02-01 Method and device for processing images in order to automatically estimate the position of a trocar

Country Status (3)

Country Link
EP (1) EP4287922A1 (en)
FR (1) FR3119306B1 (en)
WO (1) WO2022167428A1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2897703B1 (en) * 2006-02-20 2008-04-25 Univ Grenoble 1 AUTOMATIC DETECTION OF A SURGICAL TOOL ON AN IMAGE PROVIDED BY A MEDICAL IMAGING SYSTEM
US9131957B2 (en) * 2012-09-12 2015-09-15 Gyrus Acmi, Inc. Automatic tool marking
JP6257371B2 (en) * 2014-02-21 2018-01-10 オリンパス株式会社 Endoscope system and method for operating endoscope system

Also Published As

Publication number Publication date
FR3119306A1 (en) 2022-08-05
WO2022167428A1 (en) 2022-08-11
FR3119306B1 (en) 2024-06-14

Similar Documents

Publication Publication Date Title
US20240180404A1 (en) Simultaneous white light and hyperspectral light imaging systems
US9547940B1 (en) Systems and methods for providing augmented reality in minimally invasive surgery
US9289267B2 (en) Method and apparatus for minimally invasive surgery using endoscopes
US20140160264A1 (en) Augmented field of view imaging system
Lurie et al. 3D reconstruction of cystoscopy videos for comprehensive bladder records
US8267853B2 (en) System and method for overlaying ultrasound imagery on a laparoscopic camera display
EP2190340B1 (en) Imaging system for the three dimensional observation of an operation field
US10702346B2 (en) Image integration and robotic endoscope control in X-ray suite
EP1155383A1 (en) Endoscopic observation device
KR20170044610A (en) Methods and systems for intraoperatively confirming location of tissue structures
JP2010279539A (en) Diagnosis supporting apparatus, method, and program
US20140330078A1 (en) Endoscope and image processing apparatus using the same
US12090004B2 (en) Registration degradation correction for surgical navigation procedures
EP1887931A2 (en) 3d-2d pose estimation and 3d-ct registration for bronchoscopy
JP2007244518A (en) Image analysis apparatus and image analysis method
US12102298B2 (en) Lymphatic system tracking
Richa et al. Hybrid tracking and mosaicking for information augmentation in retinal surgery
Lapeer et al. Image‐enhanced surgical navigation for endoscopic sinus surgery: evaluating calibration, registration and tracking
AU2022347455A1 (en) System and method for computer-assisted surgery
Bernhardt et al. Using shading to register an intraoperative CT scan to a laparoscopic image
EP2031559A1 (en) Augmented visualization in two-dimensional images
EP4287922A1 (en) Method and device for processing images in order to automatically estimate the position of a trocar
Yang et al. Self-contained image mapping of placental vasculature in 3D ultrasound-guided fetoscopy
FR2914466A1 (en) Bidimensional ultrasonic or three dimensational magnetic resonance image data processing device for e.g. cerebrum of human, has processing module resetting structures of one card with respect to that of other using transformation
Geurten et al. Endoscopic laser surface scanner for minimally invasive abdominal surgeries

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230904

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)