FR3119306A1 - Procédé et dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart pour la chirurgie endoscopique - Google Patents
Procédé et dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart pour la chirurgie endoscopique Download PDFInfo
- Publication number
- FR3119306A1 FR3119306A1 FR2101020A FR2101020A FR3119306A1 FR 3119306 A1 FR3119306 A1 FR 3119306A1 FR 2101020 A FR2101020 A FR 2101020A FR 2101020 A FR2101020 A FR 2101020A FR 3119306 A1 FR3119306 A1 FR 3119306A1
- Authority
- FR
- France
- Prior art keywords
- trocar
- tool
- images
- endoscope
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 title claims abstract description 28
- 238000002674 endoscopic surgery Methods 0.000 title abstract description 4
- 210000000683 abdominal cavity Anatomy 0.000 claims abstract description 11
- 210000000056 organ Anatomy 0.000 claims description 58
- 238000003672 processing method Methods 0.000 claims description 21
- 239000003550 marker Substances 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000001839 endoscopy Methods 0.000 claims description 7
- 238000002357 laparoscopic surgery Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 210000000115 thoracic cavity Anatomy 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 210000001015 abdomen Anatomy 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 210000003815 abdominal wall Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 208000005646 Pneumoperitoneum Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002350 laparotomy Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000012978 minimally invasive surgical procedure Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3417—Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
- A61B17/3421—Cannulas
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Robotics (AREA)
- Endoscopes (AREA)
Abstract
PROCÉDÉ ET DISPOSITIF DE TRAITEMENT D’IMAGES POUR L ’ESTIMATION AUTOMATIQUE DE LA POSITION D’UN TROCART POUR LA CHIRURGIE ENDOSCOPIQUE L’invention concerne un procédé de traitement d’images acquises par un endoscope (12), pour l’estimation automatique de la position d’au moins un trocart (58) agencé sur une paroi (56) du corps d’un patient, chaque trocart (58) étant configuré pour permettre le passage d’un outil (54) au travers de celui-ci afin d’accéder à une cavité (50) du corps du patient, caractérisé en ce qu’il comprend une étape d’acquisition d’images de la cavité (50) abdominale du patient par l’endoscope (12), chacune des images représentant au moins un outil (54) traversant chaque trocart (58), une étape de détermination, à partir des images, de la position et de l’orientation de l’outil (54) par rapport à la position de l’endoscope (12), une étape d’estimation, à partir des images, de la position de chaque trocart (58) à partir d’au moins deux positions et orientations de l’outil (54). Figure pour l’abrégé : figure 1
Description
Domaine technique de l’invention
L’invention concerne un procédé et un dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart pour la chirurgie endoscopique, en particulier cœlioscopique. L’invention concerne plus particulièrement un procédé et un dispositif permettant d’estimer en temps réel la position d’un trocart permettant l’accès d’un outil ou d’un endoscope dans une cavité du corps d’un patient, en particulier la cavité de l’abdomen. L’invention concerne également un système d’imagerie endoscopique comprenant un dispositif de traitement d’images et/ou mettant en œuvre un procédé de traitement d’images.
Arrière-plan technologique
La cœlioscopie, aussi appelée laparoscopie, est une technique médicale d’exploration visuelle de l’intérieur du corps d’un patient grâce à un endoscope, ou plus particulièrement un cœlioscope ou laparoscope lorsque qu’il est utilisé pour observer l’abdomen d’un patient. Un endoscope comprend généralement une source lumineuse et un moyen de captation de la lumière, par exemple des fibres optiques ou un capteur vidéo.
Lors d’une intervention chirurgicale par cœlioscopie, le cœlioscope permet une vision directe ou déportée de la cavité de l’abdomen et permet l’observation du site chirurgical et l’intervention directe à l’aide d’outils chirurgicaux. Cette technique chirurgicale présente l’avantage de ne pas nécessiter d’ouverture large de la paroi abdominale (contrairement à la laparotomie ou cœliotomie), faisant de celle-ci une technique minimalement invasive.
De manière analogue, des interventions chirurgicales minimalement invasives utilisant un endoscope peuvent être mises en œuvre dans la cavité thoracique (thoracoscopie) ou dans la cavité pelvienne. On parle généralement d’opération endoscopique ou endoscopie chirurgicale.
Les avancées technologiques récentes ont fait évoluer la cœlioscopie d’une vision simple par le personnel médical de l’image de la zone à opérer vers une vision augmentée, qui permet d’afficher à l’écran des informations supplémentaires sur l’image visualisée de façon à assister le personnel médical lors de l’opération.
En particulier, les techniques de vision par ordinateur sont utilisées sur l’image obtenue par le cœlioscope en temps réel pour apporter un complément d’information par réalité augmentée. Par exemple, on peut afficher sur l’image une structure cachée dans l’organe, comme une tumeur. En particulier, on peut souhaiter afficher un lieu d’intervention (incision par exemple) sur l’image de l’organe. Plus généralement, on parle ici de chirurgie guidée par ordinateur.
Une difficulté de l’ajout du complément d’information vient en particulier de la transcription d’une information tridimensionnelle (la position des organes, la position de la tumeur, le lieu d’incision, la position des vaisseaux sanguins, etc.) à une image bidimensionnelle captée par le cœlioscope.
En particulier, l’accès à l’abdomen par les outils n’est pas libre car les outils traversent des éléments de passage permettant la traversée de la paroi de l’abdomen. Ces éléments de passage sont appelés trocarts et sont généralement formés de petits tubes placés dans une incision abdominale et permettant le passage des outils tout en garantissant l’étanchéité du pneumopéritoine créé. Un trocart permet généralement le passage d’un seul outil, et ceux-ci sont généralement au nombre de deux ou trois.
Ces trocarts limitent donc la pose des outils, c’est-à-dire leurs orientations et leurs positions. L’ajout d’information sur l’image transmise au personnel médical doit donc prendre en compte cette limitation et fournir notamment des informations d’intervention compatibles avec les mouvements et positions possibles des outils.
Les inventeurs ont ainsi cherché à améliorer la détermination des zones d’intervention de l’outil, grâce à une meilleure détermination de la pose de l’outil et des mouvements possibles de l’outil, et en particulier la détermination de la position du trocart permettant la traversée de l’outil.
Objectifs de l’invention
L’invention vise à fournir un procédé et un dispositif de traitement d’images pour l’estimation automatique de la position d’au moins un trocart pour la chirurgie endoscopique.
L’invention vise à fournir un procédé et un dispositif de traitement d’images permettant une meilleure prise en compte des limitations de mouvements et position de l’outil pour la détermination des informations d’assistance à l’opération chirurgicale.
L’invention vise à fournir un procédé et un dispositif de traitement d’images permettant une estimation de la position de chaque trocart et un ajustement temps-réel de la position estimée de chaque trocart durant l’endoscopie.
L’invention vise à fournir un procédé et un dispositif de traitement d’images permettant l’affichage de zones d’intervention sur une image d’un organe sur lequel intervenir, en fonction de la position du trocart.
Pour ce faire, l’invention concerne un procédé de traitement d’images acquises par un endoscope, pour l’estimation automatique de la position d’au moins un trocart agencé sur une paroi du corps d’un patient lors d’une endoscopie, chaque trocart étant configuré pour permettre le passage d’un outil sensiblement rectiligne au travers de celui-ci afin d’accéder à une cavité du corps du patient sous la paroi, caractérisé en ce qu’il comprend :
- une étape d’acquisition d’au moins deux images de la cavité du patient par l’endoscope, chacune des images représentant au moins un outil traversant chaque trocart, ledit outil étant dans une position et/ou orientation différente sur au moins deux des images,
- une étape de détermination, à partir des images et sur au moins lesdites deux images, de la position et de l’orientation de chaque outil par rapport à une position de référence de l’endoscope,
- une étape d’estimation, à partir des images, de la position de chaque trocart par rapport à la position de référence, à partir d’au moins deux positions et orientations de l’outil traversant ce trocart.
Un procédé de traitement d’images selon l’invention permet donc l’estimation de la position d’un trocart sur une paroi du corps d’un patient de façon automatique et en temps réel, afin de pouvoir ajuster les instructions relatives au déplacement de l’outil traversant ce trocart. La paroi du corps du patient est de préférence une paroi abdominale, thoracique ou pelvienne, chaque trocart permettant l’accès de préférence à une cavité abdominale, thoracique et/ou pelvienne. Dans ce contexte, l’opération chirurgicale est dite respectivement chirurgie cœlioscopique, thoracoscopique ou pelvioscopique, en fonction de la paroi sur laquelle est agencée le trocart, quelle que soit la cavité accédée.
Le procédé permet de s’affranchir d’étapes préopératoires de détermination de la position du trocart en déterminant automatiquement sa position. La position du trocart pouvant varier au cours du temps, l’utilisation de la pose de l’outil traversant le trocart, c’est-à-dire son orientation et sa position, permet d’estimer en permanence la position du trocart. Sur les deux images minimums utilisées pour estimer la position du trocart, il faut que l’outil ait une position et/ou une orientation différente, en particulier qu’il y ait entre les deux images un changement de position et/ou d’orientation de l’outil qui ne laisse pas identique un axe de l’outil correspondant à sa direction principale.
Cette estimation automatique permet d’adapter les informations fournies au personnel médical en temps réel en fonction de la position estimée de chaque trocart. En particulier, des informations en réalité augmentée affichées sur un écran de visualisation de l’endoscope sont ajustées en fonction de la position du trocart estimée, pour former une image endoscopique augmentée, ces informations prenant en compte les poses possibles de l’outil traversant le trocart en fonction de la position estimée du trocart. L’estimation de la position du trocart permet aussi de résoudre certaines ambiguïtés discrètes existants parfois sur la pose de l’outil, c’est-à-dire des poses de l’outil particulières dans lesquelles les seules informations de l’endoscope ne suffisent pas à déterminer de façon sûre la pose de l’outil, mais pour lesquelles une estimation de la position du trocart permet d’apporter une information supplémentaire permettant de lever l’ambiguïté sur la pose de l’outil.
Les poses de l’outil sont en effet restreintes par la position du trocart que l’outil traverse, et l’analyse d’au moins deux de ces poses différentes permet la détermination de la position du trocart du fait de son faible nombre de degrés de liberté.
En utilisant les poses des outils pour déterminer la position des trocarts, le procédé permet en outre de déterminer la position d’un trocart même lorsque ce trocart n’est pas visible par l’endoscope, du moment que l’outil traversant le trocart est suffisamment visible.
La position de référence de l’endoscope peut être soit déterminée dans un repère extérieur à l’endoscope, par exemple un repère monde défini dans le contexte opératoire ou un repère d’un dispositif de positionnement de l’endoscope (par suivi optique ou électromagnétique par exemple), ou bien dans un repère interne à l’endoscope, par exemple une première position de l’endoscope à l’instant de l’acquisition d’une première image étant définie comme repère pour la position de l’endoscope aux instants d’acquisition des images suivantes, la position de l’endoscope pour les images suivantes étant définie de façon relative à cette première position de référence en cas de déplacement inter-images.
Avantageusement et selon l’invention, l’étape d’estimation de la position de chaque trocart comprend, pour chaque trocart :
- une sous-étape de définition d’un axe principal de l’outil traversant le trocart,
- une sous-étape de détermination, à partir de chaque image, d’ensembles d’axes principaux de l’outil à chaque position et orientation de l’outil,
- une sous-étape de détermination de l’intersection des axes principaux de l’ensemble dans chaque position et orientation de l’outil,
- une sous-étape d’estimation de la position du trocart par correspondance de ladite position avec l’intersection des axes principaux correspondant à l’outil traversant ledit trocart.
Selon cet aspect de l’invention, la position de chaque trocart est déterminée par l’intersection des axes que forme l’outil traversant ce trocart dans les au moins deux images où l’outil a une position différente. Les déplacements de l’outils étant limités par l’accès à la cavité du corps du patient par le trocart, on peut, à partir de deux axes, déterminer la position du trocart, car les axes principaux passent par le trocart. L’intersection des axes peut se trouver en dehors de la zone visible par l’endoscope sans nuire à l’estimation de la position du trocart.
Ces sous-étapes sont exécutées pour chaque trocart dont on cherche à estimer la position. Elles peuvent être exécutées parallèlement pour chaque trocart, par exemple en se servant d’une même image pour la détermination des axes principaux de plusieurs outils qui apparaissent sur l’image, ou bien séquentiellement en estimant une par une la position de chaque trocart avant d’exécuter les sous-étapes une nouvelle fois pour estimer la position du trocart suivant.
Avantageusement et selon cette dernière variante de l’invention, la détermination des intersections des axes principaux de chaque ensemble d’axes principaux comprend une application d’une méthode des moindres carrés, ou de préférence d’une méthode à estimateur robuste, tel qu’un M-estimateur, aux axes principaux de l’ensemble.
Avantageusement et selon l’invention, le procédé comprend une étape de détermination, à partir des images, de la position d’au moins un organe de la cavité, dit organe cible, par rapport à la position de référence de l’endoscope.
Selon cet aspect de l’invention, la détermination de la position de l’endoscope par rapport à l’organe cible permet de faciliter la détermination de la position de chaque trocart en fonction de l’organe cible. L’organe cible est généralement un organe sur lequel le ou les outils vont intervenir lors de l’opération chirurgicale endoscopique nécessitant la mise en œuvre du procédé de traitement d’images.
Avantageusement et selon l’invention, le procédé comprend une étape de détermination d’un repère organe, centré sur l’organe cible, et une étape de détermination, pour chaque image, de la position de l’outil par rapport au repère organe.
Avantageusement et selon l’invention, l’étape d’estimation de la position du trocart comprend une sous-étape de définition de ladite position du trocart dans le repère organe.
Selon cet aspect de l’invention, la définition de la position du trocart par rapport au repère organe permet d’obtenir une connaissance améliorée des interventions possibles de l’outil traversant le trocart sur l’organe cible. La définition de la position du trocart par rapport à l’organe cible, dans le repère de l’organe cible, permet en outre de définir la position du trocart de façon indépendante par rapport à la position de l’endoscope, ce qui permet un déplacement de l’endoscope sans impact sur la définition de la position du trocart dans le repère organe.
Avantageusement et selon l’invention, le procédé comprend une étape de définition d’une zone d’intervention de l’outil sur l’organe cible en fonction de la position du trocart.
Selon cet aspect de l’invention, l’estimation de la position du trocart permet de déterminer une zone d’intervention possible de l’outil sur l’organe cible. En effet, la position du trocart limite les mouvements de l’outil et la connaissance de cette position permet de définir et d’afficher par exemple sur un écran de visualisation, la zone d’intervention permettant au personnel médical d’effectuer l’intervention souhaitée avec l’outil souhaité.
L’invention concerne également un dispositif de traitement d’images acquises par un endoscope, configuré pour l’estimation automatique de la position d’au moins un trocart agencé sur une paroi du corps d’un patient lors d’une endoscopie, chaque trocart étant configuré pour permettre le passage d’un outil sensiblement rectiligne au travers de celui-ci afin d’accéder à la cavité du corps du patient sous la paroi, caractérisé en ce qu’il comprend :
- un endoscope, configuré pour acquérir au moins deux images de la cavité abdominale du patient, chacune des images représentant au moins un outil traversant chaque trocart, ledit outil étant dans une position différente sur au moins deux des images,
- une unité de traitement comprenant :
- un module de détermination, à partir des images, de la position et de l’orientation de l’outil par rapport à la position de l’endoscope,
- un module d’estimation, à partir des images, de la position de chaque trocart à partir d’au moins deux positions de l’outil traversant ce trocart.
Un module peut par exemple consister en un dispositif informatique tel qu’un ordinateur, d’un ensemble de dispositifs informatiques, d’un composant électronique ou d’un ensemble de composants électroniques, ou par exemple d’un programme informatique, d’un ensemble de programmes informatiques, d’une librairie d’un programme informatique ou d’une fonction d’un programme informatique exécuté par un dispositif informatique tel qu’un ordinateur, un ensemble de dispositifs informatiques, un composant électronique ou un ensemble de composants électroniques.
Avantageusement, le dispositif de traitement d’images selon l’invention est configuré pour mettre en œuvre le procédé de traitement d’images selon l’invention.
Avantageusement, le procédé de traitement d’images selon l’invention est mis en œuvre par un dispositif de traitement d’images selon l’invention.
L’invention concerne également un système d’imagerie endoscopique caractérisé en ce qu’il comprend un dispositif de traitements d’images selon l’invention, et un écran de visualisation, configuré pour afficher des images acquises par l’endoscope et des informations supplémentaires fournies par l’unité de traitement en fonction de la position estimée de chaque trocart. De préférence, le système est utilisé pour l’imagerie cœlioscopique, thoracoscopique ou pelvioscopique.
L’invention concerne également un procédé de traitement d’images, un dispositif de traitement d’images et un système endoscopique caractérisés en combinaison par tout ou partie des caractéristiques mentionnées ci-dessus ou ci-après.
Liste des figures
D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles :
Description détaillée d’un mode de réalisation de l’invention
Sur les figures, les échelles et les proportions ne sont pas strictement respectées et ce, à des fins d’illustration et de clarté.
En outre, les éléments identiques, similaires ou analogues sont désignés par les mêmes références dans toutes les figures.
La représente schématiquement un système 10 d’imagerie cœlioscopique selon un mode de réalisation de l’invention. L’objectif du système est de permettre d’acquérir et diffuser des images prises dans une cavité 50 du corps du patient, ici une cavité de l’abdomen d’un patient (ou cavité 50 abdominale), notamment dans le cadre d’une chirurgie cœlioscopique. L’opération de chirurgie cœlioscopique peut par exemple être destinée à l’intervention sur un organe 52 cible.
Pour ce faire, le système 10 comprend un dispositif de traitement d’images selon un mode de réalisation de l’invention, comprenant notamment un endoscope 12 configuré pour acquérir des images de la cavité 50 abdominale du patient. L’endoscope 12 est agencé dans la cavité 50 abdominale du patient grâce à un trocart 14 permettant à l’endoscope de traverser la paroi abdominale. L’endoscope utilisé dans le cadre d’une opération cœlioscopique est couramment appelé cœlioscope ou laparoscope.
Le dispositif de traitement comprend plusieurs modules permettant de mettre en œuvre un procédé selon l’invention, réunis ici dans une unité 16 de traitement. L’unité 16 de traitement est par exemple un ordinateur ou une carte électronique comprenant un processeur, par exemple un processeur dédié au traitement d’images du procédé selon l’invention ou bien un processeur généraliste configuré pour, parmi plusieurs fonctions, exécuter notamment des instructions de programme pour l’exécution des étapes du procédé selon l’invention.
Les images acquises de l’endoscope 12 sont affichées sur un écran 18 de visualisation destiné au personnel médical. Les images acquises peuvent être augmentées, c’est-à-dire comprendre des informations supplémentaires ajoutés par le système d’imagerie cœlioscopique, qui peuvent provenir du dispositif de traitement d’images ou d’autres dispositifs.
Lors de l’opération de chirurgie cœlioscopique, le personnel médical est amené à intervenir sur l’organe cible via au moins un outil 54 traversant la paroi 56 abdominale grâce à un trocart 58. Un trocart est par exemple un petit tube en plastique permettant l’accès à la cavité abdominale en maintenant l’étanchéité du pneumopéritoine. L’objectif du dispositif de traitement d’images est d’estimer la position de chaque trocart 58 permettant la traversée d’outil 54.
Lors d’une opération de chirurgie cœlioscopique classique, on peut compter généralement entre un et trois trocarts dédiés à l’utilisation d’outils dans la cavité abdominale, en complément du trocart permettant le passage de l’endoscope.
Un procédé 100 de traitements d’images selon un mode de réalisation de l’invention comprend plusieurs étapes représentées en référence avec la .
Le procédé de traitements d’images comprend une étape 110 d’acquisition d’au moins deux images de la cavité abdominale du patient par l’endoscope, chacune des images représentant au moins un organe de l’abdomen, dit organe cible, et au moins un outil traversant chaque trocart, ledit outil étant dans une position différente sur au moins deux des images.
Le procédé 100 comprend ensuite une étape 120 de détermination, à partir des images, de la position de l’organe cible par rapport à la position de l’endoscope.
La détermination de la position de l’organe cible peut s’effectuer selon plusieurs méthodes. Par exemple, à partir des images acquises par l’endoscope, on peut utiliser une solution de reconstruction 3D, ou un recalage des images acquises à des données préopératoires (connaissances préalable approximatives des positions d’organes susceptibles d’être visibles via l’endoscope), ou tout autre solution permettant de définir un repère 3D fixe sur l’organe cible. La solution de reconstruction 3D peut par exemple être effectué par des méthodes de type structure acquise à partir d’un mouvement, aussi appeléeStructure- from -MotionouSfMen anglais, ou des méthodes de type cartographie et localisation simultanées visuelle, aussi appeléeSimultaneous Localisation and MappingouSLAMen anglais. Par exemple, la solution de reconstruction 3D peut être implémentée via le logiciel Meshroom édité par l’association ALICEVISION.
Le procédé 100 comprend ensuite une étape 130 de détermination, à partir des images, de la position et de l’orientation de l’outil par rapport à la position de l’endoscope. La position de l’outil étant variable, elle ne peut pas être déterminée par des données préopératoires. La détermination de la position de l’outil s’effectue donc par une solution de reconstruction 3D, qui peut être soit générique, soit adaptée au type d’outil utilisé. Cette dernière solution peut permettre une détermination plus rapide et plus robuste de la position de l’outil.
Le procédé 100 comprend ensuite une étape 140 de détermination d’un repère organe, centré sur l’organe cible, et une étape 150 de détermination de la position de l’endoscope par rapport au repère organe. Ces étapes permettent de mieux définir les positions de chaque objet (trocarts, outils, etc.) dans le contexte opératoire, en fonction de l’organe cible qui est celui sur lequel une partie des opérations chirurgicales devra avoir lieu. La définition du repère organe permet de caractériser les positions relatives des différents objets indépendamment de la position de l’endoscope.
La détermination du repère organe peut être effectuée selon différentes méthodes, en fonction de l’organe cible. À partir d’un objet 3D représentatif de l’organe déterminé à l’étape de détermination de la position de l’organe cible, soit par reconstruction 3D ou par recalage de données préopératoires (en particulier un modèle 3D préopératoire), on peut définir par exemple le centre de masse de cet objet 3D comme origine et définir des axes principaux de l’organe cible qui formeront les 3 axes du repère de l’organe cible.
Le procédé 100 comprend ensuite une étape 160 d’estimation, à partir des images, de la position de chaque trocart à partir d’au moins deux positions et orientations de l’outil traversant ce trocart. Cette étape comprend notamment, dans ce mode de réalisation de l’invention, une pluralité de sous-étapes.
Une sous-étape 160a de définition d’un axe principal de chaque outil. Cette étape peut être effectuée au préalable, et permet de définir un axe principal pour le type d’outil traversant le trocart que l’on cherche à localiser, de façon à conserver un repère constant quelle que soit la position de l’outil sur les images traitées dans les sous-étapes suivantes. Les outils étant sensiblement rectilignes, leur axe principal est généralement défini par l’axe dans lequel s’étend l’outil, caractérisant notamment sa longueur.
En pratique, l’axe principal de chaque outil passe par le trocart dans lequel est inséré l’outil quelle que soit la position de l’outil, et c’est grâce à cette propriété que la position du trocart pourra être estimée.
Pour ce faire, l’étape 160 d’estimation de la position de chaque trocart comprend une sous-étape 160b de détermination, à partir de chaque image, d’ensembles d’axes principaux des outils à chaque position et orientation de chaque outil. Cette sous-étape permet d’associer à chaque outil un ensemble d’axes principaux représentant l’outil à au moins deux positions et orientations différentes.
La représente schématiquement une première image 118a telle qu’acquise par l’endoscope et telle que pouvant être affichée sur l’écran 18 de visualisation décrit précédemment en référence avec la . Sur la première image 118a est visible un outil 54 et l’organe 52 cible, auquel on a attribué le repère organe Oxyz. Cette première image permet d’obtenir un premier axe 60a principal associé à l’outil 54 dans la position et l’orientation représentée sur cette première image 118a.
La représente schématiquement une deuxième image 118b telle qu’acquise par l’endoscope et telle que pouvant être affichée sur l’écran 18 de visualisation décrit précédemment en référence avec la .
Sur la deuxième image 118b est visible l’outil 54 et l’organe 52 cible, et permet d’obtenir un deuxième axe 60b principal associé à l’outil 54 dans la position et l’orientation représentée sur cette image 118b.
Le premier axe 60a principal et le deuxième axe 60b principal, tous deux représentés sur la , forment un ensemble d’axes principaux associés à l’outil 54.
En référence avec la , l’étape 160 d’estimation de la position de chaque trocart comprend ensuite une sous-étape 160c de détermination des intersections des axes principaux de chaque ensemble correspondant à un même outil dans chaque position et orientation dudit outil, La détermination de l’intersection s’effectue selon un critère statistique précis, par exemple une intersection au sens des moindres carrés, c’est-à-dire en appliquant la méthode des moindres carrés aux axes principaux de chaque ensemble d’axes principaux pour déterminer l’intersection desdits axes principaux.
Comme l’ensemble des axes principaux associés à un outil passent par le trocart, cette intersection permet une estimation de la position du trocart par correspondance de ladite position avec l’intersection correspondant à l’outil traversant ledit trocart. Cette estimation correspond à une sous-étape 160d d’estimation de la position de chaque trocart de l’étape 160 d’estimation de la position de chaque trocart.
L’étape 160 d’estimation de la position de chaque trocart comprend enfin une sous-étape 160e de définition de ladite position du trocart dans le repère organe. La position de chaque trocart est ainsi exprimée selon le repère organe.
La représente schématiquement une image 118c cœlioscopique augmentée telle qu’acquise par l’endoscope, suite à au moins une exécution du procédé de traitement d’images décrit en référence avec la . Le procédé a permis l’estimation de la position du trocart 58 visible sur la mais non visible par l’endoscope. Selon la disposition de l’endoscope, le trocart pourrait aussi apparaître sur l’image.
Que chaque trocart soit visible ou non, la position de celui-ci est estimée par l’intersection 62 des axes principaux décrits précédemment en référence aux figures 3 et 4. L’estimation de la position du trocart permet l’affichage d’informations supplémentaires, tels que par exemple une zone 64 d’intervention de l’outil sur l’organe cible en fonction de la position du trocart, par exemple pour intervenir sur une tumeur 66 de l’organe 52 cible. Cette zone d’intervention est déterminée par une étape 170 de définition d’une zone d’intervention de l’outil sur l’organe cible en fonction de la position du trocart du procédé 100.
La détermination de la zone d’intervention se fait en fonction des contraintes de déplacement de l’outil, qui dépendent notamment de la forme de l’outil et de la position du trocart.
Si l’intersection 62 et donc l’estimation de la position du trocart est comprise dans l’image 118c cœlioscopique, l’estimation de la position du trocart peut aussi être affichée sur l’image 118c cœlioscopique comme information supplémentaire.
Le procédé est configuré pour déterminer en temps réel la position du ou des trocarts permettant le passage des outils, en cas de modification de la position du trocart par rapport à l’organe cible (soit par déplacement du trocart, soit par déplacement de l’organe cible, ou les deux). Les étapes du procédé de traitement d’images sont donc répétées autant de fois que nécessaire et l’estimation de la position du trocart ajustée en fonction.
Les modes de réalisation représentés aux figures 1 à 5 se focalisent sur l’estimation de la position d’un seul trocart pour des raisons d’illustration et de clarté, mais les étapes du procédé de traitements d’images s’appliquent pour chaque trocart dont on cherche à estimer la position et les mêmes étapes s’appliquent donc pour la détection de deux ou davantage de trocarts. L’invention ne se limite donc pas à la détection d’un seul trocart.
L’invention ne se limite pas au mode de réalisation décrit. En particulier, l’invention est applicable à tout type de système d’imagerie endoscopique dans le cadre d’une endoscopie utilisant des trocarts, par exemple dans la cavité thoracique ou pelvienne. Le trocart peut par exemple être disposé au niveau d’une paroi thoracique ou pelvienne. L’organe cible peut par exemple se trouver dans la cavité thoracique ou pelvienne. Un trocart et un endoscope disposés sur une paroi abdominale peuvent par exemple être utilisé pour une intervention sur un organe cible situé dans la cavité pelvienne ou thoracique.
Claims (8)
- Procédé de traitement d’images ayant été acquises par un endoscope (12), pour l’estimation automatique de la position d’au moins un trocart (58) agencé sur une paroi (56) du corps d’un patient lors d’une endoscopie, chaque trocart (58) étant configuré pour permettre le passage d’un outil (54) sensiblement rectiligne au travers de celui-ci afin d’accéder à une cavité (50) du corps du patient sous la paroi, caractérisé en ce qu’il comprend :
- une étape (130) de détermination de la position et de l’orientation de chaque outil (54) par rapport à une position de référence de l’endoscope (12), à partir d’au moins deux images (118a, 118b) de la cavité (50) du patient ayant été acquises par l’endoscope (12), chacune des images représentant au moins un outil (54) traversant chaque trocart (58), ledit outil étant dans une position et/ou orientation différente sur au moins deux des images (118a, 118b), et sur au moins lesdites deux images,
- une étape (160) d’estimation, à partir des images, de la position de chaque trocart (58) par rapport à la position de référence, à partir d’au moins deux positions et orientations de l’outil (54) traversant ce trocart (58).
- Procédé de traitement d’images selon la revendication 1, caractérisée en ce que l’étape (160) d’estimation de la position de chaque trocart (58) comprend, pour chaque trocart :
- une sous-étape (160a) de définition d’un axe (60a, 60b) principal de de l’outil (54) traversant le trocart (58),
- une sous-étape (160b) de détermination, à partir de chaque image, d’un ensemble d’axes principaux de l’outil à chaque position et orientation de l’outil,
- une sous-étape (160c) de détermination de l’intersection (62) des axes principaux de l’ensemble dans chaque position et orientation de l’outil,
- une sous-étape (160d) d’estimation de la position du trocart (58) par correspondance de ladite position avec l’intersection (62) des axes principaux correspondant à l’outil (54) traversant ledit trocart (58).
- Procédé de traitement d’images selon l’une des revendications 1 ou 2, caractérisé en ce qu’il comprend une étape (120) de détermination, à partir des images, de la position d’au moins un organe de la cavité, dit organe (52) cible par rapport à la position de référence de l’endoscope (12).
- Procédé de traitement d’images selon l’une des revendications 1 à 3, caractérisé en ce qu’il comprend une étape (140) de détermination d’un repère organe, centré sur l’organe (52) cible, et une étape (150) de détermination, pour chaque image, de la position de l’outil (54) par rapport au repère organe.
- Procédé de traitement d’images selon la revendication 4, caractérisé en ce que l’étape (160) d’estimation de la position du trocart (58) comprend une sous-étape (160e) de définition de ladite position du trocart (58) dans le repère organe.
- Procédé traitement d’images selon l’une des revendications 1 à 5, caractérisé en ce qu’il comprend une étape (170) de définition d’une zone (64) d’intervention de l’outil sur l’organe (52) cible en fonction de la position du trocart (58).
- Dispositif de traitement d’images acquises par un endoscope (12), configuré pour l’estimation automatique de la position d’au moins un trocart agencé sur une paroi du corps d’un patient lors d’une endoscopie, chaque trocart étant configuré pour permettre le passage d’un outil sensiblement rectiligne au travers de celui-ci afin d’accéder à la cavité du corps du patient sous la paroi, caractérisé en ce qu’il comprend :
- un endoscope (12), configuré pour acquérir au moins deux images de la cavité (50) abdominale du patient, chacune des images représentant au moins un outil (54) traversant chaque trocart (58), ledit outil (54) étant dans une position différente sur au moins deux des images,
- une unité (16) de traitement comprenant :
- un module de détermination, à partir des images, de la position et de l’orientation de l’outil (54) par rapport à la position de l’endoscope (12),
- un module d’estimation, à partir des images, de la position de chaque trocart (58) à partir d’au moins deux positions de l’outil (54) traversant ce trocart (58).
- Système d’imagerie endoscopique, caractérisé en ce qu’il comprend un dispositif de traitements d’images selon la revendication 7, et un écran (18) de visualisation, configuré pour afficher des images acquises par l’endoscope (12) et des informations supplémentaires fournies par l’unité (16) de traitement en fonction de la position estimée de chaque trocart (58).
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2101020A FR3119306B1 (fr) | 2021-02-03 | 2021-02-03 | Procédé et dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart pour la chirurgie endoscopique |
| EP22703613.4A EP4287922A1 (fr) | 2021-02-03 | 2022-02-01 | Procédé et dispositif de traitement d'images pour l'estimation automatique de la position d'un trocart |
| PCT/EP2022/052367 WO2022167428A1 (fr) | 2021-02-03 | 2022-02-01 | Procédé et dispositif de traitement d'images pour l'estimation automatique de la position d'un trocart |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2101020 | 2021-02-03 | ||
| FR2101020A FR3119306B1 (fr) | 2021-02-03 | 2021-02-03 | Procédé et dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart pour la chirurgie endoscopique |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3119306A1 true FR3119306A1 (fr) | 2022-08-05 |
| FR3119306B1 FR3119306B1 (fr) | 2024-06-14 |
Family
ID=76601256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2101020A Active FR3119306B1 (fr) | 2021-02-03 | 2021-02-03 | Procédé et dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart pour la chirurgie endoscopique |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4287922A1 (fr) |
| FR (1) | FR3119306B1 (fr) |
| WO (1) | WO2022167428A1 (fr) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8391571B2 (en) * | 2006-02-20 | 2013-03-05 | Universite Joseph Fourier | Automatic detection of a surgical tool on an image provided by a medical imaging system |
| US20140074134A1 (en) * | 2012-09-12 | 2014-03-13 | Gyrus ACMI, Inc. (d.b.a. as Olympus Surgical Technologies America) | Automatic tool marking |
| US10419680B2 (en) * | 2014-02-21 | 2019-09-17 | Olympus Corporation | Endoscope system and method of controlling endoscope system |
-
2021
- 2021-02-03 FR FR2101020A patent/FR3119306B1/fr active Active
-
2022
- 2022-02-01 WO PCT/EP2022/052367 patent/WO2022167428A1/fr unknown
- 2022-02-01 EP EP22703613.4A patent/EP4287922A1/fr active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8391571B2 (en) * | 2006-02-20 | 2013-03-05 | Universite Joseph Fourier | Automatic detection of a surgical tool on an image provided by a medical imaging system |
| US20140074134A1 (en) * | 2012-09-12 | 2014-03-13 | Gyrus ACMI, Inc. (d.b.a. as Olympus Surgical Technologies America) | Automatic tool marking |
| US10419680B2 (en) * | 2014-02-21 | 2019-09-17 | Olympus Corporation | Endoscope system and method of controlling endoscope system |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4287922A1 (fr) | 2023-12-13 |
| WO2022167428A1 (fr) | 2022-08-11 |
| FR3119306B1 (fr) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9646423B1 (en) | Systems and methods for providing augmented reality in minimally invasive surgery | |
| US20140160264A1 (en) | Augmented field of view imaging system | |
| US9289267B2 (en) | Method and apparatus for minimally invasive surgery using endoscopes | |
| US7945310B2 (en) | Surgical instrument path computation and display for endoluminal surgery | |
| US8267853B2 (en) | System and method for overlaying ultrasound imagery on a laparoscopic camera display | |
| US7824328B2 (en) | Method and apparatus for tracking a surgical instrument during surgery | |
| US11022433B2 (en) | Laser enhanced reconstruction of 3D surface | |
| US10702346B2 (en) | Image integration and robotic endoscope control in X-ray suite | |
| US20080071142A1 (en) | Visual navigation system for endoscopic surgery | |
| US20080071141A1 (en) | Method and apparatus for measuring attributes of an anatomical feature during a medical procedure | |
| JP2010279539A (ja) | 診断支援装置および方法並びにプログラム。 | |
| JP2019511931A (ja) | 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ | |
| CA2987058A1 (fr) | Systeme et procede pour la fourniture d'une video de contour avec une surface 3d dans un systeme de navigation medicale | |
| FR2790196A1 (fr) | Dispositif d'observation endoscopique | |
| JP2007244518A (ja) | 画像解析装置及び画像解析方法 | |
| EP3878345A1 (fr) | Suivi du système lymphatique | |
| Richa et al. | Hybrid tracking and mosaicking for information augmentation in retinal surgery | |
| JP2012165838A (ja) | 内視鏡挿入支援装置 | |
| Goncalves et al. | Perspective shape from shading for wide-FOV near-lighting endoscopes | |
| US20230390021A1 (en) | Registration degradation correction for surgical navigation procedures | |
| Lapeer et al. | Image‐enhanced surgical navigation for endoscopic sinus surgery: evaluating calibration, registration and tracking | |
| AU2022347455A1 (en) | System and method for computer-assisted surgery | |
| Bernhardt et al. | Using shading to register an intraoperative CT scan to a laparoscopic image | |
| EP2031559A1 (fr) | Augmentation de visualisation dans des images bidimensionnelles | |
| FR3119306A1 (fr) | Procédé et dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart pour la chirurgie endoscopique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| EXTE | Extension to a french territory |
Extension state: PF |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20220805 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| CA | Change of address |
Effective date: 20240419 |