EP4588004A1 - Système et procédé de recalage d'un modèle 3d virtuel par affichage en semi-transparence - Google Patents

Système et procédé de recalage d'un modèle 3d virtuel par affichage en semi-transparence

Info

Publication number
EP4588004A1
EP4588004A1 EP23765284.7A EP23765284A EP4588004A1 EP 4588004 A1 EP4588004 A1 EP 4588004A1 EP 23765284 A EP23765284 A EP 23765284A EP 4588004 A1 EP4588004 A1 EP 4588004A1
Authority
EP
European Patent Office
Prior art keywords
model
target organ
orientation
endoscope
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23765284.7A
Other languages
German (de)
English (en)
Inventor
Adrien Bartoli
Robin DOUSSE
Lilian CALVET
Prasad SAMARAKOON
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Clermont Auvergne Inp
Surgar
Centre National de la Recherche Scientifique CNRS
Centre Hospitalier Universitaire de Clermont Ferrand
Universite Clermont Auvergne
Original Assignee
Clermont Auvergne Inp
Surgar
Centre National de la Recherche Scientifique CNRS
Centre Hospitalier Universitaire de Clermont Ferrand
Universite Clermont Auvergne
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clermont Auvergne Inp, Surgar, Centre National de la Recherche Scientifique CNRS, Centre Hospitalier Universitaire de Clermont Ferrand, Universite Clermont Auvergne filed Critical Clermont Auvergne Inp
Publication of EP4588004A1 publication Critical patent/EP4588004A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the invention relates to a system and a method for registering a 3D model on an optical image.
  • the invention relates to the registration of a virtual 3D model of an organ obtained from preoperative imaging to an image of the organ obtained by optical imaging, in particular by monocular or stereoscopic endoscopic imaging.
  • the invention can be used in particular in the context of laparoscopic and robotic imaging.
  • Registration is an operation making it possible to obtain a correspondence of position and orientation of a virtual 3D model of an object to an optical image of the same object obtained by a camera.
  • the objective is to determine the transformation (change of reference and deformation) which must be carried out so that the 3D model of the object and the image of the object having distinct coordinate systems and distinct states are aligned.
  • knowledge of this transformation resulting from registration makes it possible to display, in an augmented reality context, the virtual 3D model, resulting from precalculated data, on the image obtained by the camera, representing the real world.
  • the objective is then to ensure the tracking or location of the object on the image to display the 3D model, after registration.
  • registration methods are implemented in the medical and/or surgical field to match a so-called preoperative 3D model because it is obtained upstream from one or more medical imaging techniques (e.g. fluoroscopy). , ultrasound, MRI, CT, etc.), with a real image obtained by an optical camera, for example an endoscope.
  • medical imaging techniques e.g. fluoroscopy
  • ultrasound, MRI, CT, etc. ultrasound, MRI, CT, etc.
  • refinement methods which allow improvement of a previous adjustment, the first adjustment being typically obtained by an initialization method.
  • refinement methods also allow adaptation to a change in the shape or position of the object to be tracked.
  • the complexity of the initialization methods is the absence of a precise idea of the transformation to be implemented since it is this method which must provide the first registration transformations.
  • Known initialization methods can be classified into two categories, automatic methods and manual methods.
  • Automatic methods use, for example, descriptors and visual cues or automatic matches to automatically calculate the registration. These methods have variable results, and in a medical and/or surgical context must be systematically validated or corrected by an operator. These automatic methods are further difficult to implement when the 3D model has no texture and is only a shape because few visual cues are available, which is usually the case for the preoperative 3D model.
  • Correspondence point methods can be difficult to implement if said correspondence points are difficult to identify, if the colors of the object seen in the image and the 3D model are different, etc.
  • the inventors have thus sought to provide a registration method for initialization making it possible to simplify operator interaction and limit the risks of initialization errors common in existing methods.
  • the proposed registration method would form a new subcategory of manual methods.
  • the invention aims to provide a system and a method for registering a 3D model of a target organ on at least one image of said organ obtained by an endoscope type camera.
  • the invention aims to provide, in at least one embodiment, a registration system and method making it possible to simplify the initialization of the registration while presenting a robust result.
  • the invention aims to provide, in at least one embodiment, a registration system and method which can be used for registration of a 3D model on an image obtained by an endoscope.
  • the invention aims to provide, in at least one embodiment, a registration system and method that does not require intervention on a computer device external to the medical and/or surgical intervention. Presentation of the invention
  • the invention relates to a method for registering a virtual three-dimensional model of a target organ, called a 3D model, with at least one image of said target organ in a scene obtained by an endoscope, comprising: a reception step of the 3D model of the target organ, a step of predicting a position and an orientation of the target organ relative to a reference mark of the scene in which the position and orientation of the endoscope are known, depending on a position and a reference orientation of the endoscope relative to the scene, a step of simulating a position and an orientation of the 3D model as a function of said position and said orientation of the predicted target organ, a step of displaying at least one current image of the endoscope on a display device, a step of superimposing on at least one current image of the endoscope a semi-projection -transparency of the 3D model as a function of the predicted position and orientation, on the display device, said projection being fixed relative to the endoscope, a step of receiving a command
  • a registration method therefore makes it possible to facilitate the initialization of the registration by proposing a solution making it possible to display in semi-transparency a projection of the virtual 3D model in relation to a predicted and predefined reference position and orientation, ensures that the user manipulates the endoscope until the projection of the 3D model is aligned with the targeted organ.
  • the operator can then indicate that the alignment is done by a interaction with a validation means, for example a physical validation interface or a graphical validation interface.
  • a validation means for example a physical validation interface or a graphical validation interface.
  • the validation means comprises an automatic validation module making it possible to automatically test the alignment of the projection of the 3D model with the targeted organ, and making it possible to suggest to a user that the alignment is correct and/or send the command indicating an alignment between the semi-transparent projection of the 3D model and the image of the target organ on the current image.
  • the command indicating the alignment allows the calculation of the position and orientation of the target organ on the current image relative to the reference mark from the position of the endoscope for the current image when the command indicating alignment is received.
  • the couple formed by the position and orientation of an object or a 3D model is commonly called the pose of this object.
  • the operator interacts with the virtual model so that it corresponds with the real world
  • the operator interacts with the real world to make it correspond with the virtual one.
  • the operation can be carried out without direct interaction with equipment not used in routine medical and/or surgical procedures and therefore very naturally by the operator.
  • the method is also particularly suitable when the target organ as visible in the current image and the 3D model of the target organ have distinct states, that is to say they have different shapes, in particular because a deformation applies to the model or to the target organ as visible in the current image.
  • the registration process works to calculate the pose even in the presence of deformations unlike most prior art processes.
  • Predicted position and orientation are linked to prior knowledge of the scene and the reference position and orientation of the endoscope relative to the target organ.
  • the predicted position and orientation can thus be calculated or precalculated, manually or automatically, and remain fixed during the rest of the registration process.
  • the endoscope is arranged at a standard position and orientation relatively identical to each laparoscopy and the position of the 3D model can thus be adjusted according to this standard position and orientation.
  • Several reference position and orientation pairs can be precalculated in order to adapt to several possible configurations.
  • the endoscope can be arranged at different entry points depending on the type of intervention, the target organ and the possible pathology to be treated.
  • the reference mark is for example a mark of the endoscope, which makes it possible to easily define a fixed transformation of the 3D model to obtain the projection of the fixed 3D model in the current image.
  • Other marks can be used if the transformation of this mark to the endoscope model is known or calculable.
  • the current image can be a 2D image or a stereoscopic image depending on the variants of the invention.
  • the steps of receiving the 3D model of the target organ, predicting a position and an orientation of the target organ and simulating a position and an orientation of the 3D model can advantageously be carried out “preoperatively”, that is to say before the image capture procedure.
  • the steps of displaying at least one current image, superimposing a semi-transparent projection of the 3D model, receiving a command and calculating the position and orientation of the target organ are advantageously carried out in parallel with the image capture procedure, “intraoperatively”.
  • the method comprises a step of defining a canonical reference of the 3D model of the organ, said canonical reference being defined by an origin and three axes, and in that the step of predicting a position and orientation of the target organ makes it possible to define a transformation of the 3D model of the organ between the canonical frame and the reference frame.
  • the transformation of the canonical frame to the reference frame makes it possible to define the position and orientation of the 3D model in the reference frame which will be displayed in the current image as a function of the position and the predicted orientation.
  • This step can be carried out upstream, that is to say in the preoperative step, before images of the target organ are captured by the endoscope.
  • the target organ is a uterus comprising in particular a uterine fundus, an anterior uterine wall and a cervix
  • the canonical reference point is defined by an origin forming the center of mass of a distal part of the uterus, a first left-right axis of the uterus, a second axis connecting a center of mass of the uterine fundus and a center of mass of the cervix and a third axis scalar product of the first axis and the second axis.
  • the registration method is particularly suitable for registering a 3D model of a uterus on a current image of a uterus as a target organ.
  • the particular shape of the uterus allows the definition of a canonical reference point adapted to the implementation of the registration process.
  • the target organ may be an organ other than the uterus and the canonical reference point is determined according to the general shape of this target organ.
  • the target organ can be a liver (the virtual 3D model of which is generally obtained by CT imaging) or a kidney (the virtual 3D model of which is generally obtained by MRI and/or CT imaging), or many others. organs.
  • the method comprises a step of pre-calculating the projection of the 3D model from the 3D model and the predicted position and orientation, upstream of the step of superimposing said projection on minus a current image of the endoscope.
  • the projection of the 3D model makes it possible to obtain a simple two-dimensional image which can be easily combined with the current image to create the effect of semi-transparency.
  • the projection can be complete but can also consist of a whole or partial silhouette or outline of the target organ.
  • the method comprises a step of receiving a 3D model generated from images captured by the endoscope, called an intraoperative 3D model, and that it comprises a step of calculating translation and scale factor between the 3D model of the target organ and the intraoperative 3D model, comprising: a sub-step of expressing the 3D model of the target organ and the intraoperative 3D model in a common reference frame as a function of the position and the orientation of the target organ on the current image relative to the reference frame, a sub-step of selecting an origin point in the common frame, a sub-step of generating at least one ray starting from the origin point and extending in the direction of the optical axis of the endoscope, a sub-step of calculating the distance between the origin and the intersection of each ray with the 3D model of the virtual organ, a sub-step of calculating the distance between the origin and the intersection of each ray with the intraoperative 3D model, a sub-step of calculating the translation and the scale factor from each distance between the origin
  • the calculation of translation and scale factor makes it possible to ensure the registration of the 3D model of the target organ, called the preoperative 3D model, with the target organ as modeled in the model. of the scene obtained by the endoscope, called an intraoperative 3D model.
  • these steps are relevant if a scale difference exists between the preoperative 3D model and the intraoperative 3D model.
  • calculating the position and orientation of the target organ on the current image makes it possible to obtain registration of the 3D model on said image but does not guarantee registration of the preoperative 3D model with the target organ. in the intraoperative 3D model due to the partial knowledge of depth and distance based on a single image.
  • the translation and scale factor calculation steps allow the complete registration of the preoperative 3D model with the intraoperative 3D model by matching the marks associated with each model, in particular by allowing the use of a metric mark for each model making it possible to know the dimensions of each object of each 3D model.
  • the method comprises the acquisition of several images and a step of selecting from among the images an image of higher quality than the other images for registration of the 3D model.
  • a registration system allows the display of the projection of the 3D model on at least one current image and the reception of the command indicating the alignment of the projection of the 3D model with the target organ on the current image .
  • the information relating to the alignment of the projection of the 3D model with the target organ on the current image allows the calculation of the position of the target organ in the current image and thus the registration of the 3D model of the target organ with its image in the current image and in future images captured by the endoscope.
  • a module may for example consist of a computing device such as a computer, a set of computing devices, an electronic component or a set of electronic components, or for example a computer program, a set of computer programs, a library of a computer program or a function of a computer program executed by a computer device such as a computer, a set of computer devices, an electronic component or a set of electronic components.
  • the validation means may preferably be a physical validation interface with the operator and may for example comprise a physical button, a lever, a pedal intended to be actuated by an operator's foot, etc.
  • the foot pedal allows interaction by the operator without using their hands.
  • the validation means can also be a graphical validation interface.
  • the validation means can also be without physical contact, for example with a sensor making it possible to detect a gesture by the operator or to detect a sound command.
  • the validation means can also be automatic, in particular can include a validation module allowing automatic processing of images and automatic detection of the alignment between the semi-transparent projection of the 3D model and the image of the target organ on the current image, so as to suggest to the user that the alignment is done or to directly send the command indicating such alignment.
  • the registration method according to the invention is configured to be implemented by a registration system according to the invention.
  • the canonical reference definition module is configured for: a calculation of a main axis of the medial part of the uterine fundus, called the uterine fundus axis, a calculation of a main axis of the medial part of the anterior uterine wall, called anterior wall axis, a calculation of the left-right axis of the uterus by vector product of the uterine fundus axis by the anterior wall axis, a calculation of the center of mass of the uterine fundus, a calculation of the center of mass of the cervix, a calculation of a plane defined by the plane each point of which is equidistant from the center of mass of the uterine fundus and the center of mass of the cervix uterus, a determination of two parts of the uterus, delimited by the plane, a distal part comprising the uterine fundus and the anterior wall and a proximal part connected to the cervix, a calculation of
  • the processing unit comprises a module for pre-calculating the projection of the 3D model from the 3D model and the predicted position and orientation.
  • the processing unit comprises a module for acquiring several images and a module for selecting among the images an image of higher quality than the other images for registration of the 3D model.
  • the invention also relates to a computer program product for registering a computer program for registering a virtual three-dimensional model of a target organ, called a 3D model, with at least one image of said target organ in a scene obtained by the endoscope, said computer program product comprising program code instructions for executing, when said computer program product is executed on a computer, the following steps: a step of receiving the 3D model of the organ target, a step of predicting a position and an orientation of the target organ relative to a reference mark of the scene in which the position and orientation of the endoscope are known, according to a position and a reference orientation of the endoscope relative to the scene, a step of simulating a position and an orientation of the model 3D as a function of said predicted position and said orientation of the target organ, a step of displaying at least one current image of the endoscope on a display device, a step of superimposing at least one current image of the endoscope of a semi-transparent projection of the 3D model as a function of the
  • FIG. 1 is a schematic view of a registration system 10 according to one embodiment of the invention, integrated into a laparoscopic imaging system, in a first configuration.
  • FIG. 2 is a schematic view of a registration system 10 according to one embodiment of the invention, integrated into a laparoscopic imaging system, in a second configuration.
  • FIG. 3 is a schematic view of a registration method according to one embodiment of the invention.
  • FIG. 4 is a schematic view of a uterus forming a target organ of a registration method according to one embodiment of the invention.
  • Figures 1 and 2 schematically represent a registration system 10 according to one embodiment of the invention, integrated into a laparoscopic imaging system.
  • the objective of the imaging system is to make it possible to acquire and broadcast images taken in a cavity 50 of the patient's body, here a cavity of the abdomen of a patient (or abdominal cavity 50), in particular in the context of a laparoscopic procedure, for example laparoscopic surgery.
  • the laparoscopic surgery operation can for example be intended for intervention on a target organ 52.
  • the laparoscopic imaging system comprises a registration system 10 according to one embodiment of the invention, receiving images provided for example by an endoscope type camera 12 configured to acquire images of the patient's abdominal cavity 50.
  • the endoscope used in a laparoscopic operation is commonly called a laparoscope or laparoscope.
  • the registration system comprises several modules making it possible to implement a method according to the invention, brought together here in a processing unit 16.
  • the processing unit 16 is for example a computer or an electronic card comprising a processor, for example a processor dedicated to image processing of the method according to the invention or a general processor configured to, among several functions, execute in particular program instructions for the execution of the steps of the method according to the invention .
  • the registration system 10 implements a registration process as shown in Figure 3.
  • the registration method 100 also comprises the following steps, preferably implemented in parallel with the medical and/or surgical procedure (intraoperative phase): a step 116 of displaying at least one current image of the endoscope 12 on the display device 18, a step 118 of superimposing on at least one current image of the endoscope a semi-transparent projection 20 of the 3D model as a function of the predicted position and orientation, on the device 18 d display, said projection being fixed relative to the endoscope 12.
  • the semi-transparent projection 20 is shown in dotted lines and is fixed relative to the image.
  • the operator in charge of handling the endoscope can attempt to align the image 22 of the target organ with the current image with the projection 20 in semi-transparency.
  • Figure 1 represents a first position where the semi-transparent projection 20 and the image 22 of the target organ are not aligned and
  • Figure 2 represents a second position where the semi-transparent projection 20 and the image 22 of the target organ are aligned.
  • a validation means in particular a physical validation interface 24, for example comprising a pedal actuated by the foot, in order to send a command indicating an alignment between the semi-transparent projection of the 3D model and the image 22 of the target organ on the current image.
  • the registration method 100 then comprises: a step 120 of receiving the command indicating the alignment between the semi-transparent projection 20 of the 3D model and the image 22 of the target organ on the current image, a step 122 for calculating the position and orientation of the target organ on the current image relative to the reference mark. The calculation is carried out from the current image when receiving the command indicating the alignment between projection 20 and image 22 of the target organ.
  • the registration method 100 also includes a step 124 of defining a canonical reference of the 3D model of the organ, said canonical reference being defined by an origin and three axes, preferably carried out in the preoperative phase, and step 112 for predicting a position and an orientation of the target organ makes it possible to define a transformation of the 3D model of the organ between the canonical frame and the reference frame.
  • the canonical landmark is defined by an origin Gu forming the center of mass of a distal part of the uterus, a first left-right U axis of the uterus, a second Y axis connecting a GF center of mass of the uterine fundus and a center Gc of the cervix and a third axis scalar product of the first axis and the second axis.
  • step 124 of defining the canonical benchmark for a uterus 200 comprises: a sub-step of calculating a main axis of the medial part of the uterine fundus 210, called the NF axis of the uterine fundus, a sub-step of calculating a main axis of the medial part of the uterine wall 212 anterior, called the Nw axis of the anterior wall, a sub-step of calculating the left-right axis of the uterus (not shown) by vector product of the NF axis of the uterine fundus by the Nw axis of the anterior wall, a sub-step of calculating the center GF of mass of the uterine fundus, a sub-step of calculating the center Gc of mass of the cervix, a sub-step of calculating a plane P defined by the plane of which each point is equidistant from the center GF of mass of the uterine fundus and the center Gc of mass of the a
  • the registration method 100 can also include a step 126 of receiving a 3D model generated from images captured by the endoscope, called an intraoperative 3D model, and a step of calculating translation and scale factor between the 3D model of the target organ and the intraoperative 3D model, comprising: a sub-step of expressing the 3D model of the target organ and the intraoperative 3D model in a common reference frame as a function of the position and orientation of the the target organ on the current image relative to the reference frame, a sub-step of selecting an origin point in the common frame of reference, a sub-step of generating at least one ray starting from the point of origin and extending in the direction of the optical axis of the endoscope, a sub-step of calculating the distance between the origin and the intersection of each ray with the 3D model of the virtual organ, a sub-step of calculating the distance between the origin and the intersection of each ray with the intraoperative 3D model, a sub-step of calculating the translation and the scale factor from each distance between the origin and
  • the endoscope 12 can be configured for the acquisition of several images and the registration method 100 can also include a step of selecting from among the images an image of higher quality than the other images for registration of the 3D model.
  • the invention is not limited to the embodiments described.
  • the registration system can be integrated into different types of imaging, in particular other types of medical imaging, in particular when a position and orientation of the target organ relative to the endoscope can be predicted.
  • the target organ may be different: in a laparoscopic context, other organs of the abdomen that can be operated on by laparoscopy may be target organs, for example a liver or a kidney.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

L'invention concerne un procédé de recalage d'un modèle tridimensionnel virtuel d'un organe cible, dit modèle 3D, avec au moins une image dudit organe cible dans une scène obtenue par un endoscope (12), comprenant notamment une étape de prédiction d'une position et d'une orientation de l'organe cible par rapport à la scène, une étape de superposition à au moins une image courante de l'endoscope d'une projection en semi-transparence du modèle 3D en fonction de la position et de l'orientation prédites, sur un dispositif (18) d'affichage, une étape de réception d'une commande indiquant un alignement entre la projection en semi- transparence du modèle 3D et l'image de l'organe cible sur l'image courante et une étape de calcul de la position et de l'orientation de l'organe cible sur l'image courante par rapport à la scène.

Description

DESCRIPTION
TITRE DE L’INVENTION : SYSTÈME ET PROCÉDÉ DE RECALAGE
D’UN MODÈLE 3D VIRTUEL PAR AFFICHAGE EN SEMI- TRANSPARENCE
Domaine technique de l’invention
L’invention concerne un système et un procédé de recalage d’un modèle 3D sur une image optique. En particulier, l’invention concerne le recalage d’un modèle 3D virtuel d’un organe obtenu à partir d’une imagerie préopératoire à une image de l’organe obtenue par imagerie optique, notamment par imagerie endoscopique monoculaire ou stéréoscopique. L’invention est notamment utilisable dans un contexte d’imagerie cœlioscopique et robotique.
Arrière-plan technologique
Le recalage, couramment appelé « registration » ou « alignment » en anglais, est une opération permettant d’obtenir une correspondance de position et d’orientation d’un modèle 3D virtuel d’un objet à une image optique du même objet obtenue par une caméra. En particulier, l’objectif est de déterminer la transformation (changement de repère et déformation) qui doit être opérée pour que le modèle 3D de l’objet et l’image de l’objet ayant des systèmes de coordonnées distincts et des états distincts soient alignés. En pratique, la connaissance de cette transformation issue du recalage permet d’afficher, dans un contexte de réalité augmentée, le modèle 3D virtuel, issu de données précalculées, sur l’image obtenue par la caméra, représentant le monde réel. L’objectif est ensuite d’assurer le suivi ou le repérage de l’objet sur l’image pour y afficher le modèle 3D, après recalage.
En particulier, les méthodes de recalage sont mises en œuvre dans le domaine médical et/ou chirurgical pour mettre en correspondance un modèle 3D dit préopératoire car obtenu en amont à partir d’une ou plusieurs techniques d’imagerie médicale (p. ex. radioscopie, ultrasons, IRM, TDM, etc.), avec une image réelle obtenue par une caméra optique, par exemple un endoscope. Les méthodes de recalage sont généralement divisées en deux catégories principales : les méthodes d’initialisation qui visent à fournir un recalage rapide et avec une précision relativement faible de manière à fournir une solution initiale au recalage, et les méthodes de raffinement qui permettent l’amélioration d’un recalage antérieur, le premier recalage étant typiquement obtenu par une méthode d’initialisation. Les méthodes de raffinement permettent également l’adaptation à une modification de la forme ou de la position de l’objet à suivre.
Les méthodes d’initialisation présentent comme complexité l’absence d’idée précise sur la transformation à mettre en œuvre puisque c’est cette méthode qui doit fournir les premières transformations de recalage. Les méthodes d’initialisation connues peuvent être classées en deux catégories, les méthodes automatiques et les méthodes manuelles.
Les méthodes automatiques utilisent par exemple des descripteurs et des indices visuels ou des correspondances automatiques pour calculer automatiquement le recalage. Ces méthodes ont des résultats variables, et dans un contexte médical et/ou chirurgical doivent être systématiquement validées ou corrigées par un opérateur. Ces méthodes automatiques sont en outre difficiles à mettre en œuvre lorsque le modèle 3D n’a pas de texture et est uniquement une forme car peu d’indices visuels sont disponibles, ce qui est généralement le cas pour le modèle 3D préopératoire.
Les méthodes manuelles existantes peuvent être classées en plusieurs sous- catégories : les méthodes nécessitant une manipulation interactive du modèle 3D préopératoire, permettant grâce à l’usage d’une interface utilisateur d’appliquer les transformations au modèle 3D jusqu’à l’alignement avec l’objet apparaissant sur l’image de la caméra ; les méthodes nécessitant la sélection interactive de correspondances de points, courbes ou aires connus sur l’image de l’objet obtenu par la caméra et sur le modèle 3D.
Ces méthodes présentent plusieurs inconvénients.
Les méthodes nécessitant une manipulation du modèle nécessitent d’agir sur une rotation, position et éventuellement échelle du modèle 3D, ce qui peut être très complexe même pour une personne expérimentée : certains objets présentent plusieurs axes de symétries qui compliquent l’opération, la détermination de la bonne correspondance entre échelle et profondeur peut être complexe, l’objet peut n’être visible que partiellement, etc.
Les méthodes à points de correspondance peuvent être difficiles à mettre en œuvre si lesdits points de correspondance sont difficilement identifiables, si les couleurs de l’objet vu sur l’image et le modèle 3D sont différentes, etc.
En outre, dans un contexte médical ou chirurgical, ces méthodes nécessitent une intervention de l’opérateur sur un dispositif informatique externe qui peut présenter des problèmes d’hygiène ou de stérilisation. Cette intervention entraîne également une déconcentration de l’opérateur, qui doit reporter son attention du patient vers le dispositif externe.
Les inventeurs ont ainsi cherché à fournir une méthode de recalage pour l’initialisation permettant de simplifier l’interaction de l’opérateur et limiter les risques d’erreurs d’initialisation courantes dans les méthodes existantes. La méthode de recalage proposée formerait une nouvelle sous-catégorie de méthodes manuelles.
Objectifs de l’invention
L’invention vise à fournir un système et un procédé de recalage d’un modèle 3D d’un organe cible sur au moins une image dudit organe obtenue par une caméra de type endoscope.
L’invention vise à fournir, dans au moins un mode de réalisation, un système et un procédé de recalage permettant de simplifier l’initialisation du recalage tout en présentant un résultat robuste.
L’invention vise à fournir, dans au moins un mode de réalisation, un système et un procédé de recalage pouvant être utilisés pour le recalage d’un modèle 3D sur une image obtenue par un endoscope.
L’invention vise à fournir, dans au moins un mode de réalisation, un système et un procédé de recalage ne nécessitant pas d’intervention sur un dispositif informatique externe à l’intervention médicale et/ou chirurgicale. Exposé de l’invention
Pour ce faire, l’invention concerne un procédé de recalage d’un modèle tridimensionnel virtuel d’un organe cible, dit modèle 3D, avec au moins une image dudit organe cible dans une scène obtenue par un endoscope, comprenant : une étape de réception du modèle 3D de l’organe cible, une étape de prédiction d’une position et d’une orientation de l’organe cible par rapport à un repère de référence de la scène dans lequel la position et l’orientation de l’endoscope sont connus, en fonction d’une position et d’une orientation de référence de l’endoscope par rapport à la scène, une étape de simulation d’une position et d’une orientation du modèle 3D en fonction de ladite position et de ladite orientation de l’organe cible prédites, une étape d’ affichage d’ au moins une image courante de l’endoscope sur un dispositif d’affichage, une étape de superposition à au moins une image courante de l’endoscope d’une projection en semi-transparence du modèle 3D en fonction de la position et de l’orientation prédites, sur le dispositif d’affichage, ladite projection étant fixe par rapport à l’endoscope, une étape de réception d’une commande indiquant un alignement entre la projection en semi-transparence du modèle 3D et l’image de l’organe cible sur l’image courante, une étape de calcul de la position et de l’orientation de l’organe cible sur l’image courante par rapport au repère de référence.
Un procédé de recalage selon l’invention permet donc de faciliter l’initialisation du recalage en proposant une solution permettant d’afficher en semi- transparence une projection du modèle 3D virtuel par rapport à une position et une orientation prédites et de référence prédéfinies, de sorte à ce que l’utilisateur manipule l’endoscope jusqu’à ce que la projection du modèle 3D soit alignée avec l’organe ciblé. L’opérateur peut ensuite indiquer que l’alignement est fait par une interaction avec un moyen de validation, par exemple une interface physique de validation ou une interface graphique de validation. Ces actions permettent à l’utilisateur de se concentrer sur la visualisation de l’image affichée et la gestion de l’endoscope tout en restant focalisé sur le monde réel, le patient, sans devoir manipuler un modèle 3D virtuel sur un système externe. L’interface physique de validation est par exemple un bouton actionné à la main ou une pédale actionnée au pied par l’opérateur. Selon une autre variante de l’invention, le moyen de validation comprend un module de validation automatique permettant de tester automatiquement l’alignement de la projection du modèle 3D avec l’organe ciblé, et permettant de suggérer à un utilisateur que l’alignement est correct et/ou envoyer la commande indiquant un alignement entre la projection en semi-transparence du modèle 3D et l’image de l’organe cible sur l’image courante.
La commande indiquant l’alignement permet le calcul de la position et de l’orientation de l’organe cible sur l’image courante par rapport au repère de référence à partir de la position de l’endoscope pour l’image courante lorsque la commande indiquant l’alignement est reçue.
Le couple formé par la position et l’orientation d’un objet ou d’un modèle 3D est couramment appelé la pose de cet objet.
Dans les techniques de recalage classique, l'opérateur interagit avec le modèle virtuel pour qu’il corresponde avec le monde réel, alors que dans l’invention, l’opérateur interagit avec le monde réel pour le faire correspondre avec le virtuel. L’opération peut être réalisée sans interaction directe avec un matériel non utilisé en routine médicale et/ou chirurgicale et donc très naturellement par l’opérateur.
Le procédé est en outre particulièrement adapté lorsque l’organe cible tel que visible sur l’image courante et le modèle 3D de l’organe cible ont des états distincts, c’est-à-dire qu’ils présentent des formes différentes, en particulier car une déformation s’applique au modèle ou à l’organe cible tel que visible sur l’image courante. Le procédé de recalage fonctionne pour calculer la pose même en présence de déformations contrairement à la plupart des procédés de l’art antérieur.
La position et l’orientation prédites sont liées à une connaissance préalable de la scène et de la position et l’orientation de référence de l’endoscope par rapport à l’organe cible. La position et l’orientation prédites peuvent ainsi être calculées ou précalculées, manuellement ou automatiquement, et restent fixes pendant la suite du procédé de recalage. Par exemple, dans le contexte d’une cœlioscopie, l’endoscope est agencé à une position et une orientation standards relativement identique à chaque cœlioscopie et la position du modèle 3D peut ainsi être ajustée en fonction de cette position et cette orientation standards. Plusieurs couples de position et d’orientation de référence peuvent être précalculées afin de s’adapter à plusieurs configurations possibles. Par exemple, l’endoscope peut être agencé à différents points d’entrée selon le type d’intervention, l’organe cible et l’éventuelle pathologie à traiter.
Le repère de référence est par exemple un repère de l’endoscope, ce qui permet de définir facilement une transformation fixe du modèle 3D pour obtenir la projection du modèle 3D fixe dans l’image courante. D’autres repères peuvent être utilisés si la transformation de ce repère vers le modèle endoscope est connue ou calculable.
L’image courante peut être une image 2D ou une image stéréoscopique selon les variantes de l’invention.
Dans le cadre d’une procédure médicale ou chirurgicale, les étapes de réception du modèle 3D de l’organe cible, de prédiction d’une position et d’une orientation de l’organe cible et de simulation d’une position et d’une orientation du modèle 3D peuvent avantageusement être réalisées de façon « préopératoire », c’est-à-dire en amont de la procédure de capture d’image. Les étapes d’affichage d’au moins une image courante, de superposition d’une projection en semi- transparence du modèle 3D, de réception d’une commande et de calcul de la position et l’orientation de l’organe cible sont avantageusement réalisées en parallèle de la procédure de capture d’image, de façon « peropératoire ».
Avantageusement et selon l’invention, le procédé comprend une étape de définition d’un repère canonique du modèle 3D de l’organe, ledit repère canonique étant défini par une origine et trois axes, et en ce que l’étape de prédiction d’une position et d’une orientation de l’organe cible permet de définir une transformation du modèle 3D de l’organe entre le repère canonique et le repère de référence.
Selon cet aspect de l’invention, la transformation du repère canonique au repère de référence permet de définir la position et l’orientation du modèle 3D dans le repère de référence qui sera affiché dans l’image courante en fonction de la position et de l’orientation prédites. Cette étape peut être réalisée en amont, c’est- à-dire en étape préopératoire, avant la capture d’images de l’organe cible par l’endoscope.
Avantageusement et selon l’invention, l’organe cible est un utérus comprenant notamment un fond utérin, une paroi utérine antérieure et un col, et le repère canonique est défini par une origine formant le centre de masse d’une partie distale de l’utérus, un premier axe gauche-droite de l’utérus, un deuxième axe reliant un centre de masse du fond utérin et un centre de masse du col de l’utérus et un troisième axe produit scalaire du premier axe et du deuxième axe.
Selon cet aspect de l’invention, le procédé de recalage est particulièrement adapté à au recalage d’un modèle 3D d’un utérus sur une image courante d’un utérus comme organe cible. La forme particulière de l’utérus permet la définition d’un repère canonique adapté à la mise en œuvre du procédé de recalage.
Avantageusement et selon l’invention, l’étape de définition du repère canonique comprend : une sous-étape de calcul d’un axe principal de la partie médiale du fond utérin, dit axe de fond utérin, une sous-étape de calcul d’un axe principal de la partie médiale de la paroi utérine antérieure, dit axe de paroi antérieure, une sous-étape de calcul de l’axe gauche-droite de l’utérus par produit vectoriel de l’axe de fond utérin par l’axe de paroi antérieure, une sous-étape de calcul du centre de masse du fond utérin, une sous-étape de calcul du centre de masse du col de l’utérus, une sous-étape de calcul d’un plan définit par le plan dont chaque point est à égale distance du centre de masse du fond utérin et du centre de masse du col de l’utérus, une sous-étape de détermination de deux parties de l’utérus, délimitées par le plan, une partie distale comprenant le fond utérin et la paroi antérieure et une partie proximale reliée au col, une sous-étape de calcul du centre de masse de la partie distale.
Selon d’autres variantes de l’invention, l’organe cible peut être un autre organe que l’utérus et le repère canonique est déterminé en fonction de la forme générale de cet organe cible.
Par exemple, l’organe cible peut être un foie (dont le modèle 3D virtuel est obtenu généralement par imagerie TDM) ou un rein (dont le modèle 3D virtuel est obtenu généralement par imagerie IRM et/ou TDM), ou bien d’autres organes.
Lorsque l’organe cible est un foie ou un rein, le repère canonique peut être définie par un centre de masse formant l’origine et par des axes fixés selon les axes principaux du modèle 3D obtenus par exemple par analyse en composantes principales des sommets du maillage, un premier axe s’étendant selon l’axe principal de plus grande longueur et étant positionné parallèlement au plan image de l’endoscope, horizontal ou vertical selon l’organe considéré, un deuxième axe s’étendant selon l’axe principal de plus petite longueur et étant orienté vers l’endoscope et un troisième axe étant produit scalaire du premier axe et du deuxième axe.
Avantageusement et selon l’invention, le procédé comprend une étape de pré-calcul de la projection du modèle 3D à partir du modèle 3D et de la position et l’orientation prédites, en amont de l’étape de superposition de ladite projection à au moins une image courante de l’endoscope.
Selon cet aspect de l’invention, la projection du modèle 3D permet d’obtenir une image simple en deux dimensions pouvant être facilement combinée avec l’image courante pour créer l’effet de semi-transparence. La projection peut être complète mais peut aussi consister en une silhouette ou un contour entier ou partiel de l’organe cible. Avantageusement et selon l’invention, le procédé comprend une étape de réception d’un modèle 3D généré à partir d’images captées par l’endoscope, dit modèle 3D peropératoire, et ce qu’il comprend une étape de calcul de translation et de facteur d’échelle entre le modèle 3D de l’organe cible et le modèle 3D peropératoire, comprenant : une sous-étape d’expression du modèle 3D de l’organe cible et du modèle 3D peropératoire dans un repère commun en fonction de la position et de l’orientation de l’organe cible sur l’image courante par rapport au repère de référence, une sous-étape de sélection d’un point origine dans le repère commun, une sous-étape de génération d’au moins un rayon partant du point d’origine et s’étendant dans la direction de l’axe optique de l’endoscope, une sous-étape de calcul de la distance entre l’origine et l’intersection de chaque rayon avec le modèle 3D de l’organe virtuel, une sous-étape de calcul de la distance entre l’origine et l’intersection de chaque rayon avec le modèle 3D peropératoire, une sous-étape de calcul de la translation et du facteur d’échelle à partir de chaque distance entre l’origine et l’intersection d’un rayon avec le modèle 3D de l’organe virtuel et chaque distance entre l’origine et l’intersection dudit rayon avec le modèle 3D peropératoire.
Selon cet aspect de l’invention, le calcul de translation et de facteur d’échelle permet de s’assurer du recalage du modèle 3D de l’organe cible, dit modèle 3D préopératoire, avec l’organe cible tel que modélisé dans le modèle de la scène obtenu par l’endoscope, dit modèle 3D peropératoire. En particulier, ces étapes sont pertinentes si une différence d’échelle existe entre le modèle 3D préopératoire et le modèle 3D peropératoire. En effet, le calcul de la position et de l’orientation de l’organe cible sur l’image courant permet d’obtenir le recalage du modèle 3D sur ladite image mais ne garantit pas le recalage du modèle 3D préopératoire avec l’organe cible dans le modèle 3D peropératoire du fait de la connaissance partielle de la profondeur et de l’éloignement sur la base d’une seule image. Les étapes du calcul de translation et de facteur d’échelle permettent le recalage complet du modèle 3D préopératoire avec le modèle 3D peropératoire par la mise en correspondance des repères associés à chaque modèle, notamment en permettant d’utiliser un repère métrique pour chaque modèle permettant de connaître les dimensions de chaque objet de chaque modèle 3D.
L’utilisation de plusieurs rayons et les distances associées permettent d’accentuer la précision du calcul, par exemple en utilisant la médiane ou la moyenne des distances calculées.
Avantageusement et selon l’invention, le procédé comprend l’acquisition de plusieurs images et une étape de sélection parmi les images d’une image de qualité supérieure aux autres images pour le recalage du modèle 3D
Selon cet aspect de l’invention, l’acquisition de plusieurs images, par exemple via l’acquisition d’un court extrait vidéo, permet de garantir l’acquisition d’au moins une image de qualité suffisante pouvant être utilisée comme image clé pour la génération du modèle 3D peropératoire, et le suivi du modèle 3D de l’organe cible par rapport à ce modèle 3D peropératoire.
L’invention concerne également un système de recalage d’un modèle tridimensionnel virtuel d’un organe cible avec une image dudit organe cible, comprenant : un endoscope, configuré pour capter ladite image, un dispositif d’affichage configuré pour afficher ladite image, un moyen de validation, configuré pour fournir une commande indiquant un alignement entre une projection en semi-transparence du modèle 3D et l’image de l’organe cible, une unité de traitement, l’unité de traitement comprenant : un module de réception du modèle 3D de l’organe cible, un module de prédiction d’une position et d’une orientation de l’organe cible par rapport à un repère de référence de la scène dans lequel la position et l’orientation de l’endoscope sont connus, en fonction d’une position et d’une orientation de référence de l’endoscope par rapport à la scène, un module de simulation d’une position et d’une orientation du modèle 3D en fonction de ladite position et de ladite orientation de l’organe cible prédite, un module d’affichage d’au moins une image courante de l’endoscope sur un dispositif d’affichage, un module de superposition à au moins une image courante de l’endoscope d’une projection en semi-transparence du modèle 3D en fonction de la position et de l’orientation prédites, sur le dispositif d’affichage, ladite projection étant fixe par rapport à l’endoscope, un module de réception d’une commande indiquant un alignement entre la projection en semi-transparence du modèle 3D et l’image de l’organe cible sur l’image courante, un module de calcul de la position et de l’orientation de l’organe cible sur l’image courante par rapport au repère de référence.
Un système de recalage selon l’invention permet l’affichage de la projection du modèle 3D sur au moins une image courante et la réception de la commande indiquant l’alignement de la projection du modèle 3D avec l’organe cible sur l’image courante. L’information relative à l’alignement de la projection du modèle 3D avec l’organe cible sur l’image courante permet le calcul de la position de l’organe cible dans l’image courante et ainsi le recalage du modèle 3D de l’organe cible avec son image dans l’image courante et dans les images futures captées par l’endoscope.
Un module peut par exemple consister en un dispositif informatique tel qu’un ordinateur, d’un ensemble de dispositifs informatiques, d’un composant électronique ou d’un ensemble de composants électroniques, ou par exemple d’un programme informatique, d’un ensemble de programmes informatiques, d’une librairie d’un programme informatique ou d’une fonction d’un programme informatique exécuté par un dispositif informatique tel qu’un ordinateur, un ensemble de dispositifs informatiques, un composant électronique ou un ensemble de composants électroniques.
Le moyen de validation peut de préférence être une interface physique de validation avec l’opérateur et peut par exemple comprendre un bouton physique, un levier, une pédale destinée à être actionnée par un pied d’un opérateur, etc. La pédale permet l’interaction par l’opérateur sans utiliser ses mains. Le moyen de validation peut également être une interface graphique de validation. Le moyen de validation peut également être sans contact physique, par exemple avec un capteur permettant de détecter un geste de l’opérateur ou de détecter une commande sonore. Enfin, le moyen de validation peut également être automatique, en particulier peut comprendre un module de validation permettant un traitement automatique des images et une détection automatique de l’alignement entre la projection en semi- transparence du modèle 3D et l’image de l’organe cible sur l’image courante, de façon à suggérer à l’utilisateur que l’alignement est fait ou à envoyer directement la commande indiquant un tel alignement.
Avantageusement, le système de recalage selon l’invention est configuré pour mettre en œuvre le procédé de recalage selon l’invention.
Avantageusement et selon l’invention, le procédé de recalage selon l’invention est configuré pour être mis en œuvre par un système de recalage selon l’invention.
Avantageusement et selon l’invention, l’unité de traitement comprend un module de définition d’un repère canonique du modèle 3D de l’organe, ledit repère canonique étant défini par une origine et trois axes, et en ce que le module de prédiction d’une position et d’une orientation de l’organe cible permet de définir une transformation du modèle 3D de l’organe entre le repère canonique et le repère de référence.
Avantageusement et selon l’invention, l’organe cible est un utérus comprenant notamment un fond utérin, une paroi utérine antérieure et un col, et le repère canonique est défini par une origine formant le centre de masse d’une partie distale de l’utérus, un premier axe gauche-droite de l’utérus, un deuxième axe reliant un centre de masse du fond utérin et un centre de masse du col de l’utérus et un troisième axe produit scalaire du premier axe et du deuxième axe. Avantageusement et selon l’invention, le module de définition du repère canonique est configuré pour : un calcul d’un axe principal de la partie médiale du fond utérin, dit axe de fond utérin, un calcul d’un axe principal de la partie médiale de la paroi utérine antérieure, dit axe de paroi antérieure, un calcul de l’axe gauche-droite de l’utérus par produit vectoriel de l’axe de fond utérin par l’axe de paroi antérieure, un calcul du centre de masse du fond utérin, un calcul du centre de masse du col de l’utérus, un calcul d’un plan définit par le plan dont chaque point est à égale distance du centre de masse du fond utérin et du centre de masse du col de l’utérus, une détermination de deux parties de l’utérus, délimitées par le plan, une partie distale comprenant le fond utérin et la paroi antérieure et une partie proximale reliée au col, un calcul du centre de masse de la partie distale.
Avantageusement et selon l’invention, l’unité de traitement comprend un module de pré-calcul de la projection du modèle 3D à partir du modèle 3D et de la position et de l’orientation prédites.
Avantageusement et selon l’invention, l’unité de traitement comprend un module de réception d’un modèle 3D de la scène généré à partir d’images captées par l’endoscope, dit modèle 3D peropératoire, et un module de calcul de translation et de facteur d’échelle entre le modèle 3D de l’organe cible et le modèle 3D peropératoire, configuré pour : une expression du modèle 3D de l’organe cible et du modèle 3D peropératoire dans un repère commun en fonction de la position et de l’orientation de l’organe cible sur l’image courante par rapport au repère de référence, une sélection d’un point origine dans le repère commun, une génération d’au moins un rayon partant du point d’origine et s’étendant dans la direction de l’axe optique de l’endoscope, un calcul de la distance entre l’origine et l’intersection de chaque rayon avec le modèle 3D de l’organe virtuel, un calcul de la distance entre l’origine et l’intersection de chaque rayon avec le modèle 3D peropératoire, un calcul de la translation et du facteur d’échelle à partir de chaque distance entre l’origine et l’intersection d’un rayon avec le modèle 3D de l’organe virtuel et chaque distance entre l’origine et l’intersection dudit rayon avec le modèle 3D peropératoire.
Avantageusement et selon l’invention, l’unité de traitement comprend un module d’acquisition de plusieurs images et un module de sélection parmi les images d’une image de qualité supérieure aux autres images pour le recalage du modèle 3D.
Les avantages de ces variantes du système de recalage selon l’invention sont analogues aux avantages des variantes décrites précédemment du procédé de recalage selon l’invention.
L’invention concerne également un produit programme d’ordinateur pour le recalage programme d’ordinateur pour le recalage d’un modèle tridimensionnel virtuel d’un organe cible, dit modèle 3D, avec au moins une image dudit organe cible dans une scène obtenue par l’endoscope, ledit produit programme d’ordinateur comprenant des instructions de code de programme pour l’exécution, lorsque ledit produit programme d’ordinateur est exécuté sur un ordinateur, des étapes suivantes : une étape de réception du modèle 3D de l’organe cible, une étape de prédiction d’une position et d’une orientation de l’organe cible par rapport à un repère de référence de la scène dans lequel la position et l’orientation de l’endoscope sont connus, en fonction d’une position et d’une orientation de référence de l’endoscope par rapport à la scène, une étape de simulation d’une position et d’une orientation du modèle 3D en fonction de ladite position et de ladite orientation de l’organe cible prédites, une étape d’ affichage d’ au moins une image courante de l’endoscope sur un dispositif d’affichage, une étape de superposition à au moins une image courante de l’endoscope d’une projection en semi-transparence du modèle 3D en fonction de la position et de l’orientation prédites, sur le dispositif d’affichage, ladite projection étant fixe par rapport à l’endoscope, une étape de réception d’une commande indiquant un alignement entre la projection en semi-transparence du modèle 3D et l’image de l’organe cible sur l’image courante, une étape de calcul de la position et de l’orientation de l’organe cible sur l’image courante par rapport au repère de référence.
Avantageusement et selon l’invention, le produit programme d’ordinateur de recalage selon l’invention comprend des instructions de code de programme pour l’exécution, lorsque ledit produit programme d’ordinateur est exécuté sur un ordinateur, des étapes du procédé de recalage selon l’invention, en particulier des étapes du procédé de recalage de toutes les variantes de l’invention décrites précédemment.
Avantageusement et selon l’invention, le procédé de recalage selon l’invention est configuré pour être mis en œuvre par un produit programme d’ordinateur de recalage selon l’invention.
L’invention concerne également un système de recalage, un procédé de recalage, et un produit programme d’ordinateur de recalage caractérisés en combinaison par tout ou partie des caractéristiques mentionnées ci-dessus ou ci- après.
Liste des figures
D’autres buts, caractéristiques et avantages de l’invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles : [Fig. 1] est une vue schématique d’un système 10 de recalage selon un mode de réalisation de l’invention, intégré dans un système d’imagerie cœlioscopique, dans une première configuration.
[Fig. 2] est une vue schématique d’un système 10 de recalage selon un mode de réalisation de l’invention, intégré dans un système d’imagerie cœlioscopique, dans une deuxième configuration.
[Fig. 3] est une vue schématique d’un procédé de recalage selon un mode de réalisation de l’invention.
[Fig. 4] est une vue schématique d’un utérus formant un organe cible d’un procédé de recalage selon un mode de réalisation de l’invention.
Description détaillée d’un mode de réalisation de l’invention
Sur les figures, les échelles et les proportions ne sont pas strictement respectées et ce, à des fins d’illustration et de clarté.
En outre, les éléments identiques, similaires ou analogues sont désignés par les mêmes références dans toutes les figures.
Les figures 1 et 2 représentent schématiquement un système 10 de recalage selon un mode de réalisation de l’invention, intégré dans un système d’imagerie cœlioscopique. L’objectif du système d’imagerie est de permettre d’acquérir et diffuser des images prises dans une cavité 50 du corps du patient, ici une cavité de l’abdomen d’un patient (ou cavité 50 abdominale), notamment dans le cadre d’une procédure cœlioscopique, par exemple une chirurgie cœlioscopique. L’opération de chirurgie cœlioscopique peut par exemple être destinée à l’intervention sur un organe 52 cible.
Le système d’imagerie cœlioscopique comprend un système 10 de recalage selon un mode de réalisation de l’invention, recevant des images fournies par exemple par une caméra de type endoscope 12 configuré pour acquérir des images de la cavité 50 abdominale du patient. L’endoscope utilisé dans le cadre d’une opération cœlioscopique est couramment appelé cœlioscope ou laparoscope.
Le système de recalage comprend plusieurs modules permettant de mettre en œuvre un procédé selon l’invention, réunis ici dans une unité 16 de traitement. L’unité 16 de traitement est par exemple un ordinateur ou une carte électronique comprenant un processeur, par exemple un processeur dédié au traitement d’images du procédé selon l’invention ou bien un processeur généraliste configuré pour, parmi plusieurs fonctions, exécuter notamment des instructions de programme pour l’exécution des étapes du procédé selon l’invention.
Les images acquises de l’endoscope 12 sont affichées sur un dispositif d’affichage tel qu’un écran 18 de visualisation du système de recalage destiné à un opérateur. Les images acquises peuvent être augmentées, c’est-à-dire comprendre des informations supplémentaires ajoutés par le système d’imagerie cœlioscopique, qui peuvent provenir système de recalage ou d’autres dispositifs.
Pour permettre un suivi précis de ces informations supplémentaires sur l’image affichée, le système 10 de recalage est configuré pour déterminer la position et l’orientation de l’organe 52 cible dans un repère de référence de la scène afin de permettre l’affichage des informations supplémentaires en fonction de la position et l’orientation de l’organe 52 cible. En particulier, un objectif est d’afficher un modèle 3D de l’organe cible sur l’image de l’organe 52 cible, ce qui nécessite le recalage du modèle 3D avec l’image de l’organe 52 cible.
Pour ce faire, le système 10 de recalage met en œuvre un procédé de recalage tel que représenté sur la figure 3.
Le procédé 100 de recalage comprend : une étape 110 de réception du modèle 3D de l’organe cible par l’unité 16 de traitement, par exemple fourni par un dispositif informatique externe et ayant été obtenu par imagerie médicale, en particulier de type imagerie par résonance magnétique (IRM). une étape 112 de prédiction, par l’unité 16 de traitement, d’une position et d’une orientation de l’organe cible par rapport à un repère de référence de la scène dans lequel la position et l’orientation de l’endoscope sont connus, en fonction d’une position et d’une orientation prédites de l’endoscope par rapport à la scène, une étape 114 de simulation, par l’unité 16 de traitement, d’une position et d’une orientation du modèle 3D en fonction de ladite position et de ladite orientation de l’organe cible prédites. Ces étapes peuvent être réalisée en amont de la procédure médicale et/ou chirurgicale (phase préopératoire).
Le procédé 100 de recalage comprend également les étapes suivantes, de préférence mise en œuvre parallèlement à la procédure médicale et/ou chirurgicale (phase peropératoire) : une étape 116 d’affichage d’au moins une image courante de l’endoscope 12 sur le dispositif 18 d’affichage, une étape 118 de superposition à au moins une image courante de l’endoscope d’une projection 20 en semi-transparence du modèle 3D en fonction de la position et de l’orientation prédites, sur le dispositif 18 d’affichage, ladite projection étant fixe par rapport à l’endoscope 12. Dans les figures 1 et 2, la projection 20 en semi-transparence est représentée en traits pointillées et est fixe par rapport à l’image.
Le procédé 100 de recalage peut comprendre, en amont de l’étape 118 de superposition et de préférence en phase préopératoire, une étape 128 de pré-calcul de la projection du modèle 3D à partir du modèle 3D et de la position et de l’orientation prédites. Cette phase permet de préparer la projection du modèle 3D qui sera affichée sur le dispositif 18 d’affichage.
Suite à cette étape 118 de superposition, l’opérateur en charge de la manipulation de l’endoscope peut tenter d’aligner l’image 22 de l’organe cible sur l’image courante avec la projection 20 en semi-transparence. La figure 1 représente une première position où la projection 20 en semi-transparence et l’image 22 de l’organe cible ne sont pas alignés et la figure 2 représente une deuxième position où la projection 20 en semi-transparence et l’image 22 de l’organe cible sont alignés. Lorsque les images sont alignées selon l’opérateur, celui-ci peut actionner un moyen de validation, en particulier une interface 24 physique de validation, par exemple comprenant une pédale actionnée par le pied, afin d’envoyer une commande indiquant un alignement entre la projection en semi-transparence du modèle 3D et l’image 22 de l’organe cible sur l’image courante.
Selon un autre mode de réalisation de l’invention, le moyen de validation peut également être sans contact physique, par exemple avec un capteur permettant de détecter un geste de l’opérateur ou de détecter une commande sonore. Selon un autre mode de réalisation de l’invention, le moyen de validation peut également être automatique, en particulier peut comprendre un module de validation permettant un traitement automatique des images et une détection automatique de l’alignement entre la projection en semi-transparence du modèle 3D et l’image de l’organe cible sur l’image courante, de façon à suggérer à l’utilisateur que l’alignement est fait ou à envoyer directement la commande indiquant un tel alignement.
Le procédé 100 de recalage comprend ensuite : une étape 120 de réception de la commande indiquant l’alignement entre la projection 20 en semi-transparence du modèle 3D et l’image 22 de l’organe cible sur l’image courante, une étape 122 de calcul de la position et l’orientation de l’organe cible sur l’image courante par rapport au repère de référence. Le calcul est réalisé à partir de l’image courante lors de la réception de la commande indiquant l’alignement entre la projection 20 et l’image 22 de l’organe cible.
Le procédé 100 de recalage comprend également une étape 124 de définition d’un repère canonique du modèle 3D de l’organe, ledit repère canonique étant défini par une origine et trois axes, de préférence effectuée dans la phase préopératoire, et l’étape 112 de prédiction d’une position et d’une orientation de l’organe cible permet de définir une transformation du modèle 3D de l’organe entre le repère canonique et le repère de référence.
Comme visible sur la figure 4 représentant schématiquement un utérus 200 en coupe transversale a) et longitudinale b), lorsque l’organe cible est un utérus 200 comprenant notamment un fond 210 utérin ou fundus, une paroi 212 utérine antérieure et un col 214, le repère canonique est défini par une origine Gu formant le centre de masse d’une partie distale de l’utérus, un premier axe U gauche-droite de l’utérus, un deuxième axe Y reliant un centre GF de masse du fond utérin et un centre Gc du col de l’utérus et un troisième axe produit scalaire du premier axe et du deuxième axe.
En particulier, l’étape 124 de définition du repère canonique pour un utérus 200 comprend : une sous-étape de calcul d’un axe principal de la partie médiale du fond 210 utérin, dit axe NF de fond utérin, une sous-étape de calcul d’un axe principal de la partie médiale de la paroi 212 utérine antérieure, dit axe Nw de paroi antérieure, une sous-étape de calcul de l’axe gauche-droite de l’utérus (non représenté) par produit vectoriel de l’axe NF de fond utérin par l’axe Nw de paroi antérieure, une sous-étape de calcul du centre GF de masse du fond utérin, une sous-étape de calcul du centre Gc de masse du col de l’utérus, une sous-étape de calcul d’ un plan P définit par le plan dont chaque point est à égale distance du centre GF de masse du fond utérin et du centre Gc de masse du col de l’utérus, une sous-étape de détermination de deux parties de l’utérus, délimitées par le plan P, une partie 216a distale comprenant le fond utérin et la paroi antérieure et une partie 216b proximale reliée au col, une sous-étape de calcul du centre Gu de masse de la partie distale.
Suite à ces sous-étapes, l’origine et les axes nécessaires à la définition du repère canonique sont connus.
Le procédé 100 de recalage peut également comprendre une étape 126 de réception d’un modèle 3D généré à partir d’images captées par l’endoscope, dit modèle 3D peropératoire, et une étape de calcul de translation et de facteur d’échelle entre le modèle 3D de l’organe cible et le modèle 3D peropératoire, comprenant : une sous-étape d’expression du modèle 3D de l’organe cible et du modèle 3D peropératoire dans un repère commun en fonction de la position et l’orientation de l’organe cible sur l’image courante par rapport au repère de référence, une sous-étape de sélection d’un point origine dans le repère commun, une sous-étape de génération d’au moins un rayon partant du point d’origine et s’étendant dans la direction de l’axe optique de l’endoscope, une sous-étape de calcul de la distance entre l’origine et l’intersection de chaque rayon avec le modèle 3D de l’organe virtuel, une sous-étape de calcul de la distance entre l’origine et l’intersection de chaque rayon avec le modèle 3D peropératoire, une sous-étape de calcul de la translation et du facteur d’échelle à partir de chaque distance entre l’origine et l’intersection d’un rayon avec le modèle 3D de l’organe virtuel et chaque distance entre l’origine et l’intersection dudit rayon avec le modèle 3D peropératoire.
L’endoscope 12 peut être configuré pour l’acquisition de plusieurs images et le procédé 100 de recalage peut également comprendre une étape de sélection parmi les images d’une image de qualité supérieure aux autres images pour le recalage du modèle 3D.
L’invention ne se limite pas aux modes de réalisation décrits. Le système de recalage peut être intégré dans différents types d’imageries, en particulier d’autres types d’imageries médicales, en particulier lorsqu’une position et une orientation de l’organe cible par rapport à l’endoscope peuvent être prédites. En outre, l’organe cible peut être différent : dans un contexte cœlioscopique, d’autres organes de l’abdomen pouvant faire l’objet d’opération par cœlioscopie peuvent être des organes cibles, par exemple un foie ou un rein.

Claims

REVENDICATIONS Procédé de recalage d’un modèle tridimensionnel virtuel d’un organe cible, dit modèle 3D, avec au moins une image dudit organe cible dans une scène obtenue par un endoscope, comprenant : une étape (110) de réception du modèle 3D de l’organe cible, une étape (112) de prédiction d’une position et d’une orientation de l’organe cible par rapport à un repère de référence de la scène dans lequel la position et l’orientation de l’endoscope sont connus, en fonction d’une position et d’une orientation de référence de l’endoscope par rapport à la scène, une étape (114) de simulation d’une position et d’une orientation du modèle 3D en fonction de ladite position et de ladite orientation de l’organe cible prédites, une étape (116) d’affichage d’au moins une image courante de l’endoscope sur un dispositif d’affichage, une étape (118) de superposition à au moins une image courante de l’endoscope d’une projection en semi-transparence du modèle 3D en fonction de la position et de l’orientation prédites, sur le dispositif d’affichage, ladite projection étant fixe par rapport à l’endoscope, une étape (120) de réception d’une commande indiquant un alignement entre la projection en semi-transparence du modèle 3D et l’image de l’organe cible sur l’image courante, une étape (122) de calcul de la position et de l’orientation de l’organe cible sur l’image courante par rapport au repère de référence. Procédé de recalage selon la revendication 1, caractérisé en ce qu’il comprend une étape (124) de définition d’un repère canonique du modèle 3D de l’organe, ledit repère canonique étant défini par une origine et trois axes, et en ce que l’étape de prédiction d’une position et d’une orientation de l’organe cible permet de définir une transformation du modèle 3D de l’organe entre le repère canonique et le repère de référence. Procédé de recalage selon la revendication 2, caractérisé en ce que l’organe cible est un utérus (200) comprenant notamment un fond (210) utérin, une paroi (21) utérine antérieure et un col (214), et le repère canonique est défini par une origine formant le centre de masse d’une partie distale de l’utérus, un premier axe gauche-droite de l’utérus, un deuxième axe reliant un centre de masse du fond utérin et un centre de masse du col de l’utérus et un troisième axe produit scalaire du premier axe et du deuxième axe. Procédé de recalage selon la revendication 3, caractérisé en ce que l’étape (124) de définition du repère canonique comprend : une sous-étape de calcul d’un axe principal de la partie médiale du fond (210) utérin, dit axe (NF) de fond utérin, une sous-étape de calcul d’un axe principal de la partie médiale de la paroi (212) utérine antérieure, dit axe (Nw) de paroi antérieure, une sous-étape de calcul de l’axe gauche-droite de l’utérus par produit vectoriel de l’axe (NF) de fond utérin par l’axe (Nw) de paroi antérieure, une sous-étape de calcul du centre (GF) de masse du fond utérin, une sous-étape de calcul du centre (Gc) de masse du col de l’utérus, une sous-étape de calcul d’un plan (P) définit par le plan dont chaque point est à égale distance du centre (GF) de masse du fond utérin et du centre (Gc) de masse du col de l’utérus, une sous-étape de détermination de deux parties de l’utérus, délimitées par le plan (P), une partie (216a) distale comprenant le fond utérin et la paroi antérieure et une partie (216b) proximale reliée au col, une sous-étape de calcul du centre (Gu) de masse de la partie distale. Procédé de recalage selon l’une des revendications 1 à 4, caractérisé en ce qu’il comprend une étape (128) de pré-calcul de la projection du modèle 3D à partir du modèle 3D et de la position et de l’orientation prédites, en amont de l’étape (118) de superposition de ladite projection à au moins une image courante de l’endoscope. Procédé de recalage selon l’une des revendications 1 à 5, caractérisé en ce qu’il comprend une étape (126) de réception d’un modèle 3D de la scène généré à partir d’images captées par l’endoscope, dit modèle 3D peropératoire, et ce qu’il comprend une étape de calcul de translation et de facteur d’échelle entre le modèle 3D de l’organe cible et le modèle 3D peropératoire, comprenant : une sous-étape d’expression du modèle 3D de l’organe cible et du modèle 3D peropératoire dans un repère commun en fonction de la position et de l’orientation de l’organe cible sur l’image courante par rapport au repère de référence, une sous-étape de sélection d’un point origine dans le repère commun, une sous-étape de génération d’au moins un rayon partant du point d’origine et s’étendant dans la direction de l’axe optique de l’endoscope, une sous-étape de calcul de la distance entre l’origine et l’intersection de chaque rayon avec le modèle 3D de l’organe virtuel, une sous-étape de calcul de la distance entre l’origine et l’intersection de chaque rayon avec le modèle 3D peropératoire, une sous-étape de calcul de la translation et du facteur d’échelle à partir de chaque distance entre l’origine et l’intersection d’un rayon avec le modèle 3D de l’organe virtuel et chaque distance entre l’origine et l’intersection dudit rayon avec le modèle 3D peropératoire. Procédé de recalage selon l’une des revendications 1 à 6, caractérisé en ce qu’il comprend l’acquisition de plusieurs images et une étape de sélection parmi les images d’une image de qualité supérieure aux autres images pour le recalage du modèle 3D. Système de recalage d’un modèle tridimensionnel virtuel d’un organe cible avec une image dudit organe cible, comprenant : un endoscope (12), configuré pour capter ladite image, un dispositif (18) d’affichage configuré pour afficher ladite image, un moyen (24) de validation, configuré pour fournir une commande indiquant un alignement entre une projection en semi-transparence du modèle 3D et l’image de l’organe cible, une unité (16) de traitement, l’unité (16) de traitement comprenant : un module de réception du modèle 3D de l’organe cible, un module de prédiction d’une position et d’une orientation de l’organe cible par rapport à un repère de référence de la scène dans lequel la position et l’orientation de l’endoscope sont connus, en fonction d’une position et d’une orientation de référence de l’endoscope par rapport à la scène, un module de simulation d’une position et d’une orientation du modèle 3D en fonction de ladite position et de ladite orientation de l’organe cible prédites, un module d’affichage d’au moins une image courante de l’endoscope sur un dispositif d’affichage, un module de superposition à au moins une image courante de l’endoscope d’une projection en semi-transparence du modèle 3D en fonction de la position et de l’orientation prédites, sur le dispositif d’affichage, ladite projection étant fixe par rapport à l’endoscope, un module de réception d’une commande indiquant un alignement entre la projection en semi-transparence du modèle 3D et l’image de l’organe cible sur l’image courante, un module de calcul de la position et l’orientation de l’organe cible sur l’image courante par rapport au repère de référence. Système de recalage selon la revendication 8, caractérisé en ce que le moyen de validation est une interface (24) physique de validation comprenant une pédale destinée à être actionnée par un pied d’un opérateur. Système de recalage selon l’une des revendication 8 ou 9, caractérisé en ce que l’unité de traitement comprend un module de définition d’un repère canonique du modèle 3D de l’organe, ledit repère canonique étant défini par une origine et trois axes, et en ce que le module de prédiction d’une position et d’une orientation de l’organe cible permet de définir une transformation du modèle 3D de l’organe entre le repère canonique et le repère de référence. Système de recalage selon l’une des revendications 8 à 10, caractérisé en ce que l’organe cible est un utérus (200) comprenant notamment un fond (210) utérin, une paroi (21) utérine antérieure et un col (214), et le repère canonique est défini par une origine formant le centre de masse d’une partie distale de l’utérus, un premier axe gauche-droite de l’utérus, un deuxième axe reliant un centre de masse du fond utérin et un centre de masse du col de l’utérus et un troisième axe produit scalaire du premier axe et du deuxième axe. Système de recalage selon l’une des revendications 8 à 11, caractérisé en ce que le module de définition du repère canonique est configuré pour : un calcul d’un axe principal de la partie médiale du fond (210) utérin, dit axe (NF) de fond utérin, un calcul d’un axe principal de la partie médiale de la paroi (212) utérine antérieure, dit axe (Nw) de paroi antérieure, un calcul de l’axe gauche-droite de l’utérus par produit vectoriel de l’axe (NF) de fond utérin par l’axe (Nw) de paroi antérieure, un calcul du centre (GF) de masse du fond utérin, un calcul du centre (Gc) de masse du col de l’utérus, un calcul d’un plan (P) définit par le plan dont chaque point est à égale distance du centre (GF) de masse du fond utérin et du centre (Gc) de masse du col de l’utérus, une détermination de deux parties de l’utérus, délimitées par le plan (P), une partie (216a) distale comprenant le fond utérin et la paroi antérieure et une partie (216b) proximale reliée au col, un calcul du centre (Gu) de masse de la partie distale. ZI Système de recalage selon l’une des revendications 8 à 12, caractérisé en ce que l’unité de traitement comprend un module de pré-calcul de la projection du modèle 3D à partir du modèle 3D et de la position et de l’orientation prédites. Système de recalage selon l’une des revendications 8 à 13, caractérisé en ce que l’unité de traitement comprend un module de réception d’un modèle 3D de la scène généré à partir d’images captées par l’endoscope, dit modèle 3D peropératoire, et un module de calcul de translation et de facteur d’échelle entre le modèle 3D de l’organe cible et le modèle 3D peropératoire, configuré pour : une expression du modèle 3D de l’organe cible et du modèle 3D peropératoire dans un repère commun en fonction de la position et de l’orientation de l’organe cible sur l’image courante par rapport au repère de référence, une sélection d’un point origine dans le repère commun, une génération d’au moins un rayon partant du point d’origine et s’étendant dans la direction de l’axe optique de l’endoscope, un calcul de la distance entre l’origine et l’intersection de chaque rayon avec le modèle 3D de l’organe virtuel, un calcul de la distance entre l’origine et l’intersection de chaque rayon avec le modèle 3D peropératoire, un calcul de la translation et du facteur d’échelle à partir de chaque distance entre l’origine et l’intersection d’un rayon avec le modèle 3D de l’organe virtuel et chaque distance entre l’origine et l’intersection dudit rayon avec le modèle 3D peropératoire. Système de recalage selon l’une des revendications 8 à 14, caractérisé en ce que l’unité de traitement comprend un module d’acquisition de plusieurs images et un module de sélection parmi les images d’une image de qualité supérieure aux autres images pour le recalage du modèle 3D. Produit programme d’ordinateur pour le recalage d’un modèle tridimensionnel virtuel d’un organe cible, dit modèle 3D, avec au moins une image dudit organe cible dans une scène obtenue par un endoscope, ledit produit programme d’ordinateur comprenant des instructions de code de programme pour l’exécution, lorsque ledit produit programme d’ordinateur est exécuté sur un ordinateur, des étapes suivantes : une étape (110) de réception du modèle 3D de l’organe cible, une étape (112) de prédiction d’une position et d’une orientation de l’organe cible par rapport à un repère de référence de la scène dans lequel la position et l’orientation de l’endoscope sont connus, en fonction d’une position et d’une orientation de référence de l’endoscope par rapport à la scène, une étape (114) de simulation d’une position et d’une orientation du modèle 3D en fonction de ladite position et de ladite orientation de l’organe cible prédites, une étape (116) d’affichage d’au moins une image courante de l’endoscope sur un dispositif d’affichage, une étape (118) de superposition à au moins une image courante de l’endoscope d’une projection en semi-transparence du modèle 3D en fonction de la position et de l’orientation prédites, sur le dispositif d’affichage, ladite projection étant fixe par rapport à l’endoscope, une étape (120) de réception d’une commande indiquant un alignement entre la projection en semi-transparence du modèle 3D et l’image de l’organe cible sur l’image courante, une étape (122) de calcul de la position et de l’orientation de l’organe cible sur l’image courante par rapport au repère de référence.
EP23765284.7A 2022-09-13 2023-09-12 Système et procédé de recalage d'un modèle 3d virtuel par affichage en semi-transparence Pending EP4588004A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2209161A FR3139651B1 (fr) 2022-09-13 2022-09-13 Système et procédé de recalage d’un modèle 3d virtuel par affichage en semi-transparence
PCT/EP2023/075046 WO2024056676A1 (fr) 2022-09-13 2023-09-12 Système et procédé de recalage d'un modèle 3d virtuel par affichage en semi-transparence

Publications (1)

Publication Number Publication Date
EP4588004A1 true EP4588004A1 (fr) 2025-07-23

Family

ID=83899844

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23765284.7A Pending EP4588004A1 (fr) 2022-09-13 2023-09-12 Système et procédé de recalage d'un modèle 3d virtuel par affichage en semi-transparence

Country Status (6)

Country Link
EP (1) EP4588004A1 (fr)
JP (1) JP2025530176A (fr)
CN (1) CN120226044A (fr)
CA (1) CA3267119A1 (fr)
FR (1) FR3139651B1 (fr)
WO (1) WO2024056676A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021214089A1 (fr) * 2020-04-21 2021-10-28 Koninklijke Philips N.V. Détermination automatique d'orientation d'image médicale en 3d

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3295423A1 (fr) * 2015-05-11 2018-03-21 Siemens Aktiengesellschaft Procédé et système d'alignement de données d'images laparoscopiques et endoscopiques 2d/2,5d sur des données d'image volumétrique 3d
US11801114B2 (en) * 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion

Also Published As

Publication number Publication date
JP2025530176A (ja) 2025-09-11
WO2024056676A1 (fr) 2024-03-21
CN120226044A (zh) 2025-06-27
FR3139651A1 (fr) 2024-03-15
FR3139651B1 (fr) 2024-10-25
CA3267119A1 (fr) 2024-03-21

Similar Documents

Publication Publication Date Title
US12201384B2 (en) Tracking systems and methods for image-guided surgery
JP7127785B2 (ja) 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
US9681925B2 (en) Method for augmented reality instrument placement using an image based navigation system
US20140160264A1 (en) Augmented field of view imaging system
EP1155383A1 (fr) Dispositif d'observation endoscopique
Lerotic et al. Pq-space based non-photorealistic rendering for augmented reality
WO2014097702A1 (fr) Appareil de traitement d'images, dispositif électronique, appareil endoscopique, programme et procédé de traitement d'images
WO2016143312A1 (fr) Dispositif, procédé et programme de détermination d'une structure ramifiée
CN107111875A (zh) 用于多模态自动配准的反馈
US20230147826A1 (en) Interactive augmented reality system for laparoscopic and video assisted surgeries
Goncalves et al. Perspective shape from shading for wide-FOV near-lighting endoscopes
WO2024056676A1 (fr) Système et procédé de recalage d'un modèle 3d virtuel par affichage en semi-transparence
Forte et al. Design of interactive augmented reality functions for robotic surgery and evaluation in dry‐lab lymphadenectomy
WO2025007493A1 (fr) Procédé d'étalonnage et de navigation automatiques de traitement dentaire assisté par ar basé sur l'apprentissage
Speidel et al. Recognition of risk situations based on endoscopic instrument tracking and knowledge based situation modeling
CA3178587A1 (fr) Methode de prediction de la recidive d'une lesion par analyse d'images
CN116916805A (zh) 用于使放大的牙科治疗部位可视化的方法、系统和计算机可读存储介质
EP4449356B1 (fr) Procédé et dispositif de suivi en temps réel de la pose d'une caméra par gestion automatique d'une base d'images-clés
CN108510497B (zh) 视网膜图像病灶信息的显示方法及显示装置
US20230288690A1 (en) Microscope system and system, method, and computer program for a microscope system
EP4557218A1 (fr) Procédé et système de traitement de données d'image à l'aide d'un système d'ia
JP2018153345A (ja) 内視鏡位置特定装置、方法およびプログラム
JP2021157108A (ja) トレーニングシステム、画像処理装置、画像処理方法および画像処理プログラム
WO2026002997A1 (fr) Systeme pour la mise en œuvre d'une operation chirurgicale ou intervention guidee par imagerie
Smirnov et al. A Hardware-Software Augmented Reality Complex for Ultrasound-Guided Biopsy Navigation in the Maxillofacial Region

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250314

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40126337

Country of ref document: HK