FR2879327A1

FR2879327A1 - Medical imaging method for interventional radiology procedure, involves displaying image giving surgical instrument point in current three dimensional position found from two dimensional image and three dimensional model of vascular system

Info

Publication number: FR2879327A1
Application number: FR0413264A
Authority: FR
Inventors: Pierre Luc Georgy; Jeremie Pescatore; Yves Lucien Trousset
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 2004-12-14
Filing date: 2004-12-14
Publication date: 2006-06-16
Also published as: DE102005059300A1; JP2006167448A

Abstract

The method involves determining a current three dimensional position of a point of a surgical instrument from a digitized two dimensional image of a patient and a three dimensional model of a vascular system of the patient. The determination is a function of a previous position of the point in the model and the blood vessels position represented in the model. An image representing the point in the current position is displayed. An independent claim is also included for a medical imaging assembly permitting display of the position of a surgical instrument point located in a vascular system of a patient.

Description

PROCEDE ET ENSEMBLE D'IMAGERIE POUR L'ASSISTANCE D'UN UTILISATEUR LORSMETHOD AND IMAGING ASSEMBLY FOR USER ASSISTANCE THEN

D'UNE PROCEDURE DE RADIOLOGIE INTERVENTIONNELLE OF A PROCEDURE OF INTERVENTIONAL RADIOLOGY

Le procédé d'imagerie et l'ensemble d'imagerie selon l'invention concernent de manière générale la radiologie interventionnelle. The imaging method and the imaging assembly according to the invention generally relate to interventional radiology.

Plus particulièrement, les procédé et ensemble d'imagerie médicale selon l'invention permettent un affichage en temps réel de la position d'un instrument chirurgical situé dans le système vasculaire d'un patient. More particularly, the method and medical imaging assembly according to the invention allow a real-time display of the position of a surgical instrument located in the vascular system of a patient.

PRESENTATION GENERALE DE L'ART ANTERIEUR Généralités Le principe des procédures de radiologie interventionnelle consiste, pour un utilisateur, à guider et à déployer des instruments thérapeutiques à l'intérieur des artères d'un patient en étant assisté par un ensemble d'imagerie médicale. GENERAL PRESENTATION OF THE PRIOR ART General The principle of the interventional radiology procedures consists, for a user, in guiding and deploying therapeutic instruments within the arteries of a patient while being assisted by a set of medical images.

Cet ensemble d'imagerie médicale permet l'acquisition, le traitement, et l'affichage en temps réel d'images bidimensionnelles représentant le système vasculaire du patient et l'instrument thérapeutique. Ces images bidimensionnelles permettent à l'utilisateur d'estimer la position de l'instrument thérapeutique dans le système vasculaire du patient et de guider plus aisément l'instrument thérapeutique dans les artères du patient. This medical imaging package enables the acquisition, processing, and display in real time of two-dimensional images representing the patient's vascular system and the therapeutic instrument. These two-dimensional images allow the user to estimate the position of the therapeutic instrument in the patient's vascular system and to more easily guide the therapeutic instrument into the patient's arteries.

Cependant, les images bidimensionnelles (2D) affichées sont en deux dimensions alors que le système vasculaire du patient est en trois dimensions. Par conséquent, il manque à l'utilisateur une coordonnée pour connaître avec la plus grande précision possible la position de l'instrument chirurgical dans le système vasculaire du patient. However, the two-dimensional (2D) images displayed are in two dimensions while the patient's vascular system is in three dimensions. Therefore, the user lacks a coordinate to know with the greatest possible accuracy the position of the surgical instrument in the vascular system of the patient.

Art antérieur II a déjà été proposé des ensembles et procédés d'imagerie médicale permettant l'affichage d'une image tridimensionnelle (3D) représentant l'instrument thérapeutique dans sa position courante et le système vasculaire du patient. PRIOR ART Medical imaging assemblies and methods have already been proposed for displaying a three-dimensional (3D) image representing the therapeutic instrument in its current position and the vascular system of the patient.

Le document US 6 317 621 décrit un tel ensemble et un tel procédé. L'ensemble d'imagerie médicale comprend un système d'acquisition, un système de traitement et un système d'affichage. Le système d'acquisition est un système biplan permettant l'acquisition simultanée de deux images 2D acquises à différents angles. Le système de traitement permet de déterminer la position courante en trois dimensions de l'instrument thérapeutique. Pour déterminer cette position courante, le système de traitement calcule les coordonnées 3D (X, Y, Z) des points de l'instrument thérapeutique. Le système d'affichage permet d'afficher une image 3D représentant l'instrument thérapeutique dans sa position courante et le système vasculaire du patient. US 6,317,621 discloses such an assembly and method. The medical imaging assembly includes an acquisition system, a treatment system and a display system. The acquisition system is a biplane system allowing the simultaneous acquisition of two 2D images acquired at different angles. The treatment system makes it possible to determine the current three-dimensional position of the therapeutic instrument. To determine this current position, the processing system calculates the 3D coordinates (X, Y, Z) of the points of the therapeutic instrument. The display system displays a 3D image representing the therapeutic instrument in its current position and the vascular system of the patient.

Pour calculer les coordonnées 3D des points de l'instrument thérapeutique, le système de traitement utilise deux images 2D simultanément acquises à différents angles. To calculate the 3D coordinates of the points of the therapeutic instrument, the treatment system uses two 2D images simultaneously acquired at different angles.

Cependant, l'acquisition simultanée de deux images 2D nécessite l'émission de fortes doses de rayons X vers le patient. Or ces doses fortes de rayons X émis sont nocives au patient. Par ailleurs, il y a une incertitude sur les coordonnées 3D calculées. However, the simultaneous acquisition of two 2D images requires the emission of large doses of X-rays to the patient. However, these high doses of X-rays emitted are harmful to the patient. In addition, there is uncertainty about the calculated 3D coordinates.

Le document US 6 389 104 décrit un ensemble d'imagerie médicale et un procédé associé permettant d'afficher une image 3D représentant l'instrument thérapeutique dans sa position courante et le système vasculaire du patient. Le système d'acquisition est un système monoplan permettant l'acquisition d'une image 2D. La position courante est déterminée en calculant les coordonnées 3D des points de l'instrument thérapeutique à partir de l'image 2D représentant l'instrument thérapeutique et le système vasculaire du patient. US 6,389,104 discloses a medical imaging assembly and associated method for displaying a 3D image representing the therapeutic instrument in its current position and the patient's vasculature. The acquisition system is a monoplane system for acquiring a 2D image. The current position is determined by calculating the 3D coordinates of the points of the therapeutic instrument from the 2D image representing the patient's therapeutic instrument and vascular system.

Cependant, il n'existe aucune méthode mathématique exacte permettant de calculer les coordonnées 3D d'un point à partir d'une image 2D unique. Par conséquent, l'image 3D affichée ne représente pas l'instrument thérapeutique dans sa position courante vraie. L'image 3D affichée représente l'instrument thérapeutique dans sa position courante la plus probable. Or les utilisateurs ne disposent d'aucune information visuelle leur précisant la probabilité d'exactitude de la position courante affichée. However, there is no exact mathematical method for calculating the 3D coordinates of a point from a single 2D image. Therefore, the displayed 3D image does not represent the therapeutic instrument in its true current position. The displayed 3D image represents the therapeutic instrument in its most likely current position. But users do not have any visual information indicating the probability of accuracy of the current position displayed.

Un but du procédé et de l'ensemble d'imagerie médicale présenté ci- après est de pallier au moins l'un des inconvénients précités. An object of the method and the medical imaging assembly presented below is to overcome at least one of the aforementioned drawbacks.

PRESENTATION DU PROCEDE ET DE L'ENSEMBLE D'IMAGERIE MEDICALE A cet effet, on prévoit un procédé d'imagerie médicale permettant un affichage en temps réel, dans un modèle tridimensionnel dans lequel le système vasculaire d'un patient est représenté, de la position d'au moins un point d'un instrument chirurgical que l'on déplace dans un système vasculaire d'un patient, caractérisé en ce qu'on estime la position tridimensionnelle courante du point de l'instrument chirurgical dans le système vasculaire du patient - en déterminant sur une image bidimensionnelle du patient une zone au voisinage de la projection sur cette image du point dont on cherche à estimer la position, - en sélectionnant, en fonction de la position des vaisseaux représentés dans le modèle tridimensionnel et/ou d'une position tridimensionnelle précédemment déterminée pour le point de l'instrument chirurgical, un point dans le modèle tridimensionnel qui, sur l'image bidimensionnelle, se projette dans ledit voisinage. PRESENTATION OF THE MEDICAL IMAGING METHOD AND ASSEMBLY For this purpose, there is provided a medical imaging method for displaying in real time, in a three-dimensional model in which the vascular system of a patient is represented, of the position at least one point of a surgical instrument that is moved into a vascular system of a patient, characterized in that the current three-dimensional position of the point of the surgical instrument is estimated in the vascular system of the patient - by determining, on a two-dimensional image of the patient, a zone in the vicinity of the projection on this image of the point whose position is to be estimated by selecting, as a function of the position of the vessels represented in the three-dimensional model and / or a three-dimensional position previously determined for the point of the surgical instrument, a point in the three-dimensional model which, on the two-dimensional image, projects in said neighborhood.

Le calcul de la position tridimensionnelle (3D) courante du point de l'instrument à partir d'une image bidimensionnelle (2D) prend en compte deux conditions: une contrainte sur la position du point de la pointe de l'instrument. chirurgical (qui doit être à l'intérieur d'un vaisseau sanguin), et la continuité du mouvement de l'instrument (si une image 2D acquise au temps t est temporellement proche d'une image acquise au temps t-1, alors la position 3D du point de l'instrument au temps t est spatialement proche de la position de l'instrument au temps t-1). The calculation of the current three-dimensional (3D) position of the instrument point from a two-dimensional image (2D) takes into account two conditions: a constraint on the position of the point of the tip of the instrument. surgical (which must be inside a blood vessel), and the continuity of the movement of the instrument (if a 2D image acquired at time t is temporally close to an image acquired at time t-1, then the 3D position of the point of the instrument at time t is spatially close to the position of the instrument at time t-1).

Des aspects préférés mais non limitatifs du procédé selon l'invention sont les suivants: la condition sur la position des vaisseaux dans la détermination du point de l'ensemble dont la position tridimensionnelle correspond à la position tridimensionnel courante du point de l'instrument chirurgical est que la position tridimensionnelle courante du point de l'instrument chirurgical est située à l'intérieur d'un vaisseau sanguin, la condition sur la position précédente du point de l'instrument chirurgical dans la détermination du point de l'ensemble dont la position tridimensionnelle correspond à la position tridimensionnel courante du point de l'instrument chirurgical est qu'elle est spatialement proche de la position tridimensionnelle courante, le procédé comprend en outre l'étape consistant à évaluer une probabilité pour que la position tridimensionnel du point déterminé de l'ensemble de points corresponde à la position tridimensionnelle courante du point de l'instrument chirurgical, le procédé comprend en outre l'étape consistant à afficher la position tridimensionnelle courante du point de l'instrument chirurgical, la position tridimensionnelle courante du point de l'instrument chirurgical étant affichée dans une couleur qui dépend de la probabilité évaluée, l'étape de détermination du point de l'ensemble de points dont la position tridimensionnelle correspond à la position tridimensionnelle courante du point de l'instrument comprend l'étape consistant à créer une ligne de points comprenant une succession de points, chaque point de la ligne de points correspondant à un des points de l'ensemble de points, le niveau de gris des points de la ligne de points n'appartenant pas à un vaisseau sanguin est mis à zéro, de sorte que la ligne de points comprend des segments de points de niveaux de gris supérieurs à zéro, chaque segment correspondant à une portion de vaisseau sanguin du système vasculaire du patient l'étape de détermination comprend l'étape consistant à rechercher un point de départ pour un segment de la ligne de points, l'étape de détermination comprend l'étape consistant à rechercher des frontières pour un segment de la ligne de points, l'étape de détermination comprend une étape consistant à ajouter un nouveau segment dans la ligne si un segment existant de la ligne vérifie certains critères, l'étape de détermination comprend l'étape consistant à trier les segments de la ligne en fonction de leur position dans la ligne et de la position des segments d'une ligne précédente traitée, l'étape consistant à supprimer des segments de la ligne en fonction de certains critères, l'étape de détermination comprend l'étape consistant à fusionner des segments voisins en fonction de certains critères, l'étape de détermination comprend l'étape consistant à évaluer les segments de la ligne, l'évaluation consistant à attribuer une couleur à chaque segment en fonction de sa probabilité de contenir le point de la pointe de l'instrument. Preferred but nonlimiting aspects of the method according to the invention are the following: the condition on the position of the vessels in the determination of the point of the set whose three-dimensional position corresponds to the current three-dimensional position of the point of the surgical instrument is that the current three-dimensional position of the point of the surgical instrument is located inside a blood vessel, the condition on the previous position of the point of the surgical instrument in determining the point of the set whose three-dimensional position corresponds to the current three-dimensional position of the point of the surgical instrument is that it is spatially close to the current three-dimensional position, the method further comprises the step of evaluating a probability so that the three-dimensional position of the determined point of the set of points corresponds to the current three-dimensional position of the point of the In a surgical instrument, the method further comprises the step of displaying the current three-dimensional position of the point of the surgical instrument, wherein the current three-dimensional position of the point of the surgical instrument is displayed in a color that depends on the evaluated probability. step of determining the point of the set of points whose three-dimensional position corresponds to the current three-dimensional position of the point of the instrument comprises the step of creating a line of points comprising a succession of points, each point of the line of points corresponding to one of the points of the set of points, the gray level of the points of the line of points not belonging to a blood vessel is set to zero, so that the line of points comprises segments of points gray levels greater than zero, each segment corresponding to a portion of the blood vessel of the patient's vascular system the stage of d the step of searching for a starting point for a segment of the line of points, the determining step includes the step of searching for boundaries for a segment of the line of points, the determining step comprises a step of adding a new segment in the line if an existing segment of the line checks certain criteria, the determining step includes the step of sorting the line segments according to their position in the line and the position of the segments of a previous treated line, the step of deleting segments of the line according to certain criteria, the determining step comprises the step of merging neighboring segments according to certain criteria, the step of determining includes the step of evaluating the segments of the line, the evaluation of assigning a color to each segment as a function of its probability of containing the point of the tip of the instrument.

On prévoit également un ensemble d'imagerie médicale permettant un affichage en temps réel de la position d'au moins un point d'un instrument chirurgical situé dans un système vasculaire d'un patient, caractérisé en ce qu'il comprend: - des moyens apte à définir dans un modèle tridimensionnel du système vasculaire du patient, un ensemble de points correspondant aux points du système vasculaire du patient se projetant dans un voisinage d'une position bidimensionnelle du point de l'instrument chirurgical sur une image bidimensionnelle, des moyens aptes à déterminer le point de l'ensemble de points dont la position tridimensionnelle correspond à la position tridimensionnelle courante du point de l'instrument chirurgical dans le système vasculaire du patient en tenant compte de la position des vaisseaux représentés dans le modèle tridimensionnel et/ou d'une position tridimensionnelle précédente du point de l'instrument chirurgical. There is also provided a medical imaging assembly allowing a real-time display of the position of at least one point of a surgical instrument located in a vascular system of a patient, characterized in that it comprises: - means capable of defining in a three-dimensional model of the vascular system of the patient, a set of points corresponding to the points of the vascular system of the patient projecting into a neighborhood of a two-dimensional position of the point of the surgical instrument on a two-dimensional image, suitable means determining the point of the set of points whose three-dimensional position corresponds to the current three-dimensional position of the point of the surgical instrument in the vascular system of the patient taking into account the position of the vessels represented in the three-dimensional model and / or a previous three-dimensional position of the point of the surgical instrument.

On prévoit également un programme d'ordinateur comprenant des moyens de codage appropriés permettant la mise en oeuvre du procédé décrit ci-dessus. There is also provided a computer program comprising appropriate coding means for carrying out the method described above.

On prévoit également un support d'instructions permettant de stoker le programme d'ordinateur décrit ci-dessus. There is also provided an instruction support for storing the computer program described above.

PRESENTATION DES FIGURESPRESENTATION OF FIGURES

D'autres caractéristiques et avantages de l'ensemble et du procédé ressortiront encore de la description qui suit, laquelle est purement illustrative et non limitative et doit être lue en regard des dessins annexés, sur lesquels: La figure 1 est un mode de réalisation d'un système d'acquisition et de traitement d'image; La figure 2 est une vue en perspective d'un système d'acquisition d'image par rayons X; - La figure 3 est un schéma illustrant des moyens d'émission de rayons X, des moyens de prise de clichés radiographiques et deux vaisseaux sanguins du système vasculaire d'un patient; La figure 4 est une image de différents vaisseaux sanguins du système vasculaire du patient; - La figure 5 est un organigramme d'un mode de réalisation du procédé d'imagerie médicale; Les figures 6, 7, et 8 sont des schémas illustrant une étape de définition de nouvelles frontières du procédé d'imagerie médicale; La figure 9 est un schéma illustrant deux lignes obtenues à partir de deux images 2D, la ligne du bas comprenant un segment et la ligne du haut comprenant deux segments La figure 10 illustre différents types d'affichages du résultat. Other characteristics and advantages of the assembly and of the process will become apparent from the description which follows, which is purely illustrative and nonlimiting, and should be read with reference to the accompanying drawings, in which: FIG. 1 is an embodiment of FIG. an image acquisition and processing system; Fig. 2 is a perspective view of an X-ray image acquisition system; FIG. 3 is a diagram illustrating X-ray emission means, X-ray imaging means and two blood vessels of a patient's vascular system; Figure 4 is an image of different blood vessels of the patient's vasculature; FIG. 5 is a flowchart of one embodiment of the medical imaging method; Figures 6, 7, and 8 are diagrams illustrating a step of defining new boundaries of the medical imaging method; Fig. 9 is a diagram illustrating two lines obtained from two 2D images, the bottom line comprising a segment and the top line comprising two segments. Fig. 10 illustrates different types of displays of the result.

DESCRIPTION DETAILLEE DU PROCEDE D'IMAGERIE MEDICALE ET DE L'ENSEMBLE D'IMAGERIE MEDICALE Lors d'une procédure de radiologie interventionnelle, un utilisateur place l'extrémité de travail d'un instrument chirurgical dans une zone à traiter à l'intérieur du corps d'un patient en passant par les vaisseaux sanguins (les veines et les artères) de son système vasculaire. DETAILED DESCRIPTION OF THE MEDICAL IMAGING METHOD AND THE MEDICAL IMAGING ASSEMBLY In an interventional radiology procedure, a user places the working end of a surgical instrument in an area to be treated within the body a patient through the blood vessels (veins and arteries) of his vascular system.

L'instrument chirurgical peut être un cathéter, un fil guide ou tout autre instrument connu de l'homme de l'art. Un cathéter est un tube fin (2 à 6 millimètres de diamètre) d'une longueur approximative de un mètre guidé par un fil guide radio opaque flexible et amovible. The surgical instrument may be a catheter, a guidewire or any other instrument known to those skilled in the art. A catheter is a thin tube (2 to 6 millimeters in diameter) of approximately one meter in length guided by a flexible and removable opaque radio guide wire.

Pour faciliter le placement de l'extrémité de travail de l'instrument chirurgical, l'ensemble d'imagerie médicale permet l'affichage en temps réel d'une image de sortie représentant la position tridimensionnelle (3D) courante de l'instrument chirurgical. Pour déterminer la position 3D courante de l'instrument chirurgical, on calcule les coordonnées 3D (X, Y, Z) de l'instrument chirurgical à partir d'un modèle 3D du système vasculaire du patient et d'une image bidimensionnelle (2D). Le modèle 3D du système vasculaire du patient est une image en trois dimensions représentant les vaisseaux sanguins de l'organisme du patient. To facilitate the placement of the working end of the surgical instrument, the medical imaging assembly allows the real-time display of an output image representing the current three-dimensional (3D) position of the surgical instrument. To determine the current 3D position of the surgical instrument, the 3D coordinates (X, Y, Z) of the surgical instrument are calculated from a 3D model of the patient's vascular system and a two-dimensional (2D) image. . The 3D model of the patient's vascular system is a three-dimensional image representing the blood vessels of the patient's body.

Avec le procédé et l'ensemble d'imagerie médicale, on peut choisir d'afficher soit une image de sortie représentant la position 3D courante de tout l'instrument chirurgical, soit la position 3D courante de certains points de l'instrument chirurgical. With the method and the medical imaging assembly, it is possible to display either an output image representing the current 3D position of the entire surgical instrument, or the current 3D position of certain points of the surgical instrument.

Par exemple, on peut choisir d'afficher une image de sortie représentant la position 3D courante de l'extrémité de travail de l'instrument chirurgical. On peut également choisir d'afficher une image de sortie représentant la position 3D courante du point de la pointe de l'instrument chirurgical. On peut également choisir d'afficher une image de sortie représentant les positions 3D successives occupées par le point de la pointe depuis le début de la procédure de radiologie interventionnelle. For example, one can choose to display an output image representing the current 3D position of the working end of the surgical instrument. One can also choose to display an output image representing the current 3D position of the point of the tip of the surgical instrument. One can also choose to display an output image representing the successive 3D positions occupied by the point of the tip since the beginning of the interventional radiology procedure.

Dans la suite, on considérera que l'on ne cherche à afficher que la position 3D courante du point de la pointe de l'instrument chirurgical employé par l'utilisateur lors de la procédure de radiologie interventionnelle. Le point de la pointe de l'instrument chirurgical correspond au sommet de l'extrémité de travail de l'instrument insérée dans le système vasculaire du patient. In the following, it will be considered that one seeks to display only the current 3D position of the point of the tip of the surgical instrument used by the user during the interventional radiology procedure. The point of the tip of the surgical instrument corresponds to the top of the working end of the instrument inserted into the vascular system of the patient.

Description d'un exemple de l'ensemble d'imaqerie médicale En référence à la figure 1, on a illustré un schéma de principe de l'ensemble d'imagerie médicale 1 permettant l'acquisition d'une image bidimensionnelle (2D) d'un objet 6 et le traitement de l'image 2D acquise afin d'afficher une image de sortie représentant la position 3D courante du point de la pointe de l'instrument chirurgical. Description of an Example of the Medical Imaging Set Referring to FIG. 1, there is illustrated a block diagram of the medical imaging assembly 1 enabling the acquisition of a two-dimensional (2D) image of an object 6 and processing the acquired 2D image to display an output image representing the current 3D position of the point of the tip of the surgical instrument.

Cet ensemble 1 comprend un système d'acquisition d'image 2, un système de traitement d'image 3 et un système d'affichage d'image 5. This set 1 comprises an image acquisition system 2, an image processing system 3 and an image display system 5.

Le système d'acquisition 2 permet d'acquérir une image 2D représentant l'instrument chirurgical et le système vasculaire du patient en deux dimensions. Le système d'acquisition est un système d'acquisition comprend un scanner monoplan. Le système d'acquisition d'image 2 est par exemple un système d'acquisition d'image par ultrasons, un système d'acquisition d'image par résonance magnétique (IRM), un système d'acquisition d'image par tomographie par émission de photon unique (TEPU) , un système d'acquisition d'image par tomodensitométrie (TDM), un système d'acquisition d'image par tomographie par émission de positons (TEP) ou un système d'acquisition d'image par rayons X. Le système de traitement 3 comprend des moyens de traitement aptes à mettre en oeuvre des procédés de traitement. Le système de traitement d'image 3 peut être intégré dans le système d'acquisition d'image 2, ou être séparé du système d'acquisition d'image 2. Le système de traitement 3 est par exemple un/des ordinateur(s), un/des processeur(s), un/des microcontrôleur(s), un/des micro-ordinateur(s), un/des automate(s) programmable(s), un/des circuit(s) intégré(s) spécifique(s) d'application, d'autres circuits programmables, ou d'autres dispositifs qui incluent un ordinateur tel qu'une station de travail. The acquisition system 2 makes it possible to acquire a 2D image representing the surgical instrument and the vascular system of the patient in two dimensions. The acquisition system is an acquisition system includes a monoplane scanner. The image acquisition system 2 is for example an ultrasound image acquisition system, a magnetic resonance image acquisition (MRI) system, a transmission tomography image acquisition system single photon (TEPU), computed tomography (CT) image acquisition system, positron emission tomography (PET) image acquisition system or X-ray image acquisition system The processing system 3 comprises processing means capable of implementing processing methods. The image processing system 3 can be integrated in the image acquisition system 2, or be separate from the image acquisition system 2. The processing system 3 is for example a computer (s) , processor (s), microcontroller (s), microcomputer (s), programmable controller (s), integrated circuit (s) specific application (s), other programmable circuits, or other devices that include a computer such as a workstation.

Le système de traitement est couplé à des moyens mémoire 4 qui peuvent être intégrés au ou séparés du système de traitement 3. Ces moyens mémoire 4 permettent de stocker notamment le modèle 3D du système vasculaire du patient examiné. The processing system is coupled to memory means 4 which can be integrated with or separate from the processing system 3. These memory means 4 make it possible to store in particular the 3D model of the vascular system of the examined patient.

2879327 io Le, système d'affichage 5 permet l'affichage de l'image de sortie représentant la position 3D courante du point de la pointe de l'instrument chirurgical. Par exemple, cette position 3D courante peut être superposée au modèle 3D du système vasculaire du patient dans l'image de sortie. Le système d'affichage d'image 5 peut être intégré dans le système d'acquisition 2 ou le système de traitement 3, ou être séparé de ces systèmes d'acquisition et de traitement 2, 3. The display system 5 allows the display of the output image representing the current 3D position of the point of the tip of the surgical instrument. For example, this current 3D position may be superimposed on the 3D model of the patient's vascular system in the output image. The image display system 5 can be integrated in the acquisition system 2 or the processing system 3, or be separate from these acquisition and processing systems 2, 3.

Le principe de fonctionnement de l'ensemble de la figure 1 est le suivant. Le système d'acquisition d'image 2 émet des signaux d'acquisition vers l'objet 6, et produit des données originales de projection. Ces données originales de projection sont converties en une image 2D représentant l'instrument chirurgical et le système vasculaire du patient en deux dimensions. The operating principle of the assembly of FIG. 1 is as follows. The image acquisition system 2 transmits acquisition signals to the object 6, and produces original projection data. This original projection data is converted into a 2D image representing the patient's surgical instrument and vascular system in two dimensions.

Cette image 2D est envoyée au système de traitement 3 qui la traite grâce à des moyens de traitement aptes à mettre en oeuvre des procédés de traitement. Notamment, les moyens de traitement sont aptes à mettre en oeuvre le procédé d'imagerie médicale décrit dans la suite et permettant, à partir du modèle 3D et de l'image 2D, d'obtenir l'image de sortie représentant la position 3D courante du point de la pointe. Cette image de sortie est affichée sur le système d'affichage. This 2D image is sent to the processing system 3 which processes it with processing means capable of implementing processing methods. In particular, the processing means are capable of implementing the medical imaging method described hereinafter and making it possible, from the 3D model and the 2D image, to obtain the output image representing the current 3D position. from the point of the point. This output image is displayed on the display system.

Toutes les N secondes, N étant un intervalle de temps donné (par exemple N = 10 millisecondes), le système d'acquisition acquiert des données de projection pour l'obtention d'une image 2D. Chaque image 2D correspond à une nouvelle position courante du point de la pointe de l'instrument chirurgical. La position courante du point de la pointe est déterminée en temps réel à partir d'une image 2D et du modèle 3D. Every N seconds, N being a given time interval (for example N = 10 milliseconds), the acquisition system acquires projection data for obtaining a 2D image. Each 2D image corresponds to a new current position of the point of the tip of the surgical instrument. The current position of the point of the tip is determined in real time from a 2D image and the 3D model.

L'image de sortie représentant la position 3D courante du point de la pointe de l'instrument chirurgical est donc régénérée toutes les N secondes. The output image representing the current 3D position of the point of the tip of the surgical instrument is regenerated every N seconds.

En référence à la figure 2, on a illustré un mode de réalisation de l'ensemble d'imagerie médicale de la figure 1. Cet ensemble d'imagerie médicale comprend le système d'acquisition 2, le système de traitement 3, des moyens mémoire 4, le système d'affichage 5, un numériseur d'image 13 et un reconstructeur d'image 14. With reference to FIG. 2, an embodiment of the medical imaging assembly of FIG. 1 is illustrated. This medical imaging assembly comprises the acquisition system 2, the treatment system 3, memory means 4, the display system 5, an image digitizer 13 and an image reconstructor 14.

Le système d'acquisition d'image 2 est un système d'acquisition d'image par rayons X. Le système d'acquisition 2 comprend des moyens d'émission de rayons X 7 sous la forme d'une source de rayons X, des moyens de prise de clichés radiographiques 8, et des moyens de support 9. Les moyens de prise de clichés radiographiques 8 sont par exemple un capteur plan ou un amplificateur de luminance associé à une caméra. Les moyens d'émission de rayons X 7 et les moyens de prise de clichés radiographiques 8 sont fixés aux extrémités des moyens de support 9 ayant par exemple la forme d'un bras en demi-cercle. Les moyens de support 9 permettent de positionner les moyens d'émission de rayons X 7 et les moyens de prise de clichés radiographiques 8 par rapport au patient 6. The image acquisition system 2 is an X-ray image acquisition system. The acquisition system 2 comprises X-ray emission means 7 in the form of an X-ray source, radiographic recording means 8, and support means 9. The radiographic recording means 8 are for example a planar sensor or a luminance amplifier associated with a camera. The X-ray emission means 7 and the X-ray recording means 8 are attached to the ends of the support means 9 having, for example, the shape of a semicircular arm. The support means 9 make it possible to position the X-ray emission means 7 and the X-ray recording means 8 with respect to the patient 6.

Le système de traitement 3 comprend les moyens de traitement 10, un contrôleur de moteur des moyens de support 11 et un contrôleur de rayons X 12. Le contrôleur de moteur des moyens de support 11 commande la vitesse et la position des moyens de support 9. Le contrôleur de rayons X 12 fournit la puissance et les signaux de synchronisation à la source de rayons X 7. Dans un mode de réalisation, le système de traitement 3 inclut un dispositif de lecture (non montré), par exemple un lecteur de disquettes ou un lecteur de CD-ROM, pour lire les instructions du procédé d'imagerie médicale (qui va être décrit dans la suite) d'un support d'instructions (non montré), comme une disquette ou un CD-ROM. Dans un autre mode de réalisation, les moyens de traitement 36 exécutent les instructions du procédé d'imagerie médicale (qui va être décrit dans la suite) stockées dans des micrologiciels (non montrés). The processing system 3 comprises the processing means 10, a motor controller of the support means 11 and an X-ray controller 12. The motor controller of the support means 11 controls the speed and the position of the support means 9. The x-ray controller 12 provides power and timing signals to the X-ray source 7. In one embodiment, the processing system 3 includes a reading device (not shown), for example a diskette drive or a CD-ROM reader, for reading the instructions of the medical imaging method (which will be described later) of an instruction medium (not shown), such as a floppy disk or a CD-ROM. In another embodiment, the processing means 36 executes the instructions of the medical imaging method (which will be described later) stored in firmware (not shown).

Les moyens mémoires 4 sont par exemple des mémoires mortes (ROM acronyme de l'expression anglo-saxonne Read Only Memory ) et des mémoire vives (RAM acronyme de l'expression anglo-saxonne Random Access Memory ). The memory means 4 are for example read-only memories (ROM) and RAM (acronym for the English expression Random Access Memory).

Le système d'affichage 5 est par exemple un écran d'ordinateur, un moniteur, un écran plat, un écran plasma ou tout type de système d'affichage connu de l'homme de l'art. The display system 5 is for example a computer screen, a monitor, a flat screen, a plasma screen or any type of display system known to those skilled in the art.

Le numériseur d'image 13 est un Système d'Acquisition de Données (SAD). Le SAD échantillonne des signaux analogiques et les convertit en signaux numériques. The image digitizer 13 is a Data Acquisition System (DAS). The SAD samples analog signals and converts them into digital signals.

Le reconstructeur d'image 14 permet de reconstruire une image 2D à partir d'une pluralité de données numérique. Le SAD 13 et le reconstructeur d'image 14 peuvent être intégrés ou séparés du système de traitement 3. The image reconstructor 14 makes it possible to reconstruct a 2D image from a plurality of digital data. The SAD 13 and the image reconstructor 14 can be integrated or separated from the processing system 3.

Lors de l'acquisition d'une image radiologique 2D, les moyens d'émission 7 projettent un faisceau 20 de rayons X vers les moyens de prise de clichés 8. Les moyens de prise de clichés 8 détectent l'ensemble des rayons X projetés qui passent à travers le patient 6 et produisent des signaux électriques qui sont transmis au SAD 13. Le SAD 13 échantillonne les signaux électriques analogiques reçus par les moyens de prise de clichés et les convertit en signaux numériques. Le reconstructeur d'image 14 reçoit les données échantillonnées et numérisées du SAD 13 et exécute la reconstruction de l'image 2D à grande vitesse. During the acquisition of a 2D radiological image, the transmission means 7 project an X-ray beam 20 towards the plate taking means 8. The plate taking means 8 detect all the projected X-rays which pass through the patient 6 and produce electrical signals that are transmitted to the SAD 13. The SAD 13 samples the analog electrical signals received by the capture means and converts them into digital signals. The image reconstructor 14 receives the sampled and digitized data from the SAD 13 and performs the reconstruction of the 2D image at high speed.

L'image 2D reconstruite est appliquée comme entrée des moyens de traitement 10 qui stockent l'image 2D dans les moyens mémoire 4. Les moyens de traitement 10 sont programmés pour exécuter le procédé d'imagerie médicale décrit ci-après, et traitent l'image 2D issue du reconstructeur d'image. L'image de sortie obtenue en sortie des moyens de traitement est affichée sur le système d'affichage. The reconstructed 2D image is applied as input to the processing means 10 which stores the 2D image in the memory means 4. The processing means 10 are programmed to execute the medical imaging method described hereinafter, and process the 2D image from the image reconstructor. The output image obtained at the output of the processing means is displayed on the display system.

Présentation du procédé d'imagerie médical Le procédé d'imagerie médicale permettant d'obtenir une image de sortie représentant la position 3D courante du point de la pointe de l'instrument chirurgical va maintenant être décrit. Presentation of the Medical Imaging Process The medical imaging method for obtaining an output image representing the current 3D position of the point of the tip of the surgical instrument will now be described.

Le procédé d'imagerie médicale nécessite en entrée le modèle 3D du système vasculaire du patient. Pour obtenir le modèle 3D, on peut utiliser tous les procédés connus de l'homme de l'art, par exemple on peut utiliser le procédé décrit dans le document US 6 389 104. On peut également obtenir le modèle 3D du patient par un procédé de tomographie permettant l'acquisition d'une portion du patient (par exemple le tronc du patient) par tranche, ou grâce à un scanner biplan permettant l'acquisition simultanée de deux images 2D sous deux angles différents. The medical imaging process requires the 3D model of the patient's vascular system as input. To obtain the 3D model, it is possible to use all the methods known to those skilled in the art, for example the method described in US Pat. No. 6,389,104 can be used. The 3D model of the patient can also be obtained by a method tomography allowing the acquisition of a portion of the patient (for example the trunk of the patient) by slice, or with a biplane scanner allowing the simultaneous acquisition of two 2D images from two different angles.

La première étape du procédé consiste à acquérir et à numériser une image 2D. The first step of the process involves acquiring and digitizing a 2D image.

Une autre étape du procédé consiste à déterminer la position 2D du point de la pointe dans l'image 2D acquise par le système d'acquisition. Pour localiser le point de la pointe de l'instrument chirurgical dans l'image 2D, on peut utiliser tous les procédés connus de l'homme de l'art. Par exemple on utilisera un procédé de croissance de région. Ces procédés peuvent comprendre des prétraitements morpho-mathématiques (dilatation, érosion, et leur combinaison comme ouverture et fermeture) un seuillage pour obtenir une image binaire, et des post-traitements pour lisser l'image, etc. Une autre étape du procédé consiste à déterminer la géométrie d'acquisition qui correspond à la position précise des moyens d'émission de rayons X 7 et des moyens de prise de clichés radiographiques 8 par rapport à l'objet 3D acquis, c'est-à-dire la position du système d'acquisition par rapport au patient 6 lors de l'acquisition de l'image 2D. Another step of the method consists in determining the 2D position of the point of the point in the 2D image acquired by the acquisition system. To locate the point of the tip of the surgical instrument in the 2D image, all methods known to those skilled in the art can be used. For example, a region growth method will be used. These methods may include morpho-mathematical pretreatments (dilation, erosion, and their combination as open and close), thresholding to obtain a binary image, and post-treatments to smooth the image, etc. Another step of the method consists in determining the acquisition geometry which corresponds to the precise position of the X-ray emission means 7 and the radiographic X-ray taking means 8 with respect to the acquired 3D object, that is, ie the position of the acquisition system with respect to the patient 6 during the acquisition of the 2D image.

Pour déterminer la géométrie d'acquisition, on peut également utiliser des procédés connus de l'homme de l'art. La géométrie d'acquisition permet de déterminer deux des trois coordonnées définissant la position 3D courante du point de la pointe (les coordonnées en X et en Y). Un exemple de procédé permettant de déterminer la géométrie d'acquisition comprend les étapes de: - calcul d'un ensemble d'images représentant des projections du modèle 3D sur un plan de projection pour différentes orientations du modèle 3D par rapport au plan de projection, - comparaison des images de projection à l'image 2D acquise afin de trouver une image de projection qui se superpose à l'image 2D acquise. To determine the acquisition geometry, it is also possible to use methods known to those skilled in the art. The acquisition geometry makes it possible to determine two of the three coordinates defining the current 3D position of the point of the point (the coordinates in X and in Y). An example of a method for determining the acquisition geometry comprises the steps of: calculating a set of images representing projections of the 3D model on a projection plane for different orientations of the 3D model with respect to the projection plane, comparing the projection images with the acquired 2D image in order to find a projection image that is superimposed on the acquired 2D image.

La position et l'orientation du patient lors de l'acquisition de l'image 2D correspondent alors à la position et l'orientation du modèle 3D ayant permis d'obtenir l'image de projection qui se superpose à l'image 2D acquise. The position and the orientation of the patient during the acquisition of the 2D image then correspond to the position and the orientation of the 3D model which made it possible to obtain the projection image which is superimposed on the acquired 2D image.

Le lecteur aura compris qu'il y a une incertitude sur la géométrie d'acquisition du fait des imprécisions mécaniques, d'un éventuel mouvement du patient lors de l'acquisition de l'image 2D, ou encore d'une éventuelle déformation des vaisseaux par l'instrument chirurgical. Cette erreur sur la géométrie d'acquisition sera prise en compte lors d'une des étapes permettant la détermination de la position 3D du point de la pointe de l'instrument chirurgical. The reader will have understood that there is an uncertainty on the acquisition geometry because of the mechanical inaccuracies, of a possible movement of the patient during the acquisition of the 2D image, or of a possible deformation of the vessels by the surgical instrument. This error on the acquisition geometry will be taken into account during one of the steps allowing the determination of the 3D position of the point of the tip of the surgical instrument.

Une fois que les moyens de traitement ont calculé le modèle 3D, localisé l'instrument chirurgical dans l'image 2D, et déterminé la géométrie d'acquisition, ces moyens de traitement mettent en oeuvre les étapes suivantes du procédé d'imagerie médicale permettant de déterminer la position 3D courante du point de la pointe. Once the processing means have calculated the 3D model, located the surgical instrument in the 2D image, and determined the acquisition geometry, these processing means implement the following steps of the medical imaging method allowing determine the current 3D position of the point of the tip.

Comme illustré à la figure 3, une fois la géométrie d'acquisition connue, on sait que le point de la pointe de l'instrument est situé quelque part sur un axe 21 allant des moyens d'émission de rayons X 7 aux moyens de prise de clichés radiographiques 8. As illustrated in FIG. 3, once the acquisition geometry is known, it is known that the point of the tip of the instrument is situated somewhere on an axis 21 going from the X-ray emission means 7 to the setting means. X-ray images 8.

L'information contenue dans l'image 2D acquise n'étant pas suffisante pour déterminer les coordonnées 3D du point de la pointe, on utilise des conditions que doit vérifier le point de la pointe pour la détermination de la position 3D courante de celui-ci. The information contained in the 2D image acquired is not sufficient to determine the 3D coordinates of the point of the tip, it uses conditions that must check the point of the tip for the determination of the current 3D position thereof .

Ces conditions sont les suivantes: 1) La position du point de la pointe est fonction de la position des vaisseau sanguin dans le modèle tridimensionnel: le point de la pointe de l'instrument chirurgical n'est pas situé n'importe où sur l'axe, mais se situe dans un vaisseau sanguin 22, 23, et/ou 2) La position courante du point de la pointe est fonction de la position précédente du point de la pointe: le mouvement du point de la pointe de l'instrument chirurgical est continu; cela signifie que si l'acquisition d'une image 2D au temps t est temporellement proche de l'acquisition d'une image 2D au temps t-1, alors la position 3D du point de la pointe au temps t sera spatialement proche de la position 3D du point de la pointe au temps M. Chaque nouvelle image 2D acquise correspond à la projection du système vasculaire du patient sur les moyens de prise de clichés radiographiques 8. These conditions are as follows: 1) The position of the point of the tip is a function of the position of the blood vessels in the three-dimensional model: the point of the tip of the surgical instrument is not located anywhere on the axis, but is in a blood vessel 22, 23, and / or 2) The current position of the point of the tip is a function of the previous position of the point of the tip: the movement of the point of the tip of the surgical instrument is continuous; this means that if the acquisition of a 2D image at time t is temporally close to the acquisition of a 2D image at time t-1, then the 3D position of the point of the peak at time t will be spatially close to the 3D position of the point of the peak at the time M. Each new 2D image acquired corresponds to the projection of the patient's vascular system onto the means of taking radiographic images 8.

Pour chaque nouvelle image 2D acquise, on considère un axe 21 joignant les moyens d'émission de rayons X 7 à la projection sur les moyens de prise de clichés radiographiques 8 du point de la pointe. Cet axe permet de définir la côte Z (axe des Z) d'un repère orthonormé d'abscisse X et d'ordonnée Y. On considère un ensemble de voxels 67 autour de cet axe 21. Cet ensemble de voxels 67 correspond aux points du système vasculaire du patient se projetant dans un voisinage de la position 2D du point de la pointe sur l'image 2D. For each new 2D image acquired, consider an axis 21 joining the X-ray emission means 7 to the projection on the X-ray taking means 8 of the point of the tip. This axis makes it possible to define the Z-side (Z-axis) of an orthonormal coordinate system of abscissa X and ordinate Y. We consider a set of voxels 67 around this axis 21. This set of voxels 67 corresponds to the points of the vascular system of the patient projecting into a neighborhood of the 2D position of the point of the tip on the 2D image.

Pour chaque valeur entière de la coordonnée Z (l'axe des Z étant parallèle à l'axe optique 21), on considère un voisinage de R voxels parmi l'ensemble de voxels 67, R étant un nombre entier. En considérant un voisinage de R voxels autour de l'axe 21, on prend en compte l'erreur sur la géométrie d'acquisition. For each integer value of the Z coordinate (the Z axis being parallel to the optical axis 21), consider a neighborhood of R voxels among the set of voxels 67, where R is an integer. Considering a neighborhood of R voxels around the axis 21, the error on the acquisition geometry is taken into account.

A chaque voxel de l'axe 21 correspond un niveau de gris compris entre 0 et 255. Pour chaque voxel de l'axe 21, on stocke une valeur entière dans une ligne de points 24 comprenant une succession de points (à chaque point de la ligne de points correspond un voxel sur l'axe 21), cette valeur étant: - égale au niveau de gris maximum des voxels du voisinage 25 si ce voisinage 25 de voxels intersecte un vaisseau sanguin 22, - égale à zéro si le voisinage de voxels 26 n'intersecte pas un vaisseau sanguin. Each voxel of the axis 21 corresponds to a gray level between 0 and 255. For each voxel of the axis 21, an integer value is stored in a line of points 24 comprising a succession of points (at each point of the line of points corresponds to a voxel on the axis 21), this value being: - equal to the maximum gray level of the voxels of the neighborhood 25 if this neighborhood of voxels intersects a blood vessel 22, - equal to zero if the neighborhood of voxels 26 does not intersect a blood vessel.

En mettant à zéro les valeurs de la ligne 24 correspondant à des voisinages de voxels n'intersectant pas de vaisseau, on contraint le pointde la pointe à être située à l'intérieur des vaisseaux sanguins. By zeroing the values of the line 24 corresponding to neighborhoods of voxels not intersecting with a vessel, the point of the tip is constrained to be located within the blood vessels.

L'information manquante est la position du point de la pointe sur cette ligne 24: on pourra déterminer un segment contenant la position 3D courante du point de la pointe mais pas la position 3D courante précisément. The missing information is the position of the point of the point on this line 24: it will be possible to determine a segment containing the current 3D position of the point of the point but not the current 3D position precisely.

Chaque nouvelle image 2D acquise correspond à une nouvelle position pour le point de la pointe. Une ligne 24 est produite pour chaque nouvelle image 2D acquise, formant une petite image 40 dénommée tranche courbe selon l'expression anglo-saxonne curved slice , comme illustré à la figure 4. Each new acquired 2D image corresponds to a new position for the point of the tip. A line 24 is produced for each new acquired 2D image, forming a small image 40 called a curved slice according to the Anglo-Saxon curved slice expression, as illustrated in FIG.

Au temps t = 0, on acquiert une première image 2D, et on produit une première ligne 27. Cette ligne comprend trois segments 28, 29, 30 correspondant à des vaisseaux sanguins 31, 32, 33 dans lesquels le point de la pointe est susceptible de se trouver. At time t = 0, a first 2D image is acquired, and a first line 27 is produced. This line comprises three segments 28, 29, 30 corresponding to blood vessels 31, 32, 33 in which the point of the tip is capable of to find himself.

Au temps t = 1, on acquiert une deuxième image 2D, et on produit une deuxième ligne 31 et ainsi de suite. At time t = 1, a second 2D image is acquired, and a second line 31 is produced, and so on.

Au fur et à mesure des acquisitions certains segments qui étaient susceptibles de contenir le point de la pointe de l'instrument chirurgical sont écartés. Par exemple, au temps t = 8, les segments 28 et 29 correspondant aux tranches des vaisseaux sanguins 31 et 32 ne sont plus présent dans la ligne produite. Or, on tient compte des positions précédentes dans la détermination de la position 3D courante du point de la pointe. On est donc sûr à t = 8 que le point de la pointe de l'instrument chirurgical est situé dans le vaisseau 33. As acquisitions occur some segments that were likely to contain the point of the tip of the surgical instrument are discarded. For example, at time t = 8, the segments 28 and 29 corresponding to the slices of the blood vessels 31 and 32 are no longer present in the line produced. However, the previous positions are taken into account in the determination of the current 3D position of the point of the point. It is therefore safe at t = 8 that the point of the tip of the surgical instrument is located in the vessel 33.

Certains vaisseaux sanguins peuvent se rejoindre et créer une ambiguïté 35, c'est-à-dire une intersection au niveau de laquelle l'instrument chirurgical peut emprunter plusieurs chemins 36, 37. Dans ce cas, il y aura à nouveau une incertitude sur le segment contenant le point de la pointe. Some blood vessels can join and create an ambiguity 35, that is, an intersection at which the surgical instrument can take several paths 36, 37. In this case, there will again be uncertainty about the segment containing the point of the tip.

Le procédé d'imagerie permet de gérer et d'afficher ces ambiguïtés sur la position 3D courante calculée qui sont inévitables du fait de la pluralité de vaisseaux sanguins qui peuvent se projeter sur le même point de l'image 2D. The imaging method makes it possible to manage and display these ambiguities on the current calculated 3D position that are unavoidable because of the plurality of blood vessels that can project to the same point of the 2D image.

Présentation d'un mode de réalisation du procédé d'imagerie médicale Un mode de réalisation du procédé d'imagerie permettant l'obtention de la position 3D courante du point de la pointe de l'instrument chirurgical va maintenant être décrit. Presentation of an embodiment of the medical imaging method An embodiment of the imaging method for obtaining the current 3D position of the point of the tip of the surgical instrument will now be described.

A l'initialisation du procédé, ou après un mouvement brusque de l'instrument chirurgical par l'utilisateur, on recherche toutes les positions 3D possibles sur la ligne entière: chaque segment de la ligne comprenant un point de valeur supérieure à un seuil d'intensité fixé est susceptible de contenir le point de la pointe de l'instrument chirurgical. At the initialization of the method, or after a sudden movement of the surgical instrument by the user, all possible 3D positions are searched for on the entire line: each segment of the line comprising a point of value greater than a threshold of fixed intensity is likely to contain the point of the tip of the surgical instrument.

Si l'on connaît une position précédente du point de la pointe de l'instrument chirurgical suffisamment proche, la recherche des positions 3D courantes possibles est restreinte et on effectue les étapes du procédé consistant à : trouver un point de départ en considérant le segment de la position précédente du point de la pointe de l'instrument, - 18 rechercher des frontières à partir de ce point de départ, rechercher de nouvelles branches débutant dans ce segment, - répéter les étapes précédentes pour chaque segment de la ligne précédente, supprimer tous les segments de la nouvelle ligne dont les points ont des niveaux de gris inférieurs à un seuil fixé, fusionner les segments de la nouvelle ligne, évaluer la crédibilité des segments où peut potentiellement se trouver le point de la pointe de l'instrument. If a previous position of the point of the tip of the surgical instrument is known to be sufficiently close, the search for the current possible 3D positions is restricted and the steps of the method consisting in: finding a starting point taking into account the segment of the previous position of the point of the tip of the instrument, - 18 search for boundaries from this starting point, search for new branches starting in this segment, - repeat the previous steps for each segment of the previous line, delete all the segments of the new line whose points have gray levels below a set threshold, merge the segments of the new line, evaluate the credibility of the segments where the point of the tip of the instrument can potentially be located.

En référence à la figure 5, on a illustré un organigramme d'un mode de réalisation du procédé d'imagerie médicale. With reference to FIG. 5, a flowchart of one embodiment of the medical imaging method is illustrated.

Chaque nouvelle image 2D acquise correspond à une nouvelle position pour le point de la pointe. La première étape du procédé consiste à acquérir l'image 2D et à la numériser. Ensuite, on détermine la géométrie d'acquisition et on effectue les étapes suivantes. Each new acquired 2D image corresponds to a new position for the point of the tip. The first step of the process is to acquire the 2D image and to digitize it. Then, the acquisition geometry is determined and the following steps are performed.

A l'étape 410, on trace l'axe 21 joignant les moyens d'émission de rayons X 7 à la projection 2D sur les moyens de prise de clichés radiographiques 8 du point de la pointe, et on calcule la ligne 24 correspondante. In step 410, trace the axis 21 joining the X-ray emission means 7 to the 2D projection on the X-ray recording means 8 of the point of the tip, and the corresponding line 24 is calculated.

Si l'image 2D acquise est la première image acquise (initialisation) ou si la position précédente du point de la pointe est trop éloignée de la position courante, on passe par l'étape 420. A cette étape, la ligne 24 est traitée dans une fonction appelée fonction première ligne. Cette fonction première ligne calcule la position la plus probable pour le point de la pointe, c'est-à-dire que la fonction première ligne détermine, parmi les segments de la ligne celui le plus probable pour contenir le point de la pointe. If the acquired 2D image is the first image acquired (initialization) or if the previous position of the point of the tip is too far from the current position, we go through step 420. At this step, line 24 is processed in a function called first line function. This first line function calculates the most probable position for the point of the point, that is to say that the first line function determines, among the segments of the line, the most probable position to contain the point of the point.

Puis, pour chaque segment de la ligne, on effectue les étapes suivantes. A l'étape 430, on détermine un nouveau point de départ du segment traité. Ce point de départ est choisi selon certains critères décrits dans la suite. Then, for each segment of the line, the following steps are carried out. In step 430, a new starting point of the processed segment is determined. This starting point is chosen according to certain criteria described below.

A l'étape 440, on recherche les frontières du segment. Ces frontières sont les points des extrémités du segment. Pour calculer les nouvelles frontières du segment, on utilise le point de départ du segment et certains critères décrits dans la suite. In step 440, the segment boundaries are searched. These boundaries are the points of the ends of the segment. To calculate the new boundaries of the segment, we use the starting point of the segment and some criteria described below.

A l'étape 450, on recherche des nouveaux segments à ajouter sur la ligne. Un nouveau segment est ajouté sur la ligne suivant certains critères décrits dans la suite. In step 450, new segments to be added on the line are searched. A new segment is added on the line according to certain criteria described in the following.

A l'étape 460, on trie les segments en effectuant une gestion d'arbre. Les segments sont triés selon l'axe des Z et reliés aux segments de la ligne précédente. In step 460, the segments are sorted by performing tree management. The segments are sorted along the Z axis and connected to the segments of the previous line.

A l'étape 470, on effectue un contrôle des segments. Certains sont fusionnés et d'autres sont supprimés selon des critères décrits dans la suite. In step 470, the segments are checked. Some are merged and others are deleted according to criteria described below.

A l'étape 480, on évalue la crédibilité des segments trouvés en indiquant au moyen d'un code de couleur la pertinence des résultats affichés. Par exemple un segment de la ligne dont la probabilité qu'il contienne le point de la pointe est importante est affiché en vert, alors qu'un segment dont la probabilité qu'il contienne le point de la pointe est faible est affiché en jaune. Avant d'être affichés, ces résultats sont traités grâce à une fonction de lissage pour améliorer la qualité d'affichage. In step 480, the credibility of the segments found is evaluated by indicating by means of a color code the relevance of the displayed results. For example, a segment of the line whose probability of containing the point of the point is large is displayed in green, while a segment whose probability of containing the point of the point is small is displayed in yellow. Before being displayed, these results are processed through a smoothing function to improve the display quality.

A l'étape 490, les résultats sont affichés sur les moyens d'affichage. In step 490, the results are displayed on the display means.

Le lecteur aura compris que certaines étapes de ce procédé peuvent être exécutées de manière séquentielle ou parallèle. Par ailleurs, certaines de ces étapes peuvent être réalisées dans des ordres différents. The reader will have understood that certain steps of this method can be executed sequentially or in parallel. In addition, some of these steps can be performed in different orders.

Recherche du Point de départ d'un segment Le point de départ 50 du segment est le point de niveau de gris maximum dans le segment. Pour déterminer ce point de départ 50, on considère les bornes délimitées par les frontières de ce segment sur la ligne précédente. Finding the Starting Point of a Segment The starting point 50 of the segment is the point of maximum gray level in the segment. To determine this starting point 50, consider the bounds bounded by the boundaries of this segment on the previous line.

Recherche des Nouvelles frontières d'un segment En référence aux figures 6 à 8, on a illustré l'étape de recherche des nouvelles frontières. Ces figures sont des graphiques représentant l'intensité des points d'une ligne en fonction de leur position le long de la ligne (coordonnée en Z). Searching for New Frontiers in a Segment Referring to Figures 6 to 8, the step of searching for new boundaries was illustrated. These figures are graphs representing the intensity of the points of a line as a function of their position along the line (Z coordinate).

On considère une ligne de l'image de tranche courbe avec un point de départ 50 donné. On recherche deux frontières. La recherche de chaque frontière se déroule comme suit. A line of the curved slice image with a given starting point 50 is considered. We are looking for two borders. The search for each border is as follows.

A partir du point de départ 50 de niveau de gris V, on se déplace, point par point le long de la ligne jusqu'à ce que l'une des conditions suivantes soit remplie: a. Le niveau de gris du point 52 atteint est inférieur à une première valeur fixée 53 (voir figure 4). From the V-level starting point 50, one moves, point by point along the line until one of the following conditions is fulfilled: a. The gray level of the point 52 reached is less than a first fixed value 53 (see FIG. 4).

b. Le niveau de gris du point 54 atteint est supérieur à la somme du niveau de gris minimum 56 atteint depuis le point de départ 50 plus une deuxième valeur fixée 55 (voir figure 5). b. The gray level of the point 54 reached is greater than the sum of the minimum gray level 56 reached from the starting point 50 plus a second fixed value 55 (see FIG. 5).

Lorsque l'une des deux conditions (a et b) précédentes est remplie, les nouvelles frontières 58, 59 correspondent au dernier point 57 atteint de niveau de gris supérieur à la première valeur dans le cas a, et au point 56 de niveau de gris minimum atteint dans le cas b (voir figure 6). When one of the two preceding conditions (a and b) is fulfilled, the new boundaries 58, 59 correspond to the last point 57 with gray level higher than the first value in case a, and point 56 of level of gray. minimum reached in case b (see Figure 6).

Ajout de Nouveau segment Un nouveau segment 60 est ajouté dans la ligne courante 61 sur un côté du segment existant 62 dans deux cas: a. La nouvelle frontière 63 du segment existant 62 dans la ligne courante 61 est plus petite sur ce côté que la frontière 64 du segment existant dans la ligne précédente 65 (c'est-à-dire que le point définissant la nouvelle frontière sur ce côté était inclus dans le segment existant à la ligne précédente), et la frontière sur ce côté correspond au point 56 de niveau de gris minimum atteint (cas b. de l'étape de détermination des nouvelles frontières) ; ou b. La nouvelle frontière 63 du segment existant 62 est plus petite sur ce côté que la frontière 64 du segment existant dans la ligne précédente 65, et l'espace 60 entre l'ancienne et la nouvelle frontière sur ce côté est large et un point 66 de cet espace a un niveau de gris supérieur à un seuil fixe. Adding New Segment A new segment 60 is added in the current line 61 on one side of the existing segment 62 in two cases: a. The new boundary 63 of the existing segment 62 in the current line 61 is smaller on this side than the boundary 64 of the segment existing in the preceding line 65 (i.e. the point defining the new boundary on that side was included in the existing segment in the previous line), and the boundary on this side corresponds to the point 56 of minimum gray level reached (case b of the step of determining the new boundaries); or b. The new boundary 63 of the existing segment 62 is smaller on this side than the boundary 64 of the segment existing in the preceding line 65, and the space 60 between the old and the new boundary on this side is wide and a point 66 of this space has a gray level higher than a fixed threshold.

En référence à la figure 9, on a illustré un exemple de cas dans lequel un nouveau segment est ajouté. Comme on peut le constater, la frontière de gauche de la nouvelle ligne est plus large que la frontière de gauche de la ligne précédente. II n'y a pas de place sur la gauche pour ajouter un nouveau segment. Par contre, la frontière de droite de la nouvelle ligne est plus petite que la frontière de droite de la ligne précédente. Il y a un espace libre qui est candidat pour un nouveau segment. Referring to Fig. 9, an exemplary case in which a new segment is added is illustrated. As can be seen, the left border of the new line is wider than the left border of the previous line. There is no room on the left to add a new segment. On the other hand, the right border of the new line is smaller than the right border of the previous line. There is a free space that is candidate for a new segment.

Lorsqu'un nouveau segment est détecté, on recherche ses frontières en exécutant l'étape de recherche des nouvelles frontières décrite précédemment. When a new segment is detected, its borders are searched for by performing the step of searching for the new boundaries described above.

Gestion d'arbre Sur chaque ligne, on a une pluralité de segments dans lesquels le point de la pointe de l'instrument est susceptible d'être contenu. La gestion d'arbre permet de tracer un chemin possible donné par rapport au temps. A chaque nouveau segment trouvé , on affecte un label (ou étiquette) unique qui est transmis au segment correspondant dans la ligne suivante. Le label de son père est stocké dans les moyens mémoire, c'est-à-dire que le label affecté au segment de la ligne précédente correspondant au segment de la ligne courante est stocké dans les moyens mémoire. Tree Management On each line, there are a plurality of segments in which the point of the tip of the instrument is likely to be contained. Tree management allows you to plot a given possible path with respect to time. With each new segment found, we assign a unique label (or label) that is transmitted to the corresponding segment in the next line. The label of his father is stored in the memory means, that is to say that the label assigned to the segment of the previous line corresponding to the segment of the current line is stored in the memory means.

Suppression de segment On supprime un segment en fonction du niveau de gris maximum des points de ce segment. Si le point du segment de niveau de gris maximum est inférieur à un seuil fixé, ce segment est supprimé. Segment Suppression A segment is deleted based on the maximum gray level of the points in that segment. If the point of the maximum gray level segment is below a set threshold, this segment is deleted.

Fusion de deux segments Deux segments voisins peuvent être fusionnés. Merging two segments Two neighboring segments can be merged.

Pour cela, on recherche pour chaque segment le point de niveau de gris maximum. Ensuite, on recherche le point de niveau de gris minimum entre ces deux points de niveau de gris maximum. Puis, on considère les écarts entre le niveau de gris du point de niveau de gris minimum et les niveaux de gris des deux points de niveaux de gris maximums. Si l'un de ces écarts est inférieur à un seuil fixé, les deux segments sont fusionnés. For this, we search for each segment the point of maximum gray level. Next, we search for the minimum gray level point between these two points of maximum gray level. Then, consider the differences between the gray level of the minimum gray level point and the gray levels of the two points of maximum gray level. If one of these deviations is below a set threshold, the two segments are merged.

Evaluation de la pertinence des segments susceptibles de contenir le point de la pointe de l'instrument chirurgical Un score de crédibilité permettant d'évaluer la pertinence de la présence du point de la pointe de l'instrument chirurgical dans le segment peut être obtenu, par exemple avec la valeur moyenne des niveaux de gris des voxels de ce segment. Evaluation of the relevance of the segments likely to contain the point of the tip of the surgical instrument A credibility score for evaluating the relevance of the presence of the point of the tip of the surgical instrument in the segment can be obtained by example with the average value of gray levels of voxels in this segment.

Ce score de crédibilité peut être affiché à l'utilisateur grâce à un code de couleur. Les segments dont les scores de crédibilité sont inférieurs à un seuil fixé peuvent également ne pas être affichés dans l'image de sortie. This credibility score can be displayed to the user through a color code. Segments with credibility scores below a set threshold may also not be displayed in the output image.

Lissage du résultat On affiche le milieu du segment lors de l'étape de lissage. Les variations le long de l'axe Z entre une ligne et la ligne suivante sont seuillés, mais uniquement pour l'affichage et afin d'améliorer la qualité de celui-ci. Smoothing the result The middle of the segment is displayed during the smoothing step. The variations along the Z axis between one line and the next line are thresholded, but only for the display and to improve the quality thereof.

Ce seuil peut varier avec l'amplitude des variations le long de l'axe Z. Le seuil augmente si les variations précédentes étaient grandes. Sinon le seuil diminue. This threshold may vary with the magnitude of the variations along the Z axis. The threshold increases if the previous variations were large. Otherwise the threshold decreases.

Visualisation du résultat Le procédé décrit permet de déterminer la position 3D courante du point de la pointe de l'instrument chirurgical à partir d'une image 2D. Visualization of the Result The method described makes it possible to determine the current 3D position of the point of the tip of the surgical instrument from a 2D image.

Le résultat peut être affiché sous forme': - d'une vue 3D 100 avec rendu de volume, d'une image de tranche courbe 110 avec des ambiguïtés, d'une projection d'intensité maximum 120. The result can be displayed in the form of: - a 3D view 100 with volume rendering, a curved slice image 110 with ambiguities, a maximum intensity projection 120.

Le procédé et l'ensemble d'imagerie médicale décrits précédemment permettent de faciliter le placement par l'utilisateur de l'extrémité de travail de l'instrument chirurgical dans la zone à traiter lors de la procédure interventionnelle. Ils permettent également de déterminer la position 3D courante d'un point de l'instrument ou de tous les points de l'instrument. The method and the medical imaging assembly described above facilitate the placement by the user of the working end of the surgical instrument in the area to be treated during the interventional procedure. They also determine the current 3D position of a point on the instrument or all points on the instrument.

Par ailleurs, lorsque le scanner monoplan du système d'acquisition se déplace entre deux acquisitions d'une image 2D, les étapes du procédé d'imagerie médicale ne changent pas car le mouvement du scanner monoplan peut être assimilé à un mouvement du patient. Enfin, il n'y a aucune restriction sur la méthode utilisée pour obtenir le modèle 3D du système vasculaire du patient. Moreover, when the monoplane scanner of the acquisition system moves between two acquisitions of a 2D image, the steps of the medical imaging process do not change because the movement of the monoplane scanner can be likened to a movement of the patient. Finally, there is no restriction on the method used to obtain the 3D model of the patient's vascular system.

Le procédé peut également proposer d'autres fonctionnalités que celles décrites précédemment. Par exemple, le procédé peut proposer: une autre angulation lorsqu'il y a une ambiguïté, c'est-à-dire qu'il peut proposer l'acquisition de deux images 2D sous deux angles différents pour déterminer la position 3D courante de l'instrument lorsqu'il y a une ambiguïté. The method may also provide other functionalities than those described above. For example, the method may propose: another angulation when there is an ambiguity, that is to say that it can propose the acquisition of two 2D images from two different angles to determine the current 3D position of the image. instrument when there is an ambiguity.

une collimation autour du (ou des) point(s) suivis de l'instrument chirurgical afin de réduire la dose de rayons X émis vers le patient, une meilleur résistance aux erreurs (erreurs liées au patient, à la projection, ...etc.) en corrigeant dynamiquement l'erreur grâce à la prise en compte de la position précédente dans la détermination de la position courante. a collimation around the point (s) followed by the surgical instrument in order to reduce the dose of X-rays emitted towards the patient, a better resistance to errors (errors related to the patient, to the projection, etc.) .) by dynamically correcting the error by taking into account the previous position in the determination of the current position.

En outre, le procédé peut être utilisé avec un système d'acquisition comprenant un scanner biplan afin d'améliorer la qualité des résultats obtenus avec ce type de système d'acquisition. In addition, the method can be used with an acquisition system comprising a biplane scanner to improve the quality of the results obtained with this type of acquisition system.

Le lecteur aura compris que de nombreuses modifications peuvent être apportées sans sortir matériellement des nouveaux enseignements et des avantages décrits ici. Par conséquent, toutes les modifications de ce type sont destinées à être incorporées à l'intérieur de la portée de l'ensemble et du procédé d'imagerie tels qu'ils sont définis dans les revendications jointes. The reader will understand that many changes can be made without materially escaping the new lessons and benefits described here. Therefore, all such modifications are intended to be incorporated within the scope of the assembly and the imaging method as defined in the appended claims.

REFERENCESREFERENCES

1 ensemble d'imagerie médicale, 2 système d'acquisition d'image, 3 système de traitement d'image, 4 moyens mémoire, système d'affichage d'image, 6 patient, 7 moyens d'émission de rayons X, 8 moyens de prise de clichés radiographiques, 9 moyens de support, moyens de traitement, 11 contrôleur de moteur des moyens de support, 12 contrôleur de rayons X, 13 numériseur d'image, 14 reconstructeur d'image, faisceau, 21 axe, 22 vaisseau sanguin, 23 vaisseau sanguin, 24 ligne, voisinage de voxels, 26 voisinage de voxels, 27 première ligne, 28 segment, 29 segment, segment, 31 vaisseau sanguin, 32 vaisseau sanguin, 33 vaisseau sanguin, 34 deuxième ligne, 36 chemin, 37 chemin, petite image, point de départ, 52 point, 53 première valeur fixée, 54 point, deuxième valeur fixée, 56 point de niveau de gris minimum, 57 point, 58 nouvelle frontière, 59 nouvelle frontière, nouveau segment, 61 ligne courante, 62 segment existant, 63 nouvelle frontière du segment existant, 64 frontière du segment existant, ligne précédente, 66 point, vue 3D avec rendu de volume, image de tranche courbe 110 avec des ambiguïtés, projection d'intensité maximum. 1 medical imaging unit, 2 image acquisition system, 3 image processing system, 4 memory means, image display system, 6 patient, 7 x-ray emission means, 8 means X-ray image capture, 9 support means, processing means, 11 motor controller support means, 12 X-ray controller, 13 image scanner, 14 image reconstructor, beam, 21 axis, 22 blood vessel , 23 blood vessel, 24 line, neighborhood of voxels, 26 neighborhood of voxels, 27 first line, 28 segment, 29 segment, segment, 31 blood vessel, 32 blood vessel, 33 blood vessel, 34 second line, 36 path, 37 path , small image, starting point, 52 point, 53 first fixed value, 54 point, second fixed value, 56 minimum gray level point, 57 point, 58 new boundary, 59 new boundary, new segment, 61 current line, 62 existing segment, 63 new boundary of the existing segment, 64 border u existing segment, previous line, 66 point, 3D view with volume rendering, slice image curve 110 with ambiguities, maximum intensity projection.

410 tracer virtuellement un axe de visée joignant les moyens d'émission de rayons X à la position bidimensionnelle du point de la pointe sur les moyens de prise de cliché radiographique, 420 fonction première ligne 430 détermination d'un point de départ pour le segment 440 recherche des frontière du segment 450 recherche de nouveau segments 460 trie des segments de la ligne 470 contrôle des segments 480 évaluation de la crédibilité des segments 490 affichage du résultat 410 virtually drawing a line of sight joining the X-ray emission means to the two-dimensional position of the point of the tip on the X-ray recording means, 420 first line function 430 determining a starting point for segment 440 segment search 450 search of new segments 460 sorts of segments of line 470 control of segments 480 evaluation of segment credibility 490 result display

Claims

A medical imaging method for displaying in real time, in a three-dimensional model in which the vascular system of a patient is represented, the position of at least one point of a surgical instrument that is moved in a a vascular system of a patient, characterized in that the current three-dimensional position of the point of the surgical instrument is estimated in the vascular system of the patient (6) by determining on a two-dimensional image of the patient an area in the vicinity of the projection on this image of the point whose position one seeks to estimate, by selecting, as a function of the position of the vessels (22, 23) represented in the three-dimensional model and / or of a three-dimensional position previously determined for the point of the instrument surgical, a point in the three-dimensional model that, on the two-dimensional image, projects into said neighborhood.

2. Method according to claim 1, characterized in that the condition on the position of the vessels (22, 23) in the determination of the point of the set whose three-dimensional position corresponds to the current three-dimensional position of the point of the surgical instrument is that the current three-dimensional position of the point of the surgical instrument is located inside a blood vessel.

3. Method according to claim 1, characterized in that the condition on the previous position of the point of the surgical instrument in the determination of the point of the set whose three-dimensional position corresponds to the current three-dimensional position of the point of the instrument Surgical is that it is spatially close to the current three-dimensional position.

4. Method according to claim 1, characterized in that it further comprises the step of evaluating a probability so that the three-dimensional position of the determined point of the set of points corresponds to the current three-dimensional position of the point of the surgical instrument.

The method of claim 4, further comprising the step of displaying the current three-dimensional position of the point of the surgical instrument, the current three-dimensional position of the point of the surgical instrument being displayed in a color that depends on the assessed probability.

The method according to claim 1, characterized in that the step of determining the point of the set of points whose three-dimensional position corresponds to the current three-dimensional position of the point of the instrument comprises the step (410) of creating a row of points (24) comprising a succession of points, each point of the line of points (24) corresponding to one of the points of the set of points (67).

Method according to claim 6, characterized in that the gray level of the points of the non-blood vessel line (24) (22, 23) is set to zero, so that the line of dots (24) comprises grayscale dot segments (28, 29, 30) greater than zero, each segment (28, 29, 30) corresponding to a blood vessel portion (22, 23) of the patient's vasculature .

The method according to any one of claims 6 or 7, characterized in that the determining step comprises the step (430) of searching for a starting point (50) for a segment (28, 29, 30). of the score line (24).

The method of any one of claims 6 to 8, characterized in that the determining step comprises the step (440) of searching for boundaries (58, 59) for a segment of the dot line.

The method according to any one of claims 6 to 9, characterized in that the determining step comprises a step (450) of adding a new segment (60) in the line if an existing segment (62) of the line (61) checks certain criteria.

The method according to any of claims 6 to 10, characterized in that the determining step comprises the step (460) of sorting the segments (28, 29, 30) of the dot line (24). according to their position in the line of points (24) and the position of the segments of a previous line of points processed.

12. Method according to any one of claims 6 to 11, characterized in that the determining step comprises the step (470) of removing segments of the line according to certain criteria.

13. Method according to any one of claims 6 to 12, characterized in that the determining step comprises the step (470) of fusing neighboring segments according to certain criteria.

A method according to any of claims 6 to 13, characterized in that the determining step comprises the step (480) of evaluating the segments of the line, the evaluation of assigning a color to each segment depending on its probability of containing the point of the tip of the instrument.

15. A medical imaging assembly (1) for displaying in real time the position of at least one point of a surgical instrument located in a vascular system of a patient (6), characterized in that it comprises means (10) capable of defining in a three-dimensional model of the patient's vascular system, a set of points corresponding to the points of the patient's vascular system (6) projecting into a neighborhood of a two-dimensional position of the point of the surgical instrument on a two-dimensional image; means capable of determining the point of the set of points whose three-dimensional position corresponds to the current three-dimensional position of the point of the surgical instrument in the vascular system of the patient (6) taking into account the position of the vessels represented in the three-dimensional model and / or a previous three-dimensional position of the point of the surgical instrument.

16. medical imaging assembly according to claim 10, characterized in that it further comprises means adapted to implement the medical imaging method according to one of claims 2 to 12.