PROCEDE DE RECONSTRUCTION D'ARBORESCENCE A TROIS DIMENSIONS PAR ETIQUETAGE METHOD FOR RECONSTRUCTING THREE-DIMENSIONAL TREE BY LABELING
La présente invention a pour objet un procédé de reconstruction d'arborescence à trois dimensions (3D) par étiquetage. Elle est principalement destinée à être utilisée dans le domaine médical, où les arborescences étudiées sont des arborescences angiographiques. La reconstruction à trois dimensions permet, par des traitements d'information ultérieurs sur l'objet reconstruit, de présenter cet objet selon des modes quelconques : coupes droites, coupes obliques, ou même visualisation 3D. La visualisation 3D d'objets 3D est par ailleurs connue. L'invention est essentiellement concernée par l'acquisition des informations géométriques représentatives d'une arborescence 3D, ces informations étant ultérieurement utilisées dans des procédés de visualisation pour visualiser cette arborescence. La particularité de la méthode de l'invention est qu'elle permet la reconstruction d'arborescences à partir de deux images numériques bidimensionnelles en projection de l'objet à reconstruire.The present invention relates to a three-dimensional (3D) tree reconstruction method by labeling. It is mainly intended for use in the medical field, where the trees studied are angiographic trees. The three-dimensional reconstruction makes it possible, by subsequent information processing on the reconstructed object, to present this object according to any modes: straight cuts, oblique cuts, or even 3D visualization. The 3D visualization of 3D objects is also known. The invention is essentially concerned with the acquisition of geometric information representative of a 3D tree structure, this information being subsequently used in visualization methods for visualizing this tree structure. The particularity of the method of the invention is that it allows the reconstruction of trees from two two-dimensional digital images in projection of the object to be reconstructed.
Le domaine d'application de l'invention est en particulier l'étude du réseau vasculaire (artériel et veineux) de toute région du corps humain présentant une structure d'arbre (coeur, cerveau, artère fémorale, carotide,...). Le mode d'acquisition des images en projection est indépendant de la méthode. Bien que l'invention soit décrite dans une application de radiologie, celle-ci est transposàble au cas où les images par projection sont obtenues par RMN, par insonification ultra-sonore .... La radiologie numérique
ou analogique par rayons X (technique angiographique) permet actuellement l'obtention d'images bien adaptées à la mise en oeuvre de l'invention. La méthode de 1'invention est également applicable à toute structure filaire 3D autre que médicale.The field of application of the invention is in particular the study of the vascular network (arterial and venous) of any region of the human body having a tree structure (heart, brain, femoral artery, carotid, ...). The mode of acquisition of projected images is independent of the method. Although the invention is described in a radiology application, it can be transposed if the projection images are obtained by NMR, by ultrasonic insonification .... Digital radiology or analog X-ray (angiographic technique) currently allows obtaining images well suited to the implementation of the invention. The method of the invention is also applicable to any 3D wire structure other than medical.
Les techniques actuelles de reconstruction angiographique sont pour une part des techniques dérivées de l'expérimentation tomodensitométrique dite scanner. Cependant, les acquisitions correspondantes sont compliquées, d'une part, par le souci d'éliminer des images acquises les contributions de tout ce qui ne représente pas le réseau angiographique, d'autre part par le fait que l'écoulement du sang dans les vaisseaux est un phénomène variable avec le temps (il nécessite donc une synchronisation) , et enfin que 1*acquisition doit être une acquisition à trois dimensions. Pour l'élimination des contributions aux images apportées par les: parties étrangères au réseau angiographique, on utilise d'une manière connue des injections de produits augmentant le contraste dans les capillaires. On retiendra cependant que ces injections ne peuvent pas être répétées aussi souvent qu'on le désire sans traumatisme pour le patient. Le phénomène de synchronisation peut avoir pour résultat d'augmenter la durée des acquisitions tout en étant par ailleurs- une technique contraire aux précautions visant à ne pas injecter trop souvent du produit de contraste dans les vaisseaux d'un patient. Enfin, la reconstruction à trois dimensions nécessite, avec des méthodes scanner, la répétition de ces expérimentations. Une des solutions à ce problème consisterait à utiliser des ultidétecteurs multirangées dans les scanners. Cependant, cette technique est essentiellement liée à l'usage systématique de projections dites coniques car la source
de rayons X reste ponctuelle. Les algorithmes de reconstruction d'images de coupe à partir de projections coniques ne permettent pas ensuite d'atteindre la précision souhaitée pour permettre les reconstructions. Pour résoudre cet inconvénient, il a été conçu un scanner susceptible d'acquérir en même temps les images de quatre coupes. La complexité de cette machine est évidemment multipliée par le nombre de coupes simultanées que;l'on veut acquérir. Malgré tout l'acquisition scanner présente un inconvénient : elle se déroule dans le temps et, en particulier quand on cherche à représenter des organes mobiles comme le coeur, elle ne peut en définitive que donner des images floues de ce qu'on cherche à représenter. Pour éviter les problèmes de synchronisation (et d'injections multiples de produits de constraste qui en résulteraient) , il a été conçu un appareil muni de quatorze générateurs à rayons X associés chacun à une caméra. Chacun des 14 couples est alors susceptible de donner une image en projection de la structure à reconstruire. Ce système enveloppe un volume du corps à partir duquel un volume numérique est produit. Un volume numérique est une collection d'informations, relatives à une propriété mesurée, et arrangées virtuellement en un volume à des adresses 3D correspondant aux lieux de l'objet d'où provient l'information. Des résultats intéressants ont ainsi été obtenus pour la reconstruction des coronaires. Ce système permet en outre de visualiser l'ensemble des structures présentant une atténuation aux rayons X. Mais les inconvénients de ce système sont de deux ordres. Premièrement ils sont d'ordre technique : le coût du matériel est incompatible avec une diffusion industrielle. D'autre part la définition des images
n'est pas suffisante pour la détection de structures fines. Si on souhaite une résolution adaptée à ces structures fines, le nombre de données à acquérir et à traiter dans un temps compatible avec 1•exploitation médicale impose une augmentation sensible de la puissance des machines. En outre, le problème est d'ordre théorique : le faisceau de rayons X utilisé est un faisceau divergent. L'approximation "coupe parallèle" utilisée pour la reconstruction est donc grossière, la prise en compte de la géométrie conique dans les algorithmes de reconstruction interdit de décomposer le problème en une superposition de reconstructions à deux dimensions.The current angiographic reconstruction techniques are partly techniques derived from the computed tomography experiment called scanner. However, the corresponding acquisitions are complicated, on the one hand, by the desire to eliminate from the acquired images the contributions of all that does not represent the angiographic network, on the other hand by the fact that the flow of blood in the vessels is a variable phenomenon over time (it therefore requires synchronization), and finally that the acquisition must be a three-dimensional acquisition. For the elimination of the contributions to the images made by : parts foreign to the angiographic network, injections of products increasing the contrast in the capillaries are used in a known manner. It should be noted, however, that these injections cannot be repeated as often as desired without trauma to the patient. The synchronization phenomenon can have the result of increasing the duration of the acquisitions while at the same time being a technique contrary to precautions aiming not to inject contrast product too often into the vessels of a patient. Finally, three-dimensional reconstruction requires, with scanner methods, the repetition of these experiments. One solution to this problem would be to use multirange ultra-detectors in scanners. However, this technique is essentially linked to the systematic use of so-called conical projections because the source X-ray remains punctual. The algorithms for reconstructing section images from conical projections do not then allow the desired precision to be achieved to allow the reconstructions. To overcome this drawback, a scanner has been designed capable of acquiring the images of four sections at the same time. The complexity of this machine is obviously multiplied by the number of simultaneous cuts that ; we want to acquire. Despite everything, the acquisition of a scanner has a drawback: it takes place over time and, in particular when one seeks to represent mobile organs such as the heart, it can ultimately only give blurred images of what one seeks to represent. . To avoid problems of synchronization (and of multiple injections of contrast products which would result therefrom), a device has been designed provided with fourteen x-ray generators each associated with a camera. Each of the 14 couples is then likely to give a projected image of the structure to be reconstructed. This system envelops a volume of the body from which a digital volume is produced. A digital volume is a collection of information, relating to a measured property, and virtually arranged in a volume at 3D addresses corresponding to the locations of the object from which the information originates. Interesting results have thus been obtained for the reconstruction of the coronaries. This system also makes it possible to view all of the structures exhibiting attenuation by X-rays. However, the drawbacks of this system are twofold. Firstly, they are technical: the cost of the material is incompatible with industrial distribution. On the other hand the definition of the images is not sufficient for the detection of fine structures. If a resolution adapted to these fine structures is desired, the number of data to be acquired and processed in a time compatible with medical exploitation requires a substantial increase in the power of the machines. In addition, the problem is theoretical: the X-ray beam used is a divergent beam. The "parallel section" approximation used for the reconstruction is therefore rough, the taking into account of the conical geometry in the reconstruction algorithms prohibits decomposing the problem into a superposition of two-dimensional reconstructions.
Un autre technique a été utilisée. Cette technique consiste en une approche algorithmique par recherche de points homologues. Cette méthode consiste à déterminer, sur des images en projection, des points homologues. Des points homologues sont des points des images de chaque projection qui sont associés et qui correspondent à un même point de l'espace 3D de l'arborescence à reconstruire. La méthode algorithmique permet de calculer les coordonnées 3 D du point de l'objet connaissant les images acquises et la géométrie du système d'acquisition. La méthodologie utilisée dans ce cas est la suivante. On cherche, avec un premier algorithme, sur une première image en projection, un point caractéristique. Ce point caractéristique est situé sur le trajet d'un rayon X particulier . Le trajet de ce rayon X est dit "droite 3D". La méthode consiste à projeter cette droite 3D sur la deuxième image en projection en utilisant la deuxième orientation de projection. Le point homologue du point caractéristique choisi doit être recherché dans la deuxième image en projection : il doit se trouver sur cette droite 3D
projetée dite épipolaire.Another technique was used. This technique consists of an algorithmic approach by searching for homologous points. This method consists in determining, on projection images, homologous points. Homologous points are points of the images of each projection which are associated and which correspond to the same point in the 3D space of the tree structure to be reconstructed. The algorithmic method makes it possible to calculate the 3D coordinates of the point of the object knowing the acquired images and the geometry of the acquisition system. The methodology used in this case is as follows. We seek, with a first algorithm, on a first image in projection, a characteristic point. This characteristic point is located on the path of a particular X-ray. The path of this X-ray is called "straight 3D". The method consists in projecting this 3D line on the second image in projection using the second projection orientation. The homologous point of the chosen characteristic point must be sought in the second projected image: it must be on this 3D line projected so-called epipolar.
Les points caractéristiques les plus fiables pour les arbres vasculaires sont les points de bifurcation. En effet les images en projection présentent des dessins essentiellement de deux types. Dans un premier type, des dessins en Y représentent une bifurcation :un vaisseau principal se partage en deux vaisseaux secondaires. Dans un deuxième type les dessins représentent des croisements X : dans la plupart des cas ces croisements ne correspondent à aucune structure particulière dans le corps. En effet, ils ne sont que le résultat de la projection, sur un plan, de deux segments indépendants et dont les images seules s'entrecroisent.The most reliable characteristic points for vascular trees are the bifurcation points. Indeed the images in projection present drawings essentially of two types. In a first type, Y-shaped drawings represent a bifurcation: a main vessel is divided into two secondary vessels. In a second type, the drawings represent X crossings: in most cases these crossings do not correspond to any particular structure in the body. In fact, they are only the result of the projection, on a plane, of two independent segments, the only images of which intersect.
La localisation automatique des points caractéristiques nécessite une segmentation efficace des angiographies. La précision nécessaire dans la détermination d'un point homologue en condition stéréoscopique pour que l'estimation des coordonnées X, Y, Z des points correspondants dans l'objet soit acceptable, est inférieure au pixel. Cette contrainte peut être assouplie si on peut augmenter l'angle entre les prises de vues, entre les directions de projection. Ceci peut être obtenu en utilisant des vues dont les orientations de projection sont écartées d'un angle proche de 90e .The automatic localization of the characteristic points requires an effective segmentation of the angiographies. The precision required in determining a homologous point in stereoscopic condition so that the estimation of the X, Y, Z coordinates of the corresponding points in the object is acceptable, is less than the pixel. This constraint can be relaxed if the angle between the shots can be increased, between the directions of projection. This can be obtained by using views whose projection orientations are deviated by an angle close to 90 e .
Selon une version particulière de la méthode on acquiert trois images en projection selon des orientations comprise dans un angle de 90°. De cette manière, on résout la difficulté principale des méthodes classiques qui est de concilier deux contraintesAccording to a particular version of the method, three projection images are acquired according to orientations included at an angle of 90 °. In this way, we solve the main difficulty of classical methods which is to reconcile two constraints
- opposées pour obtenir une précision suffisante de la précision 3D d'un élément de l'objet. Avec des écarts d'orientation de l'ordre de 90° entre les projections, on améliore la précision du calcul des coordonnées du
point d'intersection des droites correspondant au point homologue. Par contre, en choisissant des vues présentant des angles de projection faibles entre elles, le problème des correspondances entre images peut être résolu. En définitive l'abandon des techniques scanner peut conduire, pour la reconstruction d'arborescence, à une simplification des équipements. Cependant, dans la dernière méthode évoquée, présentée par ailleurs dans une demande de brevet français n° 87 16156 déposée le 23 novembre 1987, il était encore nécessaire de disposer de trois équipements tube à rayons X-caméra. Avec ces trois équipements on acquiert les trois images dont les orientations de projection forment un angle entre elles respectivement de 90° et de quelques dizaines de degrés. L'invention a pour objet de remédier aux inconvénients cités en proposant un procédé de reconstruction d'arborescence à trois dimensions dans lequel on peut n'utiliser que deux équipements et où on supplée à l'absence du troisième par une connaissance à priori de l'arborescence à reconstruire. Les deux équipements tube à rayons X-caméra , dans une application radiologique, sont de préférence orientés sensiblement à 90° l'un de l'autre de manière à améliorer la précision du calcul du point d'intersection des droites correspondant aux points homologues. En outre dans l'invention le modèle, à l'opposé de modèles déjà connus pour des structures arborescentes types, n'est pas un modèle uniquement topographique mais il est un modèle essentiellement structurel. Par modèle topographique, on désigne un modèle dans lequel chaque partie de l'objet est essentiellement déterminée par ses coordonnées ainsi que par ses dimensions. Par modèle structurel, on désigne essentiellement un ensemble d'informations dans lequel chaque segment de 1'arborescence est associé à
une étiquette représentative du numéro d'une bifurcation dont il est issu, ou d'un segment amont auquel il se raccorde, ainsi qu'une orientation par rapport à une référence. En quelque sorte le modèle structurel est qualitatif quand le modèle topographique est quantitatif.- opposites to obtain sufficient precision of the 3D precision of an element of the object. With orientation differences of the order of 90 ° between the projections, the accuracy of the calculation of the coordinates of the point of intersection of the lines corresponding to the homologous point. On the other hand, by choosing views with small projection angles between them, the problem of correspondences between images can be resolved. Ultimately the abandonment of scanner techniques can lead, for the reconstruction of the tree structure, to a simplification of the equipment. However, in the last mentioned method, presented elsewhere in a French patent application No. 87 16156 filed on November 23, 1987, it was still necessary to have three X-ray tube-camera equipment. With these three devices, the three images are acquired, the projection orientations of which form an angle between them of 90 ° and a few tens of degrees respectively. The object of the invention is to remedy the drawbacks cited by proposing a three-dimensional tree reconstruction method in which only two pieces of equipment can be used and where the absence of the third is compensated for by a priori knowledge of the tree to rebuild. The two X-ray tube-camera equipment, in a radiological application, are preferably oriented substantially at 90 ° from one another so as to improve the accuracy of the calculation of the point of intersection of the lines corresponding to the homologous points. Furthermore, in the invention, the model, in contrast to models already known for typical tree structures, is not a purely topographic model but it is an essentially structural model. By topographic model, we mean a model in which each part of the object is essentially determined by its coordinates as well as by its dimensions. By structural model, we essentially designate a set of information in which each segment of the tree structure is associated with a label representing the number of a bifurcation from which it originates, or of an upstream segment to which it is connected, as well as an orientation relative to a reference. In a way, the structural model is qualitative when the topographic model is quantitative.
On s'est alors rendu compte qu'un tel modèle structurel permettait, d'une part, de lever facilement les ambiguïtés de reconstruction qui peuvent résulter de l'utilisation de seulement deux projections, et d'autre part, convenir parfaitement à la disparité d'apparence des différents objets ou (individus) étudiés. En effet, de ce point de vue un modèle topographique nécessite des ajustements très complexes pour passer d'un individu petit à un individu grand, même si par ailleurs la structure arborescente garde la même allure.We then realized that such a structural model made it possible, on the one hand, to easily remove the ambiguities of reconstruction which can result from the use of only two projections, and on the other hand, to be perfectly suited to the disparity appearance of the different objects or (individuals) studied. From this point of view, a topographic model requires very complex adjustments to go from a small individual to a large individual, even if the tree structure keeps the same appearance.
L'invention a donc pour objet un procédé de reconstruction d'arborescence à trois dimensions caractérisé en ce que : - on acquiert au moins une première image et une deuxième image, à deux dimensions, d'une arborescence à reconstruire, ces images étant obtenues par projection de cette arborescence selon deux orientations différentes, ces images étant constituées de segments contigus,The invention therefore relates to a three-dimensional tree reconstruction method characterized in that: - at least a first image and a second two-dimensional image of a tree to be reconstructed are acquired, these images being obtained by projection of this tree structure in two different orientations, these images being made up of contiguous segments,
- on élabore un modèle structurel à priori de l'arborescence à représenter, on reconstruit un premier segment de 1'arborescence, - on attribue à ce premier segment une étiquette caractéristique d'un segment correspondant dans le modèle,- a structural model is developed a priori of the tree structure to be represented, a first segment of the tree structure is reconstructed, - this first segment is assigned a label characteristic of a corresponding segment in the model,
- on vérifie la justesse de cette attribution, et on réitère 1'opération pour un segment
suivant, et ainsi de suite.- we verify the correctness of this allocation, and we repeat the operation for a segment next, and so on.
L'invention sera mieux comprise à la lecture de la description qui suit et à 1'examen des figures qui l'accompagnent. Celles ci ne sont données qu'à titre indicatif et nullement limitatif de l'invention. De même que le procédé, décrit dans une application radiologique, est transposable à des applications où les acquisitions sont de type différent, de même bien que deux images soient nécessaires et suffisantes, il est possible de mettre en oeuvre le procédé de 1'invention avec plus de deux images. Les figures montrent :The invention will be better understood on reading the description which follows and on examining the figures which accompany it. These are given for information only and in no way limit the invention. Just as the method described in a radiological application can be transposed to applications in which the acquisitions are of different types, just as two images are necessary and sufficient, it is possible to implement the method of the invention with more than two images. The figures show:
- figure 1 : le mode d'association des points homologues ;- Figure 1: the mode of association of homologous points;
- figure 2 : les difficultés rencontrées en recréant une structure 3D avec seulement deux images ;- Figure 2: the difficulties encountered in recreating a 3D structure with only two images;
- figure 3 : une machine de radiologie utilisable pour la mise en oeuvre du procédé de 1'invention ;- Figure 3: a radiology machine usable for implementing the method of the invention;
- figures 4a et 4b : des diagrammes représentatifs des signaux traités dans le procédé de l'invention ; - figure 5 : la représentation du type d'ambiguïté rencontrée en mettant en oeuvre le procédé de 1'invention et dont la levée est autorisée par la confrontation au modèle ;- Figures 4a and 4b: diagrams representative of the signals processed in the method of the invention; - Figure 5: the representation of the type of ambiguity encountered when implementing the method of the invention and the lifting of which is authorized by comparison with the model;
-• figure 6 : une représentation schématique connue du système de vascularisation du ventricule gauche du coeur, et- • 6: a schematic representation of the known vasculature of the left ventricle of the heart, and
- figure 7 : le modèle qui en est tiré selon 1'enseignement de 1'invention ;FIG. 7: the model which is drawn therefrom according to the teaching of the invention;
- figures 8a et 8b : le mode général de reconstruction des points homologues ;- Figures 8a and 8b: the general mode of reconstruction of the homologous points;
- .figure 9 : le mode complémentaire en cas d'échec de l'utilisation du mode général.-. Figure 9: the complementary mode in case of failure to use the general mode.
La figure 1 représente le mode général d'association de deux points homologues. Un objet à
reconstruire 1 a été soumis, dans une application radiologique, à deux illuminations de rayons X. Dans une première illumination la source a été placée en un point 2 et la première image en projection a été formée sur un plan 3 perpendiculaire au rayon central émis par la source et placé de l'autre côté de l'objet 1. De même dans la deuxième illumination la source a été placée en 4 et la deuxième image a été projetée sur un plan 5. La structure 1 est représentée en double traits. Elle présente d'une manière simplifiée un pied 6 dont l'image s'est projetée respectivement en 7 et 8 sur les plans 3 et 5. A l'endroit des plans 3 et 5 on a en fait placé un écran intensificateur de luminance couplé à une caméra. Les deux images ont été prises simultanément alors qu'un produit de contraste radiologique passait dans la structure 1. D'une manière connue, pour éliminer les structures qui enrobent la structure 1, on peut même procéder à une soustraction d'images. Ceci signifie que selon chaque orientation on prend en fait deux images, respectivement avec et sans produit de contraste passant dans la structure 1. En soustrayant ces deux images consécutives l'une de l'autre on peut voir apparaître, pour chaque plan 3 et 5, une image résultant de la projection de l'arborescence 1 seule. Dans la suite de cet exposé on considère qu'on dispose de l'image de cette arborescence seule.FIG. 1 represents the general mode of association of two homologous points. An object to reconstruct 1 was subjected, in a radiological application, to two X-ray illuminations. In a first illumination the source was placed at a point 2 and the first projected image was formed on a plane 3 perpendicular to the central ray emitted by the source and placed on the other side of the object 1. Similarly in the second illumination the source was placed at 4 and the second image was projected on a plane 5. The structure 1 is shown in double lines. It presents in a simplified manner a foot 6 whose image is projected respectively at 7 and 8 on the planes 3 and 5. At the place of the plans 3 and 5 we have in fact placed a coupled luminance intensifier screen to a camera. The two images were taken simultaneously while a radiological contrast product was passing through the structure 1. In a known manner, to remove the structures which surround the structure 1, it is even possible to carry out an extraction of images. This means that according to each orientation we actually take two images, respectively with and without contrast product passing through the structure 1. By subtracting these two consecutive images from each other we can see appear, for each plane 3 and 5 , an image resulting from the projection of the tree 1 alone. In the rest of this presentation, we consider that we have the image of this tree alone.
Les caméras associées aux écrans intensificateurs de luminance effectuent un balayage horizontal, orienté selon 3 et X5 dans chacune des deux images. On peut admettre que, dans le cas particulier du pied 6 de l'arborescence, on déterminera facilement que l'homologue du point 7 dont la coordonnée Y3 est nulle sera un point tel que sa coordonnée Y5 est nulle. Cependant ce cas particulier est en fait le moins
fréquent, et on aura souvent à rechercher l'homologue d'un point particulier 9 qui sera l'image d'un point 10 de la structure arborescente 1. Pour rechercher l'homologue de ce point, on utilise le fait que le rayon X qui a abouti au point 9 sur 1'écran 3 était porté par une droite dite 3D passant par ce point 9 et par l'origine 2 de l'émission X. On trace alors la projection dans le plan 5, à partir de la source "4, de la droite 3D trouvée. cette projection 11 est dite droite épipolaire du point 9. On remarque que cette droite épipolaire est en biais par rapport aux axes X5 et Y5 du plan 5. La droite épipolaire comporte normalement le point 12 homologue du point 9. Ces deux points 12 et 9 sont représentatifs, à eux deux, du point 10 de la structure arborescente 1. On sait par des traitements informatiques calculer 1'équation de la droite 3D, et en déduire l'équation, dans le plan 5, de la droite épipolaire 11. Il est possible alors de rechercher, parmi tous les points représentatifs de 1'image en projection de 1'arborescence sur le plan 5, celui de ces points dont les coordonnées satisfont exactement (ou le mieux possible) à l'équation de la droite 11. En principe, si le point 9 dans le plan 3 est situé sur un segment, et s'il n'est pas au croisement de deux segments, il n'y a qu'un seul point candidat dans le plan 5 pour lequel l'équation est vérifiée. De même si le point 9 se trouve être l'image d'une bifurcation comme par exemple la bifurcation 13 de l'arborescence 1.The cameras associated with the luminance intensifying screens carry out a horizontal scan, oriented along 3 and X5 in each of the two images. We can admit that, in the particular case of foot 6 of the tree structure, it will easily be determined that the counterpart of point 7 whose Y coordinate 3 is zero will be a point such that its Y5 coordinate is zero. However this particular case is actually the least frequent, and we will often have to search for the counterpart of a particular point 9 which will be the image of a point 10 of the tree structure 1. To search for the counterpart of this point, we use the fact that the X-ray which ended at point 9 on screen 3 was carried by a line called 3D passing through this point 9 and by the origin 2 of the emission X. We then trace the projection in plane 5, from the source "4, from the 3D line found. This projection 11 is called the epipolar line of point 9. It is noted that this epipolar line is at an angle with respect to the axes X5 and Y5 of the plane 5. The epipolar line normally includes the point 12 homologous point 9. These two points 12 and 9 are representative, both of them, of point 10 of the tree structure 1. We know by computer processing to calculate the equation of the line 3D, and to deduce the equation, in the plane 5, from the epipolar line 11. It is then possible to search, among all the points representative of the image in projection of the tree structure on the plane 5, that of these points whose coordinates satisfy exactly (or as best as possible) the equation of the line 11. In principle, if the point 9 in the plane 3 is located on a segment, and if it is not at the intersection of two segments, there is only one candidate point in the plane 5 for which the equation is verified. Similarly if point 9 happens to be the image of a bifurcation such as for example the bifurcation 13 of the tree 1.
Par contre, si le point 9 est placé dans le plan 3 à un croisement de deux segments, on trouvera normalement deux points candidats dans le plan 5 qui satisferont à l'équation de la droite épipolaire 11. Il y a donc ambiguïté. La figure 2 montre par ailleurs un autre type d'ambiguïté résultant du fait de l'angle
important (proche si possible de 90°) qui sépare les deux vues. En effet, supposons par exemple que dans le plan Y3 = Y5 = O on reconnaisse trois points 14, 15, et 16. Les images de ces points dans les plans 3 et 5 sont respectivement 17 à 19 et 20 à 22. On remarque que l'image 22 du point 16 est venue se placer en position intermédiaire entre les images des points 14 et 15 dans le plan 5, alors qu'elle était située sur leur droite ( en 19) dans l'image sur le plan 3. Cet autre type d'ambiguïté résulte du grand angle présenté par les projections 3 et 5 l'une par rapport à l'autre. Dans la demande de brevet citée on résolvait cette ambiguïté en utilisant une autre projection, par exemple sur un plan 23 faisant un angle relativement faible avec l'une des deux projections. On remarque que les projections des points 14 à 16 sur le plan 23 sont arrangées dans le même ordre que celui qu'elles avaient sur le plan 3. En définitive, un faible angle de désorientation des projections permet de garder la notion de d'arrangement entre les points. Cependant, on remarque qu'une légère erreur 24 d'appréciation des coordonnées de l'image d'un point sur une projection retentit en une erreur 25 importante sur la position du point à reconstruire. On montrera dans la suite de cette description comment l'utilisation d'un modèle structurel permet de résoudre ces ambiguïtés.On the other hand, if the point 9 is placed in the plane 3 at a crossing of two segments, one will normally find two candidate points in the plane 5 which will satisfy the equation of the epipolar line 11. There is therefore ambiguity. Figure 2 also shows another type of ambiguity resulting from the angle important (close if possible to 90 °) which separates the two views. Indeed, suppose for example that in the plane Y3 = Y5 = O we recognize three points 14, 15, and 16. The images of these points in the planes 3 and 5 are respectively 17 to 19 and 20 to 22. We note that the image 22 of point 16 is placed in an intermediate position between the images of points 14 and 15 in the plane 5, while it was located on their right (in 19) in the image on the plane 3. This another type of ambiguity results from the wide angle presented by the projections 3 and 5 relative to each other. In the cited patent application, this ambiguity was resolved by using another projection, for example on a plane 23 making a relatively small angle with one of the two projections. Note that the projections of points 14 to 16 on plane 23 are arranged in the same order as they had on plane 3. Ultimately, a small angle of disorientation of the projections makes it possible to keep the concept of arrangement between the points. However, we note that a slight error 24 in assessing the coordinates of the image of a point on a projection sounds like a large error 25 in the position of the point to be reconstructed. We will show in the rest of this description how the use of a structural model makes it possible to resolve these ambiguities.
La figure 3 représente une machine de radiologie utilisable pour mettre en oeuvre le procédé de l'invention. Un patient 26 est soumis à un rayonnement X émis par un générateur 27 à direction d'un amplificateur de luminance 28 placé de l'autre côté de ce patient par rapport au générateur 27. Un dispositif 29 d'injection de produit de constraste est représenté schématiquement pour montrer que 1'appareil est destiné à acquérir des
images d'angiographie. On peut procéder de deux manières différentes. Ou bien, comme représenté, on soumet le patient à deux irradiations successives, synchronisées, en ayant entre temps déplacé en correspondance le tube à rayons X 27 et l'écran 28 sur un arceau 30 au moyen d'un moteur 31 de façon à acquérir des images dont l'orientation de projection soit notablement différente. De préférence en choisit des différences d'orientation de l'ordre de 90°. Cependant si on ne veut pas synchroniser, et si on ne veut pas avoir à réinjecter deux fois du produit de constraste dans le patient, on peut choisir d'installer sur l'arceau 30 deux couples d'équipements 27-28 faisant entre eux un angle important, de préférence un angle droit. Un ordinateur 32 permet de gérer l'acquisition des images, la synchronisation, l'injection du produit de contraste, ainsi qu'un traitement de segmentation visant à squelettiser, dans chaque image acquise, l'arborescence.FIG. 3 represents a radiology machine usable for implementing the method of the invention. A patient 26 is subjected to X-ray radiation emitted by a generator 27 in the direction of a luminance amplifier 28 placed on the other side of this patient relative to the generator 27. A device 29 for injecting a contrast product is shown schematically to show that the device is intended to acquire angiography images. There are two ways to do this. Or, as shown, the patient is subjected to two successive, synchronized irradiations, having meanwhile moved in correspondence the X-ray tube 27 and the screen 28 on a hoop 30 by means of a motor 31 so as to acquire images whose projection orientation is significantly different. Preferably chooses orientation differences of the order of 90 °. However, if one does not want to synchronize, and if one does not want to have to inject the contrast product twice into the patient, one can choose to install on the arch 30 two pairs of equipment 27-28 making between them a large angle, preferably a right angle. A computer 32 makes it possible to manage the acquisition of the images, the synchronization, the injection of the contrast product, as well as a segmentation processing aimed at skeletonizing, in each acquired image, the tree structure.
On remarque sur l'écran intensificateur de luminance 28 l'orientation X du balayage de la caméra associé. Les figures 4a et 4b montrent dans le signal vidéo-ligne de cette caméra, l'allure du signal de niveau de gris NG correspondant. L'opération de soustraction vise à éliminer la composante continue 33 représentative du fond, pour ne laisser subsister que des signaux tels que 34 représentatifs des vaisseaux seuls. L'image projetée est alors, dans la mémoire de l'ordinateur 32, une collection d'adresses X3 et Y3 auxquelles sont associés des niveaux de gris (Y3 repère la ligne balayée) correspondant aux crêtes 34 des signaux détectés.Note on the luminance intensifier screen 28 the X orientation of the scanning of the associated camera. Figures 4a and 4b show in the video-line signal of this camera, the shape of the corresponding gray level signal NG. The subtraction operation aims to eliminate the continuous component 33 representative of the bottom, so as to leave only signals such as 34 representative of the vessels alone. The projected image is then, in the memory of the computer 32, a collection of addresses X3 and Y 3 with which gray levels are associated (Y3 marks the scanned line) corresponding to the peaks 34 of the detected signals.
Dans une phase de squelettisation, plutôt que de s'intéresser, dans chaque image, à des points détectés, on s'intéresse à des segments droits auxquels
appartiennent ces différents points. On peut repérer chaque segment, d'une manière connue, en appliquant des techniques de morphologie mathématique, ou de suivi de crêtes. On peut également déterminer le contour des segments. Dans la phase de squelettisation on donne à chaque segment un attribut. Cet attribut multidimensionnel indique le numéro du segment les coordonnées de ses points extrêmes, le niveau de gris moyen du segment, la direction de ce segment, et les nombres, numéros, directions, et niveaux de gris des segments prédécesseurs et successeurs de ce segment. Cette opération de squelettisation est connue, elle a été décrite dans des ouvrages déjà publiés. En particulier elle est décrite dans la thèse de Mme CHRISTINE TOUMOULIN, soutenue le 24 Novembre 1987, UNIVERSITE DE RENNES.In a skeletonization phase, rather than being interested in detected points in each image, we are interested in straight segments to which belong these different points. We can identify each segment, in a known manner, by applying mathematical morphology techniques, or peak tracking. You can also determine the outline of the segments. In the skeletonization phase, each segment is given an attribute. This multidimensional attribute indicates the segment number, the coordinates of its extreme points, the average gray level of the segment, the direction of this segment, and the numbers, numbers, directions, and gray levels of the predecessor and successor segments of this segment. This skeletonization operation is known, it has been described in previously published works. In particular it is described in the thesis of Mrs. CHRISTINE TOUMOULIN, defended on November 24, 1987, UNIVERSITE DE RENNES.
Dans la demande de brevet précitée, avec une technique de morphologie mathématique, on s'intéressait essentiellement à suivre les coordonnées des crêtes 35 des signaux détectés. Puis on évaluait la largeur des segments en question. Cette largeur pouvait de préférence être déterminée en dérivant le signal vidéo détecté. De cette manière ont fait apparaître par des crêtes, telles que les crêtes 36 et 37 représentées sur la figure 4b, les bords des vaisseaux étudiés.In the aforementioned patent application, with a mathematical morphology technique, the main interest was to follow the coordinates of the peaks 35 of the detected signals. Then we evaluated the width of the segments in question. This width could preferably be determined by deriving the detected video signal. In this way, the edges of the vessels studied appear through ridges, such as ridges 36 and 37 shown in FIG. 4b.
La figure 5 montre, en terme de segments, les ambiguïtés résultant de l'utilisation de projections faisant entre elles un angle important et ne permettant pas la détermination certaine de deux points homologues dans ces deux plans de projection. On a montré, à une bifurcation 38, la naissance de deux segments 39 et 40 de l'objet à reconstruire. Les segments 39 et 40 se projettent respectivement en 41 et 42 et 43 et 44 sur les plans 3 et 5 précédents. Si on trace les deux
dièdres passant par les sources 2 et 4 de projection et par les segments 39 et 40, on se rend compte que ces dièdres se coupent à 1'endroit de 1'objet à reconstruire selon deux autres segments 45 et 46 fictifs. A l'évidence, les segments 45 et 46 sont également "solution" pour la projection en des segments images 41 et 42 et 43 et 44. L'intervention du modèle de l'invention permet de lever cette ambiguïté. Elle est alors qualitative. Elle consiste dans le principe à remarquer que les segments 39 et 40 n'ont pas du tout les mêmes orientations dans 1'espace que les segments 45 et 46. Dans l'invention on remarque que les segments 39 et 40, compte tenu de leurs numéros, du numéro de leur prédécesseur, sont censés représenter deux segments types d'un modèle anatomique normal.FIG. 5 shows, in terms of segments, the ambiguities resulting from the use of projections forming between them a large angle and not allowing the certain determination of two homologous points in these two projection planes. It was shown, at a bifurcation 38, the birth of two segments 39 and 40 of the object to be reconstructed. The segments 39 and 40 project respectively into 41 and 42 and 43 and 44 on the previous planes 3 and 5. If we draw both dihedrons passing through the sources 2 and 4 of projection and through the segments 39 and 40, one realizes that these dihedrons intersect at the location of the object to be reconstructed according to two other fictitious other segments 45 and 46. Obviously, the segments 45 and 46 are also "solution" for the projection into image segments 41 and 42 and 43 and 44. The intervention of the model of the invention makes it possible to remove this ambiguity. It is therefore qualitative. It consists in principle in noting that the segments 39 and 40 do not have the same spatial orientations at all as the segments 45 and 46. In the invention it is noted that the segments 39 and 40, taking into account their numbers, from the number of their predecessor, are believed to represent two typical segments of a normal anatomical model.
Le modèle anatomique normal est donc comparé au couple des segments 39 et 40 d'une part, et au couple des segments 45 et 46 d'autre part. Qualitativement il devient possible d'éliminer de ces couples le couple candidat qui ne satisfait pas au modèle. En pratique on attribue, chacun à leur tour, une étiquette aux couples et on vérifie que 1'étiquette attribuée correspond à leur allure réelle.The normal anatomical model is therefore compared to the couple of segments 39 and 40 on the one hand, and to the couple of segments 45 and 46 on the other. Qualitatively it becomes possible to eliminate from these couples the candidate couple who does not meet the model. In practice, couples are each assigned a label in turn, and it is checked that the label assigned corresponds to their actual appearance.
La figure 6 représente, dans le cas du ventricule gauche, en perspective, la représentation des artères inter-ventriculaire-antérieure IVA et circonflexe CX reliées en un tronc commun à l'artère aorte AA par un point de bifurcation 47. Selon des modèles topographiques connus 1'artère IVA et 1'artère CX sont censées se trouver à la surface d'un élipsoïde 48. Cette représentation topographique est malheureusement peu adaptée aux disparités présentées par les différents individus et rend impossible 1'élaboration de critères simples permettant une reconstruction automatique de
l'arborescence 3D. Les techniques de reconstruction utilisant un tel modèle topographique imposent obligatoirement que la reconstruction en grande partie soit manuelle. Dans l'invention au contraire tout peut être automatique.FIG. 6 represents, in the case of the left ventricle, in perspective, the representation of the inter-ventricular-anterior arteries IVA and circumflex CX connected in a common trunk to the artery aorta AA by a bifurcation point 47. According to topographic models known the IVA artery and the CX artery are supposed to be on the surface of an elipsoid 48. This topographic representation is unfortunately not well adapted to the disparities presented by the different individuals and makes impossible the elaboration of simple criteria allowing an automatic reconstruction of the 3D tree. Reconstruction techniques using such a topographic model necessarily require that reconstruction to a large extent be manual. In the invention, on the contrary, everything can be automatic.
La figure 7 montre en comparaison, pour la même structure l'apport de l'invention. Dans celle-ci, d'une part on a mis en évidence que 1'artère IVA se trouvait globalement située dans un plan IV inter-ventriculaire tandis que l'artère circonflexe se trouvait elle dans un plan AV auriculoventriculaire. On utilise par la suite le repère constitué par les plans IV et AV pour qualifier structurellement chacune des artères secondaires raccordées à l'IVA et à la CX. On abandonne donc dans cette modélisation structurelle la connaissance selon laquelle les artères IVA et CX sont situées à la surface d'un élipsoïde 48. -Par rapport au repère IV-AV, on détermine alors d'autre part des directions 49 à 54 dites respectivement an avant, en arrière, en haut, en bas, à droite, et à gauche. Ces directions permettent par exemple de qualifier les artères septales S comme globalement orientées en bas à partir de l'artère IVA. De même, des artères diamétrales D seront dites en bas et en avant à partir de 1'artère IVA. Par contre les artères latérales L reliée à la CX seront dites en arrière.FIG. 7 shows in comparison, for the same structure, the contribution of the invention. In this one, on the one hand, it has been demonstrated that the IVA artery was generally situated in an interventricular IV plane while the circumflex artery was located in an AV atrioventricular plane. We then use the benchmark constituted by the IV and AV planes to structurally qualify each of the secondary arteries connected to the IVA and the CX. We therefore abandon in this structural modeling the knowledge that the IVA and CX arteries are located on the surface of an elipsoid 48. -Compared with the IV-AV coordinate system, we then determine directions 49 to 54 said respectively year forward, back, up, down, right, and left. These directions make it possible, for example, to qualify the septal arteries S as generally oriented downward from the IVA artery. Likewise, diametric arteries D will be said down and forward from the artery IVA. On the other hand, the lateral arteries L connected to the CX will be said behind.
On conçoit alors, en se reportant a la figure 5, qu'il est possible d'attribuer à chaque segment à reconstruire une étiquette représentative d'un segment d'une artère dans le modèle. Cette étiquette comportera au moins pour un de ses moments, les qualificatifs en avant, en arrière, en haut,... retenus pour l'artère concernée. Il devient alors possible de vérifier lesquels des segments 39, 40, 45 ou 46 satisfont par
leur orientation à l'étiquette ainsi proposée. On note au passage que le tronc commun , dans le cas du coeur, est sensiblement compris dans le plan IV de l'artère IVA. On va indiquer maintenant à l'aide des figures 8 à 9 comment on initialise le processus de reconstruction selon l'invention. Le point de départ à 3 dimensions, ainsi que le sens de parcours à 1'origine peuvent être fixés manuellement. Il peuvent être aussi recherchés de façon automatique par mise en oeuvre d'une procédure basée sur les propriétés des images. En effet, l'artère aorte AA possède un niveau de gris bien plus élevé, du fait de sa grosseur, que l'ensemble des autres vaisseaux. Il est donc possible de se placer automatiquement sur un segment appartenant dans chaque image en projection à cette artère aorte. Dans ce but on choisit parmi tous les segments le segment pour lequel le niveau de gris est le plus élevé.It can therefore be seen, with reference to FIG. 5, that it is possible to assign to each segment to be reconstructed a label representative of a segment of an artery in the model. This label will include at least for one of its moments, the qualifiers forward, backward, above, ... retained for the artery concerned. It then becomes possible to check which of the segments 39, 40, 45 or 46 satisfy by their orientation to the label thus proposed. We note in passing that the common trunk, in the case of the heart, is appreciably included in the plane IV of the artery IVA. We will now indicate with the aid of FIGS. 8 to 9 how the reconstruction process according to the invention is initialized. The 3-dimensional starting point as well as the direction of travel at the origin can be set manually. They can also be searched automatically by implementing a procedure based on the properties of the images. In fact, the AA aorta artery has a much higher gray level, due to its size, than all of the other vessels. It is therefore possible to be automatically placed on a segment belonging in each image in projection to this aortic artery. For this purpose, the segment for which the gray level is the highest is chosen from all the segments.
La figure 8a montre les images s uelettisées obtenues respectivement dans les plans 3 et 5 précédents. Soient Pι,j e P2,j les projections dans les plans 3 et 5 du point de départ le plus constraste dans chacune des images. On suppose que ces deux points sont homologues l'un de l'autre et représente un point Pn de la structure à reconstruire. Le point Pι,j appartient à un premier élément de droite Dιfj allant de Pl,j à Pι,j+ι du segment racine de l'arbre. Il en est de même pour ?2,j et D2,j- Normalement, on recherche l'homologue du point Pι,j+l, appartenant à l'image dans le plan 3 , cet homologue étant situé dans l'image dans le plan 5. Soit P!2,j+1 ce point. Si P'2, j+1 appartient à D2,j (compris entre P2,j et P2,j+l) on peut reconstruire un premier vecteur 3D à partir des points Pi,j-Pi,j+1 et P2,j - P'2,j+1* La figure 8b montre ce
vecteur V reconstruit. Par contre si P*2,j+i n'est pas compris entre P2,j et P2,j+l on choisit de rechercher l'homologue de P2,j+l (image dans le plan 5) sur le segment Dι j (image dans le plan 3). Ceci étant admis, on se place dans le cas où P!2,j+1 a été validé : on a trouvé ce point. On introduit un nouvel élément de droite P'2,j+1" p2,j+l <rP- l'on cherche à mettre en correspondance avec l'élément de droite Pi,j+ι~Pι,j+2 d 1'image dans le plan 3. On réitère la procédure décrite ci-dessus jusqu'à détection d'une fin de segment dans 1'une des vues.Figure 8a shows the uelettized images obtained respectively in the previous plans 3 and 5. Let Pι, I P2, j be the projections in planes 3 and 5 of the most contrasting starting point in each of the images. It is assumed that these two points are homologous to each other and represents a point Pn of the structure to be reconstructed. The point Pι, j belongs to a first element of line Dι f j going from P l , j to Pι, j + ι of the root segment of the tree. It is the same for? 2, j and D 2, j- Normally, we look for the homolog of the point Pι, j + l , belonging to the image in the plane 3, this homolog being located in the image in the plan 5. Let P ! 2, j + 1 this point. If P'2, j + 1 belongs to D2, j (between P 2 , j and P2, j + l ) we can reconstruct a first 3D vector from points Pi, j-Pi, j + 1 and P2, j - P'2, j + 1 * Figure 8b shows what vector V reconstructed. On the other hand if P * 2, j + i is not between P2, j and P2, j + l we choose to search for the counterpart of P2, j + l (image in the plane 5) on the segment Dι j ( image in the plan 3). This being admitted, we place ourselves in the case where P ! 2, j + 1 has been validated: we have found this point. We introduce a new line element P'2, j + 1 " p 2, j + l <rP- we seek to match the line element Pi, j + ι ~ Pι, j + 2 d The image in plane 3. The procedure described above is repeated until an end of segment is detected in one of the views.
Malheureusement la calibration structurelle de l'appareillage, en particulier la connaissance exacte des différents angles de projection, de même que des erreurs de mesure, peuvent conduire à des incertitudes sur 1'appartenance des points homologues aux droites Dl,j ou D2,j. On subit dans ce cas un échec de la recherche des points homologues : P*2,j+1 est extérieur à D2,j et P'ι,j+ι est extérieur à Di^j. La figure 9 montre une procédure complémentaire à mettre en oeuvre. On est dans le cas où P'2,j+1 ainsi que P'ι,j+ι n'existent pas. Il en résulte que Pι,j+ι et P2,j+ι n'ont pas d'homologues identifiés. On cherche alors à reconstruire un vecteur 3D à partir des deux éléments des droites Di,j et D2,j- On remarque que Di j est contenu dans un plan JΓT. défini par
d'une part et la source 2 d'autre part. De même D2,j est contenu dans un plan π2 défini par D2,j et la source 4. Le support du vecteur 55 recherché est la droite d'intersection des deux plans τ. χ et 7T2. On connaît ' l'origine du vecteur puisqu'elle correspond aux projections de Pι,j et P2 j dont on sait déjà qu'ils sont homologues. On décide que l'extrémité du segment 55 reconstruit correspond par approximation dues aux erreurs, soit à Pi j+i soit à
P2,j+1* ^ choix peut être fait sur un critère de longueur du vecteur 3D. De préférence on prend le plus court.Unfortunately the structural calibration of the apparatus, in particular the exact knowledge of the different projection angles, as well as measurement errors, can lead to uncertainties on the belonging of the homologous points to the lines D l, j or D 2, j. In this case, there is a failure to search for homologous points: P * 2, j + 1 is outside D2, j and P'ι, j + ι is outside Di ^ j. Figure 9 shows an additional procedure to be implemented. We are in the case where P'2, j + 1 as well as P'ι, j + ι do not exist. It follows that Pι, j + ι and P2, j + ι have no identified counterparts. We then seek to reconstruct a 3D vector from the two elements of the lines Di, j and D 2 , j- We notice that Di j is contained in a plane JΓT. defined by on the one hand and source 2 on the other. Similarly D2, j is contained in a plane π2 defined by D2, j and l at source 4. The support of the vector 55 sought is the line of intersection of the two planes τ. χ and 7T 2 . We know "the origin of the vector since it corresponds to projected Pι, j j and P2 which we already know they are homologous. It is decided that the end of the reconstructed segment 55 corresponds by approximation due to the errors, either to Pi j + i or to P2, j + 1 * ^ choice can be made on a length criterion of the 3D vector. Preferably we take the shortest.
Dans le cas du coeur, les deux branches principales CX et IVA, issues du tronc commun AA, caractérisent les plans. La CX forme un arc de cercle définissant un plan sensiblement orthogonal au plan contenant l'IVA. Les deux segments de départ dans chaque plan correspondent l'un à la CX l'autre à l'IVA. Ils sont décomposés en éléments de droite. On s'intéresse au premier élément de droite de chacun des segments. La procédure de calcul des vecteurs 3D correspondant à chacun est identique dans son principe à celle décrite ci-dessus dans le cas d'un seul vecteur 3D. Le problème nouveau est, conformément à la figure 5, qu'il y a ambiguïté sur 1'appartenance des segments. On construit alors les 4 vecteurs 3D dont seuls deux sont solution.In the case of the heart, the two main branches CX and IVA, coming from the common trunk AA, characterize the planes. The CX forms an arc defining a plane substantially orthogonal to the plane containing the IVA. The two starting segments in each plane correspond one to the CX the other to the IVA. They are broken down into elements on the right. We are interested in the first element on the right of each of the segments. The procedure for calculating the 3D vectors corresponding to each is in principle identical to that described above in the case of a single 3D vector. The new problem is, according to FIG. 5, that there is ambiguity as to the ownership of the segments. We then build the 4 3D vectors of which only two are solutions.
Le critère de choix de la solution acceptable est basé sur les hypothèses liées au modèle. Selon ces hypothèses l'une des branches, l'IVA dans le cas présent, présente une bonne continuité avec le tronc commun. A l'opposé, la structure d'arbre du réseau vasculaire fait que la deuxième branche, la CX dans ce cas, est éloignée d'une direction parallèle à celle du tronc commun. Il est donc possible d'éliminer le couple de vecteur 3D reconstruit qui ne posséderait pas en plus comme étiquette en arrière d' ne part (pour 1*IVA) , et à droite d'autre part (pour le CX) .The criterion for choosing the acceptable solution is based on the assumptions linked to the model. According to these hypotheses, one of the branches, the IVA in this case, has good continuity with the common core. In contrast, the tree structure of the vascular network means that the second branch, the CX in this case, is distant from a direction parallel to that of the common trunk. It is therefore possible to eliminate the couple of reconstructed 3D vector which would not additionally have a label behind it (for 1 * IVA), and on the other hand (for the CX).
A la fin de cette étape on dispose donc de deux vecteurs 3D permettant une première estimation des plans AV et IV. Si on se déplace le long du tronc commun vers la première bifurcation (point 47) , les invariants du modèle anatomique permettent de considérer comme établis les éléments suivants. Le tronc commun donne naissance à
deux branches qui sont la CX et l'IVA. L'IVA est en continuité avec le tronc commun. La CX est quasiment orthogonale à l'IVA au point de bifurcation. Le vecteur 3D calculé précédemment vérifiant la propriété de continuité recevra une étiquette IVA. L'autre recevra une étiquette CX sous réserve qu'il vérifie la propriété d'orthogonalité. Si cette dernière propriété n'est pas vérifiée, l'affectation inverse est tentée. En cas d'échec de ces deux solutions on peut choisir de prendre en considération un autre modèle.At the end of this stage, there are therefore two 3D vectors allowing a first estimate of the AV and IV planes. If one moves along the common trunk towards the first bifurcation (point 47), the invariants of the anatomical model allow the following elements to be considered as established. The core curriculum gives birth to two branches which are CX and IVA. The IVA is a continuation of the core curriculum. The CX is almost orthogonal to the IVA at the bifurcation point. The previously calculated 3D vector verifying the continuity property will receive an IVA label. The other will receive a CX label provided that he checks the property of orthogonality. If this last property is not checked, the reverse assignment is attempted. If these two solutions fail, we can choose to consider another model.
Après initialisation, on choisit de suivre entièrement une des branches : par exemple la branche CX. Le suivi du premier segment de la CX est identique au suivi effectué pour le tronc commun. Le plan de la CX est réestimé à chaque fin de segment de la CX. Une réestimation de ce plan peut être faite après détection d'un premier point de branchement sur la CX. Ce point de branchement peut être la bifurcation correspondant à la première branche latérale ou à un croisement avec un vaisseau. La condition pour lancer le calcul de réestimation du plan est que la courbure observée sur l'ensemble des points de la CX dépasse un certain seuil. Pour réestimer le plan, on recherche un plan qui approxime au mieux (au sens des moindres carrés) l'ensemble des points 3D de .la CX. Le calcul de la normale à ce plan est également repris. Ce calcul de réestimation peut aussi être effectué après chaque point de branchement.After initialization, we choose to fully follow one of the branches: for example the CX branch. The monitoring of the first segment of the CX is identical to the monitoring carried out for the common core. The CX plan is re-estimated at each end of the CX segment. A re-estimation of this plan can be made after detection of a first connection point on the CX. This branching point can be the bifurcation corresponding to the first lateral branch or to a crossing with a vessel. The condition for launching the plan reestimation calculation is that the curvature observed on all the points of the CX exceeds a certain threshold. To re-estimate the plane, we look for a plane that approximates at best (in the least squares sense) the set of 3D points of .la CX. The calculation of the normal to this plan is also resumed. This reestimation calculation can also be performed after each connection point.
L'analyse de la première bifurcation est identique au cas de l'initialisation. On recherche 1'appariement et l'étiquetage par rapport au modèle connu. On utilisera les critères évalués sur le modèle anatomique type selon lesquels la première bifurcation rencontrée sur la CX correspond à la naissance d'une branche
latérale et à la poursuite de la CX. Le segment de départ de la CX est en continuité avec le segment d'arrivée de cette même CX et le segment de départ de la branche latérale est en arrière des segments de la CX. On en détermine automatiquement quel est le segment appartenant à la CX et quel est le segment appartenant à l'artère latérale.The analysis of the first bifurcation is identical to the case of initialization. We are looking for matching and labeling in relation to the known model. We will use the criteria evaluated on the standard anatomical model according to which the first bifurcation encountered on the CX corresponds to the birth of a branch lateral and in pursuit of the CX. The starting segment of the CX is in continuity with the finishing segment of this same CX and the starting segment of the lateral branch is behind the segments of the CX. We automatically determine which segment belongs to the CX and which segment belongs to the lateral artery.
Connaissant le plan de la CX on peut connaître le vecteur normal j à ce plan. De même, on peut connaître le vecteur normal N^v au plan AV de l'artère IVA. On peut vérifier simplement quel est le segment appartenant à la CX et quel est le segment appartenant à 1'artère latérale en effectuant le produit scalaire des deux vecteurs des segments successeurs par le vecteur N^v- Le produit scalaire le plus grand est en principe celui de la CX.Knowing the plane of the CX, we can know the normal vector j at this plane. Similarly, we can know the normal vector N ^ v in the AV plane of the IVA artery. We can simply check which segment belongs to the CX and which segment belongs to the lateral artery by performing the scalar product of the two vectors of the successor segments by the vector N ^ v- The largest scalar product is in principle that of the CX.
Puis on poursuit l'étude des segments censés appartenir à la CX. Les informations concernant la branche latérale sont mémorisés en vue d'une reprise ultérieure dès qu'on arrive au bout de la CX. La fin de la CX est détectée par identification d'un point sans successeur dans au moins un des plans de l'image. On reconstruit la branche IVA de la même façon (avec réestimation éventuelle du plan de 1'IVA à chaque étape) . Puis les branches laissées en attente sont également reconstruites, par exemple la branche latérale détectée lors du parcours de la CX.Then we continue the study of the segments supposed to belong to the CX. The information concerning the lateral branch is memorized for a later resumption as soon as one arrives at the end of the CX. The end of the CX is detected by identification of a point without successor in at least one of the planes of the image. The IVA branch is reconstructed in the same way (with possible reestimation of the IVA plan at each stage). Then the branches left waiting are also reconstructed, for example the lateral branch detected during the course of the CX.
La mise en oeuvre de la méthode de l'invention nécessite 1'acquisition si possible simultanée de deux images. Différentes sources d'erreurs existent telles que . la calibration du système de radiologie ou l'échantillonnage des images et les incertitudes de la segmentation tirée de la squelettisation. Le fait de travailler à partir d'images d'angles de vues très
différents permet d'accéder à une plus grande précision de reconstruction. La rapidité de la procédure est due à la description très structurée des données et à la forte participation du modèle symbolique. La méthode est applicable à toute autre structure vasculaire arborescente, dès que le modèle 3D anatomique correspondant est acquis et est intégré au système.The implementation of the method of the invention requires the acquisition, if possible, of two images simultaneously. Different sources of errors exist such as. the calibration of the radiology system or the sampling of the images and the uncertainties of the segmentation drawn from the skeletonization. The fact of working from images of angles of view very different gives access to greater reconstruction accuracy. The speed of the procedure is due to the very structured description of the data and the strong participation of the symbolic model. The method is applicable to any other arboreal vascular structure, as soon as the corresponding anatomical 3D model is acquired and is integrated into the system.
En application cardiaque, cette méthode rapide peut permettre 1'étude du réseau vasculaire en mouvement à partir d'images acquises dans deux incidences et à différentes phases du mouvement cardiaque. En pratique la reconstruction de 1'arborescence de 1'image dure du même ordre de temps que la squelettisation : elle est de l'ordre de 3 secondes. Pour les modèles autres que le ventricule gauche du coeur, on utilise pour les élaborer, d'une part les connaissances anato iques types, et d'autre part, de préférence, un générateur interactif de reconstruction filaire. Ce type de générateur est disponible sous forme de logiciel. Un exemple en est le logiciel GENERATEUR INTERACTIF DE STRUCTURES VASCULAIRES 3D disponible à l'Université de RENNES, Laboratoire des Signaux et Images en Médecine, Faculté des Sciences, Campus de Beaulieu, 35042 RENNES CEDEX. Pour la caractérisation des modèles on s'efforce en premier de rechercher des plans principaux, orthogonaux ou non. Puis on décrit, à l'aide du générateur interactif, les différents segments rencontrés avec des qualificatifs précédemment évoqués, continuité, avant, arrière, en haut, en bas, à droite à gauche... Si l'étude anatomique des individus y invite on peut, pour une structure arborescente donnée élaborer plusieurs modèles. Dans le cas du ventricule gauche on a ainsi élaboré trois modèles, un utilisable dans 80% des cas et correspondant à une vascularisation équilibrée,
et deux autres, utilisables chacun dans 10% des cas et correspondant à des vascularisations prépondérantes gauches ou droites.In cardiac application, this rapid method can allow the study of the vascular network in movement from images acquired in two incidences and at different phases of cardiac movement. In practice, the reconstruction of the tree structure of the image takes the same order of time as the skeletonization: it is of the order of 3 seconds. For the models other than the left ventricle of the heart, one uses to develop them, on the one hand the typical anatomical knowledge, and on the other hand, preferably, an interactive generator of wire reconstruction. This type of generator is available as software. An example is the INTERACTIVE GENERATOR OF 3D VASCULAR STRUCTURES software available at the University of RENNES, Laboratory of Signals and Images in Medicine, Faculty of Sciences, Campus de Beaulieu, 35042 RENNES CEDEX. For the characterization of the models, we first try to find the main planes, orthogonal or not. Then we describe, using the interactive generator, the different segments encountered with qualifiers previously mentioned, continuity, front, back, top, bottom, right to left ... If the anatomical study of individuals invites we can, for a given tree structure, develop several models. In the case of the left ventricle, three models were thus developed, one usable in 80% of the cases and corresponding to a balanced vascularization, and two others, each usable in 10% of cases and corresponding to preponderant left or right vascularizations.
Par ailleurs, compte tenu des plans IV et AV dont l'importance est ainsi mise en évidence on acquerra de préférence les images en projection selon des directions contenues dans des plans bissecteurs des plans principaux du modèle, compte tenu de la position du patient dans la machine. Le modèle structurel peut bien entendu être complété, dans la mesure ou le critère est suffisamment solide, par des informations topographiques (quantitatives) . Ainsi à un segment de numéro N appartenant à l'IVA (ou à la CX) , raccordé à un segment N-l, orienté en avant, on pourra ajouter un supplément d'étiquette sous la forme : longueur attendue comprise entre a et b, niveau de gris moyen (équivalent au diamètre) compris entre c et d. La vérification de la justesse de l'étiquette peut aussi consister en la vérification supplémentaire que le segment reconstruit a bien une longueur et un niveau de gris adéquat. Ces vérifications topographiques peuvent être facultative et ne devenir critique qu'en cas d'échec de la reconnaissance structurelle.
Furthermore, taking into account the IV and AV planes, the importance of which is thus highlighted, it is preferable to acquire the images in projection according to directions contained in bisecting planes of the main planes of the model, taking into account the patient's position in the machine. The structural model can of course be supplemented, insofar as the criterion is sufficiently solid, with topographic (quantitative) information. Thus to a segment of number N belonging to the IVA (or to the CX), connected to a segment Nl, oriented in front, we can add an additional label in the form: expected length between a and b, level medium gray (equivalent to the diameter) between c and d. Verification of the correctness of the label can also consist of the additional verification that the reconstructed segment has an adequate length and gray level. These topographic checks can be optional and only become critical if structural recognition fails.