EP2435985B1 - Method of quantifying the change of pathologies involving changes in the volume of bodies, especially of tumors - Google Patents
Method of quantifying the change of pathologies involving changes in the volume of bodies, especially of tumors Download PDFInfo
- Publication number
- EP2435985B1 EP2435985B1 EP10724408.9A EP10724408A EP2435985B1 EP 2435985 B1 EP2435985 B1 EP 2435985B1 EP 10724408 A EP10724408 A EP 10724408A EP 2435985 B1 EP2435985 B1 EP 2435985B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- images
- quantifying
- volume
- development
- pathologies involving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000007170 pathology Effects 0.000 title claims abstract description 42
- 206010028980 Neoplasm Diseases 0.000 title description 26
- 230000008859 change Effects 0.000 title description 7
- 238000012360 testing method Methods 0.000 claims abstract description 60
- 238000009826 distribution Methods 0.000 claims abstract description 24
- 238000011161 development Methods 0.000 claims abstract description 19
- 238000000528 statistical test Methods 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 230000001186 cumulative effect Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 10
- 208000003174 Brain Neoplasms Diseases 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 28
- 230000004614 tumor growth Effects 0.000 description 12
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 206010018338 Glioma Diseases 0.000 description 5
- 238000011002 quantification Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 208000032612 Glial tumor Diseases 0.000 description 4
- 230000012010 growth Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 3
- 230000001955 cumulated effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 206010061309 Neoplasm progression Diseases 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 230000005751 tumor progression Effects 0.000 description 2
- 238000003657 Likelihood-ratio test Methods 0.000 description 1
- 208000034189 Sclerosis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008468 bone growth Effects 0.000 description 1
- 201000007983 brain glioma Diseases 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000003925 fat Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 208000029824 high grade glioma Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 208000030173 low grade glioma Diseases 0.000 description 1
- 201000011614 malignant glioma Diseases 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000001173 tumoral effect Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Definitions
- a first difference map SPGR 313 is made simply on the basis of a difference between the first two SPGR images 311 and 312.
- the figure 4 shows examples of MRI images at a tumor zone of a human brain, representative of the third step 103 of the method according to the present invention.
- This example further emphasizes the advantage afforded by the fourth step 104 of the method according to the invention, making it possible to combine the two types of tests in order to provide optimum sensitivity and selectivity.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- High Energy & Nuclear Physics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
Description
La présente invention concerne un procédé de quantification de l'évolution de tumeurs cérébrales. Elle s'applique notamment au suivi de l'évolution de gliomes de bas grades, mais plus généralement au suivi de tous les types de pathologies évolutives dont des méthodes d'imagerie telles que par exemple l'imagerie par résonance magnétique, plus communément désignée sous l'acronyme d'IRM, permettent le suivi.The present invention relates to a method for quantifying the evolution of brain tumors. It applies in particular to the monitoring of the evolution of low-grade gliomas, but more generally to the monitoring of all types of progressive pathologies including imaging methods such as for example magnetic resonance imaging, more commonly referred to as the acronym for MRI, allow monitoring.
Il est important, dans le cadre de pathologies évolutives telles que les tumeurs, et notamment les tumeurs cérébrales, d'être capable d'apprécier l'évolution de celles-ci. La détermination de la dynamique d'évolution d'une tumeur permet en effet d'affiner le pronostic individuel d'un patient, d'ajuster des moyens de thérapie en fonction de l'agressivité tumorale, ou encore d'évaluer l'efficacité de traitements.It is important, in the context of evolutionary pathologies such as tumors, and especially brain tumors, to be able to appreciate the evolution of these. The determination of the dynamics of evolution of a tumor makes it possible to refine the individual prognosis of a patient, to adjust the means of therapy according to the tumor aggressiveness, or to evaluate the efficacy of the tumor. treatments.
Dans le cas particulier des pathologies cérébrales, l'imagerie par résonance magnétique ou IRM, est une modalité particulièrement appropriée pour le suivi des tumeurs ; aussi bien pour le diagnostic des tumeurs au préalable de tout traitement, que pour l'appréciation de l'efficacité du traitement. La quantification de la dynamique tumorale peut donc se faire sur la base d'une pluralité - au moins une paire - de clichés IRM. Dans la pratique, il est habituel de fonder une telle analyse sur des clichés longitudinaux provenant de deux modes d'IRM : le mode SPGR et le mode FLAIR, selon les acronymes pour les expressions anglo-saxonnes respectives de Spoiled Gradient Recall Echo et de Fluid Attenuated Inversion Recovery. Il est à noter que d'autres protocoles d'acquisition d'images par IRM existent, et que la description qui fait suite ne se rapporte à ces protocoles d'acquisition particuliers qu'à titre d'exemple.In the particular case of cerebral pathologies, magnetic resonance imaging or MRI is a particularly suitable modality for tumor monitoring; both for the diagnosis of tumors prior to any treatment, as for the assessment of the effectiveness of the treatment. The quantification of the tumor dynamics can therefore be done on the basis of a plurality - at least one pair - of MRI scans. In practice, it is usual to base such an analysis on longitudinal images coming from two MRI modes: the SPGR mode and the FLAIR mode, according to the acronyms for the respective Anglo-Saxon expressions of Spoiled Gradient Recall Echo and Fluid Attenuated Inversion Recovery. It should be noted that other MRI image acquisition protocols exist, and that the following description relates to these particular acquisition protocols only as an example.
Il est alors possible pour un médecin de pratiquer une segmentation manuelle de la tumeur sur une sélection de différents clichés, afin d'apprécier l'étendue spatiale de la tumeur à différents niveaux de coupe, à différents instants d'acquisition des clichés, et dans au moins un des deux modes d'IRM précités. Un tel travail est relativement fastidieux, et l'appréciation de la dynamique tumorale selon cette méthode est relativement dépendante de l'opérateur, c'est-à-dire que cette appréciation présente un manque de reproductibilité inter-expert ; voire, cette appréciation présente même un manque de reproductibilité intra-expert. En d'autres termes, un même opérateur peut parvenir à des conclusions différentes sur la base de clichés identiques. Cette variabilité intra-opérateur est estimée à 15%.It is then possible for a doctor to perform a manual segmentation of the tumor on a selection of different images, in order to assess the spatial extent of the tumor at different cutting levels, at different moments of acquisition of the images, and in at least one of the two aforementioned MRI modes. Such work is relatively tedious, and the appreciation of the tumor dynamics according to this method is relatively dependent on the operator, that is to say that this assessment has a lack of inter-expert reproducibility; even this assessment even shows a lack of intra-expert reproducibility. In other words, the same operator can reach different conclusions based on identical snapshots. This intra-operator variability is estimated at 15%.
Il est également possible de procéder à la quantification de la croissance tumorale selon la technique en elle-même connue des plus grands diamètres. Néanmoins cette méthode présente certains inconvénients. Certains de ces inconvénients sont liés aux orientations des plans de coupe des clichés qui peuvent être différents d'un examen à l'autre. En outre, cette méthode est particulièrement inadéquate consécutivement à une intervention chirurgicale, à cause de la présence de la cavité opératoire.It is also possible to proceed to the quantification of the tumor growth according to the technique known in itself of the largest diameters. Nevertheless, this method has certain disadvantages. Some of these drawbacks are related to the orientation of the cutaway shots that may be different from one exam to another. In addition, this method is particularly inadequate following surgery, because of the presence of the operative cavity.
Il existe des méthodes de détermination automatique de la dynamique tumorale. Notamment, il existe des méthodes de segmentation automatique de tumeurs, basées sur des algorithmes de calcul et de traitement d'image relativement complexes, mais dont il est connu qu'elles offrent une fiabilité et une robustesse relativement faibles. La variabilité des paramètres relatifs aux différents examens IRM qu'un même patient peut subir, par exemple les paramètres de fonctionnement de l'équipement d'imagerie, la position de la tête du patient lors de l'examen, les phénomènes de bruit intrinsèques de l'appareil d'imagerie et de son environnement, conduisent à des différences de contrastes entre les clichés, rendant leur comparaison directe difficile. Ainsi des changements de contrastes non-linéaires entre des jeux de clichés représentant des volumes d'une zone d'intérêt ne permettent pas d'apprécier de manière spécifique une évolution tumorale, sur la base de simples cartographies de différences entre ces clichés. Ces différences de contraste rendent donc difficile la comparaison automatique entre les clichés. Il existe certaines techniques consistant à normaliser les niveaux de gris, et apprendre des variabilités anatomiques longitudinales de bruit, permettant alors d'appliquer des corrections aux clichés afin de les rendre comparables. Néanmoins ces techniques présentent l'inconvénient d'imposer des examens IRM répétés au patient, dans le but de produire des cartographies de niveau de bruit précises. Un trop grand nombre d'examens IRM n'est bien sûr pas souhaitable, pour des raisons de coût élevé et de contraintes imposées au patient.There are methods for automatic determination of tumor dynamics. In particular, there are methods of automatic tumor segmentation, based on relatively complex computational and image processing algorithms, but which are known to provide relatively low reliability and robustness. The variability of the parameters relating to the different MRI examinations that the same patient may undergo, for example the operating parameters of the imaging equipment, the position of the patient's head during the examination, the intrinsic noise phenomena of the imaging apparatus and its environment, lead to contrast differences between the images, making their direct comparison difficult. Thus, nonlinear changes in contrasts between sets of images representing volumes of an area of interest do not make it possible to specifically assess tumor progression, on the basis of simple maps of differences between these images. These differences in contrast make it difficult to automatically compare the images. There are some techniques to standardize gray levels, and to learn longitudinal anatomical variability of noise, so that you can apply corrections to clichés to make them comparable. Nevertheless, these techniques have the disadvantage of imposing repeated MRI scans on the patient, in order to produce accurate noise level maps. Too many MRI exams are of course not desirable, for reasons of high cost and constraints imposed on the patient.
Une segmentation automatique est par exemple décrit dans
Dans l'exemple des gliomes cérébraux de bas grade, il est habituel de procéder à un premier examen IRM, suivi d'un examen IRM trois mois plus tard, où une classification de la croissance du gliome est réalisée. Il convient alors, par exemple, de traiter un gliome dont la croissance après trois mois est typiquement supérieure à 2 millimètres, comme un gliome de haut grade, et un gliome dont la croissance après trois mois est inférieure à 2 millimètres, comme un gliome de bas grade. Ce type de pathologie présente typiquement des croissances des tumeurs relativement faibles, et impose donc des techniques de quantification de précision millimétrique, voire submillimétrique. Il est aussi particulièrement avantageux que ces techniques soient reproductibles, ainsi que simples et rapides à mettre en oeuvre.In the example of low grade cerebral gliomas, it is usual to have a first MRI, followed by MRI three months later, where a classification of glioma growth is performed. It is therefore appropriate, for example, to treat a glioma whose growth after three months is typically greater than 2 millimeters, such as a high-grade glioma, and a glioma whose growth after three months is less than 2 millimeters, such as a glioma of low grade. This type of pathology typically exhibits relatively low tumor growth rates, and thus imposes millimetric or even submillimetric quantification techniques. It is also particularly advantageous that these techniques are reproducible, as well as simple and quick to implement.
Un but de la présente invention est de pallier les inconvénients précités, et de proposer une solution aux problèmes précités.An object of the present invention is to overcome the aforementioned drawbacks, and to propose a solution to the aforementioned problems.
A cet effet, l'invention a pour objet un procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps représentés via une technique d'imagerie, caractérisé en ce qu'il comprend au moins :
- une première étape de normalisation de niveaux de gris par une technique mi-chemin de deux images I1 et I2 représentant une même scène, c'est-à-dire la même partie anatomique d'un même patient à deux instants successifs, résultant en deux images normalisées I'1 et I'2,
- une deuxième étape de calcul d'une carte de différences signées entre les deux images normalisées I'1 et I'2,
- une troisième étape comprenant au moins un test statistique se basant sur l'hypothèse d'une distribution gaussienne des niveaux de gris des tissus sains des images normalisées I'1 et I'2 et/ou de la carte des différences calculée à la deuxième étape.
- a first step of normalizing gray levels by a half-way technique of two images I 1 and I 2 representing the same scene, that is to say the same anatomical part of the same patient at two successive instants, resulting in two standardized images I ' 1 and I' 2 ,
- a second step of calculating a signed difference map between the two normalized images I ' 1 and I' 2 ,
- a third step comprising at least one statistical test based on the assumption of a Gaussian distribution of the gray levels of the healthy tissues of the normalized images I ' 1 and I' 2 and / or the difference map computed at the second step .
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que la première étape de normalisation détermine un histogramme cumulé de niveaux de gris mi-chemin commun aux deux images I1 et I2, et égal à l'inverse de la moyenne arithmétique des inverses des histogrammes cumulés de niveaux de gris des deux images normalisées I1 et I2, les deux images étant normalisées par application de l'histogramme cumulé mi-chemin aux deux images I1 et I2.In one embodiment of the invention, the method of quantifying the evolution of pathologies involving changes in body volume may be characterized in that the first normalization step determines a cumulative histogram of common half-way gray levels. to the two images I 1 and I 2 , and equal to the inverse of the arithmetic average of the inverses of the cumulative histograms of gray levels of the two normalized images I 1 and I 2 , the two images being normalized by applying the cumulative histogram halfway to the two images I 1 and I 2 .
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que la première étape de normalisation détermine un histogramme cumulé de niveaux de gris mi-chemin commun aux deux images I1 et I2, et égal à l'inverse de la moyenne géométrique des inverses des histogrammes cumulés de niveaux de gris des deux images I1 et I2, les deux images étant normalisées sur l'histogramme cumulé mi-chemin aux deux images I1 et I2.In one embodiment of the invention, the method of quantifying the evolution of pathologies involving changes in body volume may be characterized in that the first normalization step determines a cumulative histogram of common half-way gray levels. to the two images I 1 and I 2 , and equal to the inverse of the geometric mean of the inverses of the cumulative histograms of gray levels of the two images I 1 and I 2 , the two images being normalized on the cumulated histogram halfway to the two images I 1 and I 2 .
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce qu'un premier test réalise la comparaison entre un rapport de vraisemblance généralisé défini par la relation :
p(I'i (x)/µi,σi) étant la fonction de densité de probabilité pour le niveau de gris I'i(x) d'un pixel de l'image normalisée I'i, calculée avec une fonction Gaussienne de moyenne µi et d'écart type σi de présenter le niveau de gris observé, l'indice 1-2 s'appliquant aux valeurs combinées des images normalisées I'1 et I'2, les statistiques pour un pixel donné étant réalisées sur une zone s'étendant autour du pixel sur un nombre déterminé de pixels.In one embodiment of the invention, the method for quantifying the evolution of pathologies involving changes in body volume can be characterized in that a first test compares a generalized likelihood ratio defined by the relation :
p ( I ' i ( x ) / μ i , σ i ) being the probability density function for the gray level I' i (x) of a pixel of the normalized image I ' i , calculated with a function Gaussian mean μ i and standard deviation σ i to present the observed gray level, the index 1-2 applying to the combined values of normalized images I ' 1 and I' 2 , the statistics for a given pixel being performed on an area extending around the pixel over a fixed number of pixels.
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce qu'un deuxième test réalise la comparaison entre la fonction de densité de probabilité
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce qu'un troisième test réalise la comparaison entre la valeur de probabilité
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que la comparaison réalisée par le premier test réalisé à la troisième étape est établie par la relation suivante :
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que le premier seuil de confiance T1 est égal à 2.In one embodiment of the invention, the method of quantifying the evolution of pathologies involving changes in body volume can be characterized in that the first confidence threshold T 1 is equal to 2.
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que la comparaison réalisée par le deuxième test réalisé à la troisième étape est établie par la relation suivante :
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que le deuxième seuil de confiance T2 est égal à
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que la comparaison réalisée par le troisième test réalisé à la troisième étape est établie par la relation suivante :
le troisième seuil de confiance T3 étant un nombre réel positif non nul très petit devant 1.In one embodiment of the invention, the method for quantifying the evolution of pathologies involving changes in body volume can be characterized in that the comparison made by the third test carried out in the third step is established by the relation next :
the third confidence threshold T 3 being a real nonzero positive number very small in front of 1.
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que les tests réalisés à la troisième étape sont réalisés pour tous les pixels constituant les images normalisées I'1 et I'2 et/ou la carte des différences calculée à la deuxième étape.In one embodiment of the invention, the method for quantifying the evolution of pathologies involving changes in body volume may be characterized in that the tests carried out in the third step are carried out for all the pixels constituting the normalized images. I ' 1 and I' 2 and / or the difference map calculated in the second step.
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que les tests réalisés à la troisième étape sont réalisés sur la base de moyennes locales se fondant sur des pluralités de pixels des images normalisées I'1 et I'2 et/ou de la carte des différences calculée à la deuxième étape formant une pluralité de zones couvrant les images normalisées I'1 et I'2 et/ou la carte des différences.In one embodiment of the invention, the method for quantifying the evolution of pathologies involving changes in body volume may be characterized in that the tests performed in the third step are performed on the basis of local averages based on pluralities of pixels of the normalized images I ' 1 and I' 2 and / or the difference map calculated at the second step forming a plurality of areas covering the normalized images I ' 1 and I' 2 and / or the map of the differences.
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que le premier test et/ou le deuxième test et/ou le troisième test sont réalisés à la troisième étape, les résultats de ces tests étant combinés lors d'une quatrième étape.In one embodiment of the invention, the method of quantifying the evolution of pathologies involving changes in body volume may be characterized in that the first test and / or the second test and / or the third test are performed in the third step, the results of these tests being combined in a fourth step.
Dans un mode de réalisation de l'invention, le procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps peut être caractérisé en ce que ladite pathologie est une tumeur cérébrale.In one embodiment of the invention, the method for quantifying the evolution of pathologies involving changes in body volume may be characterized in that said pathology is a brain tumor.
La présente invention a également pour objet un dispositif de programme d'ordinateur, caractérisé en ce qu'il met en oeuvre un procédé de quantification de l'évolution de pathologies impliquant des changements de volume de corps selon l'un des modes de réalisation décrits ci-dessus.The present invention also relates to a computer program device, characterized in that it implements a method for quantifying the evolution of pathologies involving changes in body volume according to one of the described embodiments. above.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description, donnée à titre d'exemple, faite en regard des dessins annexés qui représentent :
- la
figure 1 , un ordinogramme illustrant une séquence d'étapes d'un procédé de quantification de l'évolution de tumeurs selon un exemple de mode de réalisation de la présente invention ; - la
figure 2 , un ordinogramme illustrant la première étape de normalisation de deux images, selon un exemple de mode de réalisation de la présente invention ; - la
figure 3 , des exemples d'images IRM selon deux modes d'imagerie, et de cartes des différences réalisées selon différentes techniques ; - La
figure 4 , des exemples d'images IRM représentatives d'une étape de caractérisation de croissance tumorale du procédé selon la présente invention.
- the
figure 1 a flowchart illustrating a sequence of steps of a method of quantifying the evolution of tumors according to an exemplary embodiment of the present invention; - the
figure 2 a flowchart illustrating the first step of normalizing two images, according to an exemplary embodiment of the present invention; - the
figure 3 , examples of MRI images according to two imaging modes, and maps of the differences made according to different techniques; - The
figure 4 , examples of MRI images representative of a tumor growth characterization step of the method according to the present invention.
La
Pour la suite, dans un souci de clarté, on considérera deux images d'un volume d'intérêt comprenant une tumeur, prises par IRM selon un mode particulier de fonctionnement, à des instants t1 et t2, l'instant t1 étant antérieur à l'instant t2. Il est bien entendu que le procédé selon l'invention peut s'appliquer à une pluralité de jeux d'au moins deux images réalisées selon différents modes de fonctionnement IRM, prises à au moins deux instants. Plus généralement, le procédé selon l'invention peut s'appliquer à des techniques d'imagerie autres que l'IRM.For the sake of clarity, we will consider two images of a volume of interest comprising a tumor, taken by MRI in a mode particular operation, at times t 1 and t 2 , the instant t 1 being earlier than the instant t 2 . It is understood that the method according to the invention can be applied to a plurality of sets of at least two images made according to different modes of MRI operation, taken at least two times. More generally, the method according to the invention can be applied to imaging techniques other than MRI.
Il est également bien entendu qu'une étape préalable, non représentée sur la figure, et indispensable pour tous les traitements ultérieurs, consiste à recaler les deux images originales prises aux instants t1 et t2, pour obtenir deux images I1 et I2, afin que des calculs communs pixel à pixel soient possibles dans des conditions optimales. Des techniques de recalage sont en elles-mêmes connues de l'état de la technique, et ne sont donc pas développées dans la présente description.It is also understood that a preliminary step, not shown in the figure, and essential for all subsequent processing, is to readjust the two original images taken at times t 1 and t 2 , to obtain two images I 1 and I 2 , so that pixel-to-pixel common calculations are possible under optimal conditions. Registration techniques are in themselves known from the state of the art, and are therefore not developed in the present description.
En référence à la
La première étape 101 de normalisation permet de s'affranchir des variations de contraste entre les deux images I1 et I2.The
Il est en effet nécessaire, au préalable d'une comparaison entre les images I1 et I2, de modifier ces deux images afin de les porter à une radiométrie commune. La radiométrie d'une image s'entend comme la dynamique des niveaux de gris de cette image.It is indeed necessary, prior to a comparison between the images I 1 and I 2 , to modify these two images in order to bring them to a common radiometry. The radiometry of an image is understood as the dynamics of the gray levels of this image.
Une radiométrie commune aux deux images permet de focaliser leur comparaison sur les aspects géométriques de celles-ci, représentatives de l'état réel de la zone d'intérêt de laquelle ces images ont été réalisées. Il est cependant nécessaire qu'une telle modification ne modifie pas les caractéristiques géométriques des images I1 et I2,.A radiometry common to both images makes it possible to focus their comparison on the geometric aspects thereof, representative of the actual state of the area of interest of which these images were made. It is however necessary that such a modification does not modify the geometrical characteristics of the images I 1 and I 2 ,.
Pour satisfaire ces besoins, la présente invention propose de procéder, à la première étape 101 du procédé dont elle fait l'objet, à une normalisation selon la méthode dite d'égalisation "mi-chemin", qu'il est encore possible de désigner par le terme anglo-saxon équivalent "midway", décrite en détails ci-après, en référence à la
Les modifications des images I1 et I2 réalisées lors de la première étape 101 résultent en deux images normalisées I'1 et I'2.The modifications of the images I 1 and I 2 produced during the
La deuxième étape 102 permet d'établir une carte des différences entre les images normalisées I'1 et I'2.The
Une carte des différences entre les deux images normalisées I'1 et I'2 est une image dont la définition est la même que celle des images normalisées I'1 et I'2, mais où le niveau de gris de chaque pixel de cette image résulte de la différence entre les niveaux de gris correspondants des deux images normalisées I'1 et I'2. Il est à noter qu'il est possible de réaliser à l'étape 102 un affichage de la carte des différences ; celui-ci impose un calcul de la valeur absolue des différences entre les niveaux de gris ; en revanche, pour tous les calculs explicités ci-dessous, il faudra considérer la différence signée entre les niveaux de gris des deux images normalisées I'1 et I'2.A map of the differences between the two normalized images I ' 1 and I' 2 is an image whose definition is the same as that of the normalized images I ' 1 and I' 2 , but where the gray level of each pixel of this image results from the difference between the corresponding gray levels of the two normalized images I ' 1 and I' 2 . It should be noted that it is possible to perform in step 102 a display of the difference map; this imposes a calculation of the absolute value of the differences between the gray levels; on the other hand, for all the calculations explained below, it will be necessary to consider the signed difference between the gray levels of the two normalized images I ' 1 and I' 2 .
Il est alors possible de caractériser simplement l'évolution tumorale, par exemple par le comptage des pixels de la carte des différences dont la valeur de niveau de gris est supérieure ou inférieure à une valeur de seuil prédéterminée. Néanmoins, la sélectivité d'une telle méthode simple de seuillage est relativement faible. En effet, même si une carte des différences met clairement en évidence la croissance tumorale, correspondant à de grandes différences de niveaux de gris entre les images normalisées I'1 et I'2, la valeur de ces différences est en revanche totalement imprédictible. Ceci est dû au fait que les tissus tumoraux sont de nature relativement hétérogène, et leur nature peut varier de manière importante entre deux examens IRM. De plus, certaines structures cérébrales telles que les ventricules, contenant du liquide céphalo-rachidien, et les tissus avoisinants, tels que les graisses ou bien les os du crâne, peuvent également présenter des valeurs de différences relativement hétérogènes.It is then possible to simply characterize the tumor evolution, for example by counting the pixels of the difference map whose gray level value is greater or less than a predetermined threshold value. Nevertheless, the selectivity of such a simple thresholding method is relatively low. Indeed, even if a map of the differences clearly shows the tumor growth, corresponding to large differences in gray levels between the standardized images I ' 1 and I' 2 , the value of these differences is however completely unpredictable. This is because the tumor tissues are relatively heterogeneous in nature, and their nature can vary significantly between two MRI scans. In addition, some brain structures such as ventricles, containing cerebrospinal fluid, and surrounding tissues, such as fats or skull bones, may also exhibit relatively heterogeneous differences in values.
Ainsi la troisième étape 103 est proposée ; cette étape permet d'affiner la caractérisation de l'évolution tumorale.Thus the
La troisième étape comprend au moins un test statistique.The third step comprises at least one statistical test.
Le test réalisé à la troisième étape 103 peut par exemple être un premier test statistique fondé sur une hypothèse communément acceptée. Selon cette hypothèse, pour des tissus cérébraux dits normaux, tels que les tissus constituant la matière blanche, la matière grise et le liquide céphalo-rachidien, les niveaux de gris des pixels suivent individuellement des distributions gaussiennes. Ainsi, pour chaque pixel d'une image - et par extension, pour chaque voxel de la zone volumique d'intérêt - les valeurs de niveaux de gris des pixels des deux images normalisées I'1 et I'2 peuvent présenter deux configurations.The test carried out at the
Dans une première configuration, ces valeurs de niveaux de gris peuvent correspondre à une même distribution gaussienne, auquel cas aucun changement de type de tissu ne s'est produit entre les instants t1 et t2 de réalisation des images dont I1 et I2 sont issues, et grâce à la normalisation par égalisation mi-chemin réalisée à la première étape 101, ces valeurs de niveau de gris entre les deux images normalisées I'1 et I'2 peuvent être directement comparées.In a first configuration, these values of gray levels may correspond to the same Gaussian distribution, in which case no change of tissue type has occurred between the instants t 1 and t 2 of producing the images of which I 1 and I 2 are derived, and thanks to mid-level equalization normalization performed in the
Dans une seconde configuration, ces valeurs de niveaux de gris peuvent correspondre à deux distributions différentes, du fait d'un changement de type de tissu produit entre les instants t1 et t2 de réalisation des clichés originaux.In a second configuration, these gray level values may correspond to two different distributions, due to a change in the type of fabric produced between times t 1 and t 2 of producing the original photographs.
Ainsi la présente invention propose avantageusement de réaliser à la troisième étape 103 un premier test statistique de type test du rapport de vraisemblance généralisé, ou GLRT selon l'acronyme anglo-saxon de Generalized Likelihood Ratio Test, afin de caractériser les différences de niveaux de gris selon l'une ou l'autre des configurations précitées. Le rapport de vraisemblance GLRT pour un pixel donné peut être calculé selon la relation suivante :
où I'1(x) et I'2(x) sont respectivement les valeurs normalisées de niveaux de gris des pixels correspondants des images normalisées I'1 et I'2, (µi ,σ i ) i=1,2 sont la moyenne et l'écart type de la distribution du pixel correspondant des images normalisées I'i, et (µ 1-2 ,σ 1-2) sont la moyenne et l'écart type de la distribution des pixels issus des deux images normalisées I'1 et I'2, désignés pour la suite pixels combinés des images normalisées I'1 et I'2.Thus, the present invention advantageously proposes, in the
where I ' 1 (x) and I' 2 (x) are respectively the normalized gray level values of the corresponding pixels of the normalized images I ' 1 and I' 2 , ( μ i , σ i ) i = 1,2 are the mean and the standard deviation of the distribution of the corresponding pixel of the normalized images I ' i , and ( μ 1-2 , σ 1-2 ) are the average and the standard deviation of the distribution of the pixels coming from the two normalized images I ' 1 and I' 2 , designated for the following combined pixels of the normalized images I ' 1 and I' 2 .
La fonction de densité de probabilité, ou PDF selon l'acronyme anglo-saxon pour Probability Density Function, notée p(x/µi,σi ) est modélisée comme une PDF Gaussienne N(µ,σ) entièrement caractérisée par sa moyenne µ et son écart type σ. D'une manière générale, et applicable à toutes les relations dans lesquelles ce terme intervient, celui-ci est donné par la relation suivante :
Il est à noter que toutes les statistiques (µ,σ) pour les PDF sont estimées localement, en chaque pixel dans des zones de nxn pixels. Ainsi, lorsqu'il est fait référence à un test, il faut comprendre qu'une pluralité de tests, visant à couvrir l'intégralité des pixels constituant les images, sont nécessaires à la mise en oeuvre de l'invention.It should be noted that all the statistics (μ, σ) for the PDFs are estimated locally, in each pixel in zones of nxn pixels. Thus, when reference is made to a test, it should be understood that a plurality of tests, intended to cover the entirety of the pixels constituting the images, are necessary for the implementation of the invention.
On considère que ce rapport de vraisemblance GLRT est très supérieur à 1 dans les cas correspondant à la deuxième configuration précitée, c'est à dire où l'hypothèse de distributions distinctes est la plus probable ou en d'autres termes, où les niveaux de gris des pixels des images normalisées I'1 et I'2 proviennent de distributions différentes.This likelihood ratio GLRT is considered to be much greater than 1 in the cases corresponding to the second aforementioned configuration, ie where the assumption of distinct distributions is most likely or in other words, where the levels of Gray pixels of normalized images I ' 1 and I' 2 come from different distributions.
Il est alors possible d'apprécier les changements au niveau d'un pixel par comparaison du rapport de vraisemblance avec un premier seuil de confiance T1 de valeur déterminée.It is then possible to appreciate the changes at a pixel by comparing the likelihood ratio with a first confidence threshold T 1 of determined value.
Avantageusement, il peut être considéré que le changement au niveau d'un pixel est significatif si la valeur de +ln(GLRT) est supérieure à ln(2), soit :
Cette valeur de seuil prend en compte le fait que le produit de PDF du numérateur de la relation (1) précitée, implique deux écarts-types, alors que seulement un écart-type est impliqué dans le dénominateur de la relation (3).This threshold value takes into account the fact that the PDF product of the numerator of the aforementioned relation (1) implies two standard deviations, whereas only one standard deviation is involved in the denominator of the relation (3).
Il est également possible de réaliser à la troisième étape 103 un deuxième type de test statistique basé sur l'hypothèse d'une distribution gaussienne de la carte des différences. Le principe de ce deuxième test statistique est d'évaluer la probabilité qu'une valeur de niveau de gris d'un pixel de la carte des différences soit issue d'une distribution gaussienne, sur la base des statistiques individuelles locales (µi ,σi ) i=1,2 propres aux images normalisées I'1 et I'2.It is also possible to perform in the third step 103 a second type of statistical test based on the assumption of a Gaussian distribution of the difference map. The principle of this second statistical test is to evaluate the probability that a gray level value of a pixel of the difference map is derived from a Gaussian distribution, on the basis of local individual statistics ( μ i , σ i ) i = 1.2 specific to the normalized images I ' 1 and I' 2 .
Ce deuxième test statistique peut se fonder sur l'hypothèse-que si des pixels représentant des tissus homogènes présentent individuellement des distributions gaussiennes, alors les pixels correspondants de la carte des différences I'2-I'1 présentent eux aussi des distributions gaussiennes de moyenne µ 2 - µ 1 et d'écart type
Selon un exemple de mode de réalisation de l'invention, il est possible de considérer un changement au niveau d'un pixel comme significatif, si cette probabilité est inférieure à un deuxième seuil de confiance T2.According to an exemplary embodiment of the invention, it is possible to consider a change at the level of a pixel as significant, if this probability is lower than a second confidence threshold T 2 .
Afin de discriminer les valeurs significatives de différences, il est nécessaire de prendre en compte la variabilité des valeurs de niveaux de gris des pixels dans les zones homogènes, cette variabilité étant due au bruit, et d'établir le deuxième seuil de confiance T2. Il est par exemple possible de définir ce deuxième seuil de confiance T2 de manière définitive, ou bien en proposant à un opérateur des moyens pour l'ajuster. Ce deuxième seuil de confiance T2 peut être utilisé comme un paramètre de contrôle du type d'estimation de la croissance tumorale qui est envisagé, par exemple en fonction du dossier du patient. Ainsi, une estimation plutôt conservative ou optimiste de la croissance tumorale peut se baser sur une valeur faible du deuxième seuil de confiance T2, alors qu'une estimation plutôt pessimiste peut se fonder sur une valeur élevée de ce seuil.In order to discriminate between the significant values of the differences, it is necessary to take into account the variability of the grayscale values of the pixels in the homogeneous zones, this variability being due to the noise, and to establish the second confidence threshold T 2 . It is for example possible to define this second confidence threshold T 2 definitively, or by proposing to an operator means for adjusting it. This second confidence threshold T 2 can be used as a control parameter of the type of estimate of tumor growth that is envisaged, for example as a function of the patient's file. Thus, a rather conservative or optimistic estimate of tumor growth can be based on a low value of the second confidence threshold T 2 , whereas a rather pessimistic estimate can be based on a high value of this threshold.
Dans un exemple de mode de réalisation de l'invention, il est possible de procéder à une estimation de la variance du bruit
Il peut être alors prévu de définir le deuxième seuil de confiance T2 par une valeur déterminée selon la relation :
où α est un coefficient réel ajustable.It can then be expected to define the second confidence threshold T 2 by a value determined according to the relation:
where α is an adjustable real coefficient.
Ainsi à l'issue de ce test statistique, il pourra être considéré que les changements au niveau d'un pixel sont significatifs si la fonction PDF associée est inférieure au deuxième seuil de confiance T2, soit :
Le deuxième seuil de confiance défini par la relation (4) ne reflète pas un modèle de bruit blanc gaussien pour le bruit IRM, mais plutôt un modèle des valeurs de différences de type distribution gaussienne avec une valeur moyenne nulle et une valeur estimée de variance de bruit.The second confidence threshold defined by equation (4) does not reflect a Gaussian white noise model for MRI noise, but rather a model of Gaussian distribution difference values with a mean value of zero and an estimated value of variance of noise.
Il est par exemple possible de choisir la valeur appropriée du deuxième seuil de confiance T2 en se basant sur les données individuelles du patient, et en restreignant la croissance tumorale à un pourcentage donné de la taille de la tumeur initiale. Par exemple, il est possible de commencer avec une valeur nulle de α, puis d'augmenter cette valeur par incréments de 0,01, jusqu'à obtenir le plus petit deuxième seuil de confiance T2 pour lequel le deuxième test statistique réalisée à la troisième étape 103 conduit à moins de 75% de croissance tumorale par exemple, cette valeur étant appropriée dans le cas particulier d'une croissance tumorale lente liée à un gliome cérébral de bas-grade.For example, it is possible to select the appropriate value of the second confidence threshold T 2 based on the patient's individual data, and restricting tumor growth to a given percentage of the size of the initial tumor. For example, it is possible to start with a zero value of α, then to increase this value in increments of 0.01, until the smallest second confidence threshold T 2 is obtained for which the second statistical test carried out at the
Dans un mode de réalisation de l'invention, il peut être réalisé à la troisième étape 103, un troisième type de test statistique portant sur la carte des différences, se fondant sur l'hypothèse que la moyenne des différences pour un point donné, ou bien pour une valeur moyenne dans une zone donnée autour de ce point, est nulle. Dans ce troisième type de test, c'est la probabilité
Pour tous les tests décrits ci-dessus, la croissance tumorale peut par exemple être déterminée sur la base d'une tumeur identifiée initialement à l'instant t1. L'identification de la tumeur initiale peut être réalisée de manière manuelle par le praticien, ou bien selon une méthode connue de segmentation automatique, par exemple.For all the tests described above, the tumor growth can for example be determined on the basis of a tumor initially identified at time t 1 . The identification of the initial tumor can be performed manually by the practitioner, or according to a known method of automatic segmentation, for example.
Il est également à remarquer que les tests précités peuvent être réalisés isolément, ou bien combinés entre eux, de manière à offrir une meilleure spécificité. Il est par exemple possible d'utiliser seulement le premier test statistique de type GLRT, ou bien seulement le deuxième test statistique reposant sur une hypothèse de distribution gaussienne de la carte des différences, ou bien seulement le troisième test statistique reposant sur une hypothèse d'égalité des moyennes de différences, ou bien encore une combinaison du premier type de test précité et du deuxième, une combinaison du premier type de test et du troisième, une combinaison du deuxième type de test et du troisième, ou enfin une combinaison des trois types de tests précités.It should also be noted that the aforementioned tests can be carried out individually, or combined with each other, so as to offer a better specificity. For example, it is possible to use only the first GLRT-type statistical test, or only the second statistical test based on a Gaussian distribution hypothesis of the difference map, or only the third statistical test based on a hypothesis of equality of difference means, or a combination of the first and second type of test, a combination of the first and third type of test, a combination of the second and third types of test, or a combination of the three types of the above tests.
D'autres tests statistiques spécifiques peuvent être envisagés : il est à retenir que tous les tests se basent sur une hypothèse de distributions Gaussiennes aux temps t1 et t2 pour les tissus cérébraux sains, c'est-à-dire autres que les tissus constituant la tumeur. Certains tests supposent en plus que les distributions sont les mêmes (soit par vraisemblance comme dans le premier type de test précité, soit par test d'égalité des moyennes, comme dans le troisième type de test décrit ci-dessus).Other specific statistical tests may be considered: it should be remembered that all the tests are based on a Gaussian distributions assumption at times t 1 and t 2 for healthy brain tissues, that is to say other than tissues. constituting the tumor. Some tests also assume that the distributions are the same (either by likelihood as in the first type of test mentioned above, or by equality test averages, as in the third type of test described above).
Il est également à noter que les différences signées précédemment évoquées peuvent aussi bien correspondre à la différence I'2 - I'1 ou I'1 et I'2 entre les images normalisées, avec les moyennes respectives µ2-µ1 ou µ1-µ2 ou 0.It should also be noted that the signed differences previously mentioned may also correspond to the difference I ' 2 - I' 1 or I ' 1 and I' 2 between the normalized images, with the respective means μ 2 -μ 1 or μ 1 -μ 2 or 0.
En outre, tous les tests décrits ci-dessus se font sur les valeurs de gris ou de différences originales, ou sur des valeurs moyennes locales. Dans ce dernier cas, il faut alors prendre en compte le fait que l'écart type local des valeurs diminue comme l'inverse de la racine carrée du nombre de points pris en considération.In addition, all the tests described above are based on original gray values or differences, or on local average values. In the latter case, it must then be taken into account that the local standard deviation of the values decreases as the inverse of the square root of the number of points taken into consideration.
La quatrième étape 104 consiste avantageusement à combiner les résultats des tests statistiques réalisés à la troisième étape 103 afin de caractériser la croissance tumorale. Cette combinaison permet de conférer au procédé selon l'invention une sensibilité et une sélectivité optimales. Chacun des types de tests décrits ci-dessus résulte par exemple en une image contenant des valeurs booléennes. Il est ainsi possible de combiner plusieurs types de tests en procédant à la multiplication bit à bit, pixel par pixel, de ces images binaires résultant des différents types de tests.The
La
Il est rappelé ici que le principe de la normalisation par égalisation mi-chemin, réalisé à la première étape 101 du procédé selon la présente invention, est d'attribuer à une paire d'images I1 et I2 une distribution commune de niveaux de gris. Cette distribution est définie comme un histogramme correspondant à un "mi-chemin" raisonnable, c'est-à-dire comme l'inverse de la moyenne des histogrammes cumulés inverses de niveaux de gris des images I1 et I2.It is recalled here that the principle of mid-way equalization, realized in the
Ainsi qu'il est illustré sur la
Ainsi qu'il est décrit dans l'article de J. Delon précité, des fonctions de changement de contraste Φ1 et Φ2 telles que Φ1(I1) et Φ2(I2) présentent le même histogramme cumulé Hmidway imposent et supposent que la relation suivante soit vérifiée :
Selon un exemple de mode de réalisation de la présente invention, l'histogramme cumulé mi-chemin Hmidway peut alors être déterminé par la relation suivante :
Les images normalisées I'1 et I'2, qui sont les images I1 et I2 que l'on normalise sur l'histogramme cumulé mi-chemin Hmidway, sont alors données par les relations suivantes :
et
and
Avantageusement, il peut être envisagé de définir l'histogramme mi-chemin Hmidway non pas par une moyenne arithmétique des inverses des histogrammes cumulés H1 et H2, mais plutôt par une moyenne géométrique de ces derniers. Ce mode de réalisation peut s'avérer approprié dans une application à des images IRM, car les non-homogénéités du champ généré par des équipements IRM peuvent typiquement être modélisées comme des champs multiplicatifs. En d'autres termes l'intensité d'un pixel d'une image I donné est en fait formalisée par I(x).g(x), g étant une fonction de non-homogénéité.Advantageously, it may be envisaged to define the halfway midway H midway histogram not by an arithmetic average of the inverses of the cumulated histograms H 1 and H 2 , but rather by a geometric mean of these. This embodiment may be appropriate in an application to MRI images, since the non-homogeneities of the field generated by MRI equipment can typically be modeled as multiplicative fields. In other words, the intensity of a pixel of a given image I is in fact formalized by I (x) .g (x), where g is a function of non-homogeneity.
De la sorte, dans ce mode de réalisation de l'invention, l'histogramme cumulé mi-chemin Hmidway peut être déterminé par la relation suivante :
Les images normalisées I'1 et I'2 peuvent alors être données par les relations suivantes :
et
and
Il est admis que la fonction g(x) est uniforme spatialement, et qu'elle varie peu localement. On peut donc faire l'hypothèse que la fonction g(x) est assimilable à une constante, sur des zones spatiales restreintes. Il peut être ainsi avantageusement envisagé, d'appliquer la normalisation par égalisation mi-chemin par petites zones d'images.It is accepted that the function g (x) is spatially uniform, and that it varies little locally. One can thus make the hypothesis that the function g (x) is comparable to a constant, on restricted spatial zones. It can thus be advantageously envisaged to apply equalization mid-way by small areas of images.
Il est à noter que tous les calculs présentés ci-dessus s'appliquent dans le cas où deux clichés sont disponibles, correspondant à des instants d'examen t1 et t2. Dans le cas où les clichés sont disponibles à une pluralité N d'instants tN, il est bien sûr possible de transposer les relations (7) à (9), et (10) à (12), en utilisant des moyennes respectivement arithmétiques et géométriques, pour N histogrammes cumulés inverses.It should be noted that all the calculations presented above apply in the case where two snapshots are available, corresponding to examination instants t 1 and t 2 . In the case where the snapshots are available at a plurality N of instants t N , it is of course possible to transpose the relations (7) to (9), and (10) to (12), using respectively arithmetic means. and geometric, for N inverse cumulative histograms.
La
Une première série d'images 300 comprend une première image FLAIR 301 réalisée au temps t1 selon le mode IRM FLAIR, et une seconde image FLAIR 302 réalisée au temps t2. Les deux images FLAIR 301 et 302 sont recalées.A first series of
Une première carte des différences FLAIR 303 est réalisée simplement sur la base d'une différence entre les deux premières images FLAIR 301 et 302.A first
Une seconde carte des différences FLAIR 304 est réalisée sur la base d'une différence entre les deux premières images FLAIR 301 et 302, normalisées par égalisation mi-chemin selon le procédé de la présente invention.A second difference map FLAIR 304 is made on the basis of a difference between the first two
Une troisième carte des différences FLAIR 305 est réalisée sur la base d'une différence entre les deux premières images FLAIR 301 et 302, normalisées par une technique de normalisation de type "demi-maximum" connue de l'état de la technique.A third difference map FLAIR 305 is made on the basis of a difference between the first two
Une seconde série d'images 310 comprend une première image SPGR 311 réalisée au temps t1 selon le mode IRM SPGR, et une seconde image SPGR 312 réalisée au temps t2. Les deux images SPGR 311 et 312 sont recalées.A second series of images 310 comprises a first image SPGR 311 produced at time t 1 according to the IRM mode SPGR, and a
Une première carte des différences SPGR 313 est réalisée simplement sur la base d'une différence entre les deux premières images SPGR 311 et 312.A first
Une seconde carte des différences SPGR 314 est réalisée sur la base d'une différence entre les deux premières images SPGR 311 et 312, normalisées par égalisation mi-chemin selon le procédé de la présente invention.A second difference map SPGR 314 is made on the basis of a difference between the first two
Une troisième carte des différences SPGR 315 est réalisée sur la base d'une différence entre les deux premières images SPGR 311 et 312, normalisées par une technique de normalisation de type "demi-maximum" connue de l'état de la technique.A third difference map SPGR 315 is made on the basis of a difference between the first two
Les images présentées à titre d'exemples dans la
La
Une première série d'images 400 est représentative du premier type de test tel que décrit ci-dessus, réalisé à la troisième étape 103. Une seconde série d'images 410 est représentative du deuxième type de test tel que décrit ci-dessus, réalisé à la troisième étape 103.A first series of
Dans la première série d'images 400, une première série d'images du premier test 401 représente des cartes des rapports de vraisemblance GLRT calculés au premier type de test de la troisième étape 103 du procédé de l'invention, selon la relation (1). Une deuxième série d'images du premier test après comparaison 402 représente les images de pixels booléens obtenues après comparaison des GLRT à un seuil de valeur prédéterminée, telle que formalisée par la relation (3). Ces pixels booléens représentent les différences significatives selon les critères du premier type de test réalisé à l'étape 103.In the first series of
Dans la deuxième série d'images 410, une première série d'images 411 du deuxième type de test représente des cartes des fonctions de densité de probabilités des différences gaussiennes calculés au deuxième type de test réalisé à la troisième étape 103. Une deuxième série d'images du deuxième type de test après comparaison 412 représente les images de pixels booléens obtenues après comparaison des fonctions de densité de probabilités précitées à un seuil de valeur prédéterminée, telle que formalisée par la relation (5). Ces pixels booléens représentent les différences significatives selon les critères du deuxième type de test.In the second series of
Les photographies présentées à titre d'exemples dans la
Cet exemple souligne en outre l'avantage procuré par la quatrième étape 104 du procédé selon l'invention, permettant de combiner les deux types de tests afin de procurer une sensibilité et une sélectivité optimales.This example further emphasizes the advantage afforded by the
Il est enfin à noter que tous les exemples présentés dans la présente description s'appliquent à des tumeurs cérébrales. Il est cependant possible d'appliquer le procédé selon l'invention, à la quantification de l'évolution de tout type de pathologie évolutive dont des méthodes d'imagerie permettent le suivi. Notamment, le procédé selon l'invention peut s'appliquer à la quantification de l'évolution de différents types de tumeurs, ou bien de la croissance osseuse, ou bien encore de la croissance de scléroses.Finally, it should be noted that all the examples presented in the present description apply to brain tumors. However, it is possible to apply the method according to the invention, to the quantification of the evolution of any type of evolutionary pathology whose imaging methods allow monitoring. In particular, the method according to the invention can be applied to the quantifying the evolution of different types of tumors, or bone growth, or even the growth of sclerosis.
Le procédé de l'invention peut être mis en oeuvre dans tout dispositif ou dispositif de programme d'ordinateur, destiné à l'analyse d'images et/ou à l'aide au diagnostic.The method of the invention can be implemented in any computer program device or device for image analysis and / or diagnostic assistance.
L'exploitation du procédé selon l'un des modes de réalisation présentés procure notamment la possibilité d'organiser par imagerie un dépistage de masse de toute pathologie, en particulier cérébrale, en appliquant l'algorithme à la détection d'une différence entre une IRM de référence et l'IRM du patient testé. En cas d'anomalie, après relecture par un radiologue, la présente invention permet également le suivi longitudinal de celle-ci, afin d'adapter la stratégie thérapeutique en cas d'évolutivité.The exploitation of the method according to one of the presented embodiments notably provides the possibility of organizing by imaging a mass screening of any pathology, in particular cerebral, by applying the algorithm to the detection of a difference between an MRI reference and MRI of the patient being tested. In case of anomaly, after rereading by a radiologist, the present invention also allows longitudinal monitoring thereof, in order to adapt the therapeutic strategy in case of scalability.
Claims (16)
- A method for quantifying the development of pathologies involving changes in volume of a body represented via an imaging technique, characterized in that it comprises at least:• a first step (101) for normalization of gray levels by a midway technique for two images I1 and I2 representing the same scene, resulting in two normalized images I'1 and I'2,• a second step (102) for calculation of a map of signed differences between the two normalized images I'1 and I'2,• a third step (103) comprising at least one statistical test based on the assumption of a Gaussian distribution of the gray levels for the healthy tissues in the normalized images I'1 and I'2 and/or in the difference map calculated in the second step (102).
- The method for quantifying the development of pathologies involving changes in volume of a body as claimed in claim 1, characterized in that the first normalization step (101) determines a midway cumulative histogram of gray levels common to the two images I1 and I2, and equal to the inverse of the arithmetic mean of the inverses of the cumulative histograms of gray levels for the two normalized images I1 and I2, the two images being normalized by application of the midway cumulative histogram to the two images I1 and I2.
- The method for quantifying the development of pathologies involving changes in volume of a body as claimed in claim 1, characterized in that the first normalization step (101) determines a midway cumulative histogram of gray levels common to the two images I1 and I2, and equal to the inverse of the geometric mean of the inverses of the cumulative histograms of gray levels for the two images I1 and I2, the two images being normalized on the midway cumulative histogram to the two images I1 and I2.
- The method for quantifying the development of pathologies involving changes in volume of a body as claimed in any one of the preceding claims, characterized in that a first test performs the comparison between a generalized likelihood ratio defined by the equation:
and a first confidence threshold T1 of given value;
p(I'i (x)/µi,σi) being the probability density function for the gray level I'i(x) of a pixel of the normalized image I'i, calculated with a Gaussian function of mean µi and standard deviation σi to exhibit the observed gray level, the index 1-2 being applicable to the combined values of the normalized images I'1 and I'2,
the statistics for a given pixel being determined over an area extending around the pixel over a given number of pixels. - The method for quantifying the development of pathologies involving changes in volume of a body as claimed in any one of the preceding claims, characterized in that a third test performs the comparison between the probability value
- The method for quantifying the development of pathologies involving changes in volume of a body as claimed in claim 7, characterized in that the first confidence threshold T1 is equal to 2.
- The method for quantifying the development of pathologies involving changes in volume of a body as claimed in claim 9, characterized in that the second confidence threshold T2 is equal to
- The method for quantifying the development of pathologies involving changes in volume of a body as claimed in claim 6, characterized in that the comparison performed by the third test carried out at the third step (103) is established by the following equation:
the third confidence threshold T3 being a non-zero positive real number much less than 1. - The method for quantifying the development of pathologies involving changes in volume of a body as claimed in any one of the preceding claims, characterized in that the tests carried out at the third step (103) are carried out for all the pixels composing the normalized images I'1 and I'2 and/or the difference map calculated at the second step (102).
- The method for quantifying the development of pathologies involving changes in volume of a body as claimed in any one of the preceding claims, characterized in that the tests carried out at the third step (103) are carried out on the basis of local means based on pluralities of pixels from the normalized images I'1 and I'2 and/or from the difference map calculated at the second step (102) forming a plurality of areas covering the normalized images I'1 and I'2 and/or the difference map.
- The method for quantifying the development of pathologies involving changes in volume of a body as claimed in any one of the preceding claims, characterized in that the first test and/or the second test and/or the third test are carried out at the third step (103), the results of these tests being combined during a fourth step (104).
- The method for quantifying the development of pathologies involving changes in volume of a body as claimed in any one of the preceding claims, characterized in that said pathology is a brain tumor.
- A computer program device, characterized in that it implements a method for quantifying the development of pathologies involving changes in volume of a body as claimed in any one of the preceding claims.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0953578A FR2946171B1 (en) | 2009-05-29 | 2009-05-29 | METHOD OF QUANTIFYING THE EVOLUTION OF PATHOLOGIES INVOLVING CHANGES IN BODY VOLUMES, IN PARTICULAR TUMORS |
PCT/EP2010/057466 WO2010136584A1 (en) | 2009-05-29 | 2010-05-28 | Method for quantifying the development of diseases involving changes in the volume of bodies, in particular tumours |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2435985A1 EP2435985A1 (en) | 2012-04-04 |
EP2435985B1 true EP2435985B1 (en) | 2013-11-20 |
Family
ID=41353826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP10724408.9A Active EP2435985B1 (en) | 2009-05-29 | 2010-05-28 | Method of quantifying the change of pathologies involving changes in the volume of bodies, especially of tumors |
Country Status (7)
Country | Link |
---|---|
US (1) | US9026195B2 (en) |
EP (1) | EP2435985B1 (en) |
JP (1) | JP5750716B2 (en) |
KR (1) | KR101711228B1 (en) |
CN (1) | CN102792336B (en) |
FR (1) | FR2946171B1 (en) |
WO (1) | WO2010136584A1 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2946171B1 (en) * | 2009-05-29 | 2011-07-15 | Groupe Des Ecoles De Telecommunications Get Ecole Nationale Superieure Des Telecommunications Enst | METHOD OF QUANTIFYING THE EVOLUTION OF PATHOLOGIES INVOLVING CHANGES IN BODY VOLUMES, IN PARTICULAR TUMORS |
US20120253681A1 (en) * | 2011-03-31 | 2012-10-04 | Chevron U.S.A. Inc. | System and method for processing seismic data |
CN102930552B (en) * | 2012-11-22 | 2015-03-18 | 北京理工大学 | Brain tumor automatic extraction method based on symmetrically structured subtraction |
WO2015044826A1 (en) * | 2013-09-30 | 2015-04-02 | Koninklijke Philips N.V. | Patient health state compound score distribution and/or representative compound score based thereon |
JP6687645B2 (en) | 2016-02-04 | 2020-04-28 | 日本電信電話株式会社 | Biological signal processing method and biological signal processing apparatus |
CN109416835B (en) * | 2016-06-29 | 2023-06-27 | 皇家飞利浦有限公司 | Change detection in medical images |
EP3709263B1 (en) * | 2019-03-14 | 2024-08-07 | Siemens Healthineers AG | Method and system for monitoring a biological process |
CN111311525A (en) * | 2019-11-20 | 2020-06-19 | 重庆邮电大学 | Image gradient field double-interval equalization algorithm based on histogram probability correction |
CN117953022B (en) * | 2024-03-27 | 2024-07-05 | 杭州邦杰星医疗科技有限公司 | Medical image registration processing system and method based on CUDA convolution algorithm |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5361763A (en) * | 1993-03-02 | 1994-11-08 | Wisconsin Alumni Research Foundation | Method for segmenting features in an image |
WO2000014668A1 (en) * | 1998-09-08 | 2000-03-16 | Catholic University Of America | Method and system for improved detection of prostate cancer |
AUPR358701A0 (en) * | 2001-03-07 | 2001-04-05 | University Of Queensland, The | Method of predicting stroke evolution |
US7403646B2 (en) * | 2002-10-24 | 2008-07-22 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and recording medium for generating a difference image from a first radiographic image and second radiographic image |
JP3931792B2 (en) * | 2002-11-08 | 2007-06-20 | コニカミノルタホールディングス株式会社 | Time-series processed image display device and display method |
US7283652B2 (en) * | 2002-11-27 | 2007-10-16 | General Electric Company | Method and system for measuring disease relevant tissue changes |
CN1910618A (en) * | 2004-01-15 | 2007-02-07 | 皇家飞利浦电子股份有限公司 | Stochastic analysis of cardiac function |
JP4025823B2 (en) * | 2004-02-24 | 2007-12-26 | 国立精神・神経センター総長 | Diagnosis support method and apparatus for brain disease |
EP1744671B1 (en) * | 2004-04-26 | 2013-10-23 | David F. Yankelevitz | Medical imaging system for accurate measurement evaluation of changes in a target lesion |
US20050273001A1 (en) * | 2004-06-04 | 2005-12-08 | The Mcw Research Foundation | MRI display interface for medical diagnostics and planning |
US8050734B2 (en) * | 2005-09-07 | 2011-11-01 | General Electric Company | Method and system for performing patient specific analysis of disease relevant changes of a disease in an anatomical structure |
WO2008014340A2 (en) * | 2006-07-25 | 2008-01-31 | University Of Rochester | Prediction and treatment of brain tumor spread using mri and external beam radiation |
JP4948985B2 (en) * | 2006-11-17 | 2012-06-06 | 富士フイルムRiファーマ株式会社 | Medical image processing apparatus and method |
WO2008093057A1 (en) * | 2007-01-30 | 2008-08-07 | Ge Healthcare Limited | Tools for aiding in the diagnosis of neurodegenerative diseases |
FR2946171B1 (en) * | 2009-05-29 | 2011-07-15 | Groupe Des Ecoles De Telecommunications Get Ecole Nationale Superieure Des Telecommunications Enst | METHOD OF QUANTIFYING THE EVOLUTION OF PATHOLOGIES INVOLVING CHANGES IN BODY VOLUMES, IN PARTICULAR TUMORS |
-
2009
- 2009-05-29 FR FR0953578A patent/FR2946171B1/en not_active Expired - Fee Related
-
2010
- 2010-05-28 WO PCT/EP2010/057466 patent/WO2010136584A1/en active Application Filing
- 2010-05-28 JP JP2012512400A patent/JP5750716B2/en active Active
- 2010-05-28 CN CN201080032460.2A patent/CN102792336B/en active Active
- 2010-05-28 US US13/323,000 patent/US9026195B2/en active Active
- 2010-05-28 KR KR1020117031369A patent/KR101711228B1/en active IP Right Grant
- 2010-05-28 EP EP10724408.9A patent/EP2435985B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2435985A1 (en) | 2012-04-04 |
US20120220856A1 (en) | 2012-08-30 |
KR20120065277A (en) | 2012-06-20 |
CN102792336B (en) | 2016-08-03 |
US9026195B2 (en) | 2015-05-05 |
JP5750716B2 (en) | 2015-07-22 |
JP2012527923A (en) | 2012-11-12 |
WO2010136584A1 (en) | 2010-12-02 |
KR101711228B1 (en) | 2017-02-28 |
CN102792336A (en) | 2012-11-21 |
FR2946171A1 (en) | 2010-12-03 |
FR2946171B1 (en) | 2011-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2435985B1 (en) | Method of quantifying the change of pathologies involving changes in the volume of bodies, especially of tumors | |
Sopharak et al. | Simple hybrid method for fine microaneurysm detection from non-dilated diabetic retinopathy retinal images | |
EP2437664B1 (en) | Method for estimating haemodynamic parameters by joint estimation of the parameters of a comprehensive perfusion model | |
Kayal et al. | A new dynamic thresholding based technique for detection of hard exudates in digital retinal fundus image | |
EP2401719B1 (en) | Methods for segmenting images and detecting specific structures | |
EP3412245A1 (en) | Method for evaluating an orthodontic splint | |
WO2012037414A1 (en) | Systems and methods for multilayer imaging and retinal injury analysis | |
FR2862788A1 (en) | Subject`s e.g. human, image data analyzing method for e.g. X-ray system, involves analyzing temporal change image of patient via computer aided detection algorithm, to identify feature of interest in image | |
EP2924586A1 (en) | System and method for estimating a quantity of interest of a dynamic artery/tissue/vein system | |
CN105761229B (en) | The Enhancement Method and device of ultrasonic puncture needle image | |
EP3552146B1 (en) | Detection of nerves in a series of echographic images | |
Morales et al. | Automatic detection of optic disc based on PCA and stochastic watershed | |
Pratheeba et al. | A novel approach for detection of hard exudates using random forest classifier | |
CA3095089A1 (en) | Method for detecting cells having at least one anomaly in a cytological sample | |
Jeevakala et al. | A novel segmentation of cochlear nerve using region growing algorithm | |
EP0927953A1 (en) | Multidimensional noisy image processing method and medical imaging apparatus using this method | |
EP3274734A1 (en) | Mri system and method for estimating a physiological parameter on the basis of two other estimated pysiological parameters | |
CA3176333A1 (en) | Method for determining an ablation region based on deep learning | |
JP5740403B2 (en) | System and method for detecting retinal abnormalities | |
Barın et al. | An improved hair removal algorithm for dermoscopy images | |
Putri et al. | Retracted: Implementation of Neural Network Classification for Diabetes Mellitus Prediction System through Iridology Image | |
Shabbir et al. | A comparison and evaluation of computerized methods for blood vessel enhancement and segmentation in retinal images | |
WO2023275478A1 (en) | Method for attenuating noise in images resulting from multiple mri acquisitions | |
EP4154262A1 (en) | Method for predicting the recurrence of a lesion by image analysis | |
Priya et al. | Image analysis technique for detecting diabetic retinopathy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20111130 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
DAX | Request for extension of the european patent (deleted) | ||
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: G06T 7/40 20060101ALI20130513BHEP Ipc: G06T 7/00 20060101AFI20130513BHEP |
|
INTG | Intention to grant announced |
Effective date: 20130613 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 642034 Country of ref document: AT Kind code of ref document: T Effective date: 20131215 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: FRENCH |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602010011890 Country of ref document: DE Effective date: 20140116 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20131120 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: MARKS AND CLERK (LUXEMBOURG) LLP, CH |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 642034 Country of ref document: AT Kind code of ref document: T Effective date: 20131120 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140220 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140320 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140320 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602010011890 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
26N | No opposition filed |
Effective date: 20140821 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602010011890 Country of ref document: DE Effective date: 20140821 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140528 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140528 Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 7 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140221 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140531 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20100528 Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 8 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 9 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131120 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20220707 AND 20220713 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R081 Ref document number: 602010011890 Country of ref document: DE Owner name: UNIVERSITE PARIS CITE, FR Free format text: FORMER OWNERS: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE (CNRS), PARIS CEDEX 16, FR; INSTITUT TELECOM - TELECOM PARIS TECH, PARIS, FR; UNIVERSITE PARIS DIDEROT - PARIS 7, PARIS, FR Ref country code: DE Ref legal event code: R081 Ref document number: 602010011890 Country of ref document: DE Owner name: INSTITUT TELECOM - TELECOM PARIS TECH, FR Free format text: FORMER OWNERS: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE (CNRS), PARIS CEDEX 16, FR; INSTITUT TELECOM - TELECOM PARIS TECH, PARIS, FR; UNIVERSITE PARIS DIDEROT - PARIS 7, PARIS, FR Ref country code: DE Ref legal event code: R081 Ref document number: 602010011890 Country of ref document: DE Owner name: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE (, FR Free format text: FORMER OWNERS: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE (CNRS), PARIS CEDEX 16, FR; INSTITUT TELECOM - TELECOM PARIS TECH, PARIS, FR; UNIVERSITE PARIS DIDEROT - PARIS 7, PARIS, FR |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20240502 Year of fee payment: 15 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240502 Year of fee payment: 15 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20240602 Year of fee payment: 15 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20240509 Year of fee payment: 15 |