EP2526526A1 - Procédé de segmentation d'image, programme d'ordinateur et système informatique correspondant - Google Patents

Procédé de segmentation d'image, programme d'ordinateur et système informatique correspondant

Info

Publication number
EP2526526A1
EP2526526A1 EP11708895A EP11708895A EP2526526A1 EP 2526526 A1 EP2526526 A1 EP 2526526A1 EP 11708895 A EP11708895 A EP 11708895A EP 11708895 A EP11708895 A EP 11708895A EP 2526526 A1 EP2526526 A1 EP 2526526A1
Authority
EP
European Patent Office
Prior art keywords
points
image
point
arcs
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP11708895A
Other languages
German (de)
English (en)
Other versions
EP2526526B1 (fr
Inventor
François MALGOUYRES
Nicolas Lerme
Lucas Letocart
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite Sorbonne Paris Nord
Original Assignee
Universite Sorbonne Paris Nord
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite Sorbonne Paris Nord filed Critical Universite Sorbonne Paris Nord
Publication of EP2526526A1 publication Critical patent/EP2526526A1/fr
Application granted granted Critical
Publication of EP2526526B1 publication Critical patent/EP2526526B1/fr
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Definitions

  • the present invention relates to an image segmentation method, a computer program and a computer system therefor.
  • the invention applies more particularly in the field of computer vision ("Computer Vision" in English).
  • a "computer system” is a system designed to execute computer program instructions and having for this at least one central processing unit, also called processor or CPU (Central Processing Unit).
  • CPU Central Processing Unit
  • a computer system according to the invention may consist of a simple computer comprising one or more CPUs, or a more complex set in which several computers are interconnected via a data transmission network.
  • a "computer memory” means any type of medium on which data that can be read by a computer is recorded. This term covers in particular floppy disks, compact disks or DVDs. This term also covers systems including both the actual computer memory read devices and / or writing on the latter, such as RAM, hard disks or USB keys.
  • a “computer program”, or simply “program”, is a set of instructions intended to be executed by one or more processors of a computer system.
  • the arcs comprising arcs, called source arcs, connecting the source to each of the points, arcs, called arches, connecting the well to each of the points and arcs, called inter-point arcs, connecting the points to each other, at each point being assigned a capacitance, called through capacitance, representing the combination of the flow-through capabilities of the source arc and the sink arc connecting it respectively to the source and to the well,
  • the image is in two dimensions with its regularly spaced points in two dimensions and distributed over rows and columns.
  • seeds in English
  • the vertices of the graph consist of all the points of the image and the arcs of the graph connect each point with its neighbors, according to the criterion of neighborhood said "of type 0".
  • This criterion defines, in two dimensions, the neighboring points of a point considered as the four points positioned respectively directly above, directly below, directly to the left and directly to the right of the considered point.
  • inter-point capacitance A capacitance, called inter-point capacitance, is assigned to each of these arcs.
  • the inter-point capacitance is determined from the intensities of the two adjacent points linked by the arc.
  • a through capacitance is assigned to each point of the image. This through capacitance is determined differently depending on whether the point is an unknown seed point or label point. In the latter case, the through capacitance is determined from the intensity of the point.
  • the maximum flow problem consists in determining the maximum "flow” that can flow from a source ("source” in English) to a sink ("sink”), both connected to each point of the graph, respecting, in the graph, the inter-points abilities and, through the graph, the traversing capacities.
  • the known methods of segmentation have the problem of requiring large amounts of computer memory and computer computation time, as the size of the image, that is to say the number of its points , increases.
  • the subject of the invention is therefore an image segmentation method comprising:
  • the arcs comprising arcs, called source arcs, connecting the source to each of the points, arcs, called arches, connecting the well to each of the points and arcs, called inter-point arcs, connecting the points to each other,
  • the points of the image comprise the determined critical points and the inter-point arcs connect the neighboring critical points to each other according to a predetermined neighborhood criterion on their relative positions in the image.
  • the critical points found correspond exactly to the points that would have had a non-zero flow in the source arc or in the well arc with a resolution of the maximum flow on all the points of the image.
  • the critical points do not correspond exactly to these points: some could have a zero crossing flow by solving the problem of the maximum flow on all points of the image, and conversely some points that would have had a non-zero traversing flow by solving the maximum flow problem on all points of the image may not be determined as a critical point.
  • the maximum flow problem is solved only on certain points of the image (the critical points) which generally represent only a small part of the set of points of the image.
  • the amount of computer memory and computer computation time required for segmentation is reduced.
  • the window is centered on the point on which it is applied.
  • each point has an intensity
  • the traversing capacity of each of at least a portion of the points is determined from the intensity of this point
  • the flow capacity of each of at least a portion of the inter-point arcs is determined from the intensity of the two points it connects.
  • the predetermined condition is that, among at least a predetermined number of image points located in a predetermined window applied around the critical point:
  • At least one point has a positive through capacitance less than a predetermined positive threshold
  • At least one point has a negative through capacitance greater than a predetermined negative threshold.
  • the thresholds are constant in the window.
  • the method comprises, for determining the critical points: traversing points of the image, and for each point traveled, called current point: determining if at least a predetermined number of windowed points of the current point have their traversing capacitances each greater than the predetermined positive capacitance threshold, or have their through capacitance each lower than the predetermined negative capacitance threshold, by traversing all the windowed points to compare their through capacitance with the negative threshold and the positive threshold.
  • the method further comprises, for determining the critical points: to traverse points of the image, and for each point traveled, called current point: to determine if all the windowed points of the current point have their traversing capabilities each greater than the predetermined positive capacitance threshold, or have their through capacitance each less than the predetermined negative capacitance threshold, using the determination made for a point traveled before the current point.
  • the invention also relates to a computer program downloadable from a communication network and / or recorded on a computer readable medium, characterized in that it comprises computer program instructions for the implementation of an image segmentation method the invention when said computer program is executed by a computer!
  • the invention also relates to a computer system comprising:
  • an image stored in a computer memory the image comprising a plurality of points, each comprising a position in the image
  • critical points determining points of the image, called critical points, for each of which, the points of the image situated in a predetermined window applied around the critical point satisfy a predetermined condition on their traversing capacitances
  • determining a solution to the maximum flow problem in a graph comprising, on the one hand, as vertices, a source, a well and the critical points determined and, on the other hand, arcs each provided with a passing capacity of positive or no flow,
  • the arcs comprising arcs, called source arcs, connecting the source to each of the points, arcs, called arches, connecting the well to each of the points and arcs, called inter-point arcs, connecting the critical points neighbors to each other according to a predetermined neighborhood criterion on their relative positions in the image,
  • the traversing capacitances representing the combination of the flow passage capacities of the source arc and the sink arc connecting it respectively to the source and to the well
  • the computer system of the invention could be a medical imaging machine, such as a resonance imaging machine (or MRI), a scanner, etc.
  • a medical imaging machine such as a resonance imaging machine (or MRI), a scanner, etc.
  • FIG. 1 represents an example of a computer system according to the invention
  • FIG. 2 represents the steps of an image segmentation method implemented by the computer system of FIG. 1,
  • FIG. 3 represents an example of a part of the process of FIG.
  • FIG. 4 represents the steps of a variant of the segmentation method of FIG. 2, and
  • FIG. 5 represents an example of a part of the process of FIG.
  • an exemplary computer system according to the invention is presented in the form of a computer 100.
  • the computer 100 firstly comprises a CPU 102 and the RAM 104 capable of executing computer programs, in particular to control the other elements of the computer 100.
  • the computer 100 firstly comprises a reading device 106 of a computer memory and a writing device 108 in a computer memory.
  • these two devices 106, 108 correspond to a hard disk of the computer or, respectively, to a CD or DVD player and a hard disk.
  • An image 114 is stored in the computer memory 112 of the hard disk 110 This image comes for example from a medical imaging machine, such as a nuclear magnetic resonance imaging (MRI) machine, a scanner, etc.
  • MRI nuclear magnetic resonance imaging
  • the computer 100 further comprises a computer memory in which a computer program 116 is recorded.
  • a computer program 116 is stored in the computer memory 112 of the hard disk 110.
  • the computer 100 further comprises a man / machine interface 118, such as the whole of a screen, a keyboard and / or a mouse.
  • a man / machine interface 118 such as the whole of a screen, a keyboard and / or a mouse.
  • the image 114 has a plurality of dots, each including a position in the image and an intensity.
  • the intensity may comprise a single value, for example representing a gray level, or several values, for example representing a color, for example expressed in the RGB form ("Red, Green, Blue"). or the values of several channels in the case of a multichannel image.
  • RGB form Red, Green, Blue
  • the program 116 includes computer program instructions for, when this program 116 is executed by the computer system 100, implementing the image segmentation method which will now be described.
  • the image segmentation method 200 comprises the following steps.
  • the computer 100 reads, by means of the reading device 106, the image 114 recorded in the computer memory 112 of the hard disk 110.
  • the computer 100 assigns an "object" or "background” label to certain points, called “seed points”. These labels are for example indicated by the user via the human / machine interface 118, or else determined by the computer 100 by means of an ad-hoc method making it possible to generate the seed points automatically.
  • the computer 100 determines a capacity, called through capacitance, for each point of the image.
  • the crossing capacity of a point pe P is denoted c (p).
  • this traversing capacitance is for example determined from the only intensity of the point, without using the intensity of other points.
  • the computer 100 assigns, at each point p e P, its crossing capacitance c (p).
  • the computer 100 determines points of the image, called critical points.
  • a point of the image is a critical point when at least a predetermined number of image points located in a predetermined window applied around that point satisfy a predetermined condition on their through capabilities.
  • the points of the image located in the predetermined window applied around a point p e P are called windowed points of this point p and are denoted Z (p). It will be noticed that the point p around which the window is applied, is itself a windowed point.
  • a point of the image is a critical point when all the points of the image located in a predetermined window applied around this point satisfy the predetermined condition on their traversing capacitances. It is this last case which will be considered in the continuation of the description.
  • the condition is that, among the windowed points of the point:
  • At least two windowed points have traversing capabilities of opposite signs
  • At least one windowed point has a positive through capacitance less than a predetermined positive threshold, called a positive capacitance threshold, or
  • At least one windowed point has a negative through capacitance greater than a predetermined negative threshold, referred to as a negative capacitance threshold.
  • the window is of fixed size. Also preferably, the window is centered on the point at which it is applied. Also preferably, the window is rectangular, for example square. In the rest of the description, the window is taken of fixed size, centered and square.
  • the capacity thresholds are equal in absolute value.
  • the capacity thresholds are constant, that is to say independent of the position of the point in the window, as well as the point at which the window is applied. In the remainder of the description, the capacity thresholds are taken equal in absolute value and constant. They are noted respectively S and - ⁇ ( ⁇ being strictly positive).
  • a point of the image is a critical point when it does not check the condition, noted (C), following:
  • all the points of the image satisfying the predetermined condition are determined in step 210.
  • the set of critical points is noted later.
  • the computer 100 determines, for each critical point pe P c , its neighboring points, denoted N (p), according to a predetermined neighborhood criterion on their relative positions in the image 114.
  • the criterion of neighborhood is the criterion of neighborhood said type 0. This criterion defines, in two dimensions, the neighboring points of a point considered as the four points positioned respectively directly above, directly below, directly to left and directly to the right of the considered point.
  • the neighborhood criterion of type 0 is the following:
  • the computer 100 assigns, to each pair of neighboring critical points, a capacitance, called inter-point capacitance.
  • inter-point capacitance The inter-points ability two adjacent critical points pe P c and q ⁇ P c is denoted c (p, q).
  • This inter-point capacitance is for example determined from the only intensities of the two points, without using the intensity of other points.
  • steps 210 and 212 are implemented at the same time by the following steps 216 to 222.
  • the computer 100 initializes to the value -1 all the elements of a list of size N ⁇ N being the side of the image), denoted L, and puts a counter, noted cpt, at the value 0.
  • the computer 100 then traverses points of the image, preferably all, passing, line by line, from one point to the next. For each point traveled, called current point, the computer 100 implements the following steps 218 to 230.
  • the computer 100 determines whether the condition (C) is satisfied for the current point.
  • the computer 100 traverses all the windowed points of the current point to compare their through capacitance at each of the capacity thresholds.
  • the computer 100 stores the value -1 in the element L [i], / being the column number of the current point.
  • the computer 100 implements the following steps.
  • the computer 100 identifies the current point as a critical point.
  • the computer 100 identifies the current point and its neighbor point directly above it as two neighboring critical points if the element L [i] has a value greater than or equal to zero. The computer 100 then creates, always during this step, an arc between these two neighboring critical points, then determines and associates an inter-point capacitance to this arc.
  • the computer 100 identifies the current point and its neighboring point located directly to the left as two adjacent critical points if the element has a value greater than or equal to zero. The computer 100 then creates, always during this step, an arc between these two neighboring critical points, then determines and associates an inter-point capacitance to this arc.
  • the computer 100 stores the value of the counter cpt in the element from the list, then increments the counter cpt by 1.
  • the computer 100 has determined all the critical points of the image, as well as the neighboring pairs of critical points.
  • the computer 100 determines a solution to the maximum flow problem in a graph comprising, on the one hand, as vertices, a source, a well and the critical points determined and, on the other hand, arcs each provided with a positive or zero flow capacity.
  • These arcs comprise arcs, called source arcs, connecting the source to each of the critical points, arcs, called arches, connecting the well to each of the points, and arcs, called inter-point arcs, connecting the neighboring critical points between them.
  • the traversing capacitances represent the combination of the flow-through capabilities of the source arc and the sink arc connecting it respectively to the source and to the well. More precisely, the crossing capacitance of a point p e P is equal to the difference of the flow passage capacities of the source arc and the well arc connecting this point:
  • the computer 100 assigns, according to the determined solution, an "object" label or a "background” label to each of at least a portion of the image points, preferably all the points of the image.
  • the computer 100 stores in the computer memory 112 of the hard disk 110, by means of the writing device 108, the image 14 with the labels assigned.
  • step 218 requires traversing all the windowed points, which leads to a high calculation cost, proportional to the size of the window. Now, it can be interesting to use a large window because it has been found that it significantly reduced, in absolute value, the capacity thresholds, and thus further reduce the number of critical points.
  • method 300 overcomes this problem.
  • the method 300 is identical to the method 200 of Figure 2, except that the step 218 is replaced by the following steps 302 to 312, and that, in the example described, the window is odd side.
  • the computer 100 determines whether the condition (C) is verified for the current point by using the determination made for at least one point traveled before the current point. This makes it possible to take advantage of comparisons with the positive and negative thresholds that have been previously achieved.
  • the penultimate point that is used that is to say, the one just before the point in progress.
  • the penultimate point that is used, that is to say, the one just before the point in progress.
  • the penultimate point that is used, that is to say, the one just before the point in progress.
  • the computer 100 determines at least one windowed point, called the remaining windowed point, the through capacitance of which has not yet been compared with the capacity thresholds.
  • the computer 100 compares the through capacitance of each remaining windowed point with the capacity thresholds.
  • the computer 100 assigns each remaining windowed point a first test value when its through capacitance is greater than the predetermined positive threshold, a second test value when its through capacitance is lower than the predetermined negative threshold, or else a third test value in the other cases, this third value being between the first and second test values and different from the latter.
  • the first, second and third test values are, respectively, 1, -1 and 0.
  • the test value of a remaining windowed point pe P denoted g s (p)
  • the computer 100 determines the sum of the test values of the windowed points of the current point, called the current summed and denoted s (i, j), with and j respectively the column number and the line of the point in Classes.
  • the current sum is determined from the sum of the test values of the windowed points of the previously traversed point on the line, denoted s (i-1, j), of the test value of the remaining windowed point, and windowed points. of the penultimate point no longer appearing among the windowed points of the current point.
  • the current sum is for example calculated by ((k - 1) / 2 being denoted kl 2):
  • s (i, j) s (i - ⁇ , j) - M [i -k72 - l] + M [i + k ⁇ ⁇ 2]
  • M [i + ⁇ k2] M [i + ⁇ k2] - g s (i + k ⁇ 1 2, j - ⁇ k2 - 1) + g s (i + ⁇ k2, j + k ⁇ 2)
  • the computer 100 determines whether the condition (c) is satisfied for the current point, and therefore if the current point is a critical point, starting from the current sum s ⁇ i, j). In the example described, the current point is identified as a critical point if ⁇ s (i, j) ⁇ ⁇ k 2 .
  • Steps 304 to 312 are repeated for each point traveled, being adapted in the case of points near the edges of the image.
  • the method of FIG. 4 therefore makes it possible to overcome the size of the window, so that the cost becomes almost constant as a function of the size of the window.
  • the size of the image is not limited to two.
  • the image could for example be three-dimensional (volume) or four-dimensional (generally representing a volume over time), or even more.
  • the methods presented above are easily adaptable to these cases.
  • the neighborhood criterion could be chosen differently.
  • type 1 neighborhood criterion in which the neighbors of a point are defined by:
  • N (p) ⁇ q P: ⁇ q t - p, ⁇ ⁇ 1, VI ⁇ i ⁇ P.
  • the present invention also covers the case where the capacity thresholds would vary depending on the position of the point in the window. For example, it may be advantageous to provide higher absolute value thresholds at the periphery of the window, since it is the windowed points of the periphery of the window that are most likely to contribute the most to saturation. inter-point arcs of the periphery of the window. However, in this case, there would be a priori fewer points determined as critical points, and the resolution of the maximum flow problem would risk doing so on a larger graph.
  • the image can be read and recorded from other types of computer memory than a hard disk memory.
  • the image can be read from the computer's RAM, or from a memory of a computer device external to the computer, such as a medical imaging machine (MRI , scanner, etc.) via a data communication network.
  • a medical imaging machine MRI , scanner, etc.
  • the image with its labels can be saved in the computer's RAM by means of the corresponding writing devices.
  • the image can be quickly read for example to perform other treatments, for example to determine the volume of the segmented object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

Le procédé comporte : lire (202) une image, déterminer (232) une solution au problème de flot maximum dans un graphe comportant, d'une part, comme sommets, une source, un puits et des points de l'image, à chaque point étant assignée une capacité, appelée capacité traversante, assigner (234), en fonction de la solution déterminée, un label à chacun d'au moins une partie des points de l'image, et enregistrer l'image avec les labels assignés dans une mémoire d'ordinateur. En outre, avant de déterminer une solution au problème de flot maximum, le procédé comporte : déterminer (212) des points critiques, pour chacun desquels, les points de l'image situés dans une fenêtre prédéterminée appliquée autour du point critique vérifient une condition prédéterminée sur leurs capacités traversantes. Les points du graphe comprennent les points critiques déterminés et les arcs inter-points relient les point critiques voisins entre eux.

Description

La présente invention concerne un procédé de segmentation d'image, un programme d'ordinateur et un système informatique correspondants.
L'invention s'applique plus particulièrement dans le domaine de la vision par ordinateur (« Computer Vision » en anglais).
La terminologie suivante est utilisée dans la présente description, ainsi que dans les revendications.
Un « système informatique » est un système conçu pour exécuter des instructions de programme d'ordinateur et comportant pour cela au moins une unité de traitement centrale, appelée également processeur ou CPU (de l'anglais « Central Processing Unit »). Dans un ordre de complexité croissante, un système informatique selon l'invention peut être constitué d'un simple ordinateur comportant un ou plusieurs CPU, ou d'un ensemble plus complexe dans lequel plusieurs ordinateurs sont interconnectés via un réseau de transmission de données.
Une « mémoire d'ordinateur » signifie n'importe quel type de support sur lequel sont enregistrées des données pouvant être lues par un ordinateur. Ce terme recouvre en particulier les disquettes, les disques compacts ou les DVD. Ce terme recouvre également les systèmes regroupant à la fois la mémoire d'ordinateur proprement dite les dispositifs de lecture et/ou d'écriture sur cette dernière, tels que la mémoire RAM, les disques durs ou les clés USB.
Un « programme d'ordinateur », ou plus simplement « programme », est un ensemble d'instructions destinées à être exécutées par un ou plusieurs processeurs d'un système informatique.
L'article de Y. Boykov et M-P. Jolly : « Interactive graph cuts for optimal boundary and région segmentation of objects in n-d images », ICCV01 : Proceedings of « Internation Conférence on Computer Vision », pages 105-112, 2001 , décrit un procédé de traitement d'image comportant :
- lire une image enregistrée dans une mémoire d'ordinateur, l'image comportant une pluralité de points, ayant chacun une position dans l'image,
- déterminer une solution au problème de flot maximum dans un graphe comportant, d'une part, comme sommets, une source, un puits et des points de l'image et, d'autre part, des arcs munis chacun d'une capacité de passage de flot positive ou nulle,
les arcs comprenant des arcs, appelés arcs sources, reliant la source à chacun des points, des arcs, appelés arcs puits, reliant le puits à chacun des points et des arcs, appelés arcs inter-points, reliant les points entre eux, à chaque point étant assignée une capacité, appelée capacité traversante, représentant la combinaison des capacités de passage de flot de l'arc source et de l'arc puits le reliant respectivement à la source et au puits,
- assigner, en fonction de la solution déterminée, un label « objet » ou bien un label « arrière plan » à chacun d'au moins une partie des points de l'image,
- enregistrer l'image avec les labels assignés dans une mémoire d'ordinateur. Dans ce document, l'image est en deux dimensions avec ses points régulièrement espacés selon les deux dimensions et répartis sur des lignes et des colonnes.
Par ailleurs, le label de certains points de l'image, appelés germes (« seeds » en anglais) est imposé par l'utilisateur ou bien déterminé par l'ordinateur.
Les sommets du graphe sont constitués de tous les points de l'image et les arcs du graphe relient chaque point avec ses voisins, selon le critère de voisinage dit « de type 0 ». Ce critère définit, en deux dimensions, les points voisins d'un point considéré comme les quatre points positionnés respectivement directement au dessus, directement en dessous, directement à gauche et directement à droite du point considéré.
Une capacité, appelée capacité inter-points, est assignée à chacun de ces arcs. La capacité inter-points est déterminée à partir des intensités des deux points voisins liés par l'arc.
En outre, une capacité traversante est assignée à chaque point de l'image. Cette capacité traversante est déterminée de manière différente selon que le point est un point germe ou un point de label inconnu. Dans ce dernier cas, la capacité traversante est déterminée à partir de l'intensité du point.
Le problème de flot maximum, connu en soi, consiste à déterminer le « flot » maximum pouvant s'écouler depuis une source (« source » en anglais) jusqu'à un puits (« sink » en anglais), tous deux reliés à chaque point du graphe, en respectant, dans le graphe, les capacités inter-points et, au travers du graphe, les capacités traversantes.
Plusieurs algorithmes sont disponibles pour résoudre ce problème, tel que celui présenté dans l'article Y. Boykov et V. Kolmogorov : « An expérimental comparison of min-cut/max flow algorithme for energy minimization in vision », EMMCVPR01 Proceedings of the International Workshop on Energy Minimization Methods in Computer Vision and Pattern Récognition, pages 359-374, 2001. On observe empiriquement que cet algorithme nécessite une quantité de mémoire d'ordinateur et un temps de calcul qui augmentent de façon linéaire en fonction du nombre de sommets et d'arcs dans le graphe.
Ainsi, les procédés connus de segmentation présentent le problème de nécessiter de grandes quantités de mémoire d'ordinateur et de temps de calcul d'ordinateur, dés que la taille de l'image, c'est-à-dire le nombre de ses points, augmente.
Ainsi, il peut ainsi être souhaité de prévoir un procédé de segmentation d'image qui permette de s'affranchir, au moins en partie, des problèmes et contraintes précités.
L'invention a donc pour objet un procédé de segmentation d'image comportant :
- lire une image enregistrée dans une mémoire d'ordinateur, l'image comportant une pluralité de points, ayant chacun Une position dans l'image,
- déterminer une solution au problème de flot maximum dans un graphe comportant, d'une part, comme sommets, une source, un puits et des points de l'image et, d'autre part, des arcs munis chacun d'une capacité de passage de flot positive ou nulle,
les arcs comprenant des arcs, appelés arcs sources, reliant la source à chacun des points, des arcs, appelés arcs puits, reliant le puits à chacun des points et des arcs, appelés arcs inter-points, reliant les points entre eux,
à chaque point étant assignée une capacité, appelée capacité traversante, représentant la combinaison des capacités de passage de flot de l'arc source et de l'arc puits le reliant respectivement à la source et au puits,
- assigner, en fonction de la solution déterminée, un label « objet » ou bien un label « arrière plan » à chacun d'au moins une partie des points de l'image,
- enregistrer l'image avec les labels assignés dans une mémoire d'ordinateur, caractérisé en ce qu'il comporte, avant de déterminer une solution au problème de flot maximum :
- déterminer des points de l'image, appelés points critiques, pour chacun desquels, les points de l'image situés dans une fenêtre prédéterminée appliquée autour du point critique vérifient une condition prédéterminée sur leurs capacités traversantes, et en ce que les points du graphe comprennent les points critiques déterminés et les arcs inter-points relient les point critiques voisins entre eux selon un critère de voisinage prédéterminé sur leurs positions relatives dans l'image.
En effet, il a été trouvé que, la plupart du temps, la résolution du problème de flot maximum sur tous les points de l'image donnait un flot non nul dans l'arc source ou dans l'arc puits pour chacun d'un petit nombre de points seulement. Il a en outre été trouvé qu'il était possible de déterminer tous ces points, ou au moins une grande partie de ces points, a priori (c'est-à-dire avant de résoudre le problème de flot maximum), à partir des capacités traversantes. Plus précisément, il a été trouvé qu'un point avait de bonnes chances d'avoir un flot non nul dans son arc source ou son arc puits si les points de l'image situés dans une fenêtre prédéterminée appliquée autour du point critique vérifiaient une condition prédéterminée sur leurs capacités traversantes. Ainsi, dans le meilleurs des cas, les points critiques trouvés correspondent exactement aux points qui auraient eu un flot non nul dans l'arc source ou dans l'arc puits avec une résolution du flot maximum sur tous les points de l'image. Bien sûr, il est possible, suivant la condition choisie, que les points critiques ne correspondent pas exactement à ces points : certains pourraient avoir un flot traversant nul en résolvant le problème du flot maximum sur tous les points de l'image, et, inversement, certains points qui auraient eu un flot traversant non nul en résolvant le problème du flot maximum sur tous les points de l'image peuvent ne pas être déterminés comme point critique.
Grâce à l'invention, le problème de flot maximum n'est résolu que sur certains points de l'image (les points critiques) qui ne représentent en général qu'une petite partie de l'ensemble des points de l'image. Ainsi, la quantité de mémoire d'ordinateur et le temps de calcul d'ordinateur nécessaires à la segmentation sont réduits.
En outre, il a été constaté que la résolution du problème de flot maximum sur les points critiques uniquement donne de très bons résultats de segmentation, proches de la solution qui aurait été obtenue en prenant en compte tous les points de l'image.
De façon optionnelle, tous les points de l'image vérifiant la condition prédéterminée sont déterminés.
De façon optionnelle également, la fenêtre est centrée sur le point sur lequel elle est appliquée.
De façon optionnelle également, chaque point a une intensité, la capacité traversante de chacun d'au moins une partie des points est déterminée à partir de l'intensité de ce point, et la capacité de passage de flot de chacun d'au moins une partie des arcs inter-points est déterminée à partir de l'intensité des deux points qu'il relie.
De façon optionnelle également, la condition prédéterminée est que, parmi au moins un nombre prédéterminé de points de l'image situés dans une fenêtre prédéterminée appliquée autour du point critique :
- au moins deux points présentent des capacités traversantes de signes contraires,
- au moins un point présente une capacité traversante positive inférieure à un seuil positif prédéterminé, ou bien
- au moins un point présente une capacité traversante négative supérieure à un seuil négatif prédéterminé.
En effet, avec des seuils de capacité bien choisis (c'est-à-dire assez grands en valeur absolue), un point qui n'est pas critique signifie que la quantité maximale de flot pouvant entrer (respectivement sortir) de la fenêtre autour de ce point, et sans considérer ce point, est supérieure à la quantité maximale de flot pouvant sortir (respectivement entrer). Il y a donc une forte probabilité que les points de la fenêtre autour du point considéré suffisent à saturer les arcs inter-points de la périphérie de la fenêtre, et donc que la résolution du flux maximal donnerait un flux nul depuis la source (respectivement le puits) vers ce point, c'est-à-dire que ce point ne participe pas au flot maximum trouvé. Expérimentalement, il a été trouvé qu'avec certaines valeurs de seuil, des solutions identiques entre le procédé de l'invention et le procédé avec tous les points de l'image étaient obtenues. Il a en outre été observé que la segmentation change au fur et à mesure que les seuils sont diminués en valeur absolue.
De façon optionnelle également, les seuils sont constants dans la fenêtre.
De, façon optionnelle également, le procédé comporte, pour déterminer les points critiques : parcourir des points de l'image, et pour chaque point parcouru, appelé point en cours : déterminer si au moins un nombre prédéterminé de points fenêtrés du point en cours ont leurs capacités traversantes chacune supérieure au seuil de capacité positif prédéterminé, ou bien ont leurs capacités traversantes chacune inférieure au seuil de capacité négatif prédéterminé, en parcourant tous les points fenêtrés pour comparer leur capacité traversante au seuil négatif et au seuil positif. De façon optionnelle également, le procédé comporte en outre, pour déterminer les points critiques : parcourir des points de l'image, et pour chaque point parcouru, appelé point en cours : déterminer si tous les points fenêtrés du point en cours ont leurs capacités traversantes chacune supérieure au seuil de capacité positif prédéterminé, ou bien ont leurs capacités traversantes chacune inférieure au seuil de capacité négatif prédéterminé, en utilisant la détermination réalisée pour un point parcouru avant le point en cours.
L'invention a également pour objet un programme d'ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur, caractérisé en ce qu'il comprend des instructions de programme d'ordinateur pour la mise en œuvre d'un procédé de segmentation d'image l'invention lorsque ledit programme d'ordinateur est exécuté par un ordinateur!
L'invention a également pour objet un système informatique comportant :
- un dispositif de lecture d'une mémoire d'ordinateur,
- un dispositif d'écriture dans une mémoire d'ordinateur,
caractérisé en ce qu'il comporte :
- une mémoire d'ordinateur sur laquelle est enregistré un programme d'ordinateur comprenant des instructions de programme d'ordinateur pour, lorsque le programme d'ordinateur est exécuté par le système informatique :
- lire, au moyen du dispositif de lecture, une image enregistrée dans une mémoire d'ordinateur, l'image comportant une pluralité de points, comprenant chacun une position dans l'image,
- assigner à chaque point une capacité, appelée capacité traversante,
- déterminer des points de l'image, appelés points critiques, pour chacun desquels, les points de l'image situés dans une fenêtre prédéterminée appliquée autour du point critique vérifient une condition prédéterminée sur leurs capacités traversantes,
- déterminer une solution au problème de flot maximum dans un graphe comportant, d'une part, comme sommets, une source, un puits et les points critiques déterminés et, d'autre part, des arcs munis chacun d'une capacité de passage de flot positive ou nulle,
les arcs comprenant des arcs, appelés arcs sources, reliant la source à chacun des points, des arcs, appelés arcs puits, reliant le puits à chacun des points et des arcs, appelés arcs inter-points, reliant les points critiques voisins entre eux selon un critère de voisinage prédéterminé sur leurs positions relatives dans l'image,
les capacités traversantes représentant la combinaison des capacités de passage de flot de l'arc source et de l'arc puits le reliant respectivement à la source et au puits,
- assigner, en fonction de la solution déterminée, un label « objet » ou bien un label « arrière plan » à chacun d'au moins une partie des points de l'image,
- enregistrer, au moyen du dispositif d'écriture, l'image avec les labels dans une mémoire d'ordinateur.
En particulier, le système informatique de l'invention pourrait être une machine d'imagerie médicale, telle qu'une machine à imagerie par résonance (ou IRM), un scanner, etc.
L'invention sera mieux comprise à l'aide de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins annexés dans lesquels :
- la figure 1 représente un exemple de système informatique selon l'invention,
- la figure 2 représente les étapes d'un procédé de segmentation d'image mis en œuvre par le système informatique de la figure 1 ,
- la figure 3 représente un exemple de déroulement d'une partie du procédé de la figure 2,
- la figure 4 représente les étapes d'une variante du procédé de segmentation de la figure 2, et
- la figure 5 représente un exemple de déroulement d'une partie du procédé de la figure 4.
En référence à la figure 1 , un exemple de système informatique selon l'invention est présenté, sous la forme d'un ordinateur 100.
L'ordinateur 100 comporte tout d'abord un CPU 102 et de la mémoire RAM 104 aptes à exécuter des programmes d'ordinateur, pour, en particulier, contrôler les autres éléments de l'ordinateur 100.
Parmi ces autres éléments, l'ordinateur 100 comporte tout d'abord un dispositif de lecture 106 d'une mémoire d'ordinateur et un dispositif d'écriture 108 dans une mémoire d'ordinateur. Par exemple, ces deux dispositifs 106, 108 correspondent à un disque dur de l'ordinateur ou bien, respectivement, à un lecteur de disques compacts ou de DVD et à un disque dur. Dans la suite de la description, on considérera le cas d'un disque dur, référencé 110, de sorte que les deux dispositifs 106, 108 accèdent à la même mémoire d'ordinateur, référencée 112. Une image 114 est enregistrée dans la mémoire d'ordinateur 112 du disque dur 110. Cette image provient par exemple d'une machine d'imagerie médicale, telle qu'une machine d'imagerie par résonance magnétique nucléaire (ou IRM), un scanner, etc.
L'ordinateur 100 comporte en outre une mémoire d'ordinateur dans laquelle est enregistré un programme d'ordinateur 116. Dans la suite de la description, on considérera que le programme 116 est enregistré dans la mémoire d'ordinateur 112 du disque dur 110.
L'ordinateur 100 comporte en outre une interface homme/machine 118, telle que l'ensemble d'un écran, d'un clavier et/ou d'une souris.
L'image 114 comporte une pluralité de points, comprenant chacun une position dans l'image et une intensité. L'intensité peut comporter une seule valeur, représentant par exemple, un niveau de gris, ou bien plusieurs valeurs, représentant par exemple une couleur, par exemple exprimée sous la forme RGB (de l'anglais : « Red, Green, Blue ») ou les valeurs de plusieurs canaux dans le cas d'une image multicanaux. Dans la suite de la description, on considère le cas d'une image carrée de dimension deux, dans laquelle les points sont régulièrement espacés selon les deux dimensions, et organisés en lignes et colonnes. L'ensemble des points est noté P .
Le programme 116 comprend des instructions de programme d'ordinateur pour, lorsque ce programme 116 est exécuté par le système informatique 100, mettre en œuvre le procédé de segmentation d'image qui va être décrit à présent.
En référence à la figure 2, le procédé de segmentation d'image 200 comporte les étapes suivantes.
Suite par exemple à un lancement du programme 116 par un utilisateur, au cours d'une étape 202, l'ordinateur 100 lit, au moyen du dispositif de lecture 106, l'image 114 enregistrée dans la mémoire d'ordinateur 112 du disque dur 110.
Au cours d'une étape 204, l'ordinateur 100 assigne un label « objet » ou « arrière plan » à certains points, appelés « points germes ». Ces labels sont par exemple indiqués par l'utilisateur via l'interface homme/machine 118, ou bien déterminés par l'ordinateur 100 au moyen d'une méthode ad-hoc permettant de générer les points germes automatiquement.
Au cours d'une étape 206, l'ordinateur 100 détermine une capacité, appelée capacité traversante, pour chaque point de l'image. La capacité traversante d'un point p e P est notée c(p) . Pour les points qui ne sont pas des points germes, cette capacité traversante est par exemple déterminée à partir de la seule intensité du point, sans utiliser l'intensité d'autres points.
Au cours d'une étape 208, l'ordinateur 100 assigne, à chaque point p e P , sa capacité traversante c(p) .
Au cours d'une étape 210, l'ordinateur 100 détermine des points de l'image, appelés points critiques.
Un point de l'image est un point critique lorsque au moins un nombre prédéterminé de points de l'image situés dans une fenêtre prédéterminée appliquée autour de ce point vérifient une condition prédéterminée sur leurs capacités traversantes.
Les points de l'image situés dans la fenêtre prédéterminée appliquée autour d'un point p e P sont appelés points fenêtrés de ce point p et sont notés Z(p) . On remarquera que le point p autour duquel la fenêtre est appliquée, est lui-même un point fenêtré.
Le fait de ne pas considérer tous les points fenêtrés peut être intéressant par exemple lorsque l'on souhaite écarter des points fenêtrés dont l'intensité est déterminée comme aberrante. De préférence cependant, un point de l'image est un point critique lorsque tous les points de l'image situés dans une fenêtre prédéterminée appliquée autour de ce point vérifient la condition prédéterminée sur leurs capacités traversantes. C'est ce dernier cas qui sera considéré dans la suite de la description.
De préférence, la condition est que, parmi les points fenêtrés du point :
- au moins deux points fenêtrés présentent des capacités traversantes de signes contraires,
- au moins un point fenêtré présente une capacité traversante positive inférieure à un seuil positif prédéterminé, appelé seuil de capacité positif, ou bien
- au moins un point fenêtré présente une capacité traversante négative supérieure à un seuil négatif prédéterminé, appelé seuil de capacité négatif.
Ainsi, dit autrement, un point de l'image n'est pas un point critique lorsque tous les points fenêtrés de ce point :
- ont leurs capacités traversantes chacune supérieure au seuil de capacité positif prédéterminé, ou bien - ont leurs capacités traversantes chacune inférieure au seuil de capacité négatif prédéterminé.
De préférence, la fenêtre est de taille fixe. De préférence également, la fenêtre est centrée sur le point auquel elle est appliquée. De préférence également, la fenêtre est rectangulaire, par exemple carrée. Dans la suite de la description, la fenêtre est prise de taille fixe, centrée et carrée.
Par ailleurs, de préférence, les seuils de capacité sont égaux en valeur absolue. De préférence, les seuils de capacité sont constants, c'est-à-dire indépendants de la position du point dans la fenêtre, ainsi que du point auquel la fenêtre est appliquée. Dans la suite de la description, les seuils de capacité sont pris égaux en valeur absolue et constants. Ils sont noté respectivement S et - δ ( δ étant strictement positif).
Ainsi, un point de l'image est un point critique lorsqu'il ne vérifie pas la condition, notée (C), suivante :
c(q)≥ô q≡Z{p)
\ ou
c(q)≤-S, /q e Z(p)
De préférence, tous les points de l'image vérifiant la condition prédéterminée sont déterminés à l'étape 210. L'ensemble des points critiques est noté par la suite
Pc
Au cours d'une étape 212, l'ordinateur 100 détermine, pour chaque point critique p e Pc , ses points voisins, notés N(p) , selon un critère de voisinage prédéterminé sur leurs positions relatives dans l'image 114. Dans l'exemple décrit, le critère de voisinage est le critère de voisinage dit de type 0. Ce critère définit, en deux dimensions, les points voisins d'un point considéré comme les quatre points positionnés respectivement directement au dessus, directement en dessous, directement à gauche et directement à droite du point considéré. De manière générale, pour une image de dimension d , le critère de voisinage de type 0 est le suivant :
Au cours d'une étape 212, l'ordinateur 100 assigne, à chaque paire de points critiques voisins, une capacité, appelée capacité inter-points. La capacité inter-points de deux points critiques voisins p e Pc et q≡ Pc est notée c(p,q) . Cette capacité inter-points est par exemple déterminée à partir des seules intensités des deux points, sans utiliser l'intensité d'autres points.
Par exemple, les étapes 210 et 212 sont mises en œuvre en même temps par les étapes 216 à 222 suivantes.
En référence aux figures 2 et 3, au cours d'une étape 216, l'ordinateur 100 initialise à la valeur -1 tous les éléments d'une liste de taille N { N étant le côté de l'image), notée L , et met un compteur, noté cpt , à la valeur 0.
L'ordinateur 100 parcourt alors des points de l'image, de préférence tous, en passant, ligne par ligne, d'un point au suivant. Pour chaque point parcouru, appelé point en cours, l'ordinateur 100 met en œuvre les étapes 218 à 230 suivantes.
Au cours d'une étape 218, l'ordinateur 100 détermine si la condition (C) est vérifiée pour le point en cours.
Pour cela, au cours d'une étape 220, l'ordinateur 100 parcourt tous les points fenêtrés du point en cours pour comparer leur capacité traversante à chacun des seuils de capacité.
Si la condition (C) est vérifiée, au cours d'une étape 222, l'ordinateur 100 enregistre la valeur -1 dans l'élément L[i], / étant le numéro de colonne du point en cours.
Si la condition (C) n'est pas vérifiée, l'ordinateur 100 met en œuvre les étapes suivantes.
Au cours d'une étape 224, l'ordinateur 100 identifie le point en cours comme point critique.
Au cours d'une étape 226, l'ordinateur 100 identifie le point en cours et son point voisin situé directement au-dessus comme deux points critiques voisins si l'élément L[i] présente une valeur supérieure ou égal à zéro. L'ordinateur 100 crée alors, toujours au cours de cette étape, un arc entre ces deux points critiques voisins, puis détermine et associe une capacité inter-points à cet arc.
Au cours d'une étape 228, l'ordinateur 100 identifie le point en cours et son point voisin situé directement à gauche comme deux points critiques voisins si l'élément présente une valeur supérieure ou égal à zéro. L'ordinateur 100 crée alors, toujours au cours de cette étape, un arc entre ces deux points critiques voisins, puis détermine et associe une capacité inter-points à cet arc. Au cours d'une étape 230, l'ordinateur 100 enregistre la valeur du compteur cpt dans l'élément de la liste, puis incrémente le compteur cpt de 1.
Ainsi, à l'issue des étapes 210 et 212, l'ordinateur 100 a déterminé tous les points critiques de l'image, ainsi que les paires de points critiques voisins.
Au cours d'une étape 232, l'ordinateur 100 détermine une solution au problème de flot maximum dans un graphe comportant, d'une part, comme sommets, une source, un puits et les points critiques déterminés et, d'autre part, des arcs munis chacun d'une capacité de passage de flot positive ou nulle. Ces arcs comprennent des arcs, appelés arcs sources, reliant la source à chacun des points critiques, des arcs, appelés arcs puits, reliant le puits à chacun des points, et des arcs, appelés arcs inter-points, reliant les points critiques voisins entre eux. Dans ce graphe, les capacités traversantes représentent la combinaison des capacités de passage de flot de l'arc source et de l'arc puits le reliant respectivement à la source et au puits. Plus précisément, la capacité traversante d'un point p e P est égale à la différence des capacités de passage de flot de l'arc source et de l'arc puits reliant ce point :
c(p) = csource(p) -cpuit(p)
Comme cela a été montré dans l'article de V. Kolmogorov et R. Zabih « What energy functions can be menimized via graph cuts ? » publié dans ECCV02 : Proceedings of the European Conférence on Computer Vision, pages 65-81 , 2002, ces deux façons de voir les flots traversant sont équivalentes. Ainsi, au sens de la présente invention, les termes de « capacité traversante » signifient aussi bien la valeur c(p) , que l'ensemble des deux valeurs csource(p) et cpuil (p) .
La résolution de ce problème est obtenue par exemple par l'utilisation des méthodes connues, comme celle décrite dans le document cité plus haut.
Au cours d'une étape 234, l'ordinateur 100 assigne, en fonction de la solution déterminée, un label « objet » ou bien un label « arrière plan » à chacun d'au moins une partie des points de l'image, de préférence tous les points de l'image.
Au cours d'une étape 236, l'ordinateur 100 enregistre dans la mémoire d'ordinateur 112 du disque dur 110, au moyen du dispositif d'écriture 108, l'image 1 4 avec les labels assignés.
Dans le procédé de la figure 2, l'étape 218 nécessite de parcourir tous les points fenêtrés, ce qui entraîne un coût en calcul important, proportionnel à la taille de la fenêtre. Or, il peut être intéressant d'utiliser une grande fenêtre, car il a été trouvé que cela permettait de réduire de manière significative, en valeur absolue, les seuils de capacité, et donc de diminuer encore le nombre de points critiques.
En référence aux figures 4 et 5, le procédé 300 remédie à ce problème.
Le procédé 300 est identique au procédé 200 de la figure 2, si ce n'est que l'étape 218 est remplacée par les étapes 302 à 312 suivantes, et que, dans l'exemple décrit, la fenêtre est de côté impair.
Au cours d'une étape 302, l'ordinateur 100 détermine si la condition (C) est vérifiée pour le point en cours en utilisant la détermination réalisée pour au moins un point parcouru avant le point en cours. Cela permet en effet de profiter des comparaisons avec les seuils positif et négatif qui ont été préalablement réalisées.
De préférence, c'est l'avant dernier point qui est utilisé, c'est-à-dire celui parcouru juste avant le point en cours. En effet, en tout cas à distance des bords de l'image, lorsque l'on passe d'un point au suivant sur une ligne, seul un point fenêtré n'a pas encore été testé vis-à-vis des seuils de capacité.
Ainsi, au cours d'une étape 304, l'ordinateur 100 détermine au moins un point fenêtré, appelé point fenêtré restant, dont la capacité traversante n'a pas encore été comparée aux seuils de capacité.
Au cours d'une étape 306, l'ordinateur 100 compare la capacité traversante de chaque point fenêtré restant avec les seuils de capacité.
Au cours d'une étape 308, l'ordinateur 100 assigne à chaque point fenêtré restant une première valeur de test lorsque sa capacité traversante est supérieure au seuil positif prédéterminé, une seconde valeur de test lorsque sa capacité traversante est inférieure au seuil négatif prédéterminé, ou bien une troisième valeur de test dans les autres cas, cette troisième valeur étant comprise entre les première et seconde valeurs de test et différente de ces dernières.
Par exemple, les première, seconde et troisième valeurs de test valent, respectivement, 1 , -1 et 0. Dans ce cas, la valeur de test d'un point fenêtré restant p e P , notée gs (p) , est donnée par :
Au cours d'une étape 310, l'ordinateur 100 détermine la somme des valeurs de test des points fenêtrés du point en cours, appelée sommé en cours et notée s(i,j) , avec et j respectivement le numéro de colonne et de ligne du point en cours. La somme en cours est déterminée à partir de la somme des valeurs de test des points fenêtrés du point précédemment parcouru sur la ligne, notée s(i - l,j) , de la valeur de test du point fenêtré restant, et des points fenêtrés de l'avant dernier point n'apparaissant plus parmi les points fenêtrés du point en cours. La somme en cours est par exemple calculée par ( (k - 1) / 2 étant noté k l 2 ) :
s(i,j) = s(i - \,j) - M[i -k72 - l] + M[i + k~Ï2]
avec
M[i + ~kÏ2] = M[i + ~kÏ2] - gs(i + k~l 2,j -~kÏ2 - 1) + gs(i + ~kÏ2,j + k~Ï2)
Au cours d'une étape 312, l'ordinateur 100 détermine si la condition (c) est vérifiée pour le point en cours, et donc si le point en cours est un point critique, à partir de la somme en cours s{i,j) . Dans l'exemple décrit, le point en cours est identifié comme un point critique si \s(i,j)\≠ k2 .
Les étapes 304 à 312 sont répétées pour chaque point parcouru, en étant adaptées dans le cas des points près des bords de l'image.
Le procédé de la figure 4 permet donc de s'affranchir de la taille de la fenêtre, de sorte que le coût devient presque constant en fonction de la taille de la fenêtre.
Il apparaît clairement que l'invention permet de réduire le nombre de points du graphe sur lequel le problème de flot maximum est résolu, et, de ce fait, le coût en calcul et en mémoire d'ordinateur du procédé de segmentation.
On notera par ailleurs que l'invention n'est pas limitée aux modes de réalisation décrits précédemment. Il apparaîtra en effet à l'homme de l'art que diverses modifications peuvent être apportées au mode de réalisation décrit ci- dessus, à la lumière de l'enseignement qui vient de lui être divulgué.
Tout d'abord, la dimension de l'image n'est pas limitée à deux. L'image pourrait être par exemple de dimension trois (volume) ou de dimension quatre (représentant généralement un volume au cours du temps), voire même plus. Les procédés présentés précédemment sont facilement adaptables à ces cas.
En outre, le critère de voisinage pourrait être choisi différemment. Par exemple comme étant le critère de voisinage dit de type 1 , dans lequel les voisins d'un point sont définis par :
N(p) = {q P : \qt - p,\≤ 1, VI < i≤ P.
Là encore, les procédés présentés précédemment sont facilement adaptables. On remarquera que, avec un tel voisinage, le procédé de la figure 2 nécessite une liste de taille N + 1 , au lieu de N , de sorte que le coût en mémoire d'ordinateur est identique.
En outre, il est possible de prévoir une fenêtre dont la taille varie suivant le point de l'image auquel elle est appliquée.
En outre, la présente invention couvre également le cas où les seuils de capacité varieraient en fonction de la position du point dans la fenêtre. Par exemple, il pourrait être avantageux de prévoir des seuils de capacité de valeurs absolues plus élevées à la périphérie de la fenêtre, puisque ce sont les points fenêtrés de la périphérie de la fenêtre qui ont le plus de probabilité de contribuer le plus à la saturation des arcs inter-points de la périphérie de la fenêtre. Cependant, dans ce cas, il y aurait a priori moins de points déterminés comme points critiques, et la résolution du problème de flot maximum risquerait de ce faire sur un graphe plus grand.
Par ailleurs, dans d'autres modes de réalisation, l'image peut être lue et enregistrée à partir d'autres types de mémoire d'ordinateur qu'une mémoire de disque dur.
Par exemple, l'image peut être lue à partir de la mémoire vive de l'ordinateur, ou bien à partir d'une mémoire d'un dispositif informatique externe à l'ordinateur, tel qu'une machine d'imagerie médicale (IRM, scanner, etc.), via un réseau de communication de données.
Par exemple, l'image avec ses labels peut être enregistrée dans la mémoire vive de l'ordinateur au moyen des dispositifs d'écriture correspondant. Ainsi, l'image peut être rapidement lue afin par exemple de réaliser d'autres traitements, par exemple pour déterminer le volume de l'objet segmenté.
Dans les revendications qui suivent, les termes utilisés ne doivent pas être interprétés comme limitant les revendications au mode de réalisation exposé dans la présente description, mais doivent être interprétés pour y inclure tous les équivalents que les revendications visent à couvrir du fait de leur formulation et dont la prévision est à la portée de l'homme de l'art en appliquant ses connaissances générales à la mise en œuvre de l'enseignement qui vient de lui être divulgué.

Claims

REVENDICATIONS
1. Procédé de segmentation d'image comportant :
- lire (202) une image (114) enregistrée dans une mémoire d'ordinateur (112), l'image comportant une pluralité de points, ayant chacun une position dans l'image,
- déterminer (232) une solution au problème de flot maximum dans un graphe comportant, d'une part, comme sommets, une source, un puits et des points de l'image et, d'autre part, des arcs munis chacun d'une capacité de passage de flot positive ou nulle,
les arcs comprenant des arcs, appelés arcs sources, reliant la source à chacun des points, des arcs, appelés arcs puits, reliant le puits à chacun des points et des arcs, appelés arcs inter-points, reliant les points entre eux,
à chaque point étant assignée une capacité, appelée capacité traversante, représentant la combinaison des capacités de passage de flot de l'arc source et de l'arc puits le reliant respectivement à la source et au puits,
- assigner (234), en fonction de la solution déterminée, un label « objet » ou bien un label « arrière plan » à chacun d'au moins une partie des points de l'image,
- enregistrer l'image avec les labels assignés dans une mémoire d'ordinateur
(112),
caractérisé en ce qu'il comporte, avant de déterminer une solution au problème de flot maximum :
- déterminer (212) des points de l'image, appelés points critiques, pour chacun desquels, les points de l'image situés dans une fenêtre prédéterminée appliquée autour du point critique vérifient une condition prédéterminée sur leurs capacités traversantes,
et en ce que les points du graphe comprennent les points critiques déterminés et les arcs inter-points relient les point critiques voisins entre eux selon un critère de voisinage prédéterminé sur leurs positions relatives dans l'image.
2. Procédé de segmentation d'image selon la revendication 1 , dans lequel tous les points de l'image vérifiant la condition prédéterminée sont déterminés.
3. Procédé de segmentation d'image selon la revendication ou 2, dans lequel la fenêtre est centrée sur le point sur lequel elle est appliquée.
4. Procédé de segmentation d'image selon l'une quelconque des revendications 1 à 3, dans lequel :
chaque point a une intensité, la capacité traversante de chacun d'au moins une partie des points est déterminée à partir de l'intensité de ce point, et
la capacité de passage de flot de chacun d'au moins une partie des arcs interpoints est déterminée à partir de l'intensité des deux points qu'il relie.
5. Procédé de segmentation d'image selon l'une quelconque des revendications 1 à 4, dans lequel la condition prédéterminée est que, parmi au moins un nombre prédéterminé de points de l'image situés dans une fenêtre prédéterminée appliquée autour du point critique :
- au moins deux points présentent des capacités traversantes de signes contraires,
- au moins un point présente une capacité traversante positive inférieure à un seuil positif prédéterminé, ou bien
- au moins un point présente une capacité traversante négative supérieure à un seuil négatif prédéterminé.
6. Procédé de segmentation d'image selon la revendication 5, dans lequel les seuils sont constants dans la fenêtre.
7. Procédé de segmentation d'image selon la revendication 5 ou 6, comportant en outre, pour déterminer les points critiques :
- parcourir des points de l'image,
- pour chaque point parcouru, appelé point en cours :
- déterminer (218) si au moins un nombre prédéterminé de points fenêtrés du point en cours :
- ont leurs capacités traversantes chacune supérieure au seuil de capacité positif prédéterminé, ou bien
- ont leurs capacités traversantes chacune inférieure au seuil de capacité négatif prédéterminé,
en parcourant (220) tous les points fenêtrés pour comparer leur capacité traversante au seuil négatif et au seuil positif.
8. Procédé de segmentation d'image selon la revendication 5 ou 6, comportant en outre, pour déterminer les points critiques :
- parcourir des points de l'image,
- pour chaque point parcouru, appelé point en cours :
- déterminer (302) si tous les points fenêtrés du point en cours :
- ont leurs capacités traversantes chacune supérieure au seuil de capacité positif prédéterminé, ou bien - ont leurs capacités traversantes chacune inférieure au seuil de capacité négatif prédéterminé,
en utilisant la détermination réalisée pour un point parcouru avant le point en cours.
9. Programme d'ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur, caractérisé en ce qu'il comprend des instructions de programme d'ordinateur pour la mise en œuvre d'un procédé de segmentation d'image selon l'une quelconque des revendications 1 à 8 lorsque ledit programme d'ordinateur est exécuté par un ordinateur.
10. Système informatique comportant :
- un dispositif (106) de lecture d'une mémoire d'ordinateur,
- un dispositif (108) d'écriture dans une mémoire d'ordinateur,
caractérisé en ce qu'il comporte :
- une mémoire d'ordinateur (112) sur laquelle est enregistré un programme d'ordinateur (116) comprenant des instructions de programme d'ordinateur pour, lorsque le programme d'ordinateur est exécuté par le système informatique :
- lire, au moyen du dispositif de lecture (106), une image (114) enregistrée dans une mémoire d'ordinateur, l'image (114) comportant une pluralité de points, comprenant chacun une position dans l'image,
- assigner à chaque point une capacité, appelée capacité traversante,
- déterminer des points de l'image, appelés points critiques, pour chacun desquels, les points de l'image situés dans une fenêtre prédéterminée appliquée autour du point critique vérifient une condition prédéterminée sur leurs capacités traversantes,
- déterminer une solution au problème de flot maximum dans un graphe comportant, d'une part, comme sommets, une source, un puits et les points critiques déterminés et, d'autre part, des arcs munis chacun d'une capacité de passage de flot positive ou nulle,
les arcs comprenant des arcs, appelés arcs sources, reliant la source à chacun des points, des arcs, appelés arcs puits, reliant le puits à chacun des points et des arcs, appelés arcs inter-points, reliant les points critiques voisins entre eux selon un critère de voisinage prédéterminé sur leurs positions relatives dans l'image,
les capacités traversantes représentant la combinaison des capacités de passage de flot de l'arc source et de l'arc puits le reliant respectivement à la source et au puits, - assigner, en fonction de la solution déterminée, un label « objet » ou bien un label « arrière plan » à chacun d'au moins une partie des points de l'image,
- enregistrer, au moyen du dispositif d'écriture (108), l'image (114) avec les labels dans une mémoire d'ordinateur (112).
EP11708895.5A 2010-01-21 2011-01-21 Procédé de segmentation d'image, programme d'ordinateur et système informatique correspondant Not-in-force EP2526526B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1050407A FR2955408B1 (fr) 2010-01-21 2010-01-21 Procede de segmentation d'image, programme d'ordinateur et systeme informatique correspondant
PCT/FR2011/000041 WO2011089341A1 (fr) 2010-01-21 2011-01-21 Procede de segmentation d'image, programme d'ordinateur et systeme informatique correspondant

Publications (2)

Publication Number Publication Date
EP2526526A1 true EP2526526A1 (fr) 2012-11-28
EP2526526B1 EP2526526B1 (fr) 2014-06-04

Family

ID=42664906

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11708895.5A Not-in-force EP2526526B1 (fr) 2010-01-21 2011-01-21 Procédé de segmentation d'image, programme d'ordinateur et système informatique correspondant

Country Status (4)

Country Link
US (1) US8798365B2 (fr)
EP (1) EP2526526B1 (fr)
FR (1) FR2955408B1 (fr)
WO (1) WO2011089341A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355888A1 (en) * 2013-05-31 2014-12-04 Siemens Product Lifecycle Management Software Inc. Automatic detection of regular patterns of features
JP6562869B2 (ja) * 2016-04-01 2019-08-21 富士フイルム株式会社 データ分類装置、方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7400767B2 (en) * 2005-07-15 2008-07-15 Siemens Medical Solutions Usa, Inc. System and method for graph cuts image segmentation using a shape prior
US20080136820A1 (en) * 2006-10-20 2008-06-12 Microsoft Corporation Progressive cut: interactive object segmentation
US8478044B2 (en) * 2011-06-08 2013-07-02 Siemens Corporation System and method for image segmentation by optimizing weighted curvature

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2011089341A1 *

Also Published As

Publication number Publication date
FR2955408A1 (fr) 2011-07-22
US8798365B2 (en) 2014-08-05
EP2526526B1 (fr) 2014-06-04
WO2011089341A1 (fr) 2011-07-28
US20130058574A1 (en) 2013-03-07
FR2955408B1 (fr) 2012-03-02

Similar Documents

Publication Publication Date Title
EP2407912B1 (fr) Procédé et système de classification de signaux neuronaux, et procédé de sélection d&#39;électrodes pour commande neuronale directe
Kou et al. A multi-focus image fusion method via region mosaicking on Laplacian pyramids
EP0880108A1 (fr) Procédé de traitement d&#39;une image incluant une étape de chainage, et appareil d&#39;imagerie médicale incluant des moyens pour mettre en oeuvre ce procédé
FR2939520A1 (fr) Procede de modelisation geologique de donnees sismiques par correlation de traces
FR2801991A1 (fr) Procede et dispositif de recherche d&#39;images basee sur le contenu prenant en compte le contenu de regions d&#39;interet
FR3048540B1 (fr) Procede d&#39;amelioration d&#39;images applicable aux images d&#39;empreintes digitales
CA3230088A1 (fr) Procede de mise en relation d&#39;une image candidate avec une image de reference
EP2526526B1 (fr) Procédé de segmentation d&#39;image, programme d&#39;ordinateur et système informatique correspondant
EP4031854A1 (fr) Dispositif de détection d&#39;odeur, procédé de détection d&#39;odeur et programme d&#39;ordinateur correspondant
FR3101173A1 (fr) Dispositif d’identification d’odeur, procédé d’identification d’odeur et programme d’ordinateur correspondant
WO2011047889A1 (fr) Méthode et système pour évaluer la classe d&#39;une donnée de test dans un espace de données de grande dimension
FR3084944A1 (fr) Procede de traitement d&#39;images d&#39;empreintes
EP3625766B1 (fr) Méthode de détection et de quantification du flou dans une image numérique
EP4300129B1 (fr) Procédé de regroupement de descriptions de formes d&#39;ondes
FR2953050A1 (fr) Procede et dispositif de detection des points de courbure dans une image d&#39;entree
EP0893783A1 (fr) Procédé de filtrage d&#39;images numériques par convolution avec un noyau déterminé par la méthode de Savitzky et Golay
EP1435054A2 (fr) Procede d&#39;indexation et de comparaison de documents multimedia
FR3150891A1 (fr) Procédé et dispositif de suivi de satellites dans une séquence d&#39;images
EP2097837B1 (fr) Structuration d&#39;un flux de données numeriques
WO2024023454A1 (fr) Dispositif de detection de particules en imagerie sans lentille
WO2018020194A1 (fr) Procédé de comparaison d&#39;objets disposés au voisinage les uns des autres, et dispositif associé
WO2024134071A1 (fr) Segmentation d&#39;image par partage des eaux avec traitement optimisé des données image par reconstruction itérative
WO2021105604A1 (fr) Procédé et dispositif de traitement d&#39;images
WO2025163183A1 (fr) Procédé de détermination de la présence d&#39;au moins une donnée représentative d&#39;une prolifération cellulaire maligne au sein d&#39;une image, dispositif et programme correspondant
FR2851066A1 (fr) Detection de points d&#39;interet dans une image numerique

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120820

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: LERME, NICOLAS

Inventor name: MALGOUYRES, FRANCOIS

Inventor name: LETOCART, LUCAS

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20130617

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20131206

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 671437

Country of ref document: AT

Kind code of ref document: T

Effective date: 20140615

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602011007434

Country of ref document: DE

Effective date: 20140724

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 671437

Country of ref document: AT

Kind code of ref document: T

Effective date: 20140604

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20140604

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140904

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140905

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141006

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141004

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602011007434

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

26N No opposition filed

Effective date: 20150305

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602011007434

Country of ref document: DE

Effective date: 20150305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150131

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150131

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20170125

Year of fee payment: 7

Ref country code: FR

Payment date: 20170113

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20110121

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20170125

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602011007434

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20180121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180801

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180131

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20180928

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180121