EP1702304B1 - Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede - Google Patents

Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede Download PDF

Info

Publication number
EP1702304B1
EP1702304B1 EP04817612A EP04817612A EP1702304B1 EP 1702304 B1 EP1702304 B1 EP 1702304B1 EP 04817612 A EP04817612 A EP 04817612A EP 04817612 A EP04817612 A EP 04817612A EP 1702304 B1 EP1702304 B1 EP 1702304B1
Authority
EP
European Patent Office
Prior art keywords
image
image guide
point cloud
guide
distal end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP04817612A
Other languages
German (de)
English (en)
Other versions
EP1702304A1 (fr
Inventor
Frédéric BERIER
Aymeric Perchant
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mauna Kea Technologies SA
Original Assignee
Mauna Kea Technologies SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mauna Kea Technologies SA filed Critical Mauna Kea Technologies SA
Publication of EP1702304A1 publication Critical patent/EP1702304A1/fr
Application granted granted Critical
Publication of EP1702304B1 publication Critical patent/EP1702304B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present invention relates to a method and system for super-resolution of confocal images acquired through an image guide, and a device used for the implementation of such a method.
  • the invention finds a particularly interesting application in the field of medical imaging.
  • the invention is of a broader scope since it can be applied to any field in which imaging is carried out using a guide composed of a plurality of optical fibers, such as for example in the field of observation of the interior of a manufactured device.
  • the image guide provides an image.
  • Such a device makes it possible to deport the laser scan, the light source and the receiver away from the object to be observed.
  • the image guide is an assembly of several thousand optical fibers whose spatial arrangement is identical at the input and at the output.
  • the distal end ie close to the object to be observed so far from the light source, is associated with a head made of optics to focus the laser beam in the object to be observed.
  • Such an image guide makes it possible to observe the object in depth, with a lateral resolution and an observation field which depend on the magnification of the optics, the inter-core distance of the image guide and the diameter of the guide.
  • magnification we can vary the resolution, to the detriment of the field.
  • a similar image guide but with a smaller inter-core distance, makes it possible to obtain the same results. In both cases, when the resolution is smaller, the image field also decreases.
  • An image guide is a fixed structure whose ratio between the useful area and the number of cores present defines the resolution of the system.
  • the inter-core distance between fibers can not be reduced because of physical and technological constraints.
  • manufacturing constraints come into play.
  • optical fiber packet guiding limits do not provide better magnification and fixed field resolution.
  • the search for better resolution is essential.
  • the vision of a cell or components of the cell requires a resolution that can go beyond the physical limits of this technology.
  • the document is also known US 4,618,884 describing an image acquisition device by means of an image guide. Different images are acquired by shifting a plate at the distal end of the image guide which remains fixed.
  • the present invention aims to increase the resolution of an image acquired through an image guide. Another remarkable object of the invention is to apply the concept of super-resolution to an image guide.
  • Still another object of the invention is to improve the resolution of a constant field image acquired through an image guide by increasing the number of measurement points per unit area.
  • a redundant acquisition of the same object is carried out before a step of reconstructing the final image. For a given position of the optical head, several acquisitions are made, each acquisition corresponding to a given position of the image guide.
  • the point cloud registration step is an abuse of language to mean that in fact we treat each point cloud so as to readjust the images corresponding to these point clouds, without necessarily reconstructing these images.
  • a single acquisition through the image guide is equivalent to an acquisition on an irregular grid (which is the location of the fibers), called in the following sampling of the object.
  • Moving the image guide in the tube amounts to moving the sampling pattern which is the arrangement of the individual fibers in the image guide.
  • the step of transforming the acquired data can be followed by the application of a filter to eliminate artifacts due to the presence of the image guide.
  • This filter may consist of an image processing method acquired by means of a guide consisting of a plurality of optical fibers. More precisely, for each optical fiber, an area corresponding to this optical fiber is isolated on the acquired image (the raw data), then the information of this zone is used to estimate the power transmitted by this fiber, and the power from the object observed via this same fiber. A representation of the observed object is then a weighted point cloud that can be reconstructed as an image by interpolation of said weighted point cloud on a square grid. Such a transformation (estimation of the power + interpolation) makes it possible to eliminate the reason due to the optical fibers.
  • the mean square error is calculated by considering only the pixels corresponding to the points of said moving point clouds.
  • the interpolation algorithm is, for example, a series of iterative B-spline approximations, in particular disclosed in the following document: Seungyong Lee, George Wolberg, and Sung Yong Shin; "Scattered data interpolation with multilevel b-splines"; IEEE Transactions on Visualization and Computer Graphics, 3 (3), July-September 1997 .
  • the cloud of reference points may correspond to a position of the image guide at rest.
  • the resetting step may for example consist in resetting each cloud of points as a function of predetermined offset distances obtained by a step of calibrating the displacements of the image guide.
  • At each acquisition in order to shift the image guide with respect to the optical head, at least one voltage is applied to at least one piezoelectric strip, which is at least integral with the distal end of this image guide.
  • at least one voltage is applied to at least one piezoelectric strip, which is at least integral with the distal end of this image guide.
  • four strips constituting a piezoelectric tube which surround at least the distal end of the image guide are used, and for each displacement of the distal end of the image guide, a pair of voltages is applied. opposite on respectively two opposite bands.
  • the spatial shift is obtained by a substantially lateral translational movement of the distal end of the image guide in two orthogonal or at least non-collinear directions.
  • Calibration makes it possible to validate a model of linear displacements as a function of the applied voltage and to estimate an offset coefficient as a function of the measurements. Subsequent point clouds are then recalibrated using this linear model.
  • the step of reconstructing the final image may be followed by a deconvolution step of the final image if the sampling thus synthesized is redundant.
  • a device for increasing the resolution of confocal images acquired through an image guide constituted by a plurality of optical fibers the proximal end of this image guide being connected to a laser scanning device arranged to emit a laser beam in each optical fiber of the image guide and collect each return beam during an acquisition, the distal end being associated with an optical head for focusing the emitted laser beam by the image guide in an object of observation.
  • the optical head comprises optical means integral with this optical head.
  • the device further comprises a piezoelectric tube surrounding the image guide and integral with this image guide, at least at said distal end, so as to spatially shift this distal end relative to the optical head in response to a set of instructions. offset. This setpoint is preferably a pair of voltages applied to the piezoelectric tube.
  • the piezoelectric tube is advantageously constituted by at least four independent ceramic strips each occupying a quarter of the tube.
  • the inner and outer faces of each strip may be covered with metallic material, such as silver, so that the application of opposite voltages on two opposite strips respectively, shifts the distal end of the tube using the transverse piezoelectric effect.
  • the ceramic strips can be controlled two by two in two orthogonal directions.
  • an ordered beam of flexible optical fibers (in particular several tens of thousands) is shown forming an image guide 1 with a light source 2 and a fiber injection system at its proximal end for illuminating the fibers. 1 and, at its distal end, an optical head 3 for focusing the beam emerging from the illuminated fiber at a point situated at a given depth of the observed object 4.
  • the injection system comprises a plurality of optical elements 5 preceded by a fiber scanning system 6, such as a deflector, for scanning the fibers one by one at a very high speed. Each fiber is used in turn to convey the illumination beam and also the corresponding return beam from the object observed.
  • the spatial resolution is obtained by focussing the laser beam at a point and by the confocal character residing in the spatial filtering of the object observed by the same fibers as those used for illumination. This makes it possible to receive, by means of a photodetector 9, exclusively the signal coming from the observed object and to produce a point-by-point image.
  • the distal end of the image guide is inserted into a piezoelectric tube 7, itself mounted in a rigid tube 3 forming an optical head and containing optics 8 placed at the output of the image guide 1.
  • the piezoelectric tube 7 makes it possible to move the image guide 1 inside the optical head 3 which remains fixed relative to the object observed. This avoids the problems due to the friction of the optical head on the object observed.
  • This tube 7 consists of four ceramics each occupying a quarter of cylinder.
  • the tube 7 is covered with silver on the inner and outer faces to use the transverse piezoelectric effect. This phenomenon explains the deformation of a crystal when it is immersed in an electric field, it results from the existence of electric dipoles in the crystalline configuration.
  • the figure 3 illustrates a displacement of the piezoelectric tube 7 along an axis.
  • the solid lines represent the rest position, without offset.
  • the dotted lines represent the end of the piezoelectric tube 7 shifted upwards, thereby causing the distal end of the image guide 1 to be displaced.
  • the optics 8a and 8b, integral with the optical head, as well as the observed object 4 remain fixed.
  • the displacement of the distal end of the image guide corresponds to a displacement of the point of impact of the laser beam on the observed object.
  • the super-resolution method according to the invention comprises a first step in which for a given fixed position of the optical head, a series of acquisitions is made. For each acquisition, the laser beam scans all the optical fibers. The photodetector 9 then retrieves a set of raw data that can be represented by arranging them on a grid in the order of the laser scan. For each fiber, there are shown domes representative of the position of the fibers in the guide relative to the laser scan. Offset of the distal end of the image guide 1 does not change the arrangement or position of the optical fibers at the proximal end of the image guide. By against the object observed through these domes comparable to a grid with holes has moved when the piezoelectric tube 7 has deformed.
  • this raw data is transformed into a point cloud weighted by the optical power measured on the object, through each fiber of the image guide.
  • This transformation allows each point to represent the information actually seen by each fiber during laser scanning.
  • a filter can also be applied to each point cloud so as to eliminate artifacts (grid) related to the presence of the image guide.
  • the problem of image registration is a fairly standard subject and many techniques exist.
  • the problem is to recalibrate two images of the same object taken before and after offset by the piezoelectric mechanism.
  • the underlying transformation model is a translation model.
  • the number of parameters to be estimated is therefore only two (x, y).
  • the present-case transformation model differs from many studies because an irregular grid is used.
  • the best transformation is sought by minimizing a two-parameter cost function (the values of the translation along the axes of translation). For example, problems with edges are negligible because the movements are small. The solution sought is then close to (0,0).
  • the interpolation of the fixed point cloud to obtain the still image is performed using the iterative b-spline approximation algorithm disclosed in the Seungyong Lee et al. Document, and which is briefly described. little further.
  • the interpolation In order not to calculate each time the value of the interpolation, one carries out an interpolation on a fine regular grid, preferably square, then one chooses the nearest neighbor. This gives a fairly smooth interpolation and is very fast to calculate.
  • each other point cloud hereinafter referred to as a moving point cloud
  • a moving point cloud An interpolation of each other point cloud, hereinafter referred to as a moving point cloud, is then carried out so as to reconstruct a moving image. Then we optimize the mean squared error between each moving image and the still image.
  • it is not realized, as is conventionally the case, a calculation pixel by pixel between two images, but a calculation is made by taking into account only the pixels corresponding to the points of the mobile point cloud.
  • the advantage is a considerable time saving.
  • a limited number of possible offsets for example 64 are made and recalibrated with respect to a common reference, for example a cloud of points obtained when the piezoelectric tube is at rest. Then a linear regression is performed on all the torques applied to the piezoelectric - offset measured by resetting. If this model is linear and has a satisfactory accuracy (much less than the inter-core distance), we consider that the model is valid, and we can use it directly later on the subsequent acquisitions made on the measurement object. , without having to re-align the images represented by the scatter plots. This preferred embodiment therefore allows a much faster processing since the point clouds acquired with the object observed do not undergo the entire process of registration with interpolation. This process is only performed for 64 cloud points acquired with a resolution pattern or other.
  • f be the function to reconstruct.
  • f a uniform bicubic B-spline function defined on a rectangular mesh ⁇ covering the support of f.
  • the function obtained is therefore C 2 .
  • ⁇ i, j the values associated with the nodes of the mesh. Without loss of generality, we suppose that this mesh is composed of the points of coordinates whole on a rectangle of the plane.
  • B 0 t 1 6 ⁇ 1 - t 3
  • B 1 t 1 6 ⁇ 3 ⁇ t 3 - 6 ⁇ t 2 + 4
  • B 2 t 1 6 ⁇ - 3 ⁇ t 3 + 3 ⁇ t 2 + 3 ⁇ t + 1
  • B 3 t 1 6 ⁇ t 3
  • control points ⁇ i, j The estimation of the control points ⁇ i, j is done by iterative approximations, using hierarchical lattices. We move from one scale to the next by refining the lattice by a factor of 2. Each point of the sampling will influence 16 control points. Without inverting the whole system, we go to each scale to calculate the contributions of the previous scales locally, and deduce the residuals to be estimated for this scale. Each point in the sample will influence the 16 closest control points.
  • This algorithm makes it possible to obtain an interpolation at the convergence of the algorithm (finite number of iterations).
  • two limiting cases can be considered for the size of the lattice. The first is the case where there is not a single control point ⁇ i, j that is not influenced by at least one point of the sampling. The second is the case where any two points of the sampling can not influence the same control point.
  • These two cases make it possible to calculate the size of the starting lattice, and the size of the lattice making it possible to reach the convergence.
  • These sizes can be calculated empirically by assuming that the distribution of points is that of a hexagonal sampling. The histogram of the distances between the neighboring sampling points (in the sense of their Voronoi diagram) is observed, and the quantile is kept at 5% (or any other small percentage). This minimum distance is actually the distance between two offsets.
  • a deconvolution step of the signal is then optionally carried out by making the approximation that the system is linear invariant, and by taking an average transfer function of a fiber of the image guide. Wiener filtering for example can be used.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Description

  • La présente invention concerne un procédé et système de super-résolution d'images confocales acquises à travers un guide d'image, ainsi qu'un dispositif utilisé pour la mise en oeuvre d'un tel procédé.
  • Elle trouve une application particulièrement intéressante dans le domaine de l'imagerie médicale. Toutefois l'invention est d'un cadre plus large puisqu'elle peut s'appliquer à tout domaine dans lequel on réalise de l'imagerie au moyen d'un guide composé d'une pluralité de fibres optiques, tel que par exemple dans le domaine d'observation de l'intérieur d'un dispositif manufacturé.
  • Le guide d'image permet d'obtenir une image. Un tel dispositif permet de déporter le balayage laser, la source lumineuse et le récepteur loin de l'objet à observer. Par exemple dans un système à balayage laser avec obtention d'une image confocale, le guide d'image est un assemblage de plusieurs milliers de fibres optiques dont l'arrangement spatial est identique en entrée et en sortie.
  • L'extrémité distale, c'est à dire proche de l'objet à observer donc loin de la source lumineuse, est associée à une tête constituée d'optiques afin de focaliser le faisceau laser dans l'objet à observer. Un tel guide d'image permet d'observer l'objet en profondeur, avec une résolution latérale et un champ d'observation qui dépendent du grandissement des optiques, de la distance inter-coeur du guide d'image et du diamètre du guide. En modifiant le grandissement, on peut faire varier la résolution, au détriment du champ. De la même façon, un guide d'image similaire, mais avec une distance inter-coeur plus petite permet d'obtenir les même résultats. Dans les deux cas, lorsque la résolution est plus petite, le champ imagé diminue également.
  • Un guide d'image est une structure fixe dont le rapport entre la surface utile et le nombre de coeurs présents définit la résolution du système. Pour un même champ imagé, et donc une même surface de guide d'image, la distance inter-coeur entre fibres ne peut pas être réduite à cause de contraintes physiques et technologiques. D'abord des contraintes de fabrication rentrent en jeux. Puis des contraintes physiques liées à la diaphonie du guide, et aux propriétés optiques des fibres permettant de guider la lumière autour des longueurs d'ondes visibles.
  • Ainsi les limites physiques de guidage par paquet de fibres optiques ne permettent pas d'obtenir une meilleure résolution à grandissement et à champ fixe.
  • Dans de nombreuses applications de l'imagerie confocale fibrée, la recherche d'une meilleure résolution est primordiale. Dans une application médicale par exemple, la vision d'une cellule ou de composants de la cellule requiert une résolution qui peut aller au delà des limites physiques de cette technologie.
  • Il existe de nombreux travaux de super-résolution réalisés à partir d'une caméra classique, où le schéma d'échantillonnage est régulier et disposé suivant une grille carrée ou rectangulaire. Ces travaux utilisent massivement la régularité spatiale de l'échantillonnage. On connaît notamment des travaux sur la super-résolution où l'échantillonnage issu d'un ensemble d'acquisitions est un échantillonnage entrelacé. On peut par exemple citer les publications suivantes :
  • H. Shekarforoush and R. Chellappa. "Data-driven multi-channel super-resolution with application to video sequences". Journal of the Optical Society of America A, 16(3):481--492, Mar. 1999.;
  • R Komprobst, R. Peeters, T Vieville, G. Malandain, S. Mierisova, S. Sunaert, and 0. Faugerasand R Van Hecke; "Superresolution in mri and its influence in statistical analysis"; Technical Report nO 4513, INRIA, July 2002; et
  • S. Lertrattanapanich and N. K. Bose; "High resolution image formation from low resolution frames using delaunay triangulation" ; IEEE Transactions on Image Processing, vol. 11 (nO 12), December 2002.
  • On connaît enfin des travaux décrivant un système où le mouvement entre plusieurs vues est assez libre et produit un échantillonnage véritablement irrégulier. La fonction de transfert du système décrit est spatialement variante, et le rapport entre la largeur de la fonction de transfert et la distance séparant les points d'échantillonnage n'est pas constant sur l'acquisition, ce qui a pour conséquence la prise en compte des optiques du système, donc une résolution assez complexe. Un tel système est notamment divulgué dans les documents suivants :
  • A. Patti, M. Sezan, and M. Tekalp; "Superresolution video reconstruction with arbitrary sampling lattices and nonzero aperture time"; IEEE Trans. on Image Processing, pages 1064-1078, August 1997; et
  • Andrew J. Patti and Yucel Altunbasak; "Artifact reduction for set theoretic super resolution image reconstruction with edge adaptive constraints and higher-order interpolants"; IEEE Transactions on Image Processing, 10(I) :179-186, January 2001.
  • On connaît le document US 6466 618 décrivant un système pour obtenir une image haute résolution à partir de plusieurs images faible résolution. Chaque image faible résolution est acquise par insertion d'un filtre chromatique sur un capteur CCD. Chaque filtre comporte un maillage différent du maillage du capteur CCD. Le système décrit dans ce document utilise des petits mouvements des objets visualisés.
  • On connaît également le document US 4,618,884 décrivant un dispositif d'acquisition d'image au moyen d'un guide d'image. Différentes images sont acquises en décalant une plaquette à l'extrémité distale du guide d'image qui reste fixe.
  • La présente invention a pour but d'augmenter la résolution d'une image acquise à travers un guide d'image. Un autre but remarquable de l'invention est d'appliquer le concept de super-résolution à un guide d'image.
  • L'invention a encore pour but d'améliorer la résolution d'une image à champ constant acquise à travers un guide d'image en augmentant le nombre de points de mesure par unité de surface.
  • On atteint au moins l'un des objectifs précités avec un procédé pour augmenter la résolution d'images confocales acquises à travers un guide d'image constitués d'une pluralité de fibres optiques, l'extrémité proximale de ce guide d'image étant connectée à un dispositif de balayage laser prévu pour émettre un faisceau laser dans chaque fibre optique du guide d'image et recueillir chaque faisceau de retour lors d'une acquisition, l'extrémité distale étant associée à une tête optique pour focaliser le faisceau laser émis par le guide d'image dans un objet d'observation. Selon l'invention, pour une position donnée de la tête optique, ce procédé comprend les étapes de :
    • réalisation d'une pluralité d'acquisitions à travers le guide d'image, chaque acquisition étant réalisée pour un décalage spatial donné de ladite extrémité distale du guide d'image par rapport à la tête optique,
    • transformation des données de chaque acquisition en un nuage de points pondéré par la puissance optique mesurée sur l'objet à travers chaque fibre optique du guide d'image,
    • recalage de chaque nuage de points par rapport à un nuage de points pris comme référence,
    • superposition des nuages de points ainsi recalés, et
    • reconstruction d'une image finale à partir de cette superposition.
  • Avec le procédé selon l'invention, on réalise une acquisition redondante d'un même objet avant une étape de reconstruction de l'image finale. Pour une position donnée de la tête optique, on réalise plusieurs acquisitions, chaque acquisition correspondant à une position donnée du guide d'image.
  • Pour toute la suite de la description, l'étape de recalage de nuage de points est un abus de langage pour signifier qu'en fait on traite chaque nuage de points de façon à recaler les images correspondant à ces nuages de points, sans forcément reconstruire ces images.
  • En particulier, une seule acquisition à travers le guide d'image est équivalente à une acquisition sur une grille irrégulière (qui est l'emplacement des fibres), appelé dans la suite échantillonnage de l'objet. Le déplacement du guide d'image dans le tube revient à déplacer le schéma d'échantillonnage qui est l'arrangement des fibres individuelles dans le guide d'image. Avec deux acquisitions, on obtient ainsi deux échantillonnages du même objet, mais décalés spatialement. En les superposant, on obtient un échantillonnage avec deux fois plus de points de mesure. En multipliant l'expérience, on obtient un nuage de points d'échantillonnage plus important. L'échantillonnage résultant est irrégulier et doit être reconstruit sous forme d'une image.
  • L'étape de la transformation des données acquises peut être suivie de l'application d'un filtre pour éliminer des artefacts dus à la présence du guide d'image. Ce filtre peut consister en un procédé de traitement d'image acquise au moyen d'un guide constitué par une pluralité de fibres optiques. Plus précisément, pour chaque fibre optique, on isole sur l'image acquise (les données brutes) une zone correspondant à cette fibre optique, puis on utilise les informations de cette zone pour estimer la puissance transmise par cette fibre, et la puissance provenant de l'objet observé via cette même fibre. Une représentation de l'objet observé est alors un nuage de points pondéré que l'on peut reconstruire sous forme d'une image par interpolation dudit nuage de points pondéré sur une grille carrée. Une telle transformation (estimation de la puissance + interpolation) permet d'éliminer le motif dû aux fibres optiques.
  • Selon un mode de mise en oeuvre de l'invention, l'étape de recalage comporte les étapes suivantes :
    • correction des distorsions géométriques,
    • reconstruction d'une image de référence désignée par image fixe par interpolation d'un nuage de points de référence dit nuage de points fixe,
    • pour chaque autre nuage de points, désigné par nuage de points mobile, reconstruction d'une image dite mobile, puis optimisation d'une erreur quadratique moyenne calculée entre ladite image mobile et ladite image fixe.
  • Avantageusement, on calcule l'erreur quadratique moyenne en ne considérant que les pixels correspondant aux points desdits nuages de points mobiles.
  • L'algorithme d'interpolation est par exemple une suite d'approximations B-splines itérative notamment divulgué dans le document suivant : Seungyong Lee, George Wolberg, and Sung Yong Shin; "Scattered data interpolation with multilevel b-splines" ; IEEE transactions on visualization and computer graphics, 3(3), July-September 1997.
  • Avantageusement, le nuage de points de référence peut correspondre à une position du guide d'image au repos.
  • Selon l'invention, l'étape de recalage peut par exemple consister à recaler chaque nuage de points en fonction de distances de décalages prédéterminées obtenues par une étape d'étalonnage des déplacements du guide d'image.
  • De préférence, à chaque acquisition, pour décaler le guide d'image par rapport à la tête optique, on applique au moins une tension sur au moins une bande piézoélectrique, qui est au moins solidaire de l'extrémité distale de ce guide d'image. A titre d'exemple, on utilise quatre bandes constituant un tube piézoélectrique qui entoure au moins l'extrémité distale du guide d'image, et on applique, pour chaque déplacement de l'extrémité distale du guide d'image, une paire de tensions opposées sur respectivement deux bandes opposées. Par ailleurs, le décalage spatial est obtenu par un mouvement sensiblement de translation latérale de l'extrémité distale du guide d'image selon deux directions orthogonales ou au moins non colinéaires.
  • Avantageusement, on peut réaliser l'étape d'étalonnage en appliquant les étapes suivantes sur un nombre limité de nuages de points obtenus par acquisition d'une mire de référence disposée à la place dudit objet d'observation :
    • correction des distorsions géométriques,
    • reconstruction d'une image de référence, désignée par image fixe, par interpolation d'un nuage de points de référence dit nuage de points fixe,
    • pour chaque autre nuage de points, désigné par nuage de points mobile, reconstruction d'une image dite mobile, puis optimisation d'une erreur quadratique moyenne calculée entre ladite image mobile et ladite image fixe,
    • élaboration d'un modèle linéaire décrivant la distance de décalage obtenue entre image fixe et image mobile en fonction de la tension appliquée sur la bande piézoélectrique pour réaliser ce décalage.
  • L'étalonnage permet de valider un modèle de déplacements linéaires en fonction de la tension appliquée et d'estimer un coefficient de décalage en fonction des mesures. Les nuages de points ultérieurs sont alors recalés en utilisant ce modèle linéaire.
  • Par ailleurs, on peut réaliser l'étape de reconstruction de l'image finale au moyen d'un algorithme dit d'approximation B-splines itérative pour lequel la superposition est considérée comme un nuage de points irréguliers. Cet algorithme possède un bon comportement mathématique, une bonne stabilité, et un coût raisonnable en temps de calcul.
  • Le problème de la reconstruction à partir de plusieurs acquisitions est le même que celui de la reconstruction ne connaissant qu'une seule acquisition avec un système non linéaire. On suppose ici que la fonction de transfert équivalente du système est spatialement variante, et que l'échantillonnage est irrégulier.
  • L'étape de reconstruction de l'image finale peut être suivie d'une étape de déconvolution de l'image finale si l'échantillonnage ainsi synthétisé est redondant.
  • Suivant un autre aspect de l'invention, il est proposé un dispositif pour augmenter la résolution d'images confocales acquises à travers un guide d'image constitués d'une pluralité de fibres optiques, l'extrémité proximale de ce guide d'image étant connectée à un dispositif de balayage laser prévu pour émettre un faisceau laser dans chaque fibre optique du guide d'image et recueillir chaque faisceau de retour lors d'une acquisition, l'extrémité distale étant associée à une tête optique pour focaliser le faisceau laser émis par le guide d'image dans un objet d'observation. Selon l'invention, la tête optique comporte des moyens optiques solidaires de cette tête optique. Le dispositif comprend en outre un tube piézoélectrique entourant le guide d'image et solidaire de ce guide d'image, au moins à ladite extrémité distale, de façon à spatialement décaler cette extrémité distale par rapport à la tête optique en réponse à une consigne de décalage. Cette consigne est de préférence une paire de tensions appliquées au tube piézoélectrique.
  • Le tube piézoélectrique est avantageusement constitué d'au moins quatre bandes céramiques indépendantes occupant chacune un quart du tube. Les faces interne et externe de chaque bande peuvent être recouvertes de matériau métallique, tel que l'argent, de sorte que l'application de tensions opposées sur deux bandes opposées respectivement, décale l'extrémité distale du tube en utilisant l'effet piézoélectrique transversal. Plus précisément, les bandes céramiques peuvent être commandées deux par deux dans deux directions orthogonales.
  • Il est également proposé un système, pour augmenter la résolution d'images confocales acquises à travers un guide d'image constitués d'une pluralité de fibres optiques, l'extrémité proximale de ce guide d'image étant connectée à un dispositif de balayage laser prévu pour émettre un faisceau laser dans chaque fibre optique du guide d'image et recueillir chaque faisceau de retour lors d'une acquisition, l'extrémité distale étant associée à une tête optique pour focaliser le faisceau laser émis par le guide d'image dans un objet d'observation. Selon l'invention, pour une position donnée de la tête optique, ce système comprend :
    • des moyens pour réaliser une pluralité d'acquisitions à travers le guide d'image,
    • des moyens pour spatialement décaler, à chaque acquisition, ladite extrémité distale du guide d'image par rapport à la tête optique,
    • des moyens pour transformer des données de chaque acquisition en un nuage de points pondéré par la puissance optique mesurée sur l'objet à travers chaque fibre optique du guide d'image,
    • des moyens pour recaler chaque nuage de points,
    • des moyens pour superposer les nuages de points ainsi recalés, et
    • de moyens pour reconstruire une image finale à partir de cette superposition.
  • La présente invention sera mieux comprise et d'autres avantages apparaîtront à la lumière de la description qui va suivre d'un exemple de réalisation, description faite en référence aux dessins sur lesquels :
    • La figure 1 est une vue schématique éclaté du système global selon l'invention ;
    • La figure 2 est une vue schématique du tube piézoélectrique entourant le guide d'image ;
    • La figure 3 est une vue schématique illustrant le déplacement de l'extrémité du guide d'image ;
    • La figure 4 est une vue schématique illustrant une superposition irrégulière de nuages de points ; et
    • La figure 5 est un schéma blocs illustrant le principe de recalage des nuages de points.
  • Sur la figure 1 on voit un faisceau ordonné de fibres optiques souples (notamment plusieurs dizaines de milliers) formant un guide d'image 1 avec, sur son extrémité proximale, une source lumineuse 2 et un système d'injection de fibres permettant d'illuminer les fibres une à une et, sur son extrémité distale, une tête optique 3 permettant de focaliser le faisceau sortant de la fibre illuminée en un point situé à une profondeur donnée de l'objet observé 4. Le système d'injection comprend plusieurs éléments optiques 5 précédés d'un système de balayage de fibres 6, tel qu'un déviateur, permettant de balayer les fibres une à une à très grande vitesse. Chaque fibre est utilisée tour à tour pour véhiculer le faisceau d'illumination et également le faisceau de retour correspondant provenant de l'objet observé. La résolution spatiale est obtenue par focalisation du faisceau laser en un point et par le caractère confocal résidant dans le filtrage spatial de l'objet observé par les mêmes fibres que celles ayant servi à l'illumination. Cela permet de réceptionner, au moyen d'un photodétecteur 9, exclusivement le signal provenant de l'objet observé et de réaliser une image point par point.
  • L'extrémité distale du guide d'image est insérée dans un tube piézoélectrique 7, lui-même monté dans un tube rigide 3 formant tête optique et contenant des optiques 8 placées en sortie du guide d'image 1. Le tube piézoélectrique 7 permet de déplacer le guide d'image 1 à l'intérieur de la tête optique 3 qui reste fixe par rapport à l'objet observé. On évite ainsi les problèmes dus au frottement de la tête optique sur l'objet observé.
  • Sur la figure 2 on voit en perspective la configuration du tube piézoélectrique 7. Ce tube 7 est constitué de quatre céramiques occupant chacune un quart de cylindre. Le tube 7 est recouvert d'argent sur les faces interne et externe afin d'utiliser l'effet piézoélectrique transversal. Ce phénomène explique la déformation d'un cristal lorsque celui-ci est plongé dans un champ électrique, il résulte de l'existence de dipôles électriques dans la configuration cristalline.
  • Lorsqu'on applique une tension entre la face interne et externe d'une céramique, celle-ci s'allonge (ou se rétrécit selon le signe de la tension) et devient plus fine (respectivement plus large). Le balayage se fait donc en appliquant une tension positive sur une des céramiques et la tension opposée sur la céramique opposée. Comme une face s'allonge et la face opposée se raccourcit, le tube 7 se courbe et son extrémité libre se déplace. Il est ainsi possible de décaler l'extrémité distale des fibres selon deux axes orthogonaux et ce dans les deux sens. La figure 3 illustre un déplacement du tube piézoélectrique 7 selon un axe. Les traits pleins représentent la position de repos, sans décalage. Les traits en pointillés représentent l'extrémité du tube piézoélectrique 7 décalé vers le haut, entraînant ainsi le décalage de l'extrémité distale du guide d'image 1. Par contre les optiques 8a et 8b, solidaires de la tête optique, ainsi que l'objet observé 4 restent fixes. Le déplacement de l'extrémité distale du guide d'image correspond à un déplacement du point d'impact du faisceau laser sur l'objet observé.
  • Pour chaque paire de tensions appliquées sur le tube piézoélectrique 7, une déformation est réalisée, et l'acquisition effectuée au travers du guide d'image 1 est ainsi décalée d'une distance proportionnelle aux tensions appliquées.
  • Le procédé de super-résolution selon l'invention comporte une première étape dans laquelle pour une position fixe donnée de la tête optique, on réalise une série d'acquisitions. Pour chaque acquisition, le faisceau laser balaye l'ensemble des fibres optiques. Le photodétecteur 9 récupère alors un ensemble de données brutes que l'on peut représenter en les arrangeant sur une grille suivant l'ordre du balayage laser. On voit apparaître pour chaque fibre des dômes représentatifs de la position des fibres dans le guide par rapport au balayage laser. Le décalage de l'extrémité distale du guide d'image 1 ne change pas l'arrangement ou la position des fibres optiques à l'extrémité proximale du guide d'image. Par contre l'objet observé à travers ces dômes assimilables à une grille avec des trous s'est déplacé lorsque le tube piézoélectrique 7 s'est déformé.
  • Ensuite ces données brutes sont transformées en nuage de points pondéré par la puissance optique mesurée sur l'objet, à travers chaque fibre du guide d'image. Cette transformation permet à ce que chaque point représente l'information effectivement vue par chaque fibre au cours du balayage laser. On peut également appliquer un filtre à chaque nuage de points de façon à éliminer des artefacts (grille) liés à la présence du guide d'image.
  • En réalisant plusieurs acquisitions avec des positions différentes de l'extrémité distale du guide d'image, c'est comme si on avait créé des points d'échantillonnage décalés par exemple verticalement et horizontalement. Le nombre d'acquisitions et les directions ne sont limités que par la précision du tube piézoélectrique 7.
  • Sur la figure 4, on voit pour chaque fibre, une zone d'influence que l'on peut définir comme la largeur de la fonction de transfert optique de chaque fibre combinée avec celle des optiques placés entre la sortie du guide d'image et l'objet observé. On remarque que la fonction de transfert d'une fibre n'est pas forcément égale à celle de la fibre voisine. En pratique on peut les considérer comme étant toutes différentes, au moins dans leur largeur.
  • Avant de pouvoir superposer les nuages de points, il faut les recaler. En effet, on a acquis le même objet, mais le schéma d'échantillonnage est décalé. Après correction des distorsions géométriques du système, le décalage se réduit à une translation qui est évaluée en comparant toutes les acquisitions d'un même objet à une acquisition de référence, en générale celle où le tube piézoélectrique 7 est au repos (par convention).
  • Le problème de recalage des images est un sujet assez classique et de nombreuses techniques existent. Le problème consiste à recaler deux images d'un même objet prises avant et après décalage grâce au mécanisme piézoélectrique. Dans le cas présent, le modèle de transformation sous-jacent est un modèle de translation. Le nombre de paramètres à estimer n'est donc que de deux (x, y). Cependant, le modèle de transformation du cas présent diffère de beaucoup d'études car on utilise une grille irrégulière.
  • Dans le cas présent, on cherche la meilleure transformation en minimisant une fonction de coût à deux paramètres (les valeurs de la translation suivant les axes de translation). On peut par exemple considérer que les problèmes aux bords sont négligeables car les déplacements sont petits. La solution recherchée est alors proche de (0,0).
  • Le principe de l'algorithme retenu est illustré sur la figure 5. D'une façon générale, on va définir un nuage de points de référence, ci-après désigné par nuage de points fixe. On va ensuite interpoler ce nuage de points fixe de façon à reconstruire une image ci-après désignée par image fixe 10.
  • En particulier, l'interpolation du nuage de points fixe pour obtenir l'image fixe est réalisée en utilisant l'algorithme d'approximation b-spline itérative divulgué dans le document de Seungyong Lee et al., et que l'on décrit brièvement un peu plus loin. Afin de ne pas calculer à chaque fois la valeur de l'interpolation, on réalise une interpolation sur une grille régulière fine, de préférence carrée, puis on choisit le plus proche voisin. On obtient ainsi une interpolation assez lisse et très rapide à calculer.
  • On réalise ensuite une interpolation de chaque autre nuage de points, ci-après désigné par nuage de points mobile, de façon à reconstruire une image mobile. Puis on optimise l'erreur quadratique moyenne entre chaque image mobile et l'image fixe. Avantageusement, on ne réalise pas, comme c'est classiquement le cas, un calcul pixel par pixel entre deux images, mais on réalise un calcul en ne prenant en compte que les pixels correspondant aux points du nuage de points mobile. L'avantage en est un gain de temps considérable.
  • L'optimisation est réalisé avec une boucle dont les étapes sont :
    • Une étape de transformation 14 dans laquelle on définit des paramètres de translation qui vont être évalués dans la boucle ;
    • Une étrape d'interpolation 12 de la transformation, dans laquelle on translate le nuage de points mobile initial par la transformation en cours ;
    • Une étape de calcul de distance 13, dans laquelle on mesure une distance entre l'image mobile issue du nuage de points mobile 11 translaté et l'image fixe 10 représentant le nuage de points fixe. Cette distance est une erreur quadratique moyenne évaluée entre les points du nuage de points mobile et l'image fixe interpolée ;
    • Une étape d'optimisation dans laquelle on utilise un optimiseur 15 à base de gradient, comme un gradient conjugué. L'optimiseur 15 évalue les variations locales de la distance précédemment calculée afin de trouver une nouvelle transformation (i.e. translation) qui permette de diminuer la valeur de la distance (c'est-à-dire l'optimiser) à la prochaine boucle.
  • On sort de la boucle lorsque la fonction distance ne décroît plus.
  • Afin d'éviter de réaliser le processus de recalage qui vient d'être décrit pour tous les nuages de points, on va effectuer ce processus de recalage pour un objet de référence avec un nombre limité d'acquisitions. Pour ce faire, on remplace l'objet observé par l'objet de référence tel une mire d'étalonnage ou plus précisément une mire de résolution par exemple. Les résultats obtenus lors de ce recalage d'un nombre limité de nuages de points permettent ensuite d'étalonner les décalages du tube piézoélectrique en fonction des tensions appliquées. L'ensemble guide d'image 1 et tête optique 3 peut tourner par rapport à l'axe du balayage de la partie confocale 5, 6, il faut donc au moins estimer l'axe des déplacements ainsi que leur sens. Pour cela, on réalise un nombre limité de décalages possibles, par exemple 64, et on les recale par rapport à une référence commune, par exemple un nuage de points obtenu lorsque le tube piézoélectrique est au repos. Puis on effectue une régression linéaire sur l'ensemble des couples tension appliquée au piézoélectrique - décalage mesuré par recalage. Si ce modèle est linéaire et a une précision satisfaisante (très inférieure à la distance inter-coeur), on considère que le modèle est valable, et on peut l'utiliser directement par la suite sur les acquisitions ultérieures réalisées sur l'objet de mesure, sans avoir à recaler de nouveaux les images représentées par les nuages de points. Ce mode de réalisation préférentiel permet donc un traitement beaucoup plus rapide puisque les nuages de points acquises avec l'objet observé ne subissent pas tout le processus de recalage avec interpolation. Ce processus n'est réalisé que pour 64 nuages points acquis avec une mire de résolution ou autre.
  • On peut aussi envisager, dans un mode non préférentiel, d'utiliser directement l'objet observé plutôt qu'une mire de résolution pour élaborer le modèle linéaire à partir d'un nombre limité de nuages de points.
  • Dans le cas où le modèle n'est pas linéaire, ou s'il est imprécis, ou s'il y a de l'hystérésis, on ne peut pas l'utiliser. Il convient donc dans ce cas de mettre en oeuvre le mode dégradé décrit précédemment, c'est à dire interpoler puis recaler chaque nuage de points qui doit faire l'objet de super-résolution.
  • Lorsque tous les décalages sont connus, on fait subir à chaque échantillonnage le décalage correspondant, et on les superpose. On obtient ainsi une acquisition synthétique avec autant de points en plus que d'acquisitions. La reconstruction s'effectue alors en deux temps. Tout d'abord, on approxime, ou on interpole, le nuage de points pondéré résultant avec des méthodes classiques. On prend bien en compte le fait que ce nuage résultant est irrégulier. On utilise par exemple l'approximation itérative de bsplines telle que définie précédemment lors du recalage. Cet algorithme peut être brièvement décrit ci-après :
  • Soit f la fonction à reconstruire. On va exprimer f sous forme d'une fonction B-spline bicubique uniforme définie sur un maillage rectangulaire Φ couvrant le support de f. La fonction obtenue est donc C2. On note Φi,j les valeurs associées aux noeuds du maillage. Sans perte de généralité, on suppose que ce maillage est composé des points de coordonnées entières sur un rectangle du plan.
  • Connaissant les valeurs des points de contrôle Φi,j, f est donnée par :
    Figure imgb0001
  • La B-spline est donnée par: B 0 t = 1 6 ⁢ 1 - t 3
    Figure imgb0002
     B 1 t = 1 6 ⁢ 3 ⁢ t 3 - 6 ⁢ t 2 + 4
    Figure imgb0003
     B 2 t = 1 6 ⁢ - 3 ⁢ t 3 + 3 ⁢ t 2 + 3 ⁢ t + 1
    Figure imgb0004
     B 3 t = 1 6 ⁢ t 3
    Figure imgb0005
  • L'estimation des points de contrôles Φi,j s'effectue par approximations itératives, en utilisant des treillis hiérarchiques. On passe d'une échelle à l'échelle suivante en raffinant le treillis d'un facteur 2. Chaque point de l'échantillonnage va influencer 16 points de contrôle. Sans inverser l'ensemble du système, on va à chaque échelle calculer les contributions des échelles précédentes localement, et déduire les résidus à estimer pour cette échelle. Chaque point de l'échantillonnage va influencer les 16 points de contrôle les plus proches.
  • Cet algorithme permet d'obtenir une interpolation à la convergence de l'algorithme (nombre fini d'itérations). Dans le cas présent, on peut considérer deux cas limites pour la taille du treillis. Le premier est le cas où il n'existe pas un seul point de contrôle Φi,j qui ne soit influencé par au moins un point de l'échantillonnage. Le second est le cas où deux points quelconques de l'échantillonnage ne peuvent influencer un même point de contrôle. Ces deux cas permettent de calculer la taille du treillis de départ, et la taille du treillis permettant d'atteindre la convergence. Ces tailles peuvent être calculées empiriquement en supposant que la répartition des points est celle d'un échantillonnage hexagonal. On observe l'histogramme des distances entres les points d'échantillonnage voisins (au sens de leur diagramme de Voronoï), et on garde le quantile à 5% (ou tout autre faible pourcentage). Cette distance minimale est en fait la distance entre deux décalages.
  • D'autres algorithmes permettent de reconstruire un nuage de points avec des résultats satisfaisants. L'originalité réside dans la formalisation du problème sous forme d'interpolation ou d'approximation d'un nuage de points irréguliers.
  • Selon l'invention, on réalise éventuellement ensuite une étape de déconvolution du signal en faisant l'approximation que le système est linéaire invariant, et en prenant une fonction de transfert moyen d'une fibre du guide d'image. Un filtrage de Wiener par exemple peut être utilisé.
  • Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention.

Claims (18)

  1. Procédé pour augmenter la résolution d'images confocales acquises à travers un guide d'image constitué d'une pluralité de fibres optiques, l'extrémité proximale de ce guide d'image étant connectée à un dispositif de balayage laser prévu pour émettre un faisceau laser dans chaque fibre optique du guide d'image et recueillir chaque faisceau de retour lors d'une acquisition, l'extrémité distale étant associée à une tête optique pour focaliser le faisceau laser émis par le guide d'image dans un objet d'observation, caractérisé en ce que, pour une position donnée de la tête optique, ce procédé comprend les étapes de :
    - réalisation d'une pluralité d'acquisitions à travers le guide d'image, chaque acquisition étant réalisée pour un décalage spatial donné de ladite extrémité distale du guide d'image par rapport à la tête optique,
    - transformation des données de chaque acquisition en un nuage de points pondéré par la puissance optique mesurée sur l'objet à travers chaque fibre optique du guide d'image,
    - recalage de chaque nuage de points par rapport à un nuage de points pris comme référence,
    - superposition des nuages de points ainsi recalés, et
    - reconstruction d'une image finale à partir de cette superposition.
  2. Procédé selon la revendication 1, caractérisé en ce que l'étape de la transformation des données acquises est suivie de l'application d'un filtre pour éliminer des artefacts dus à la présence du guide d'image.
  3. Procédé selon la revendication 1 ou 2, caractérisé en ce que l'étape de recalage comporte les étapes suivantes :
    - correction des distorsions géométriques,
    - reconstruction d'une image de référence désignée par image fixe, par interpolation d'un nuage de points de référence dit nuage de points fixe,
    - pour chaque autre nuage de points, désigné par nuage de points mobile, reconstruction d'une image dite mobile, puis optimisation d'une erreur quadratique moyenne calculée entre ladite image mobile et ladite image fixe.
  4. Procédé selon la revendication 3, caractérisé en ce qu'on calcule l'erreur quadratique moyenne en ne considérant que les pixels correspondant aux points desdits nuages de points mobiles.
  5. Procédé selon la revendication 3 ou 4, caractérisé en ce que l'interpolation consiste en un algorithme dit d'approximation B-splines itérative.
  6. Procédé selon l'une quelconque des revendications 3 à 5, caractérisé en ce que le nuage de points fixe correspond à une position du guide d'image au repos.
  7. Procédé selon la revendication 1 ou 2, caractérisé en ce que l'étape de recalage consiste à recaler les nuages de points en fonction de distances de décalage prédéterminées obtenues par une étape d'étalonnage des déplacements du guide d'image.
  8. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'à chaque acquisition, pour décaler le guide d'image par rapport à la tête optique, on applique au moins une tension sur au moins une bande piézoélectrique, qui est au moins solidaire de l'extrémité distale de ce guide d'image.
  9. Procédé selon les revendications 7 et 8, caractérisé en ce qu'on réalise l'étape d'étalonnage en appliquant les étapes suivantes sur un nombre limité de nuages de points obtenus par acquisition d'une mire de référence disposée à la place dudit objet d'observation :
    - correction des distorsions géométriques,
    - reconstruction d'une image de référence désignée par image fixe par interpolation d'un nuage de points de référence dit nuage de points fixe,
    - pour chaque autre nuage de points, désigné par nuage de points mobile, reconstruction d'une image dite mobile, puis optimisation d'une erreur quadratique moyenne calculée entre ladite image mobile et ladite image fixe,
    - élaboration d'un modèle linéaire décrivant la distance de décalage obtenue entre image fixe et image mobile en fonction de la tension appliquée sur la bande piézoélectrique pour réaliser ce décalage.
  10. Procédé selon la revendication 8 ou 9, caractérisé en ce qu'on utilise quatre bandes constituant un tube piézoélectrique qui entoure au moins l'extrémité distale du guide d'image, et en ce qu'on applique, pour chaque déplacement de l'extrémité distale du guide d'image, une paire de tensions opposées sur respectivement deux bandes opposées.
  11. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le décalage spatial est obtenu par un mouvement sensiblement de translation latérale de l'extrémité distale du guide d'image selon deux directions orthogonales.
  12. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'on réalise l'étape de reconstruction de l'image finale au moyen d'un algorithme dit d'approximation B-splines itérative pour lequel la superposition est considérée comme un nuage de points irréguliers.
  13. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape de reconstruction de l'image finale est suivie d'une étape de déconvolution de l'image finale.
  14. Dispositif pour augmenter la résolution d'images confocales acquises à travers un guide d'image constitué d'une pluralité de fibres optiques, l'extrémité proximale de ce guide d'image étant connectée à un dispositif de balayage laser prévu pour émettre un faisceau laser dans chaque fibre optique du guide d'image et recueillir chaque faisceau de retour lors d'une acquisition, l'extrémité distale étant associée à une tête optique pour focaliser le faisceau laser émis par le guide d'image dans un objet d'observation, caractérisé en ce que la tête optique comporte des moyens optiques solidaires de cette tête optique, et en ce que le dispositif comprend en outre un tube piézoélectrique entourant le guide d'image et solidaire de ce guide d'image, au moins à ladite extrémité distale, de façon à spatialement décaler cette extrémité distale par rapport à la tête optique en réponse à une consigne de décalage.
  15. Dispositif selon la revendication 14, caractérisé en ce que le tube piézoélectrique est constitué d'au moins quatre bandes céramiques indépendantes occupant chacune un quart du tube.
  16. Dispositif selon la revendication 15, caractérisé en ce que les faces interne et externe de chaque bande sont recouvertes de matériau métallique, tel que l'argent, de sorte que l'application de tensions opposées sur deux bandes opposées respectivement, décale l'extrémité distale du tube en utilisant l'effet piézoélectrique transversal.
  17. Dispositif selon la revendication 15 ou 16, caractérisé en ce que les bandes céramiques sont commandées deux par deux dans deux directions orthogonales.
  18. Système, mettant en oeuvre le procédé selon l'une quelconque des revendications 1 à 13, pour augmenter la résolution d'images confocales acquises à travers un guide d'image constitué d'une pluralité de fibres optiques, l'extrémité proximale de ce guide d'image étant connectée à un dispositif de balayage laser prévu pour émettre un faisceau laser dans chaque fibre optique du guide d'image et recueillir chaque faisceau de retour lors d'une acquisition, l'extrémité distale étant associée à une tête optique pour focaliser le faisceau laser émis par le guide d'image dans un objet d'observation, caractérisé en ce que, pour une position donnée de la tête optique, ce système comprenant :
    - des moyens pour réaliser une pluralité d'acquisitions à travers le guide d'image,
    - des moyens pour spatialement décaler, à chaque acquisition, ladite extrémité distale du guide d'image par rapport à la tête optique,
    - des moyens pour transformer des données de chaque acquisition en un nuage de points pondéré par la puissance optique mesurée sur l'objet à travers chaque fibre optique du guide d'image,
    - des moyens pour recaler chaque nuage de points,
    - des moyens pour superposer les nuages de points ainsi recalés, et des de moyens pour reconstruire une image finale à partir de cette superposition.
EP04817612A 2003-12-31 2004-12-29 Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede Active EP1702304B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0315628A FR2864631B1 (fr) 2003-12-31 2003-12-31 Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede
PCT/FR2004/003401 WO2005073912A1 (fr) 2003-12-31 2004-12-29 Procede et systeme de super-resolution d’images confocales acquises a travers un guide d’image, et dispositif utilise pour la mise en oeuvre d’un tel procede

Publications (2)

Publication Number Publication Date
EP1702304A1 EP1702304A1 (fr) 2006-09-20
EP1702304B1 true EP1702304B1 (fr) 2012-02-29

Family

ID=34639737

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04817612A Active EP1702304B1 (fr) 2003-12-31 2004-12-29 Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede

Country Status (13)

Country Link
US (1) US7646938B2 (fr)
EP (1) EP1702304B1 (fr)
JP (1) JP5268257B2 (fr)
KR (1) KR20060131828A (fr)
CN (1) CN1902660B (fr)
AT (1) ATE547772T1 (fr)
AU (1) AU2004314774B2 (fr)
BR (1) BRPI0418235A (fr)
CA (1) CA2550305C (fr)
ES (1) ES2383526T3 (fr)
FR (1) FR2864631B1 (fr)
IL (1) IL176372A (fr)
WO (1) WO2005073912A1 (fr)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100417225C (zh) * 2005-10-27 2008-09-03 中国科学院上海技术物理研究所 基于光纤耦合的焦平面阵列图像时空变换的方法
DE102006004006B3 (de) * 2006-01-27 2007-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erzeugung eines hoch aufgelösten Bildes für faseroptische Systeme
US7680373B2 (en) 2006-09-13 2010-03-16 University Of Washington Temperature adjustment in scanning beam devices
US7738762B2 (en) 2006-12-15 2010-06-15 University Of Washington Attaching optical fibers to actuator tubes with beads acting as spacers and adhesives
US8305432B2 (en) 2007-01-10 2012-11-06 University Of Washington Scanning beam device calibration
US7583872B2 (en) * 2007-04-05 2009-09-01 University Of Washington Compact scanning fiber device
US8212884B2 (en) 2007-05-22 2012-07-03 University Of Washington Scanning beam device having different image acquisition modes
US8437587B2 (en) 2007-07-25 2013-05-07 University Of Washington Actuating an optical fiber with a piezoelectric actuator and detecting voltages generated by the piezoelectric actuator
CN101387506B (zh) * 2007-09-14 2010-11-10 鸿富锦精密工业（深圳）有限公司 点云最优对齐方法
US8411922B2 (en) 2007-11-30 2013-04-02 University Of Washington Reducing noise in images acquired with a scanning beam device
US20090177042A1 (en) * 2008-01-09 2009-07-09 University Of Washington Color image acquisition with scanning laser beam devices
US9131846B2 (en) * 2008-10-22 2015-09-15 Koninklijke Philips N.V. Optical scanning probe assembly
AU2010209422B2 (en) 2009-01-30 2015-06-18 Mauna Kea Technologies Method and system for processing images acquired in real time through a medical device
JP2010253155A (ja) * 2009-04-28 2010-11-11 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
JP2010253156A (ja) * 2009-04-28 2010-11-11 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
JP2010284369A (ja) * 2009-06-12 2010-12-24 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
JP5210991B2 (ja) * 2009-07-22 2013-06-12 富士フイルム株式会社 校正方法および装置
JP5537079B2 (ja) * 2009-07-24 2014-07-02 オリンパス株式会社 光走査装置及びそれを備えた内視鏡装置
JP5145299B2 (ja) * 2009-07-31 2013-02-13 富士フイルム株式会社 校正方法および装置
JP5340089B2 (ja) * 2009-09-08 2013-11-13 富士フイルム株式会社 内視鏡
JP2011045525A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 内視鏡
JP5317893B2 (ja) * 2009-08-31 2013-10-16 富士フイルム株式会社 内視鏡システム
JP5340085B2 (ja) * 2009-09-01 2013-11-13 富士フイルム株式会社 内視鏡
JP2012004908A (ja) * 2010-06-17 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
RU2431889C1 (ru) * 2010-08-06 2011-10-20 Дмитрий Валерьевич Шмунк Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
KR101869443B1 (ko) 2011-10-11 2018-06-21 삼성전자 주식회사 빛의 위치 제어 장치 및 그 제조 방법
US9076236B2 (en) 2013-09-12 2015-07-07 At&T Intellectual Property I, L.P. Guided image upsampling using bitmap tracing
WO2017195258A1 (fr) * 2016-05-09 2017-11-16 オリンパス株式会社 Scanner à fibre optique, dispositif d'éclairage et dispositif d'observation
GB201707239D0 (en) 2017-05-05 2017-06-21 Univ Edinburgh Optical system and method
WO2019246380A1 (fr) * 2018-06-20 2019-12-26 Magic Leap, Inc. Procédés et systèmes pour scanners à fibres avec lignes de liaison continues
CN110163799B (zh) * 2019-05-05 2023-05-05 杭州电子科技大学上虞科学与工程研究院有限公司 一种基于深度学习的超分辨率点云生成方法
EP4142290A1 (fr) * 2021-08-31 2023-03-01 Beijing Xiaomi Mobile Software Co., Ltd. Procédé et appareil de codage/décodage de données géométriques de nuages de points détectées par au moins un capteur

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6053919A (ja) * 1983-09-05 1985-03-28 Olympus Optical Co Ltd 内視鏡用撮像装置
JP3103488B2 (ja) * 1995-02-06 2000-10-30 旭光学工業株式会社 内視鏡装置
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
EP0845187A2 (fr) * 1995-08-17 1998-06-03 Karl Storz GmbH & Co. Systeme d'endoscopie video
JP3048945B2 (ja) * 1996-05-24 2000-06-05 三洋電機株式会社 情報記録再生装置
EP0971626A1 (fr) * 1997-03-06 2000-01-19 Massachusetts Institute Of Technology Instrument d'analyse a balayage optique de tissu vivant
JP2000126116A (ja) * 1998-10-28 2000-05-09 Olympus Optical Co Ltd 光診断システム
US6804419B1 (en) * 1998-11-10 2004-10-12 Canon Kabushiki Kaisha Image processing method and apparatus
US6466618B1 (en) * 1999-11-19 2002-10-15 Sharp Laboratories Of America, Inc. Resolution improvement for multiple images
JP2001327460A (ja) * 2000-05-18 2001-11-27 Olympus Optical Co Ltd 内視鏡装置
US6678398B2 (en) * 2000-09-18 2004-01-13 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP2002328311A (ja) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd イメージファイバ撮像装置
US6665063B2 (en) * 2001-09-04 2003-12-16 Rosemount Aerospace Inc. Distributed laser obstacle awareness system
JP2003310532A (ja) * 2002-02-21 2003-11-05 Olympus Optical Co Ltd 撮像装置
JP2004289365A (ja) * 2003-03-20 2004-10-14 Fujitsu Support & Service Kk コンテンツ提供方法及びシステム
US7091475B2 (en) * 2003-05-07 2006-08-15 Mitutoyo Corporation Miniature 2-dimensional encoder readhead using fiber optic receiver channels
US7158225B2 (en) * 2004-01-23 2007-01-02 Kaiser Optical Systems Multi-channel, self-calibrating fiber-coupled raman spectrometers including diagnostic and safety features

Also Published As

Publication number Publication date
BRPI0418235A (pt) 2007-04-17
CA2550305A1 (fr) 2005-08-11
CN1902660B (zh) 2010-04-21
IL176372A (en) 2011-06-30
CA2550305C (fr) 2014-07-08
US20070273930A1 (en) 2007-11-29
US7646938B2 (en) 2010-01-12
JP5268257B2 (ja) 2013-08-21
IL176372A0 (en) 2006-10-05
KR20060131828A (ko) 2006-12-20
FR2864631A1 (fr) 2005-07-01
EP1702304A1 (fr) 2006-09-20
JP2007516760A (ja) 2007-06-28
AU2004314774B2 (en) 2010-01-28
CN1902660A (zh) 2007-01-24
ATE547772T1 (de) 2012-03-15
WO2005073912A1 (fr) 2005-08-11
AU2004314774A1 (en) 2005-08-11
FR2864631B1 (fr) 2006-04-14
ES2383526T3 (es) 2012-06-21

Similar Documents

Publication Publication Date Title
EP1702304B1 (fr) Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede
EP3433679B1 (fr) Procédé d'observation d'un échantillon par calcul d'une image complexe
EP1523270B1 (fr) Procede et appareillage d'imagerie de fluorescence haute resolution par fibre optique et notamment d'imagerie confocale
EP0755023A1 (fr) Procédé de filtrage spatial du bruit dans une image numérique, et dispositif mettant en oeuvre ce procédé
WO1997042600A1 (fr) Procede de traitement d'images obtenues par fibres multicoeurs ou multifibres, en particulier d'images endoscopiques
EP3824269A2 (fr) Procédé et systèmes de caracterisation optique non invasive d'un milieu hétérogène
EP3199941A1 (fr) Procédé d'observation d'un échantillon par imagerie sans lentille
JP2019040185A (ja) 断面厚を改善した高分解能２ｄ顕微鏡法
EP3830628B1 (fr) Dispositif et procédé de capture d'images plénoptiques microscopiques avec atténuation de turbulence
Cidade et al. A generalized approach for atomic force microscopy image restoration with Bregman distances as Tikhonov regularization terms
EP2212733B1 (fr) Procédé et dispositif de reconstruction du volume d'un objet à partir d'une séquence d'images de coupes dudit objet
EP0133120A2 (fr) Dispositif de mesure de la dimension bord à bord d'un objet par voie optique
EP3440443B1 (fr) Procédé d'acquisition et de formation d'une image de spectrométrie par un échantillonnage spatial adapté
EP1430271B1 (fr) Procede et dispositif de mesure d'au moins une grandeur geometrique d'une surface optiquement reflechissante
EP2345238B1 (fr) Procede de numerisation de livres en trois dimensions par ondes terahertz
EP3745941B1 (fr) Imagerie par fibre multicoeur
WO2017174743A1 (fr) Procédé et dispositif de microscopie interférentielle plein champ en lumière incohérente
WO2018096269A1 (fr) Procédé de formation d'une image de haute résolution par imagerie sans lentille
FR2836575A1 (fr) Procede de mesure de la localisation d'un objet par detection de phase
WO2023275664A1 (fr) Procédé d'imagerie, endoscope et produit programme d'ordinateur
Perraud et al. Shape from Focus Applied to Real-Time Terahertz Imaging
CN116858377A (zh) 一种基于系统性能指标的光谱仪标定方法
EP4207077A1 (fr) Correction d'artefacts de reconstructions tomographiques par reseaux de neurones
Riza et al. Liquid lens confocal microscopy with advanced signal processing for higher resolution 3D imaging
EP4111147A1 (fr) Procédé d'acquisition et de formation d'une image de spectrométrie et appareil de mesure spectroscopique

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20060721

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR LV MK YU

17Q First examination report despatched

Effective date: 20061017

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 602004036747

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G06T0005500000

Ipc: G06T0003400000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G06T 3/40 20060101AFI20110810BHEP

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR LV MK YU

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 547772

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120315

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602004036747

Country of ref document: DE

Effective date: 20120426

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2383526

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20120621

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20120229

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20120229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120629

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120629

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120530

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 547772

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120229

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

26N No opposition filed

Effective date: 20121130

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602004036747

Country of ref document: DE

Effective date: 20121130

BERE Be: lapsed

Owner name: MAUNA KEA TECHNOLOGIES

Effective date: 20121231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120529

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121231

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121231

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20041229

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20141226

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20141222

Year of fee payment: 11

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 602004036747

Country of ref document: DE

Representative=s name: GRAMM, LINS & PARTNER PATENT- UND RECHTSANWAEL, DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151229

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20170126

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151230

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231227

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231222

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240130

Year of fee payment: 20