EP1538416A1 - Procédé et dispositif de reconstruction d'image sur des barrettes de détecteurs - Google Patents

Procédé et dispositif de reconstruction d'image sur des barrettes de détecteurs Download PDF

Info

Publication number
EP1538416A1
EP1538416A1 EP04292843A EP04292843A EP1538416A1 EP 1538416 A1 EP1538416 A1 EP 1538416A1 EP 04292843 A EP04292843 A EP 04292843A EP 04292843 A EP04292843 A EP 04292843A EP 1538416 A1 EP1538416 A1 EP 1538416A1
Authority
EP
European Patent Office
Prior art keywords
image
bars
resolution
bar
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP04292843A
Other languages
German (de)
English (en)
Other versions
EP1538416B1 (fr
Inventor
Yves Richard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Safran Electronics and Defense SAS
Original Assignee
Sagem SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sagem SA filed Critical Sagem SA
Publication of EP1538416A1 publication Critical patent/EP1538416A1/fr
Application granted granted Critical
Publication of EP1538416B1 publication Critical patent/EP1538416B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/222—Homing guidance systems for spin-stabilized missiles
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/2253—Passive homing systems, i.e. comprising a receiver and do not requiring an active illumination of the target
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/2273—Homing guidance systems characterised by the type of waves
    • F41G7/2293—Homing guidance systems characterised by the type of waves using electromagnetic waves other than radio waves

Definitions

  • the present invention relates to a method of image reconstruction gained through sensor arrays mounted on a projectile.
  • Projectiles can be self-guided on a moving target when the latter gives off heat - for example the heat of thrusters or engines - thanks to a device for detecting points hot embedded on the projectile. Once the hot spot is located, the projectile adjusts its trajectory over the hotspot to reach its target.
  • Figure 1 shows schematically a longitudinal section of the plane focal point of a hot spot detection device of the state of the art.
  • the point detection device typically has four shape detection bars 1 rectangular and placed relative to each other to form a regular Greek cross centered on the longitudinal axis 2 of the device.
  • the strips 1 are placed in the focal plane of the detection device. Their length is equal to the field of optics, and their width approximately the diameter of the image spot (percussion response) of the optics.
  • the 1 bars are fixed relative to the projectile symbolized by the ortho mark normal 3 itself centered on axis 2.
  • the 1 bars detect a hot spot. Detection and positioning of this hot spot relative to the projectile allow the projectile to point to the hot spot and therefore the target.
  • the invention proposes to overcome these disadvantages.
  • One of the aims of the invention is to propose a method making it possible reconstruct an image using signals captured on detectors mounted on a projectile.
  • the invention proposes a method for reconstituting an image Im acquired by means of sensor arrays mounted on a projectile, characterized in that the representative vector of the image is reconstituted from the representative vector of the images.
  • the invention also relates to an image reconstruction device comprising detection strips and processing means adapted to implement a method according to the invention.
  • FIG. 2 the elements similar to FIG. identical numerical references, schematically represents a cross-section longitudinal axis of a focal plane of a device implementing a method according to the invention.
  • a detection device implementing a method according to the invention comprises at least three strips 1 of shape detection rectangular and placed in relation to each other according to at least three non-collinear directions between them.
  • the detectors are oriented radially towards the axis 2 of the device, and towards the vertices of a regular polygon.
  • the bars are thus arranged in a regular "Y" shape centered on the longitudinal axis 2 of the device.
  • the bars 1 are placed in the focal plane of the device of detection. Their length is equal to the field of optics, and their width approximately to the diameter of the image spot (response percussion) of optics.
  • the bars 1 are fixed with respect to projectile symbolized by the normal ortho mark 3 itself centered on the axis 2.
  • the optical axis 6 of the device rotates about the axis 2 according to the arrow referenced by 5 thanks to a router, the optical axis 6 being at a distance R of the axis 2.
  • the trajectory of the axis 6 in the focal plane is represented by the circle 4.
  • angles ⁇ of rotation are given by means of measurement connected to the top.
  • the optical axis 6 When moving the router, the optical axis 6 performs a translational movement in front of the bars 1. It may well be heard also say, by changing repository, that the barrettes 1 perform a translational movement with respect to the optical axis 6.
  • FIG. 3 shows a bar 1 passing in front of the image 30 of the scene - if we take as a reference the axes (Ox, Oy) centered on the image 30 - in a direction 31 of displacement in translation.
  • Image 30 of the scene is acquired during a step 32, that is to say throughout the translation in the direction 31.
  • Im the function of x and y in the focal plane which represents the image of the scene that one seeks to obtain.
  • the Im function represents therefore the image 30 in Figure 3.
  • Integrating the entire length of the bar 1 is similar to a measurement acquisition technique used in tomography. Tomography is used in the medical field especially.
  • This measurement acquisition characteristic makes it possible to use a tomographic image reconstruction method.
  • equation (1) highlights the linear aspect of the problem and assumes the linearity of the bars.
  • a method according to the invention can use a step that is similar to a Radon transform.
  • the calculation parameter is the displacement of the next image not ( ⁇ k ).
  • Figure 4 shows that the 300 image in the Fourier space of a picture acquired by bars in real space is all the better sampled that the number of bars in real space is important. It is recalled that the sampling direction in the space of frequencies is perpendicular to the direction of extension of the bar in real space.
  • Figure 4 also shows that the width D of the bars acts as a convolution of the image in the frequency space by a disk 50 whose diameter is 1 / D.
  • the device for implementing the method according to the invention comprises in general, preferably seven bars.
  • FIG. 6A thus schematically shows that the image 60 is divided acquired by the bars 1 in pixels referenced by 600.
  • each pixel of the image 60 is performed.
  • Each pixel 600 of the image 60 thus bears a number.
  • FIG. 6B shows that the image 600 is then represented as a vector 65 by putting one after the other lines 61 to 64 by example.
  • a vector B representative of B of the equation is constructed (1) by juxtaposing the signals received from each strip 1 after having numbered the bars. The juxtaposition of the signals in the vector B is performed according to the numbers of the bars.
  • Figure 7 shows that the operator L of equation (1) is represented by its matrix.
  • Figure 7 shows that each row of the matrix L corresponds to a current bar i of the focal plane.
  • Each column of the matrix L corresponds to a pixel j.
  • the dimensions of the bars are (in ⁇ m) 700 x 100 and the represented plane is a square of 750 ⁇ m side. These dimensions are given for information only limiting and depend on the dimensions of the field of the optical system.
  • a first possible embodiment of a method according to the invention is to minimize a functional quadratic instead of solving directly equation (1).
  • the quadratic error between the measurements and the expected image is called least squares method by the skilled person.
  • the starting image is zero throughout the field of detectors.
  • the threshold depends on the applications and acquisition cards. In our example, it can be set to 1 ⁇ 2.
  • the loop stops after a certain number of iterations or when the reconstructed image is sufficiently resolved to be exploited by the means for processing and guiding the projectile.
  • steps of gradient descent can be used in a process according to the invention. It may in particular be a method of descent gradients simple or optimal step for example.
  • Performing image thresholding avoids training interference in the image and to ensure better convergence of the calculation.
  • Figures 9A-9D show the results of the first four iterations of a method using the least squares method.
  • the image is divided into 1600 pixels.
  • the focal plane has two hot spots 91 and 92 of the same intensity and visible especially in Figure 9D.
  • the calculation takes into account the treatment of the signal, including the elimination of a low-frequency component.
  • Figure 9A is the reconstructed image after an iteration with a threshold equal to 1 ⁇ 2.
  • Figure 9B is the reconstructed image after two iterations with a threshold equal to 1 ⁇ 4.
  • Figure 9C is the reconstituted image after three iterations with a threshold equal to 1/6.
  • Figure 9D is the reconstructed image after four iterations with a threshold equal to 1/8.
  • a second possible embodiment of a method according to the invention consists in using a method of resolution of the type maximization or minimization of a functional under stress.
  • Such under-determination may occur when the measures are of a limited number, namely during a quick acquisition of the scene by the bars, or where the measurements under certain incidences are not not accessible or exploitable.
  • a method of maximizing or minimizing a functional under stress can of course be used in all cases acquisition.
  • a method of the MART type is used.
  • This method of resolution can be interpreted as a minimization or constrained maximization with a criterion entropic.
  • a method according to the invention makes the solution converge towards a maximum entropy of the image with the constraint given by equation (1).
  • the set of measures to be corrected is then moved to each iteration according to the displacement of the bar considered in relation to the scene.
  • the correction of the image during the iteration n + 1 of the method is carried out substantially by a multiplication of the image I (k) / n obtained at the pixel k after correction during an iteration n by the ratio of the signal B n received by a given bar in this pixel k during the iteration n on the one hand to the signal R n reconstituted over the whole of the bar given during the iteration n on the other hand.
  • I ( k ) / n +1 is the pixel k image at the iteration n + 1
  • I ( k ) / n is the image at pixel k at iteration n
  • L nk is an operator worth 0 in the calculations involving coefficients of the matrix L not relating to a pixel included in the bar considered, and 1 in the calculations involving coefficients of the matrix L concerning a pixel included in the bar considered
  • ⁇ nk is a coefficient making it possible to adjust the convergence of the iterations by distributing the correction over all the pixels of the bar considered
  • R n is defined by a relation of the type: in which the index j of the summation indicates that we sum the L nj on all the pixels j of the bar considered.
  • R n represents the signal that gives the image reconstituted on the bar considered.
  • n denotes a matrix index, it describes the indices of each matrix cyclically, modulo the size of the matrix.
  • the index n is thus not limited by the size of the matrices in the iterations.
  • equation (5) can also be written: ⁇ nk makes it possible to carry out an averaging of the correction on all the pixels of the bar. This ensures a conservation of energy during the different iterations and the convergence of the iterative process is allowed.
  • Iterations are stopped when a number of iterations is reached or when the reconstructed image is sufficiently resolved to be exploited by the means for processing and guiding the projectile.
  • FIG. 10 thus shows the image of a pattern with patterns remarkable 100.
  • Figure 11 shows the reconstructed image of the pattern of Figure 10 after a dozen iterations of the process. It clearly distinguishes 110 reconstructed images of the patterns 100.
  • this sinusoid being seen by the disk of diameter D.
  • the image of this sinusoid truncated is a disk of diameter 1 / D in the frequency space.
  • disk 50 is detected, in the worst of case, when it is tangent to two straight at the same time.
  • n is preferably greater than or equal to 7.
  • the device for implementing a method according to the invention preferably comprises seven bars 1 equally distributed, as shown in Figure 5B.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un procédé de reconstitution d'une image acquise grâce à des barrettes de détecteurs montés sur un projectile, caractérisé en ce qu'on reconstitue le vecteur représentatif de l'image à partir du vecteur représentatif des signaux issus des barrettes en résolvant le système linéaire tel que : L·Im=B où L est la matrice reprenant les signaux issus de chaque barreau pour tous les pixels de l'image. L'invention concerne également un dispositif de mise en oeuvre dudit procédé. <IMAGE>

Description

DOMAINE TECHNIQUE GENERAL
La présente invention concerne un procédé de reconstitution d'image acquise grâce à des barrettes de détecteurs montées sur un projectile.
ETAT DE L'ART
Des projectiles peuvent être autoguidés sur une cible en mouvement lorsque cette dernière dégage de la chaleur - par exemple la chaleur de propulseurs ou de moteurs - grâce à un dispositif de détection de points chauds embarqué sur le projectile. Une fois le point chaud repéré, le projectile ajuste sa trajectoire sur le point chaud pour atteindre sa cible.
La figure 1 montre schématiquement une coupe longitudinale du plan focal d'un dispositif de détection de points chauds de l'état de la technique.
Comme le montre la figure 1, le dispositif de détection de points chauds comporte classiquement quatre barrettes 1 de détection de forme rectangulaire et placées les unes par rapport aux autres pour former une croix grecque régulière centrée sur l'axe longitudinal 2 du dispositif. Les barrettes 1 sont placées dans le plan focal du dispositif de détection. Leur longueur est égale au champ de l'optique, et leur largeur approximativement au diamètre de la tache image (réponse percussionnelle) de l'optique. Les barrettes 1 sont fixes par rapport au projectile symbolisé par le repère ortho normal 3 lui même centré sur l'axe 2.
Comme les barrettes 1 sont fixes par rapport au repère 3, pour pouvoir observer la scène, on fait tourner l'axe optique 6 du dispositif autour de l'axe 2 selon la flèche référencée par 5, l'axe optique 6 étant à une distance R de l'axe 2. La trajectoire de l'axe 6 dans le plan focal est représentée par le cercle 4.
Lors de cette rotation 5 de l'axe optique 6 autour de l'axe 2, les barrettes 1 détectent un point chaud. La détection et le positionnement de ce point chaud par rapport au projectile permettent au projectile de se diriger vers le point chaud et par conséquent la cible.
Les dispositifs de détection et les procédés de traitement de signal permettant le positionnement de points chauds précédents présentent cependant des inconvénients.
En effet, la technique antérieure ne permet de traiter qu'un seul point chaud.
Ils ne permettent pas de reconstituer une image de la scène autour du projectile.
Par conséquent, la fiabilité des projectiles comportant de tels dispositifs et fonctionnant avec de tels procédés de détection et de traitement de signal n'est pas optimale.
PRESENTATION DE L'INVENTION
L'invention propose de pallier ces inconvénients.
Un des buts de l'invention est de proposer un procédé permettant de reconstituer une image grâce aux signaux captés sur des barrettes de détecteurs montés sur un projectile.
A cet effet, l'invention propose un procédé de reconstitution d'une image Im acquise grâce à des barrettes de détecteurs montés sur un projectile, caractérisé en ce qu'on reconstitue le vecteur représentatif de l'image lm à partir du vecteur représentatif des signaux B issus des barrettes 1 en résolvant le système linéaire tel que : L·Im = B    où L est la matrice reprenant les signaux issus de chaque barreau pour tous les pixels de l'image.
L'invention est avantageusement complétée par les caractéristiques suivantes, prises seules ou en une quelconque de leur combinaison techniquement possible :
  • le procédé comporte les étapes selon lesquelles :
    • on numérote les barrettes et on construit le vecteur B en juxtaposant les signaux reçus de chaque barrette (1) en fonction du numéro de barrette ;
    • on divise en pixels le plan dans lequel sont situées les barrettes, les pixels étant situés à l'intersection de lignes et de colonnes et on construit le vecteur Im en juxtaposant les lignes du plan ainsi divisé ; et
    • on construit chaque coefficient Li , j de la matrice L en reportant en colonne pour chaque pixel courant j l'intensité du signal numérisé issu de chaque barrette i pour un point chaud centré sur le pixel j, chaque ligne de L correspondant à un barreau et chaque colonne à un pixel ;
  • la résolution du système linéaire utilise une méthode du type minimisation d'une fonctionnelle quadratique ;
  • la méthode de résolution est une méthode des moindres carrés et en ce que la fonctionnelle est du type 1 / 2·Im t ·Lt ·L·Im- Im t ·Lt ·B
    où Im t ,Lt désignent les transposées de Im et de L ;
  • la méthode des moindres carrés comporte une étape :
    • d'initialisation selon laquelle on annule l'image sur tout le champ des barrettes ;
    • de définition d'un seuil initial ; et
    • de bouclage consistant à effectuer :
    • une descente par gradient conjugué,
    • un seuillage de l'image et une mise à zéro des signaux de l'image dont l'intensité est en dessous du seuil ; et
    • un abaissement du seuil ;
    la boucle s'arrêtant au bout d'un certain nombre d'itérations ou lorsque l'image reconstituée est suffisamment résolue pour être exploitée par des moyens de traitement et de guidage du projectile ;
  • la résolution du système linéaire utilise une méthode du type minimisation ou maximisation d'une fonctionnelle sous contrainte ;
  • la méthode de résolution est une maximisation de l'entropie de l'image avec la contrainte L·Im = B ;
  • la méthode de résolution utilise une technique de reconstruction algébrique multiplicative « MART » ;
L'invention concerne également un dispositif de reconstitution d'image comportant des barrettes de détection et des moyens de traitement aptes à mettre en oeuvre un procédé selon l'invention.
PRESENTATION DES FIGURES
D'autres caractéristiques, buts et avantages de l'invention ressortiront de la description qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels :
  • la figure 1, déjà commentée, représente une coupe longitudinale d'un plan focal d'un dispositif de détection selon l'art antérieur ;
  • la figure 2 représente schématiquement une coupe longitudinale d'un plan focal d'un dispositif de détection selon l'invention ;
  • la figure 3 représente schématiquement le trajet d'une barrette devant une scène ;
  • la figure 4 représente schématiquement l'échantillonnage du plan des fréquences le long de directions perpendiculaires aux barrettes ;
  • la figure 5A montre l'influence du nombre des barrettes et de la taille du champ de l'image sur l'échantillonnage des fréquences ;
  • la figure 5B représente schématiquement un mode de réalisation d'un dispositif comportant sept barrettes ;
  • les figures 6A et 6B représentent schématiquement une méthode de construction du vecteur Im,
  • les figures 7 et 8 représentent schématiquement une méthode de construction de la matrice L ;
  • les figures 9A à 9D représentent schématiquement images reconstituées par un procédé possible, au fur et à mesure des itérations du procédé ;
  • la figure 10 représente une mire ; et
  • la figure 11 représente une image de la mire de la figure 10 reconstituée par un autre procédé possible après une dizaine d'itérations.
DESCRIPTION DETAILLEE POSITION DU PROBLEME
Dans toute la suite de la description, on ne considère pas un quelconque balayage de la scène par le système d'auto guidage et de reconstitution d'image. Le mouvement relatif du projectile (notamment la rotation sur lui-même) lors du vol n'est donc pas pris en compte.
La figure 2, dont les éléments similaires à la figure 1 portent des références numériques identiques, représente schématiquement une coupe longitudinale d'un plan focal d'un dispositif mettant en oeuvre un procédé selon l'invention.
Ainsi, un dispositif de détection mettant en oeuvre un procédé selon l'invention comporte au moins trois barrettes 1 de détection de forme rectangulaire et placées les unes par rapport aux autres selon au moins trois directions non colinéaires entre elles.
Dans toute la description suivante, sauf mention explicite du contraire, les détecteurs sont orientés radialement, vers l'axe 2 du dispositif, et vers les sommets d'un polygone régulier. Sur la figure 2, les barrettes sont ainsi disposées entre elles en forme de « Y » régulier centré sur l'axe longitudinal 2 du dispositif.
Les barrettes 1 sont placées dans le plan focal du dispositif de détection. Leur longueur est égale au champ de l'optique, et leur largeur approximativement au diamètre de la tache image (réponse percussionnelle) de l'optique. Les barrettes 1 sont fixes par rapport au projectile symbolisé par le repère ortho normal 3 lui même centré sur l'axe 2.
L'axe optique 6 du dispositif tourne autour de l'axe 2 selon la flèche référencée par 5 grâce à une toupie, l'axe optique 6 étant à une distance R de l'axe 2. La trajectoire de l'axe 6 dans le plan focal est représentée par le cercle 4.
Lors de cette rotation 5 de l'axe optique 6 autour de l'axe 2, les barrettes 1 acquièrent un signal.
Dans la suite de la présente description, on suppose que la position angulaire de l'axe optique 6 est connue au fur et à mesure de l'acquisition du signal sur les barrettes 1.
Les angles  de rotation sont donnés par des moyens de mesure reliée à la toupie.
Lors du déplacement de la toupie, l'axe optique 6 effectue un mouvement de translation circulaire devant les barrettes 1. On peut bien entendu également dire, en changeant de référentiel, que les barrettes 1 effectuent un mouvement de translation circulaire par rapport à l'axe optique 6.
La figure 3 montre une barrette 1 passant devant l'image 30 de la scène - si l'on prend comme référentiel les axes (Ox, Oy) centré sur l'image 30 - selon une direction 31 de déplacement en translation. L'image 30 de la scène est acquise pendant une étape 32, c'est-à-dire tout au long de la translation selon la direction 31.
On obtient donc un signal 33.
On note L l'opérateur qui permet à partir d'une image 30 d'obtenir les signaux issus des barrettes 1.
On note Im la fonction de x et de y dans le plan focal qui représente l'image de la scène que l'on cherche à obtenir. La fonction Im représente donc l'image 30 sur la figure 3.
On note B les signaux obtenus sur les barrettes 1. La fonction B représente donc les signaux 33 de la figure 3.
On rappelle que l'on cherche à déterminer lm à partir de B, c'est-à-dire reconstituer une image de la scène à partir d'un signal reçu par des barrettes.
L'équation du problème que l'on cherche à résoudre peut être ainsi écrite : (1) L.lm=B.
On voit donc que la résolution de l'équation (1) peut s'effectuer au moyen d'un calcul numérique.
Le fait d'effectuer une intégration sur toute la longueur de la barrette 1 s'apparente à une technique d'acquisition de mesures utilisée en tomographie. La tomographie est utilisée dans le domaine médical notamment.
Cette caractéristique d'acquisition des mesures permet d'utiliser une méthode de reconstruction d'image tomographique.
Tout d'abord, l'équation (1) met en valeur l'aspect linéaire du problème et suppose la linéarité des barrettes.
De plus, la résolution numérique de ce problème nécessite une discrétisation du plan focal. On a en effet besoin d'un procédé discret de reconstruction tomographique, qui s'appuie par définition et contrairement aux méthodes analytiques, sur une modélisation discrète de l'image à reconstruire et des mesures.
Enfin, on verra dans la suite de la présente description que le pouvoir séparateur intrinsèque du traitement du signal lors de la mise en oeuvre d'un procédé est limité par le nombre et la dimension des barrettes.
ECHANTILLONNAGE DANS L'ESPACE DES FREQUENCES
D'un point de vue théorique, les signaux issus des barrettes sont directement liés à la transformée de Fourier de l'image analysée.
De part la linéarité de l'équation (1), un procédé selon l'invention peut utiliser une étape qui s'apparente à une transformée de Radon.
On rappelle en effet qu'on effectue dans un procédé selon l'invention une intégration 32 de l'intensité du signal acquis sur les barrettes, et ce sur toute la longueur de chaque barrette 1 lors de sa translation 31. On obtient alors ensuite une reconstitution d'une image correspondant à un tel signal 33 acquis.
Si on applique à ce signal 33 une transformée 34 de Fourier à une dimension - notée TF 1 dans la suite de la présente description, alors on obtient sensiblement un échantillonnage de l'espace des fréquences 300 sur une droite 310. L'espace des fréquences fx et fy représente la transformée de Fourier à deux dimensions de l'image 30 - notée TF 2 dans la suite de la présente description.
Plus précisément, dans l'hypothèse de barrettes 1 de longueur infinie, on peut écrire, sans tenir compte des caractéristiques des barrettes 1 représentées usuellement par les gains et les décalages ou « offsets » selon la terminologie de l'homme du métier : (2) TF 1(Sk ) = TF2 (I)( n (k)) × TF 1 (Det) avec les notations suivantes :
  • I (image) désigne l'éclairement (W/m2) du plan focal ;
  • TF 1 désigne la transformée de Fourier à une dimension ;
  • TF 2 désigne la transformée de Fourier à deux dimensions ;
  • Sk désigne le signal issu du détecteur k en fonction du déplacement de l'image ;
  • n (k ) est la direction perpendiculaire au grand côté du détecteur k, à savoir la direction 31 dans le cas de la barrette 1 de la figure 3 ; et
  • Det désigne la fonction de transfert de la forme du détecteur, typiquement une fonction rectangle dont la largeur est la largeur du détecteur.
    • Le paramètre de calcul est le déplacement de l'image suivant n (k ).
    La figure 4 montre que l'image 300 dans l'espace de Fourier d'une image acquise par des barrettes dans l'espace réel est d'autant mieux échantillonnée que le nombre de barrettes dans l'espace réel est important. On rappelle que la direction d'échantillonnage dans l'espace des fréquences est perpendiculaire à la direction d'extension de la barrette dans l'espace réel.
    On comprend grâce à la figure 4 qu'il est préférable d'avoir un nombre important de barrettes pour avoir une meilleure reconstitution.
    Dans l'exemple de la figure 4, on a cinq directions d'échantillonnage 41, 42, 43, 44 et 45. Cela signifie que cinq barrettes sont placées dans le plan focal.
    La figure 4 montre également que la largeur D des barrettes intervient comme une convolution de l'image dans l'espace des fréquences par un disque 50 dont le diamètre est 1/ D .
    L'influence de la largeur des barrettes 1 sur le nombre de barrettes à disposer dans le plan focal est détaillée dans la suite de la présente description.
    Le dispositif de mise en oeuvre du procédé selon l'invention comporte en général préférentiellement sept barrettes.
    PRINCIPE DE RESOLUTION.
    On rappelle que pour pouvoir résoudre l'équation (1), il faut effectuer une discrétisation du plan focal.
    La figure 6A montre ainsi schématiquement que l'on divise l'image 60 acquise par les barrettes 1 en pixels référencés par 600. On définit ainsi des lignes, que l'on référence par 61, 62, 63 et 64 sur la figure 6A.
    On effectue de plus une numérotation de chaque pixel de l'image 60. Chaque pixel 600 de l'image 60 porte ainsi un numéro.
    La figure 6B montre que l'on représente alors l'image 600 comme un vecteur 65 en mettant les unes après les autres les lignes 61 à 64 par exemple.
    De même, on construit un vecteur B représentatif de B de l'équation (1) en juxtaposant les signaux reçus de chaque barrette 1 après avoir numéroté les barrettes. La juxtaposition des signaux dans le vecteur B est effectuée en fonction des numéros des barrettes.
    La figure 7 montre que l'opérateur L de l'équation (1) est représenté par sa matrice.
    La figure 7 montre que chaque ligne de la matrice L correspond à une barrette courante i du plan focal. Chaque colonne de la matrice L correspond à un pixel j.
    On reporte alors, en colonne et pour chaque pixel courant jdu plan focal, l'intensité du signal numérisé issu de chaque barrette i pour un point chaud centré sur le pixel j lors d'un tour de toupie. L'évolution de cette intensité sur une barrette i lors d'un tour de toupie est schématisée à la figure 8.
    On obtient alors la matrice de L.
    On rappelle que l'équation (1) s'écrit : (1) L·Im = B
    On comprend alors qu'avec la connaissance de la matrice de L et du vecteur de B, le problème de reconstitution d'image est ramené à la résolution d'un système linéaire représentatif de l'équation (1).
    D'une manière générale, le système de l'équation (1) n'est pas inversible et admet une infinité de solutions, du fait que la matrice L est rectangulaire.
    Plusieurs méthodes de résolution sont possibles pour faciliter la résolution de cette équation.
    Les performances d'un dispositif mettant en oeuvre un procédé selon l'invention seront alors conditionnées, outre les caractéristiques physiques du dispositif, par les étapes de résolution utilisées pour le système linéaire, ainsi que par la pertinence du paramétrage du problème pour la résolution.
    Dans toutes les simulations numériques qui vont suivre, les dimensions des barrettes sont (en µm) 700 x 100 et le plan représenté est un carré de côté 750 µm. Ces dimensions sont données à titre indicatif non limitatif et dépendent des dimensions du champ du système optique.
    PREMIER EXEMPLE DE PROCEDE
    Un premier mode de réalisation possible d'un procédé selon l'invention consiste à minimiser une fonctionnelle quadratique au lieu de résoudre directement l'équation (1 ).
    De préférence, on minimise l'erreur quadratique entre les mesures et l'image attendue. Cette méthode est appelée méthode des moindres carrés par l'homme du métier.
    Plusieurs fonctionnelles différentes peuvent être utilisées dans une méthode des moindres carrés.
    De préférence, on cherche à minimiser la fonctionnelle définie par : (3) 12 ·Im t ·Lt ·L·Im-Im t ·Lt ·B où Im t ,Lt désignent les transposées de Im et de L.
    Ainsi, selon le procédé possible, on définit lors d'une étape d'initialisation que l'image de départ est nulle dans tout le champ des détecteurs.
    On définit un seuil initial. Le seuil dépend des applications et des barrettes d'acquisition. Dans notre exemple, il peut être fixé à ½.
    On reprend ensuite en boucle la séquence suivante :
    • descente par gradient conjugué connu de l'homme du métier,
    • seuillage de l'image et mise à zéro des signaux de l'image dont l'intensité est en dessous du seuil ;
    • abaissement du seuil.
    La boucle s'arrête au bout d'un certain nombre d'itérations ou lorsque l'image reconstituée est suffisamment résolue pour être exploitée par les moyens de traitement et de guidage du projectile.
    Bien entendu, d'autres étapes de descente de gradients peuvent être utilisées dans un procédé selon l'invention. Il peut notamment s'agir d'une méthode de descente de gradients simple ou à pas optimal par exemple.
    Le fait d'effectuer un seuillage de l'image permet d'éviter la formation de signaux parasites sur l'image et d'assurer une meilleure convergence du calcul.
    Le fait d'abaisser le seuil à chaque itération du calcul permet de maítriser la limite des itérations.
    On peut ainsi définir le seuil s par (4) s = 1/2n où n est le numéro de l'itération.
    Les figures 9A à 9D montrent les résultats des quatre premières itérations d'un procédé utilisant la méthode des moindres carrés.
    Dans cet exemple, l'image est divisée en 1600 pixels. Le plan focal comporte deux points chauds 91 et 92 de même intensité et visibles notamment sur la figure 9D. Le calcul prend en compte le traitement du signal, notamment l'élimination d'une composante basse fréquence.
    La figure 9A est l'image reconstituée après une itération avec un seuil égal à ½.
    La figure 9B est l'image reconstituée après deux itérations avec un seuil égal à ¼.
    La figure 9C est l'image reconstituée après trois itérations avec un seuil égal à 1/6.
    La figure 9D est l'image reconstituée après quatre itérations avec un seuil égal à 1/8.
    On voit ainsi que le procédé de calcul permet une convergence rapide vers une image reconstituée de la scène.
    DEUXIEME EXEMPLE DE PROCEDE
    Un deuxième mode de réalisation possible d'un procédé selon l'invention consiste à utiliser une méthode de résolution du type maximisation ou de minimisation d'une fonctionnelle sous contrainte.
    Cette contrainte permet de choisir une solution acceptable parmi une infinité de solutions possibles à l'équation (1).
    Il peut en effet y avoir une infinité de solutions lors d'une sous-détermination dans les mesures.
    Une telle sous-détermination peut se produire lorsque les mesures sont d'un nombre limité, à savoir lors d'une acquisition rapide de la scène par les barrettes, ou lorsque les mesures sous certaines incidences ne sont pas accessibles ou exploitables.
    Un procédé de maximisation ou de minimisation d'une fonctionnelle sous contrainte peut bien entendu être utilisé dans tous les cas d'acquisition.
    Dans un procédé de résolution sous contrainte, on utilise de préférence une méthode de résolution du type Technique de reconstruction algébrique « ART » (Algebraic Reconstruction Technique) ou Technique de reconstruction algébrique multiplicative « MART » (Multiplicative Algebraic Reconstruction Technique) selon la terminologie généralement utilisée par l'homme du métier.
    De préférence, on utilise une méthode de type MART.
    Cette méthode de résolution peut s'interpréter comme une minimisation ou une maximisation sous contrainte avec un critère entropique.
    Un procédé selon l'invention fait en effet converger la solution vers un maximum d'entropie de l'image avec la contrainte donnée par l'équation (1).
    Dans une méthode de type MART, on corrige à chaque itération un ensemble de mesures pour obtenir rapidement une solution.
    Cependant; cet ensemble de mesures est uniquement, situé au niveau d'une barrette donnée. On ne corrige donc pas à chaque itération toutes les mesures sur l'image définie sur la figure 6A, ce qui assure la rapidité de la convergence.
    L'ensemble de mesures à corriger est ensuite déplacé à chaque itération en fonction du déplacement de la barrette considérée par rapport à la scène.
    On renouvelle bien entendu les étapes du procédé précédemment décrit pour chacune des barrettes.
    Les principes de la méthode MART sont décrits ci-après.
    Pour chaque pixel k compris dans la barrette considérée, la correction de l'image lors de l'itération n+1 du procédé s'effectue sensiblement par une multiplication de l'image I (k) / n obtenue au pixel k après correction lors d'une itération n par le rapport du signal Bn reçu par une barrette donnée en ce pixel k lors de l'itération n d'une part au signal Rn reconstitué sur l'ensemble de la barrette donnée lors de l'itération n d'autre part.
    On a donc une expression de la forme :
    Figure 00130001
    où I (k) / n+1 est l'image au pixel k à l'itération n+1 ;
    I (k) / n est l'image au pixel k à l'itération n ;
    Lnk est un opérateur valant 0 dans les calculs faisant intervenir des coefficients de la matrice L ne concernant pas un pixel compris dans la barrette considérée, et 1 dans les calculs faisant intervenir des coefficients de la matrice L concernant un pixel compris dans la barrette considérée ;
    λnk est un coefficient permettant de régler la convergence des itérations en répartissant la correction sur l'ensemble des pixels de la barrette considérée ; et
    Rn est défini par une relation du type :
    Figure 00130002
    dans laquelle l'indice j de la sommation indique que l'on somme les Lnj sur l'ensemble des pixels j de la barrette considérée.
    Rn représente donc le signal que donne l'image reconstituée sur la barrette considérée.
    Il est entendu que lorsque n désigne un indice de matrice, il décrit les indices de chaque matrice cycliquement, modulo la taille de la matrice. L'indice n n'est donc pas limité par la taille des matrices dans les itérations.
    D'après (6), l'équation (5) peut également s'écrire :
    Figure 00140001
       λnk permet d'effectuer un moyennage de la correction sur l'ensemble des pixels de la barrette. On assure ainsi une conservation de l'énergie lors des différentes itérations et on permet la convergence du procédé itératif.
    On peut définir λnk par l'expression:
    Figure 00140002
    Les itérations sont arrêtées lorsqu'un nombre d'itérations est atteint ou lorsque l'image reconstituée est suffisamment résolue pour être exploitée par les moyens de traitement et de guidage du projectile.
    La figure 10 montre ainsi l'image d'une mire comportant des motifs remarquables 100.
    La figure 11 montre l'image reconstituée de la mire de la figure 10 après une dizaine d'itérations du procédé. On y distingue clairement les images 110 reconstituées des motifs 100.
    D'autres méthodes de résolutions du système de l'équation (1) sont bien entendu possibles.
    NOMBRE DE BARRETTES DANS LE PLAN FOCAL
    On rappelle que du fait de la taille limitée du champ de l'image, et si l'on appelle D le diamètre du champ circulaire dans l'espace réel, les images subissent une convolution par un disque 50 dont le diamètre est en 1/D dans l'espace des fréquences.
    Prenons l'exemple d'une sinusoïde dans l'espace réel, cette sinusoïde étant vue par le disque de diamètre D. Alors l'image de cette sinusoïde tronquée est un disque de diamètre 1/D dans l'espace des fréquences.
    Or, la figure 4 montre clairement que les fréquences élevées ont moins de chances d'être perçues par l'échantillonnage donné par les droites 41 à 45 par exemple, puisqu'elles s'éloignent du centre du repère (Ofx, Ofy).
    Ainsi, plus les fréquences sont élevées, moins le disque 50 de convolution à de chances d'être perçu par l'échantillonnage.
    En référence à la figure 5A, le disque 50 est détecté, dans le pire des cas, lorsque il est tangent à deux droites en même temps.
    En première approximation, on a la relation : (8) tan(Θ2 ) = 12D ·1 f max où Θ est l'angle entre deux barrettes successives ; et
    f max est la fréquence max que l'on détecte.
    On a, en approximant la tangente à son angle : (9) Θ = 1 f max D
    On souhaite avoir : (10) f max ≥ 1 D pour pouvoir observer plus d'une période de la sinusoïde dans l'espace réel. 1 / f max·D doit donc être inférieur à 1.
    Or, comme on a par définition : (11) Θ = 2π n , où n est le nombre de barrettes.
    D'après (10) et (11), 2π / n doit être inférieur à 1.
    Par conséquent, n est préférentiellement supérieur ou égal à 7.
    Le dispositif de mise en oeuvre d'un procédé selon l'invention comporte ainsi préférentiellement sept barrettes 1 également réparties, comme le montre la figure 5B.

    Claims (10)

    1. Procédé de reconstitution d'une image (Im) acquise grâce à des barrettes (1) de détecteurs montés sur un projectile, caractérisé en ce qu'on reconstitue le vecteur représentatif de l'image (Im) à partir du vecteur représentatif des signaux (B) issus des barrettes (1) en résolvant le système linéaire tel que : L·Im = B où L est la matrice reprenant les signaux issus de chaque barreau pour tous les pixels de l'image.
    2. Procédé selon la revendication 1, caractérisé en ce qu'il comporte les étapes selon lesquelles :
      on numérote les barrettes et on construit le vecteur B en juxtaposant les signaux reçus de chaque barrette (1) en fonction du numéro de barrette ;
      on divise en pixels le plan dans lequel sont situées les barrettes, les pixels étant situés à l'intersection de lignes et de colonnes et on construit le vecteur Im en juxtaposant les lignes du plan ainsi divisé ; et
      on construit chaque coefficient Li,j de la matrice L en reportant en colonne pour chaque pixel courant j l'intensité du signal numérisé issu de chaque barrette i pour un point chaud centré sur le pixel j, chaque ligne de L correspondant à un barreau et chaque colonne à un pixel.
    3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que la résolution du système linéaire utilise une méthode du type minimisation d'une fonctionnelle quadratique.
    4. Procédé selon la revendication 3, caractérisé en ce que la méthode de résolution est une méthode des moindres carrés et en ce que la fonctionnelle est du type 1 / 2. Im t ·Lt ·L·Im- Im t ·Lt ·B
      où Im t ,Lt désignent les transposées de Im et de L.
    5. Procédé selon la revendication 4, caractérisé en ce que la méthode des moindres carrés comporte une étape :
      d'initialisation selon laquelle on annule l'image sur tout le champ des barrettes ;
      de définition d'un seuil initial ; et
      de bouclage consistant à effectuer :
      une descente par gradient conjugué,
      un seuillage de l'image et une mise à zéro des signaux de l'image dont l'intensité est en dessous du seuil ; et
      un abaissement du seuil ;
      la boucle s'arrêtant au bout d'un certain nombre d'itérations ou lorsque l'image reconstituée est suffisamment résolue pour être exploitée par des moyens de traitement et de guidage du projectile.
    6. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que la résolution du système linéaire utilise une méthode du type minimisation ou maximisation d'une fonctionnelle sous contrainte.
    7. Procédé selon la revendication 6, caractérisé en ce que la méthode de résolution est une maximisation de l'entropie de l'image avec la contrainte L·Im = B.
    8. Procédé selon la revendication 7, caractérisé en ce que la méthode de résolution utilise une technique de reconstruction algébrique multiplicative « MART ».
    9. Dispositif de reconstitution d'image, caractérisé en ce qu'il comporte des barrettes de détection et des moyens de traitement aptes à mettre en ceuvre le procédé selon l'une des revendications 1 à 8.
    10. Dispositif selon la revendication 9, caractérisé en ce qu'il comporte sept barrettes disposées radialement par rapport à l'axe du dispositif et non colinéaires entre elles.
    EP04292843A 2003-12-01 2004-12-01 Procédé et dispositif de reconstruction d'image sur des barrettes de détecteurs Expired - Lifetime EP1538416B1 (fr)

    Applications Claiming Priority (2)

    Application Number Priority Date Filing Date Title
    FR0314089 2003-12-01
    FR0314089A FR2863079B1 (fr) 2003-12-01 2003-12-01 Procede et dispositif de reconstitution d'image sur des barrettes de detecteurs

    Publications (2)

    Publication Number Publication Date
    EP1538416A1 true EP1538416A1 (fr) 2005-06-08
    EP1538416B1 EP1538416B1 (fr) 2010-07-28

    Family

    ID=34451701

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP04292843A Expired - Lifetime EP1538416B1 (fr) 2003-12-01 2004-12-01 Procédé et dispositif de reconstruction d'image sur des barrettes de détecteurs

    Country Status (4)

    Country Link
    EP (1) EP1538416B1 (fr)
    AT (1) ATE475855T1 (fr)
    DE (1) DE602004028331D1 (fr)
    FR (1) FR2863079B1 (fr)

    Citations (3)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    EP0561163A1 (fr) * 1992-03-17 1993-09-22 Daimler-Benz Aerospace Aktiengesellschaft Système de prise de vues
    US5529262A (en) * 1993-06-23 1996-06-25 Horwath; Tibor G. Guidance seeker for small spinning projectiles
    US5669581A (en) * 1994-04-11 1997-09-23 Aerojet-General Corporation Spin-stabilized guided projectile

    Patent Citations (3)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    EP0561163A1 (fr) * 1992-03-17 1993-09-22 Daimler-Benz Aerospace Aktiengesellschaft Système de prise de vues
    US5529262A (en) * 1993-06-23 1996-06-25 Horwath; Tibor G. Guidance seeker for small spinning projectiles
    US5669581A (en) * 1994-04-11 1997-09-23 Aerojet-General Corporation Spin-stabilized guided projectile

    Also Published As

    Publication number Publication date
    DE602004028331D1 (de) 2010-09-09
    ATE475855T1 (de) 2010-08-15
    FR2863079B1 (fr) 2006-03-03
    FR2863079A1 (fr) 2005-06-03
    EP1538416B1 (fr) 2010-07-28

    Similar Documents

    Publication Publication Date Title
    EP1003011B1 (fr) Détermination optique des positions relatives d&#39;objets dans l&#39;espace
    EP0004227B1 (fr) Appareil de détection optoélectrique et de localisation angulaire d&#39;un objet lumineux et son utilisation
    EP2495531B1 (fr) Procédé de mesure de la stabilité d&#39;une ligne de visée et senseur stellaire correspondant
    EP1012549B1 (fr) Procede et dispositif d&#39;analyse optique de surface d&#39;onde
    EP0777128B1 (fr) Procédé et dispositif de mesure d&#39;attitude de satellite
    EP1472563B1 (fr) Instrument d&#39;optique d&#39;observation depuis un satellite, a deux telescopes
    EP1538416B1 (fr) Procédé et dispositif de reconstruction d&#39;image sur des barrettes de détecteurs
    EP0405678A1 (fr) Senseur d&#39;horizon terrestre à précision améliorée
    FR2981149A1 (fr) Aeronef comprenant un senseur optique diurne et nocturne, et procede de mesure d&#39;attitude associe
    EP3018625B1 (fr) Procédé de calibration d&#39;un système de visée
    WO2008046998A1 (fr) Procédé de correction d&#39;un analyseur de front d&#39;onde, et analyseur implémentant ce procédé
    EP2520916A1 (fr) Télescope multispectral à balayage comportant des moyens d&#39;analyse de front d&#39;onde
    WO2018060359A1 (fr) Procede et dispositif d&#39;analyse d&#39;une onde electromagnetique en haute definition
    FR2700847A1 (fr) Viseur d&#39;étoile à matrice de DTC, procédé de détection, et application au recalage d&#39;un engin spatial.
    WO2003073367A2 (fr) Procédé de mesure de la localisation d&#39;un objet par détection de phase
    EP1371958A1 (fr) Procédé et dispositif d&#39;extraction de signature spectrale d&#39;une cible ponctuelle
    FR3113739A1 (fr) Procédé et dispositif de suivi adaptatif d&#39;un objet basés sur la technologie LIDAR
    EP2373962B1 (fr) Engin aeronautique
    WO2023057729A1 (fr) Procédé et dispositif pour détecter un leurrage de signaux satellite
    EP2113460A1 (fr) Procédé de caractérisation des vibrations pour un satellite d&#39;observation.
    WO2016139284A1 (fr) Procédé et dispositif d&#39;étalonnage au sol d&#39;un instrument optique
    FR2918766A1 (fr) Detection et localisation d&#39;un faisceau monochromatique
    FR2611266A1 (fr) Dispositif et procede de localisation de vues au sol prises d&#39;un satellite
    FR2740928A1 (fr) Procede d&#39;acquisition d&#39;une image electronique d&#39;une scene au moyen d&#39;une pluralite d&#39;elements photosensibles
    WO2010081558A1 (fr) Détection et localisation d&#39;un faisceau monochromatique

    Legal Events

    Date Code Title Description
    PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

    Free format text: ORIGINAL CODE: 0009012

    AK Designated contracting states

    Kind code of ref document: A1

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

    AX Request for extension of the european patent

    Extension state: AL BA HR LV MK YU

    17P Request for examination filed

    Effective date: 20051205

    AKX Designation fees paid

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

    RAP1 Party data changed (applicant data changed or rights of an application transferred)

    Owner name: SAGEM DEFENSE SECURITE

    GRAP Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOSNIGR1

    GRAS Grant fee paid

    Free format text: ORIGINAL CODE: EPIDOSNIGR3

    GRAA (expected) grant

    Free format text: ORIGINAL CODE: 0009210

    AK Designated contracting states

    Kind code of ref document: B1

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: FG4D

    Free format text: NOT ENGLISH

    REG Reference to a national code

    Ref country code: CH

    Ref legal event code: EP

    REG Reference to a national code

    Ref country code: IE

    Ref legal event code: FG4D

    Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

    REF Corresponds to:

    Ref document number: 602004028331

    Country of ref document: DE

    Date of ref document: 20100909

    Kind code of ref document: P

    REG Reference to a national code

    Ref country code: NL

    Ref legal event code: VDEP

    Effective date: 20100728

    LTIE Lt: invalidation of european patent or patent extension

    Effective date: 20100728

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: NL

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    Ref country code: LT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    Ref country code: FI

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    Ref country code: AT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: BG

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20101028

    Ref country code: SI

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    Ref country code: PT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20101129

    Ref country code: PL

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    Ref country code: IS

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20101128

    Ref country code: CY

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    REG Reference to a national code

    Ref country code: IE

    Ref legal event code: FD4D

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: GR

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20101029

    Ref country code: SE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: IT

    Payment date: 20101127

    Year of fee payment: 7

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: IE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    Ref country code: DK

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: RO

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    Ref country code: CZ

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    Ref country code: SK

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    Ref country code: EE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    PLBE No opposition filed within time limit

    Free format text: ORIGINAL CODE: 0009261

    STAA Information on the status of an ep patent application or granted ep patent

    Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

    BERE Be: lapsed

    Owner name: SAGEM DEFENSE SECURITE

    Effective date: 20101231

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: ES

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20101108

    26N No opposition filed

    Effective date: 20110429

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: MC

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20101231

    REG Reference to a national code

    Ref country code: CH

    Ref legal event code: PL

    GBPC Gb: european patent ceased through non-payment of renewal fee

    Effective date: 20101201

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R097

    Ref document number: 602004028331

    Country of ref document: DE

    Effective date: 20110429

    REG Reference to a national code

    Ref country code: FR

    Ref legal event code: ST

    Effective date: 20110831

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: BE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20101231

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: LI

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20101231

    Ref country code: CH

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20101231

    Ref country code: FR

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20110103

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R119

    Ref document number: 602004028331

    Country of ref document: DE

    Effective date: 20110701

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: GB

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20101201

    Ref country code: DE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20110701

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: LU

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20101201

    Ref country code: HU

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20110129

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: TR

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100728

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: IT

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20111201