EP3359978B1 - Methode de traitement d'une image radar de type sar et methode de detection de cible associee - Google Patents

Methode de traitement d'une image radar de type sar et methode de detection de cible associee Download PDF

Info

Publication number
EP3359978B1
EP3359978B1 EP16754305.7A EP16754305A EP3359978B1 EP 3359978 B1 EP3359978 B1 EP 3359978B1 EP 16754305 A EP16754305 A EP 16754305A EP 3359978 B1 EP3359978 B1 EP 3359978B1
Authority
EP
European Patent Office
Prior art keywords
image
sar
superimposed
sup
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP16754305.7A
Other languages
German (de)
English (en)
Other versions
EP3359978A1 (fr
Inventor
Gilles GUERRINI
Bernard Joseph
Thierry Sfez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP3359978A1 publication Critical patent/EP3359978A1/fr
Application granted granted Critical
Publication of EP3359978B1 publication Critical patent/EP3359978B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Definitions

  • the invention relates to the general field of airborne or space-based synthetic aperture radars.
  • the present invention relates more particularly to a method of processing a SAR type radar image to locate geographic elements present in the image and a method of detecting targets using the processing method.
  • Synthetic aperture radars or SAR for Synthetic Aperture Radar according to Anglo-Saxon terminology
  • SAR Synthetic aperture Radar
  • a SAR image typically allows vision at 30 km and in all weathers.
  • the analysis of the SAR image for example the precise location of certain geographic elements and the detection of targets present in the image, is made complex by the existence of artifacts such as bright and / or salient points coming from example of reflective angles of building roofs.
  • artifacts such as bright and / or salient points coming from example of reflective angles of building roofs.
  • Optical imagery does not allow easy detection of targets, but gives an image of urban areas, making it possible to precisely delimit the geographic location of larger elements whose location does not change over time, called “invariants” » Such as structures fixed to the ground, for example buildings.
  • a first method of merging SAR and optical data uses temporally decorrelated SAR and optronic images (for example using an optronic pod). This has the advantage of performing post-mission or post-acquisition processing, but there is no spatial geometric transformation of the SAR image relative to the optical image, which prevents the two images from being superimposed.
  • these two images are taken according to two different planes and with different lines of sight and the type of projection of a 3D object on a plane is not the same in the case of a SAR image and a optical image.
  • the soil observed is a horizontal plane.
  • 3D objects on the horizontal ground plane as well as the horizontal ground plane are projected on the plane orthogonal to the line of sight of the optical sensor; thus, in the case where the line of sight is orthogonal to the ground plane (case where the optical sensor is vertical to the observed area), then the optical image obtained is identical to the ground plane on which the projections will be superimposed on the horizontal plane of 3D objects.
  • An object of the present invention is to overcome the aforementioned drawbacks by proposing a method of processing the SAR image to locate geographic elements present using an optical image "augmented" by additional graphic data. This location facilitates the detection of targets in the SAR image.
  • the processing step is carried out on the optical image only, the initial radar image then being equal to the superimposed radar image.
  • the initial radar image is ortho-rectified.
  • the initial optical image is an ortho-rectified satellite image.
  • the geographic elements include boundaries and / or railway networks and / or hydrographic networks and / or contours of elevations and / or coasts, and / or approximate contours of structures fixed to the ground and / or airports and / or populated places and / or indexes of geographical names.
  • the additional graphic data are displayed in the optical images in the form of lines and / or lines and / or contours and / or geometric shapes and / or characters.
  • the additional graphic data is vector map information of the Vmap type.
  • the processing step comprises a step of determining at least one set of registration parameters comprising a factor of homothety, a rotation angle, and a translation distance.
  • the step of determining the superimposed additional graphic data comprises a step consisting in applying said set of parameters for registration with additional graphic data to obtain additional superimposed graphic data.
  • the step of determining the registration parameters is carried out on the basis of the Fourrier-Mellin transform.
  • the location step comprises a step of merging the additional graphic data superimposed in the superimposed radar image.
  • the figure 14a illustrates the target detected and the figure 14b illustrates the building in the case where the target is sufficiently far from a building.
  • the detected target is classified as an actual target.
  • the target detected in 15a is far from any building (no building in 15b) and is therefore classified as a real target.
  • the method 20 firstly comprises a part consisting of a method 10 for processing a SAR radar image.
  • the figure 1 illustrates the steps of method 10 for processing a SAR type radar image forming part of the invention.
  • the method 10 comprises a step 100 of loading an initial radar image I SAR of a first area, typically high resolution, that is to say here whose resolution is better than 5m.
  • a first area typically high resolution, that is to say here whose resolution is better than 5m.
  • the figure 2 illustrates an example of a loaded SAR I radar image converted to black and white.
  • An I SAR image from a radar typically has gray levels, not shown. This image is typically geo-referenced, that is to say that the longitude and latitude coordinates of points of this image are known.
  • the initial SAR image is a radar image which has been preprocessed so as to be made ortho-rectified.
  • Ortho-rectification is a geometric image correction which aims to obtain an image identical to the ground plane on which the projections on the horizontal plane of 3D objects are superimposed. For an optical image, this corresponds to a line of sight transformed to be orthogonal to the terrain in the case where it is horizontal (image acquired from the vertical, in remote sensing, we say "at nadir"), and for a SAR image the ortho rectification corresponds to a line of sight transformed into a line of sight of the grazing radar.
  • the SAR image is the image directly obtained from a radar according to the state of the art.
  • the method 10 forming part of the invention also includes a step of loading 110 of an initial optical image I opt of a second area at least partially covering the first area.
  • the recovery is for example determined by the fact that the two images, SAR and optical, are geo-referenced, from the start or following processing.
  • the initial optical image is for example an ortho-rectified satellite image as illustrated on the figure 3 .
  • the initial optical image is obtained from a camera on board an aircraft.
  • the optical image is typically obtained in the visible spectrum or in the infrared spectrum.
  • a step 120 additional graphic data Data associated with the initial optical image and relating to geographic elements present in the image I opt are loaded, these data making it possible to improve knowledge of the environment.
  • This graphic data is typically virtual data displayed in the image in the form of lines, lines, contours, geometric shapes, areas of different colors, characters ... which are superimposed on the initial optical image, and specify / represent geographic elements such as: structures fixed to the ground such as buildings, roads, railway networks, hydrographic networks, coasts, populated places, borders, elevation contours, index of geographical names, airports.
  • This additional graphic data is for example supplied (or sold) by public bodies (for example the Geographic Institute National) or private (Google 7), in the form of so-called “vector” data associated with a typically satellite optical image.
  • An example of data of this type is vector cartographic information, for example of the Vmap type for Vector Map, also called Vector Smart Map.
  • Vmap0 to Vmap2 Vmap type for Vector Map
  • Vmap0 to Vmap2 Vmap type for Vector Map
  • the figure 4 illustrates the satellite optical image of the figure 3 enriched with additional graphic data in the form of geometric shapes such as polygons 41, 42, 43 ... representing the buildings.
  • a variant is to generate the initial optical image by "ortho-rectifying" the image from the on-board camera.
  • the additional graphic data is obtained by superimposing the initial ortho-rectified optical image obtained on an optical satellite image which is itself ortho-rectified for which additional graphic data are available.
  • the method 10 forming part of the invention further comprises a step 130 consisting in processing at least one of the two initial images, I SAR and / or I opt , so as to make them suitable for being superimposed in an overlap zone between the first and the second zone, to obtain a superimposed radar image I SAR / sup and a superimposed optical image I opt / sup .
  • These two superimposed images are therefore images representing the same scene on the same scale and in the same orientation.
  • a pixel identified in one of the images corresponds to the same geographical point as the pixel with the same coordinates identified in the other image.
  • This processing step is also known as registration.
  • the processing step is carried out on the optical image I opt only, the initial radar image I SAR then being equal to the superimposed radar image I SAR / sup .
  • a preferred variant is that the common line of sight is perpendicular to the ground.
  • the processing consists in operating on at least one image a similarity, namely a homothety (homothesis factor h), a rotation (angle of rotation ⁇ ) and a translation (translation distance d), as illustrated figures 5a to 5d with a typical image.
  • the processing step comprises a step of determining at least one set Prec of registration parameters comprising the factor of homothety h (which may be identical for the whole image or local, in the event of non-uniform deformation of the optical image), the angle of rotation ⁇ and a translation distance d.
  • the processing being carried out on the optical image I opt only is described.
  • the processing consists in operating homothety / rotation / translation on the optical image, so as to readjust it on the SAR image.
  • this preferred variant is not limiting, the processing being able to be carried out on the SAR image only or on the two images.
  • the figure 5a illustrates the reference image, the figure 5b the image to be reset, the figure 5c the image to readjust scaled by applying a factor of homothety h and the image 5d the image to readjust having undergone a rotation so that the orientation is identical to that of the reference image. From image 5d, the translation distance is determined to obtain an image capable of being superimposed on the reference image.
  • the figure 6 illustrates the optical image I opt / sup corresponding to the optical image of the figure 3 having undergone the transformation to make it superimposable on the SAR I SAR image of the figure 2 .
  • the processing method 10 forming part of the invention also comprises a step 140 consisting in determining additional superimposed graphic data Data sup from the superimposed optical image I opt / sup .
  • the transformation performed on the optical image is performed on the additional graphic data to make them superimposable on the reference SAR image.
  • the result of the transformation is Data sup , as illustrated on the figure 7 for example in the form of a binary mask, which corresponds to the Data buildings present in the optical image of the figure 4 and having undergone the same transformation as the optical image to be superimposable on the SAR image.
  • the step of determining Data sup comprises a step consisting in applying the parameters (h , ⁇ , d) to the additional data to obtain Data sup as illustrated figure 12 .
  • the registration carried out on the optical image makes it possible to determine the registration parameters to be applied to the additional graphic data. This saves calculation time since, to process the Data data, the parameters determined for the optical image are reused.
  • a last step 150 consists in locating geographic elements present in the superimposed SAR image I SAR / sup , equal to I SAR in the preferred variant, at least from said additional superimposed graphic data Data sup .
  • the superimposed SAR image for example the image of the figure 2
  • the superimposed optical image enriched with additional superimposed graphic data i.e. the graphic information is integrated into the optical image as illustrated figure 8
  • the superimposed SAR image and the superimposed optical image enriched with additional superimposed graphic data are displayed side by side and an operator visually performs the localization in the SAR image by comparing the two images.
  • the location step comprises a step of merging the additional superimposed graphic data Data sup into the superimposed radar image I SAR / sup .
  • the merging takes place by integrating the Data sup data into the superimposed radar image, the operator visually locating the corresponding geographic elements directly in the superimposed radar image.
  • it is an automatic image processing which uses the merged data to identify false alarms, as described below.
  • the processing / registration step is carried out from the Fourier-Mellin transform or TFM, which allows the condition of iso-referencing and makes it possible to estimate the transformation of similarity type between two images.
  • TFM constitutes an automatic multi-sensor radar / optical registration approach, which starts only from the input image data, without a priori knowledge of the parameters of the image sensors, arrives at finding a geometric transformation making it possible to readjust the images. This approach thus makes it possible to carry out the registration while the quantities of shooting are not all accessible.
  • FIG. 9 An example of an algorithm performing a Fourier Mellin transformation is illustrated figure 9 .
  • the reference image is the SAR image and the optical image is readjusted on the SAR image.
  • Obtaining the registration parameters is obtained by performing processing on the two images.
  • the first step of the algorithm consists in representing the images in the spectral domain.
  • FFT Fast Fourier Transform
  • the images at the output of the FFT algorithm are complex: we extract the modules to work with the amplitude spectra which are invariant by translation.
  • the application of a “high-pass” filtering eliminates the spectral information on the low frequencies.
  • the abrupt changes in the image, represented by the high frequencies in the spectral range, are the most significant for performing the registration.
  • two images 5a and 5d are obtained which have the same scale factor and the same orientation. It is necessary to determine the 2D displacement (translation) between these two images to complete the registration process. As previously, the translation parameters can be calculated by the phase correlation method and the final registration is carried out.
  • the processing method forming part of the invention makes it possible to obtain with a limited calculation time additional graphic data directly superimposable and comparable to the SAR image, by using the registration carried out between the optical image to which these data associated graphics and SAR image.
  • This additional data allows an improved, more precise knowledge of geographic elements of the environment in the SAR image (precise delimitation of buildings, location of railways, roads, various infrastructures, etc.).
  • the invention relates to a target detection method 20 comprising a processing method 10 as described above, and illustrated figure 10 .
  • the geographic elements include structures fixed to the ground, such as buildings, the additional graphic data comprising approximate geometric shapes of these structures fixed to the ground.
  • the target detection method comprises a step 155 of detecting the presence of potential targets and of determining their position by image processing algorithms operated on the SAR image or the superimposed image I SAR / sup .
  • an operator chooses the type of target (or objects of interest) to be searched for, for example a tank or an aircraft on the ground, and the image processing algorithm performs beforehand, in parallel or following the processing steps 10, an automatic search for potential targets of the chosen type and their position in the I SAR / sup image . Automatic detection of a potential target corresponds to an alarm.
  • the target detection method 20 further comprises a step 160 consisting in identifying possible false alarms among alarms generated by the image processing algorithms for the automatic detection of objects of interest (potential targets), by comparing a position of potential targets identified C1, C2, C3, C4 ... in the superimposed radar image I SAR / sup with the approximate geometric shapes of structures fixed to the ground S1, S2, S3 ... located at the stage of location, as shown figure 11 .
  • SAR imagery makes it possible to detect small "known” objects (for example trucks or tanks), while additional graphic data associated with optical imagery gives the geographic location of the buildings, which allows improve the detection of targets close to buildings, by discriminating real targets and artifacts in the SAR image.
  • the advantage of the target detection method 20 is thus to exploit the advantages of SAR imagery to detect small targets and to eliminate false detections from the additional graphic data available associated with the optronic image, removing the remaining ambiguities on SAR imagery.
  • the comparison is carried out on particular areas of the SAR image selected by the operator and zoomed in, because of ambiguity.
  • a potential target detected is located at a distance greater than a Dmin from any real estate infrastructure making unambiguous a detection, then this target is considered to be real; this threshold Dmin, due to the distortions existing on the SAR image and the resulting imperfect local registration, is arbitrarily fixed, according to the average size of the target. If a potential target detected is located at a distance close to a real estate infrastructure making a detection ambiguous, then the removal of the ambiguity is for each potential target detected, the comparison with the geographical situation for example VMAP superimposed in order to determine the distance separating it from a real estate infrastructure.
  • a potential target detected is located at the known location of a building then the detection is considered to be erroneous.
  • FIG. 13a An example of the implementation of this detection method is illustrated figures 13 to 15 , for the case in which the SAR radar image is displayed alongside the image representing the contours of the structures fixed to the ground (for example a binary mask equal to the real estate correspondence VMAP).
  • the figure 13a illustrates the I SAR image in which a bright point, corresponding to a potential target such as a tank, is detected.
  • the data Data sup illustrated figures 13b corresponding to the precise position of the building contour generated according to the processing method described above, we deduce that the distance from the potential target to the building is too small and that it is an artifact, and therefore the potential target is classified as a false alarm.
  • the target detected in 14a is sufficiently far from a building displayed in 14b, and the detected target is classified as an actual target.
  • the target detected in 15a is far from any building (no building in 15c) and is therefore classified as a real target.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

    DOMAINE DE L'INVENTION
  • L'invention concerne le domaine général des radars aéroportés ou spatiaux à synthèse d'ouverture. La présente invention concerne plus particulièrement une méthode de traitement d'une image radar de type SAR pour localiser des éléments géographiques présents dans l'image et une méthode de détection de cibles utilisant la méthode de traitement.
    • ETAT DE LA TECHNIQUE
  • Les radars à synthèse d'ouverture (ou SAR pour Synthetic Aperture Radar selon la terminologie anglo-saxonne) sont largement utilisés dans les activités d'analyse à distance de zones géographiques, par exemple la détection de cibles de ces zones, à partir de leur réflectivité radar. Une image SAR permet une vision typiquement à 30 km et par tout temps.
  • L'analyse de l'image SAR, par exemple la localisation précise de certains éléments géographiques et la détection de cibles présents dans l'image, est rendue complexe par l'existence d'artefacts tels que des points brillants et/ou saillants provenant par exemple d'angles réfléchissants de toits de bâtiments. De plus, il est délicat de délimiter les contours d'un bâtiment en imagerie SAR dans la mesure où la réponse de chacun de ses éléments peut être très différente.
  • Il existe aujourd'hui de nombreux algorithmes et traitements dédiés à la détection et l'identification de cible fixe sur de l'imagerie radar de type SAR très haute résolution. Les résultats obtenus en zone rurale dégagée valident la robustesse de ces traitements à partir du moment où le type de cible à rechercher est connue (char, camion, avion, ...). En revanche, en zone urbaine, le taux de fausses détections reste important du fait de la présence d'artefacts et pose un problème à l'opérateur en charge de l'interprétation des images pour la détection de cibles réelles, en particulier lorsque les cibles recherchées sont proches des bâtiments.
  • Pour améliorer l'analyse des images SAR, des travaux ont été menés sur la fusion de données radar et optique.
  • L'imagerie optique ne permet pas de détecter facilement des cibles mais donne une image des zones urbaines permettant de délimiter avec précision l'emplacement géographique d'éléments de plus grande taille dont l'emplacement ne change pas au cours du temps, dits « invariants », tels des structures fixées au sol, par exemple des bâtiments.
  • Ainsi, l'utilisation complémentaire d'images SAR et optiques permet d'obtenir une connaissance améliorée de l'environnement.
  • Une première méthode de fusion de données SAR et optique utilise des images SAR et optroniques (par exemple à l'aide d'un pod optronique) décorrélées temporellement. Cela présente l'avantage de faire des traitements post-mission ou post-acquisition mais il n'y a pas de transformation géométrique spatiale de l'image SAR par rapport à l'image optique, ce qui empêche de superposer les deux images.
  • En effet, ces deux images sont prises selon deux plans différents et avec des lignes de visées différentes et le type de projection d'un objet 3D sur un plan n'est pas le même dans le cas d'une image SAR et d'une image optique. Prenons l'exemple selon lequel le sol observé est un plan horizontal. Dans le cas d'une image optique, les objets en 3D sur le plan horizontal du sol ainsi que le plan horizontal du sol sont projetés sur le plan orthogonal à la ligne de visée du capteur optique ; ainsi, dans le cas où la ligne de visée est orthogonale au plan du sol (cas où le capteur optique est à la verticale de la zone observée), alors l'image optique obtenue est identique au plan du sol sur lequel seront superposés les projections sur le plan horizontal des objets 3D.
  • Dans le cas d'une image SAR, les objets en 3D sur le plan horizontal du sol ainsi que le plan horizontal du sol sont projetés sur le plan contenant la ligne de visée du radar (où direction du faisceau de l'antenne radar) et la droite orthogonale à la ligne de visée et appartenant au plan horizontal ; ainsi, dans le cas où le radar est rasant par rapport à la surface observée, l'image radar obtenue est identique au plan du sol sur lequel seront superposés les projections sur le plan horizontal des objets 3D.
  • Ceci a pour conséquence que l'on ne peut pas corréler facilement des données géographiques qui ne sont pas vues selon un même axe de visée. Les deux images SAR et optroniques sont acquises et affichées sur deux visualisations différentes. Cette technique a l'avantage de pouvoir traiter les deux images indépendamment mais n'apportent pas d'aide à l'opérateur pour corréler les informations des deux images.
  • La publication de N. Merkle et al « A new approach for optical and SAR satellite registration », ISPRS ANNALS OF PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES, vol II-3/W4, 25 mars, pages 119-126, décrit une méthode de superposition « registration » d'une image SAR et d'une image optique, par détection de ronds-points dans l'image optique.
  • La publication de Sportouche et la « Building détection and height retrieval in urban areas in the framework of high resolution optical and SAR data fusion » GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS), 2010 IEEE INTERNATIONAL, 25 juillet 2010, pages 3660-3663, décrit une reconstruction 3D d'immeubles à partir des informations combinées d'une image optique et d'une image SAR d'une même zone.
  • Un but de la présente invention est de palier aux inconvénients précités en proposant une méthode de traitement de l'image SAR pour localiser des éléments géographiques présents à l'aide d'une image optique « augmentée » par des données graphiques additionnelles. Cette localisation facilite la détection de cibles dans l'image SAR.
    • DESCRIPTION DE L'INVENTION
  • La présente invention a pour objet une méthode de détection de cible comprenant un traitement d'une image radar de type SAR, comprenant les étapes consistant à :
    • Charger une image radar initiale de type SAR d'une première zone,
    • Charger une image optique initiale d'une deuxième zone recouvrant au moins partiellement la première zone, lesdites images initiales ayant été le cas échéant prétraitées de sorte qu'elles présentent un même axe d'acquisition,
    • Charger des données graphiques additionnelles associées à l'image optique initiale et relatives à des éléments géographiques présents dans ladite image optique initiale, les éléments géographiques comprenant des structures fixées au sol et les données graphiques additionnelles comprenant des formes géométriques approchées desdites structures fixées au sol,
    • Traiter au moins une des deux images initiales de manière à les rendre apte à être superposées dans une zone de recouvrement entre la première et la deuxième zone, pour obtenir une image radar superposée (ISAR/sup) et une image optique superposée (Iopt/sup),
    • Déterminer des données graphiques additionnelles superposées (Datasup) à partir des données graphiques additionnelles (Data) et de l'image optique superposée (Iopt/sup),
    • Localiser des éléments géographiques présents dans l'image SAR superposée au moins à partir desdites données graphiques additionnelles superposées.
    • Déterminer des positions de cibles potentielles à partir de l'image SAR superposée,
    • Identifier d'éventuelles fausses alarmes en comparant la position de cibles potentielles identifiées dans l'image radar superposée avec des formes géométriques approchées de structures fixées au sol localisées à l'étape de localisation.
  • Avantageusement l'étape de traitement est effectuée sur l'image optique uniquement, l'image radar initiale étant alors égale à l'image radar superposée.
  • Avantageusement, l'image radar initiale est ortho-rectifiée. Avantageusement l'image optique initiale est une image par satellite ortho-rectifiée.
  • Préférentiellement, les éléments géographiques comprennent des frontières et/ou des réseaux de chemin de fer et/ou des réseaux hydrographiques et/ou des contours d'élévations et/ou des côtes, et/ou des contours approchés de structures fixées au sol et/ou des aéroports et/ou des lieux habités et/ou des index de noms géographiques.
  • Préférentiellement les données graphiques additionnelles sont affichées dans les images optiques sous la forme de traits et/ou de lignes et/ou de contours et /ou de formes géométriques et/ou de caractères. Avantageusement les données graphiques additionnelles sont des informations vectorielles cartographiques de type Vmap.
  • Selon un mode de réalisation l'étape de traitement comprend une étape de détermination d'au moins un ensemble de paramètres de recalage comprenant un facteur d'homothétie, un angle de rotation, et une distance de translation.
  • Préférentiellement l'étape de détermination des données graphiques additionnelles superposées comprend une étape consistant à appliquer ledit ensemble de paramètres de recalage aux données graphiques additionnelles pour obtenir les données graphiques additionnelles superposées. Avantageusement l'étape de détermination des paramètres de recalage s'effectue à partir de la transformée de Fourrier-Mellin.
  • Selon un mode de réalisation l'étape de localisation comprend une étape de fusion des données graphiques additionnelles superposées dans l'image radar superposée.
  • Selon un mode de réalisation :
    • * la cible potentielle est considérée comme une fausse alarme lorsque sa position est localisée à l'intérieur d'une structure fixée au sol,
    • * la cible potentielle est considérée comme une fausse alarme lorsque sa position est localisée à une distance (d) d'une structure fixée au sol inférieure à une distance minimum prédéterminée,
    • * la cible potentielle est considérée comme une cible réelle lorsque sa position est localisée à une distance d'une structure fixée au sol supérieure ou égale à la distance minimum prédéterminée.
  • D'autres caractéristiques, buts et avantages de la présente invention apparaîtront à la lecture de la description détaillée qui va suivre et en regard des dessins annexés donnés à titre d'exemples non limitatifs et sur lesquels :
    • La figure 1 illustre les étapes de la méthode 10 de traitement d'une image radar de type SAR formant partie de l'invention.
    • La figure 2 illustre un exemple d'image radar ISAR chargée, convertie en noir et blanc.
    • La figure 3 illustre une image optique initiale correspondant à une image satellite ortho-rectifiée.
    • La figure 4 illustre l'image optique satellite de la figure 3 enrichie de données graphiques additionnelles sous la forme de formes géométriques de type polygones.
    • La figure 5 illustre le traitement d'une image initiale à recaler illustrée figure 5b, pour la rendre superposable à une image de référence illustrée figure 5a.
    • La figure 5c illustre l'image à recaler mise à l'échelle en appliquant un facteur d'homothétie h et l'image 5d l'image à recaler ayant subi une rotation pour que l'orientation soit identique à celle de l'image de référence.
    • La figure 6 illustre l'image optique correspondant à l'image optique de la figure 3 ayant subit la transformation pour la rendre superposable à l'image SAR de la figure 2.
    • La figure 7 illustre le résultat de la transformation opérée sur les données graphiques additionnelles pour les rendre superposables à l'image SAR de référence, sous la forme d'un masque binaire, qui correspond aux bâtiments présent dans l'image optique de la figure 4.
    • La figure 8 illustre l'image optique superposée enrichie des données graphiques additionnelles superposées.
    • La figure 9 schématise un exemple d'algorithme réalisant une transformation de Fourier Mellin.
    • La figure 10 schématise une méthode de détection de cibles selon l'invention comprenant un traitement tel que décrit précédemment..
    • La figure 11 illustre la comparaison entre la position de cibles potentielles identifiées dans l'image radar superposée avec les formes géométriques approchées de structures fixées au sol localisées à l'étape de localisation.
    • La figure 12 illustre une variante de étape de comparaison de la méthode de détection de cibles selon l'invention.
    • Les figures 13 à 15 illustrent un exemple de mise en œuvre de cette méthode de détection pour le cas dans lequel l'image radar SAR est affichée à côté de l'image représentant les contours des structures fixées au sol.
    • La figure 13a illustre l'image ISAR dans laquelle un point brillant, correspondant à une cible potentielle telle un char, est détecté. La figure 13b illustre des données superposées correspondant à la position précise du contour bâtiment générée selon la méthode de traitement selon l'invention, pour le cas dans lequel la distance de la cible potentielle au bâtiment est trop faible. Il s'agit d'un artefact, et donc la cible potentielle est classée comme une fausse alerte.
  • Dans le cas de la figure 14, la figure 14a illustre la cible détectée et la figure 14b illustre le bâtiment dans le cas selon lequel la cible est suffisamment éloignée d'un bâtiment. La cible détectée est classée comme cible réelle. Dans le cas de la figure 15, la cible détectée en 15a est éloignée de tout bâtiment (aucun bâtiment sur 15b) et est donc classée comme cible réelle.
    • DESCRIPTION DETAILLEE DE L'INVENTION
  • La méthode 20 selon l'invention comprend tout d'abord une partie consistant en une méthode de traitement 10 d'une image radar SAR.
  • La figure 1 illustre les étapes de la méthode 10 de traitement d'une image radar de type SAR formant partie de l'invention. La méthode 10 comprend une étape 100 de chargement d'une image radar initiale ISAR d'une première zone, typiquement haute résolution, c'est-à-dire ici dont la résolution est meilleure que 5m. On cherche à traiter l'image SAR ISAR de manière à mieux repérer, localiser, délimiter dans cette image des éléments géographiques tels des structures fixées au sol (par exemple des bâtiments), des routes, des aéroports, des bases aériennes, des rails de chemin de fer et gares ferroviaires, lieux habités...
  • La figure 2 illustre un exemple d'image radar ISAR chargée, convertie en noir et blanc. Une image ISAR issue d'un radar présente typiquement des niveaux de gris, non représentés. Cette image est typiquement géo-référencée, c'est-à-dire que l'on connait les coordonnées longitude et latitude de points de cette image.
  • Sur l'exemple de la figure 2 l'image SAR initiale est une image issue du radar qui a été prétraitée de manière à être rendue ortho-rectifiée. L'ortho-rectification est une correction géométrique d'image qui a pour but d'obtenir une image identique au plan sol sur lequel sont superposées les projections sur le plan horizontal des objets 3D. Pour une image optique, cela correspond à un axe de visée transformé pour être orthogonal au terrain dans le cas où celui-ci est horizontal (image acquise depuis la verticale, en télédétection, on dit "au nadir"), et pour une image SAR l'ortho rectification correspond à un axe de visée transformé en un axe de visée du radar rasant. Selon un autre exemple, l'image SAR est l'image directement issue d'un radar selon l'état de la technique.
  • La méthode 10 formant partie de l'invention comprend également une étape de chargement 110 d'une image optique initiale Iopt d'une deuxième zone recouvrant au moins partiellement la première zone.
  • On s'intéresse ensuite à la zone de recouvrement des deux zones, pour laquelle on dispose des deux images, SAR et optique. Le recouvrement est par exemple déterminé du fait que les deux images, SAR et optique, sont géo-référencées, dès le départ ou suite à un traitement.
  • Selon un premier mode de réalisation l'image optique initiale est par exemple une image satellite ortho-rectifiée telle qu'illustrée sur la figure 3.
  • Selon un deuxième mode de réalisation, l'image optique initiale est obtenue à partir d'une caméra embarquée sur un aéronef.
  • L'image optique est typiquement obtenue dans le spectre visible ou dans le spectre infra rouge.
  • Lorsque les deux images SAR et optiques sont ortho-rectifiées, elles présentent la même ligne de visée, correspondant à la verticale, et aucun traitement préalable n'est nécessaire.
  • Lorsqu'au moment de l'acquisition des images SAR et optiques ne présentent pas un même axe d'acquisition, un prétraitement est effectué sur ces images pour générer des images initiales de sorte qu'elles présentent un même axe d'acquisition.
  • C'est le cas par exemple lorsque l'image optique provient d'une image optronique obtenue par une caméra embarquée sur un aéronef et l'image radar SAR provient directement du radar
  • Dans une étape 120 on charge des données graphiques additionnelles Data associées à l'image optique initiale et relatives à des éléments géographiques présents dans l'image Iopt, ces données permettant d'améliorer la connaissance de l'environnement. Ces données graphiques sont typiquement des données virtuelles affichées dans l'image sous la forme de lignes, traits, contours, formes géométriques, zones de différentes couleurs, caractères... qui se superposent à l'image optique initiale, et précisent/représentent des éléments géographiques tels que : structures fixées au sol telles des bâtiments, routes, réseaux de chemin de fer, réseaux hydrographiques, côtes, lieux habités, frontières, contours d'élévation, index des noms géographiques, aéroports.
  • Ces données graphiques additionnelles sont par exemple fournies (ou vendues) par des organismes publics (par exemple l'institut Géographique National) ou privés (Google ...), sous la forme de données dites « vectorielles » associée à une image optique typiquement satellitaire. Un exemple de données de ce type sont des informations vectorielles cartographiques, par exemple de type Vmap pour Vector Map, également dénommées Vector Smart Map. Ces données existent selon différents niveaux de détails (Vmap0 à Vmap2) permettant d'accéder à des informations sur l'environnement avec une grande précision (typiquement quelques mètres jusqu'à 1 mètre. On parle de données vectorielles car une surface constituée d'un grand nombre de pixels peut être réduite à la connaissance des positions d'un nombre limité de points caractéristiques.
  • La figure 4 illustre l'image optique satellite de la figure 3 enrichie de données graphiques additionnelles sous la forme de formes géométriques de type polygones 41, 42, 43 ...représentant les bâtiments.
  • Lorsque l'image optique est obtenue à partir d'une caméra embarquée présentant une première ligne de visée déterminée, une variante est de générer l'image optique initiale en « ortho-rectifiant » l'image issue de la caméra embarquée. Les données graphiques additionnelles sont obtenues en superposant l'image optique initiale ortho-rectifiée obtenue à une image optique satellite elle-même ortho-rectifiée pour laquelle on dispose de données graphiques additionnelles.
  • La méthode 10 formant partie de l'invention comprend en outre une étape 130 consistant à traiter au moins une des deux images initiales, ISAR et/ou Iopt, de manière à les rendre apte à être superposées dans une zone de recouvrement entre la première et la deuxième zone, pour obtenir une image radar superposée ISAR/sup et une image optique superposée Iopt/sup. Ces deux images superposées sont donc des images représentant une même scène à une même échelle et selon une même orientation. Un pixel repéré dans une des images correspond au même point géographique que le pixel de mêmes coordonnées repérées dans l'autre image. Cette étape de traitement est également dénommée recalage.
  • Selon une variante préférée l'étape de traitement est effectuée sur l'image optique Iopt uniquement, l'image radar initiale ISAR étant alors égale à l'image radar superposée ISAR/sup.
  • Pour utiliser des données graphiques additionnelles associées à des images satellites (type google / Vmap), une variante préférée est que la ligne de visée commune soit la perpendiculaire au sol.
  • Partant de deux images présentant un même axe d'acquisition (même ligne de visée), le traitement consiste à opérer sur au moins une image une similitude, soit une homothétie (facteur d'homothétie h), une rotation (angle de rotation α) et une translation (distance de translation d), comme illustré figures 5a à 5d avec une image type. Ainsi l'étape de traitement comprend une étape de détermination d'au moins un ensemble Prec de paramètres de recalage comprenant le facteur d'homothétie h (qui peut être identique pour toute l'image ou local, en cas de déformation non uniforme de l'image optique), l'angle de rotation α et une distance de translation d. Lorsque le traitement est opéré sur une seule image, l'autre étant l'image de référence, un ensemble unique de paramètres est déterminé.
  • Dans la suite la variante dans laquelle l'image SAR ISAR est l'image de référence, le traitement étant opéré sur l'image optique Iopt uniquement, est décrite. Le traitement consiste à opérer homothétie/rotation/translation sur l'image optique, de manière à la recaler sur l'image SAR. Mais cette variante préférée n'est pas limitative, le traitement pouvant être opéré sur l'image SAR uniquement ou sur les deux images.
  • La figure 5a illustre l'image de référence, la figure 5b l'image à recaler, la figure 5c l'image à recaler mise à l'échelle en appliquant un facteur d'homothétie h et l'image 5d l'image à recaler ayant subi une rotation pour que l'orientation soit identique à celle de l'image de référence. A partir de l'image 5d, on détermine la distance de translation pour obtenir une image apte à être superposée à l'image de référence.
  • La figure 6 illustre l'image optique Iopt/sup correspondant à l'image optique de la figure 3 ayant subit la transformation pour la rendre superposable à l'image SAR ISAR de la figure 2.
  • La méthode de traitement 10 formant partie de l'invention comprend également une étape 140 consistant à déterminer des données graphiques additionnelles superposées Datasup à partir de l'image optique superposée Iopt/sup. La transformation opérée sur l'image optique est opérée sur les données graphiques additionnelles pour les rendre superposables à l'image SAR de référence. Le résultat de la transformation est Datasup , tel qu'illustré sur la figure 7 par exemple sous la forme d'un masque binaire, qui correspond aux bâtiments Data présent dans l'image optique de la figure 4 et ayant subi la même transformation que l'image optique pour être superposables à l'image SAR.
  • Selon un mode de réalisation, lorsque l'étape de traitement 130 comprend l'étape de détermination de l'ensemble Prec (h,α, d), l'étape de détermination de Datasup comprend une étape consistant à appliquer les paramètres (h,α, d) aux données additionnelles pour obtenir Datasup tel qu'illustré figure 12. Ainsi le recalage effectué sur l'image optique permet de déterminer les paramètres de recalage à appliquer sur les données graphiques additionnelles. Cela permet d'économiser du temps de calcul puisque pour traiter les données Data on réutilise les paramètres déterminés pour l'image optique.
  • Enfin une dernière étape 150 consiste à localiser des éléments géographiques présents dans l'image SAR superposée ISAR/sup, égal à ISAR dans la variante préférée, au moins à partir desdites données graphiques additionnelles superposées Datasup.
  • Selon une première variante, l'image SAR superposée (par exemple l'image de la figure 2) et l'image optique superposée enrichie des données graphiques additionnelles superposées (c'est à dire que les informations graphiques sont intégrées dans l'image optique tel qu'illustré figure 8) sont affichées côte à côte et un opérateur réalise visuellement la localisation dans l'image SAR par comparaison des deux images.
  • Selon une deuxième variante, seules les données graphiques additionnelles superposées (par exemple illustrées figure 7) sont affichées côte à côte avec l'image SAR superposée.
  • Selon une troisième variante, l'étape de localisation comprend une étape de fusion des données graphiques additionnelles superposées Datasup dans l'image radar superposée ISAR/sup. Préférentiellement, la fusion s'opère par intégration des données Datasup dans l'image radar superposée, l'opérateur localisant visuellement directement les éléments géographiques correspondants dans l'image radar superposée.
  • Selon une quatrième variante préférée, c'est un traitement d'image automatique qui utilise les données fusionnées pour identifier des fausses alarmes, tel que décrit plus loin.
  • Selon un mode de réalisation préféré, l'étape de traitement/recalage s'effectue à partir de la transformée de Fourier-Mellin ou TFM, qui permet la condition d'iso-référencement et permet d'estimer la transformation de type similitude entre deux images. L'utilisation de la TFM constitue une approche de recalage automatique multicapteurs radar/optique, qui partant uniquement des données images en entrée, sans connaissance à priori des paramètres des capteurs d'images, arrive à trouver une transformation géométrique permettant de recaler les images. Cette approche permet ainsi de réaliser le recalage alors que les grandeurs de prise de vue ne sont pas toutes accessibles.
  • Un exemple d'algorithme réalisant une transformation de Fourier Mellin est illustré figure 9. L'image de référence est l'image SAR et l'image optique est recalée sur l'image SAR. L'obtention des paramètres de recalage s'obtient en effectuant des traitements sur les deux images. La première étape de l'algorithme consiste à représenter les images dans le domaine spectral. Pour rendre le processus de Transformée de Fourier Discrète (TFD) plus rapide, on utilise l'algorithme de TFD rapide appelé Fast Fourier Transform (FFT). Les images en sortie de l'algorithme de la FFT sont complexes : on en extrait les modules pour travailler avec les spectres d'amplitude qui sont invariants par translation.
  • L'application d'un filtrage « passe-haut » permet d'éliminer l'information spectrale sur les basses fréquences. Les changements brutaux dans l'image, représentés par les hautes fréquences dans le domaine spectral, sont les plus significatifs pour effectuer le recalage.
  • Une fois les transformations d'homothétie et de rotation effectuées sur l'image à recaler, on obtient deux images 5a et 5d qui ont même facteur d'échelle et même orientation. Il faut déterminer le déplacement 2D (translation) entre ces deux images pour terminer le processus de recalage. De même que précédemment, les paramètres de translations peuvent être calculés par la méthode de corrélation de phase et le recalage final est effectué.
  • Ainsi, la méthode de traitement formant partie de l'invention permet d'obtenir avec un temps de calcul limité des données graphiques additionnelles directement superposables et comparables à l'image SAR, en utilisant le recalage effectué entre l'image optique à laquelle ces données graphiques sont associées et l'image SAR. Ces données additionnelles permettent une connaissance améliorée, plus précise, d'éléments géographiques de l'environnement dans l'image SAR (délimitation avec précision des bâtiments, localisation de chemins de fer, de routes, d'infrastructures diverses...).
  • L'invention concerne une méthode 20 de détection de cibles comprenant une méthode de traitement 10 telle que décrite ci-dessus, et illustrée figure 10. Typiquement les éléments géographiques comprennent des structures fixées au sol, tel des bâtiments, les données graphiques additionnelles comprenant des formes géométriques approchées de ces structures fixées au sol.
  • Ainsi on obtient les contours précis des bâtiments, pour lesquels des artéfacts dans l'image radar peuvent être présents sous la forme de surbrillance à des angles réfléchissant des toits de bâtiments, ces contours étant directement comparables/superposables à l'image SAR.
  • La méthode de détection de cibles comprend une étape 155 de détection de la présence de cibles potentielles et de détermination de leur position par des algorithmes de traitement d'images opérés sur l'image SAR ou l'image superposée ISAR/sup. Selon une variante préférée, un opérateur choisit le type de cible (ou objets d'intérêt) à rechercher, par exemple un char d'assaut ou un aéronef au sol, et l'algorithme de traitement d'image effectue préalablement, en parallèle ou à la suite des étapes du traitement 10, une recherche automatique de cibles potentielle du type choisi et de leur position dans l'image ISAR/sup. La détection automatique d'une cible potentielle correspond à une alarme.
  • La méthode 20 de détection de cibles comprend en outre une étape 160 consistant à identifier d'éventuelles fausses alarmes parmi des alarmes générées par les algorithmes de traitement d'image pour la détection automatique d'objets d'intérêt (cibles potentielles), en comparant une position de cibles potentielles identifiées C1, C2, C3, C4 ...dans l'image radar superposée ISAR/sup avec les formes géométriques approchées de structures fixées au sol S1, S2, S3...localisées à l'étape de localisation, tel qu'illustré figure 11.
  • En effet, l'imagerie SAR permet de détecter les objets « connus » de petite dimension (par exemple des camions ou des chars), tandis que les données graphiques additionnelles associées à l'imagerie optique donnent la situation géographique des bâtiments, ce qui permet d'améliorer la détection des cibles proches des bâtiments, en discriminant cibles réelles et artefacts dans l'image SAR. L'avantage de la méthode de détection de cibles 20 est ainsi d'exploiter les avantages de l'imagerie SAR pour détecter de petites cibles et d'éliminer les fausses détections à partir des données graphiques additionnelles disponibles associées à l'image optronique, en levant les ambigüités restantes sur une imagerie SAR.
  • Selon un mode de réalisation, la comparaison s'effectue sur des zones particulières de l'image SAR sélectionnées par l'opérateur et zoomées, car présentant une ambigüité.
  • Selon une variante illustrée figure 12, l'étape de comparaison est réalisée comme suit :
    • la cible potentielle est considérée comme une fausse alarme lorsque sa position est localisée à l'intérieur d'une structure fixée au sol (par exemple la cible C1 de la figure 11),
    • la cible potentielle est considérée comme une fausse alarme lorsque sa position est localisée à une distance (d) d'une structure fixée au sol inférieure à une distance minimum (Dmin) prédéterminée (par exemple la cible C4 de la figure 11),
    • la cible potentielle est considérée comme une cible réelle lorsque sa position est localisée à une distance (d) d'une structure fixée au sol supérieure ou égale à la distance minimum (Dmin) prédéterminée (par exemple la cible C3 de la figure 11).
  • Ainsi si une cible potentielle détectée est située à une distance supérieure à une Dmin de toute infrastructure immobilière rendant non-ambigüe une détection, alors cette cible est considérée comme réelle ; ce seuil Dmin, en raison des distorsions existant sur l'image SAR et du recalage local imparfait qui en résulte, est fixée arbitrairement, suivant la taille moyenne de la cible. Si une cible potentielle détectée est située à une distance proche d'une infrastructure immobilière rendant ambigüe une détection, alors la levée de l'ambigüité est pour chaque cible potentielle détectée, la comparaison avec la situation géographique par exemple VMAP superposée afin de déterminer la distance la séparant d'une infrastructure immobilière.
  • Si une cible potentielle détectée est située à l'emplacement connu d'un bâtiment alors la détection est considérée comme erronée.
  • Un exemple de mise en œuvre de cette méthode de détection est illustré figures 13 à 15, pour le cas dans lequel l'image radar SAR est affichée à côté de l'image représentant les contours des structures fixées au sol (par exemple un masque binaire égal à la correspondance immobilière VMAP). La figure 13a illustre l'image ISAR dans laquelle un point brillant, correspondant à une cible potentielle telle un char, est détecté. En comparant la position de ce point brillant avec les données Datasup illustrée figures 13b correspondant à la position précise du contour bâtiment générée selon la méthode de traitement décrite plus haut, on déduit que la distance de la cible potentielle au bâtiment est trop faible et qu'il s'agit d'un artefact, et donc la cible potentielle est classée comme une fausse alerte.
  • Dans le cas de la figure 14 la cible détectée en 14a est suffisamment éloignée d'un bâtiment affiché en 14b, et la cible détectée est classée comme cible réelle.
  • Dans le cas de la figure 15 la cible détectée en 15a est éloignée de tout bâtiment (aucun bâtiment sur 15c) et est donc classée comme cible réelle.
  • Ainsi, grâce à l'utilisation des données VMAP superposées à l'image SAR, certaines détections automatiques d'objets d'intérêt proches ou superposées à des bâtiments peuvent alors être considérées comme des fausses détections et donc être éliminées dans cette phase finale de traitement.

Claims (12)

  1. Méthode de détection de cible (20) comprenant un traitement d'une image radar de type SAR, comprenant les étapes consistant à :
    - Charger (100) une image radar initiale (ISAR) de type SAR d'une première zone,
    - Charger (110) une image optique initiale (Iopt) d'une deuxième zone recouvrant au moins partiellement la première zone,
    lesdites images initiales ayant été le cas échéant prétraitées de sorte qu'elles présentent un même axe d'acquisition,
    - Charger (120) des données graphiques additionnelles (Data) associées à l'image optique initiale et relatives à des éléments géographiques présents dans ladite image optique initiale, les éléments géographiques comprenant des structures fixées au sol et les données graphiques additionnelles comprenant des formes géométriques approchées desdites structures fixées au sol,
    - Traiter (130) au moins une des deux images initiales de manière à les rendre apte à être superposées dans une zone de recouvrement entre la première et la deuxième zone, pour obtenir une image radar superposée (ISAR/sup) et une image optique superposée (Iopt/sup),
    - Déterminer (140) des données graphiques additionnelles superposées (Datasup) à partir des données graphiques additionnelles (Data) et de l'image optique superposée (Iopt/sup),
    - Localiser (150) des éléments géographiques présents dans l'image SAR superposée (ISAR/sup) au moins à partir desdites données graphiques additionnelles superposées (Datasup).
    - Déterminer (155) des positions de cibles potentielles à partir de l'image SAR superposée,
    - Identifier (160) d'éventuelles fausses alarmes en comparant la position de cibles potentielles identifiées dans l'image radar superposée avec des formes géométriques approchées de structures fixées au sol localisées à l'étape de localisation.
  2. Méthode selon la revendication 1 dans laquelle l'étape de traitement est effectuée sur l'image optique (Iopt) uniquement, l'image radar initiale (ISAR) étant alors égale à l'image radar superposée (ISAR/sup).
  3. Méthode selon l'une des revendications 1 ou 2 dans laquelle l'image radar initiale est ortho-rectifiée.
  4. Méthode selon l'une des revendications précédentes dans laquelle l'image optique initiale est une image par satellite ortho-rectifiée.
  5. Méthode selon l'une des revendications précédentes dans laquelle les éléments géographiques comprennent des frontières et/ou des réseaux de chemin de fer et/ou des réseaux hydrographiques et/ou des contours d'élévations et/ou des côtes, et/ou des contours approchés de structures fixées au sol et/ou des aéroports et/ou des lieux habités et/ou des index de noms géographiques.
  6. Méthode selon l'une des revendications précédentes dans laquelle les données graphiques additionnelles sont affichées dans les images optiques sous la forme de traits et/ou de lignes et/ou de contours et /ou de formes géométriques et/ou de caractères.
  7. Méthode selon la revendication 6 dans laquelle les données graphiques additionnelles sont des informations vectorielles cartographiques de type Vmap.
  8. Méthode selon l'une des revendications précédentes dans laquelle l'étape de traitement comprend une étape de détermination d'au moins un ensemble (Prec) de paramètres de recalage comprenant un facteur d'homothétie (h), un angle de rotation (α) et une distance de translation (d).
  9. Méthode selon la revendication 8 dans laquelle l'étape de détermination des données graphiques additionnelles superposées comprend une étape consistant à appliquer ledit ensemble de paramètres de recalage aux données graphiques additionnelles (Data), pour obtenir les données graphiques additionnelles superposées (Datasup).
  10. Méthode selon l'une des revendications 8 ou 9 dans laquelle l'étape de détermination des paramètres de recalage s'effectue à partir de la transformée de Fourrier-Mellin.
  11. Méthode selon l'une des revendications 1 à 10 dans laquelle l'étape de localisation comprend une étape de fusion des données graphiques additionnelles superposées (Datasup) dans l'image radar superposée (ISAR/sup).
  12. Méthode de détection de cibles selon l'une des revendications précédentes dans laquelle :
    * la cible potentielle est considérée comme une fausse alarme lorsque sa position est localisée à l'intérieur d'une structure fixée au sol,
    * la cible potentielle est considérée comme une fausse alarme lorsque sa position est localisée à une distance (d) d'une structure fixée au sol inférieure à une distance minimum (Dmin) prédéterminée,
    * la cible potentielle est considérée comme une cible réelle lorsque sa position est localisée à une distance (d) d'une structure fixée au sol supérieure ou égale à la distance minimum (Dmin) prédéterminée.
EP16754305.7A 2015-10-09 2016-08-23 Methode de traitement d'une image radar de type sar et methode de detection de cible associee Active EP3359978B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1502127A FR3042283B1 (fr) 2015-10-09 2015-10-09 Methode de traitement d'une image radar de type sar et methode de detection de cible associee
PCT/EP2016/069874 WO2017060000A1 (fr) 2015-10-09 2016-08-23 Methode de traitement d'une image radar de type sar et methode de detection de cible associee

Publications (2)

Publication Number Publication Date
EP3359978A1 EP3359978A1 (fr) 2018-08-15
EP3359978B1 true EP3359978B1 (fr) 2020-01-08

Family

ID=55178008

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16754305.7A Active EP3359978B1 (fr) 2015-10-09 2016-08-23 Methode de traitement d'une image radar de type sar et methode de detection de cible associee

Country Status (3)

Country Link
EP (1) EP3359978B1 (fr)
FR (1) FR3042283B1 (fr)
WO (1) WO2017060000A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420838A (zh) * 2021-08-20 2021-09-21 中国科学院空天信息创新研究院 基于多尺度注意力特征融合的sar与光学图像分类方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108761444B (zh) * 2018-05-24 2021-12-21 中国科学院电子学研究所 联合星载sar和光学图像计算地面点高度的方法
CN110261854B (zh) * 2019-06-27 2022-05-17 中国航空工业集团公司雷华电子技术研究所 一种适用于慢速平台的广域sar成像方法
CN113096058B (zh) * 2021-04-23 2022-04-12 哈尔滨工业大学 空间目标多源数据参数化仿真与MixCenterNet融合检测方法
CN113538306B (zh) * 2021-06-15 2024-02-13 西安电子科技大学 一种sar图像与低分辨率光学图像多图融合方法
CN113777608B (zh) * 2021-09-18 2022-05-31 哈尔滨工业大学 基于多普勒中心估计的机载sar预处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5246391B2 (ja) * 2007-08-17 2013-07-24 株式会社パスコ 地物情報判読用画像生成方法およびプログラム
US8842036B2 (en) * 2011-04-27 2014-09-23 Lockheed Martin Corporation Automated registration of synthetic aperture radar imagery with high resolution digital elevation models

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420838A (zh) * 2021-08-20 2021-09-21 中国科学院空天信息创新研究院 基于多尺度注意力特征融合的sar与光学图像分类方法
CN113420838B (zh) * 2021-08-20 2021-11-02 中国科学院空天信息创新研究院 基于多尺度注意力特征融合的sar与光学图像分类方法

Also Published As

Publication number Publication date
FR3042283B1 (fr) 2019-07-19
FR3042283A1 (fr) 2017-04-14
EP3359978A1 (fr) 2018-08-15
WO2017060000A1 (fr) 2017-04-13

Similar Documents

Publication Publication Date Title
EP3359978B1 (fr) Methode de traitement d'une image radar de type sar et methode de detection de cible associee
Shahtahmassebi et al. Review of shadow detection and de-shadowing methods in remote sensing
US8913826B2 (en) Advanced cloud cover assessment for panchromatic images
Dehecq et al. Automated processing of declassified KH-9 hexagon satellite images for global elevation change analysis since the 1970s
EP2333481B1 (fr) Système optronique et procédé d'élaboration d'images en trois dimensions dédiés à l'identification
US7116265B2 (en) Recognition algorithm for the unknown target rejection based on shape statistics obtained from orthogonal distance function
Tison et al. Retrieval of building shapes from shadows in high resolution SAR interferometric images
EP2724203A1 (fr) Génération de données de carte
CN115060208A (zh) 基于多源卫星融合的输变电线路地质灾害监测方法及系统
Friman et al. Illumination and shadow compensation of hyperspectral images using a digital surface model and non-linear least squares estimation
EP3625758B1 (fr) Procédé de traitement d'une image optique acquise en présence d'aérosols et/ou de nuages dans l'atmosphère
Liu et al. Building height detection from high-resolution TerraSAR-X imagery and GIS data
EP0863488A1 (fr) Procédé de détection de contours de relief dans une paire d'images stéréoscopiques
Gamba et al. Limits and challenges of optical high-resolution satellite remote sensing for urban applications
Shimoni et al. Detection of vehicles in shadow areas
EP3832338A1 (fr) Procede de geolocalisation et de qualification de dispositifs d'infrastructure de signalisation
EP2513592B1 (fr) Procede de designation d'une cible pour un armement a guidage terminal par imagerie
Xiao et al. A Novel Image Fusion Method for Water Body Extraction Based on Optimal Band Combination.
Al-Sharif et al. Revisiting methods and potentials of SAR change detection
US11580690B1 (en) Horizon-based navigation
EP2533201B1 (fr) Procédé et dispositif pour déterminer automatiquement les contours de hauteurs du relief d'une zone géographique
Saidi et al. A refined automatic co-registration method for high-resolution optical and sar images by maximizing mutual information
Sportouche et al. How to combine TerraSAR-X and Cosmo-SkyMed high-resolution images for a better scene understanding?
Salvoldi et al. Using the VENµS Super-Spectral Camera for detecting moving vehicles
Sohn et al. Shadow-effect correction in aerial color imagery

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180329

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20190716

INTG Intention to grant announced

Effective date: 20190813

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602016027876

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1223372

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200215

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20200108

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200531

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200409

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200408

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200508

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602016027876

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1223372

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200108

26N No opposition filed

Effective date: 20201009

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200831

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200823

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200831

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20200831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200823

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200108

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230427

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230726

Year of fee payment: 8

Ref country code: GB

Payment date: 20230713

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230721

Year of fee payment: 8

Ref country code: DE

Payment date: 20230718

Year of fee payment: 8