FR2994007B1 - METHOD FOR MERGING MULTI-RESOLUTION IMAGES - Google Patents
METHOD FOR MERGING MULTI-RESOLUTION IMAGES Download PDFInfo
- Publication number
- FR2994007B1 FR2994007B1 FR1257364A FR1257364A FR2994007B1 FR 2994007 B1 FR2994007 B1 FR 2994007B1 FR 1257364 A FR1257364 A FR 1257364A FR 1257364 A FR1257364 A FR 1257364A FR 2994007 B1 FR2994007 B1 FR 2994007B1
- Authority
- FR
- France
- Prior art keywords
- image
- multispectral
- panchromatic
- spatial resolution
- geometric scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000001429 visible spectrum Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002939 deleterious effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
L'invention concerne un procédé de synthèse d'une image multispectrale à haute résolution spatiale à partir d'une image de type panchromatique présentant une première résolution spatiale et d'une image de type multispectrale présentant une seconde résolution spatiale inférieure à la première résolution spatiale, le procédé comprenant une opération de filtrage spatial passe-bas de l'image panchromatique pour fabriquer une image panchromatique floue, et étant caractérisé en ce qu'il comporte en outre les opérations de : a) conversion de l'image panchromatique floue à l'échelle géométrique de l'image multispectrale ; b) calcul d'une image de densité de couleur correspondant au ratio entre l'image multispectrale et l'image panchromatique floue convertie à l'échelle géométrique de l'image multispectrale ; c) conversion de l'image de densité de couleur à une seconde échelle géométrique ; d) fusion de l'image panchromatique et de l'image de densité de couleur convertie à la seconde échelle géométrique pour produire l'image multispectrale à haute résolution spatiale.A method for synthesizing a high spatial resolution multispectral image from a panchromatic image having a first spatial resolution and a multispectral type image having a second spatial resolution lower than the first spatial resolution , the method comprising a low-pass spatial filtering operation of the panchromatic image to produce a fuzzy panchromatic image, and being characterized in that it further comprises the operations of: a) converting the fuzzy panchromatic image to the geometric scale of the multispectral image; b) calculating a color density image corresponding to the ratio between the multispectral image and the fuzzy panchromatic image converted at the geometric scale of the multispectral image; c) converting the color density image to a second geometric scale; d) fusing the panchromatic image and the converted color density image to the second geometric scale to produce the multispectral image at high spatial resolution.
Description
DOMAINE DE L'INVENTIONFIELD OF THE INVENTION
Le domaine de l’invention est celui de la synthèse d’images multispectrales à haute résolution spatiale. L’invention concerne plus précisément un procédé de fusion permettant d’augmenter la résolution spatiale d’images multispectrales à l'aide de la haute résolution spatiale d’images panchromatiques.The field of the invention is that of the synthesis of multispectral images with high spatial resolution. The invention more specifically relates to a fusion method for increasing the spatial resolution of multispectral images using the high spatial resolution of panchromatic images.
ARRIERE PLAN DE L'INVENTIONBACKGROUND OF THE INVENTION
Les images fournies par la majorité des satellites d’observation de la Terre (SPOT-5, PLEIADES) peuvent être classées en deux groupes : d’une part, les images à haute résolution spatiale et a basse résolution spectrale, et d’autre part les images a basse résolution spatiale, mais a haute résolution spectrale.The images provided by the majority of Earth observation satellites (SPOT-5, PLEIADES) can be classified in two groups: on the one hand, the images with high spatial resolution and low spectral resolution, and on the other hand images with low spatial resolution, but with high spectral resolution.
Les images ayant une haute résolution spatiale sont issues de l’acquisition d’une large bande en longueur d’onde qui correspond le plus souvent à une grande partie du spectre visible et pouvant inclure une partie de la plage infrarouge. Ces images sont appelées images panchromatiques (PAN).Images with high spatial resolution are derived from acquiring a wide wavelength band that most often corresponds to a large part of the visible spectrum and may include part of the infrared range. These images are called panchromatic images (PAN).
Les images multispectrales (MS) sont quant à elles chacune issues de l’observation d’une partie du spectre visible correspondant le plus souvent aux longueurs d’onde du bleu, du vert, du rouge et du proche infrarouge. Ces images ont une meilleure résolution spectrale, mais celle-ci est obtenue au détriment de la résolution spatiale. Pour les images PLEIADES, le ratio de résolution spatiale entre les images haute résolution PAN et les images basses résolution MS est ainsi de 4 :1.Multispectral images (MS) are each derived from the observation of a part of the visible spectrum most often corresponding to the wavelengths of blue, green, red and near infrared. These images have a better spectral resolution, but this one is obtained to the detriment of the spatial resolution. For PLEIADES images, the spatial resolution ratio between high resolution PAN images and low resolution MS images is thus 4: 1.
Dans ce cadre, on comprend que des gains notables dans l'analyse des images, leur exploitation et la cartographie peuvent être atteints si l’on peut disposer de l'ensemble des données avec à la fois la résolution spatiale de l’image PAN et la résolution spectrale des images MS. Différentes techniques dites de fusion panchromatique, également désignées par le terme de « pan-sharpening », ont ainsi été développées pour synthétiser une image multispectrale à haute résolution spatiale à partir de l’image panchromatique à haute résolution et des images multispectrales à basse résolution.In this context, it is understood that significant gains in the analysis of images, their exploitation and mapping can be achieved if we can have all the data with both the spatial resolution of the PAN image and the spectral resolution of the MS images. Various so-called panchromatic fusion techniques, also referred to as pan-sharpening, have been developed to synthesize a multispectral image with high spatial resolution from the high-resolution panchromatic image and low-resolution multispectral images.
Une technique simple de fusion dite de modulation passe-haut consiste à moduler les images MS échantillonnées à la haute résolution par le rapport entre l’image panchromatique et sa version filtrée par un filtre passe-bas. L’idée consiste à se dire que l’information colorimétrique est contenue dans les images multispectrales, et que l’image panchromatique contient l’information haute fréquence. On injecte alors cette information haute fréquence dans les images MS. On pourra trouver une description de cette technique dans l’article « Fast Panchromatic Sharpening for High-Resolution Multi-Spectral Images » de Jonghwa Lee et Chulhee Lee, Geoscience and Remote Sensing Symposium, 2008. IGARSS 2008. IEEE International.A simple so-called high-pass modulation merge technique consists in modulating the sampled MS images at high resolution by the ratio between the panchromatic image and its version filtered by a low-pass filter. The idea is to say that the colorimetric information is contained in the multispectral images, and that the panchromatic image contains the high frequency information. This high frequency information is then injected into the MS images. A description of this technique can be found in Jonghwa Lee's "Fast Panchromatic Sharpening for High-Resolution Multi-Spectral Images" and Chulhee Lee's Geoscience and Remote Sensing Symposium, 2008. IGARSS 2008. IEEE International.
Les différentes opérations nécessaires à la mise en oeuvre de cette technique sont représentées sur la figure 1. Soit PHR l’image panchromatique à haute résolution spatiale, on considère que celle-ci peut être représentée comme la somme d’une composante basse fréquence et d’une composante haute fréquence : pHR=pLHR+pHHRThe various operations necessary for the implementation of this technique are shown in FIG. 1. Let PHR be the panchromatic image with high spatial resolution, it is considered that this can be represented as the sum of a low frequency component and a a high frequency component: pHR = pLHR + pHHR
En référence à la figure 1, on vient filtrer l’image panchromatique PHR pour estimer la composante basse fréquence PLHR de l’image panchromatique. Cette opération vise à ne conserver que les composantes spatiales les plus basses, visibles dans les images MS.With reference to FIG. 1, the panchromatic image PHR is filtered to estimate the low frequency component PLHR of the panchromatic image. This operation aims to keep only the lowest spatial components, visible in MS images.
Parallèlement, les images multispectrales de basse résolution spatiale MS,br (où i représente la bande spectrale) sont soumises à un suréchantillonnage pour fabriquer des images MS,HR interpolées à la géométrie spatiale de l’image panchromatique à l’aide d’un filtre de zoom permettant aux images MS,HR et PLHR d’être de même taille.At the same time, multispectral images of low spatial resolution MS, br (where i represents the spectral band) are oversampled to produce MS, HR images interpolated to the spatial geometry of the panchromatic image using a filter zoom lens allowing MS, HR and PLHR images to be of the same size.
On vient ensuite calculer les rapports, globalement représentatifs d’un gain de couleur, entre chacune des images multispectrales en géométrie PAN MSiHR et la composante basse fréquence PLHR de l’image panchromatique. Puis on vient injecter ces gains de couleur dans l’image panchromatique PHR pour obtenir des images fusionnées pouvant s’écrire sous la forme MSîHR x (Phr/ Plhr) représentative de l’introduction de contrastes hautes fréquences dans chacune des images multispectrales.We then calculate the ratios, generally representative of a color gain, between each of the multispectral images in PAN MSiHR geometry and the low frequency PLHR component of the panchromatic image. Then, these color gains are injected into the panchromatic image PHR to obtain merged images that can be written in the form MS / HR x (Phr / Plhr) representative of the introduction of high frequency contrasts in each of the multispectral images.
Si cette technique présente l’avantage d’être simple, tous les défauts d’une image MS vont cependant se retrouver dans l’image fusionnée, notamment les effets de repliement de spectre, ainsi qu’éventuellement des artefacts liés à la qualité du filtre de zoom employé.If this technique has the advantage of being simple, all the defects of an image MS will however be found in the merged image, in particular the effects of aliasing of the spectrum, as well as possibly artefacts related to the quality of the filter used zoom.
Il est par ailleurs à noter que les barrettes de détecteurs utilisées pour l’acquisition des images MS n’observent pas exactement la même scène au même moment. Il en découle que les effets de repliement de spectre ne sont pas identiques d’une bande spectrale à l’autre. Ces effets différentiels de repliement de spectre peuvent conduire à des effets délétères d’irisation dans l’image fusionnée.It should also be noted that the sensor strips used for the acquisition of MS images do not observe exactly the same scene at the same time. It follows that spectrum folding effects are not identical from one spectral band to another. These differential spectrum folding effects can lead to deleterious effects of iridescence in the fused image.
Les inconvénients majeurs de cette technique fusion sont donc : a) la restitution du repliement de spectre pour les images MS, zoomé à l’échelle de l’image panchromatique ; b) la présence de rebonds aux fortes transitions radiométriques du fait de l’emprise importante du filtre de zoom ; c) la présence d’artefacts irisés du fait du repliement de spectre différentiel.The major drawbacks of this fusion technique are therefore: a) the return of spectrum folding for the MS images, zoomed to the scale of the panchromatic image; b) the presence of rebounds to strong radiometric transitions due to the large footprint of the zoom filter; c) the presence of iridescent artifacts due to differential aliasing.
EXPOSÉ DE L'INVENTION L’invention vise à accroître la qualité des images MS synthétisées à haute résolution spatiale à l’aide des images PAN, notamment pour y limiter la présence des défauts suscités, et ce au moyen d’une technique qui reste simple et rapide à mettre en oeuvre. A cet effet, l’invention propose un procédé de synthèse d’une image multispectrale à haute résolution spatiale à partir d’une image de type panchromatique présentant une première résolution spatiale et d’une image de type multispectrale présentant une seconde résolution spatiale inférieure à la première résolution spatiale, caractérisé en ce qu’il comporte les étapes de : a) conversion de l’image panchromatique à l’échelle géométrique de l’image multispectrale ; b) calcul d’une image de densité de couleur correspondant au ratio entre l’image multispectrale et l’image panchromatique convertie à l’échelle géométrique de l’image multispectrale ; c) conversion de l’image de densité de couleur à une seconde échelle géométrique ; d) fusion de l’image panchromatique et de l’image de densité de couleur convertie à la seconde échelle géométrique pour produire l’image multispectrale à haute résolution spatiale.PRESENTATION OF THE INVENTION The aim of the invention is to increase the quality of the synthesized MS images at high spatial resolution using PAN images, in particular to limit the presence of the defects caused by a technique which remains simple. and quick to implement. For this purpose, the invention proposes a method of synthesizing a multispectral image with high spatial resolution from a panchromatic image having a first spatial resolution and a multispectral type image having a second spatial resolution less than the first spatial resolution, characterized in that it comprises the steps of: a) converting the panchromatic image to the geometric scale of the multispectral image; b) calculating a color density image corresponding to the ratio between the multispectral image and the panchromatic image converted at the geometric scale of the multispectral image; c) converting the color density image to a second geometric scale; d) fusing the panchromatic image and the converted color density image to the second geometric scale to produce the multispectral image at high spatial resolution.
Certains aspects préférés, mais non limitatifs, de ce procédé sont les suivants : - la seconde échelle géométrique est l’échelle géométrique de l’image panchromatique ; - la seconde échelle géométrique est une échelle géométrique cible et le procédé comprend avant l’étape d) une opération de conversion de l’image panchromatique à l’échelle géométrique cible ; - les étapes a), b), c) et d) sont mises en œuvre pour une pluralité d’images couvrant différentes bandes de fréquences et formant l’image multispectrale ; - lequel l’étape a) est réalisée au moyen d’un filtre interpolateur simulant le rapport entre la fonction de transfert de modulation d’un capteur de l’image panchromatique et celle d’un capteur de l’image multispectrale ; - l’étape a) comprend une opération de filtrage spatial passe-bas de l’image panchromatique pour fabriquer une image panchromatique floue et une opération de conversion de l’image panchromatique floue à l’échelle géométrique de l’image multispectrale ; - l’opération de filtrage spatial passe-bas de l’image panchromatique est réalisée au moyen d’un filtre simulant le rapport entre la fonction de transfert de modulation d’un capteur de l’image panchromatique et celle d’un capteur de l’image multispectrale ; - l’image panchromatique et l’image multispectrale sont des images acquises par un satellite d’observation de la Terre ; - la première résolution spatiale est quatre fois supérieure à la seconde résolution spatiale.Some preferred but non-limiting aspects of this method are the following: the second geometric scale is the geometric scale of the panchromatic image; the second geometric scale is a target geometric scale and the method comprises, before step d), an operation for converting the panchromatic image to the target geometric scale; steps a), b), c) and d) are implemented for a plurality of images covering different frequency bands and forming the multispectral image; - Which step a) is performed by means of an interpolator filter simulating the ratio between the modulation transfer function of a panchromatic image sensor and that of a multispectral image sensor; step a) comprises a low pass spatial filtering operation of the panchromatic image to produce a fuzzy panchromatic image and a fuzzy panchromatic image conversion operation at the geometric scale of the multispectral image; the low-pass spatial filtering operation of the panchromatic image is carried out by means of a filter simulating the ratio between the modulation transfer function of a sensor of the panchromatic image and that of a sensor of the image; multispectral image; the panchromatic image and the multispectral image are images acquired by an Earth observation satellite; the first spatial resolution is four times greater than the second spatial resolution.
Selon un second aspect, l’invention concerne un programme d’ordinateur comprenant des instructions de code de programme pour l’exécution du procédé selon le premier aspect de l’invention lorsque ledit programme est exécuté sur un ordinateur.According to a second aspect, the invention relates to a computer program comprising program code instructions for executing the method according to the first aspect of the invention when said program is executed on a computer.
BREVE DESCRIPTION DES DESSINS D’autres aspects, buts et avantages de la présente invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d’exemple non limitatif, et faite en référence aux dessins annexés sur lesquels: - la figure 1 déjà discutée précédemment illustre un procédé de fusion panchromatique conventionnel ; - la figure 2 illustre un procédé de fusion panchromatique conforme à l’invention.BRIEF DESCRIPTION OF THE DRAWINGS Other aspects, objects and advantages of the present invention will become more apparent upon reading the following detailed description of preferred embodiments thereof, given by way of non-limiting example, and with reference to the following: attached drawings in which: - Figure 1 already discussed above illustrates a conventional panchromatic fusion process; FIG. 2 illustrates a panchromatic fusion method according to the invention.
DESCRIPTION DETAILLEE DE L'INVENTION L’invention concerne un procédé de synthèse d’une image multispectrale à haute résolution spatiale à partir d’une image de type panchromatique PHR présentant une première résolution spatiale et d’une image de type multispectrale présentant une seconde résolution spatiale inférieure à la première résolution spatiale.DETAILED DESCRIPTION OF THE INVENTION The invention relates to a method for synthesizing a multispectral image with high spatial resolution from a panchromatic image PHR having a first spatial resolution and a multispectral image having a second resolution space below the first spatial resolution.
Les images panchromatiques et multispectrales sont par exemple des images acquises par des imageurs optiques spatiaux, tels que ceux utilisés sur les satellites d’observation de la Terre, SPOT-5 ou PLEIADES par exemple. Le plan focal de tels imageurs optiques spatiaux comprennent une barrette de détecteurs panchromatiques PAN intégrant l’ensemble du spectre visible et un certain nombre de barrettes de détecteurs multi-spectraux XS1-XS4 décomposant plus finement le spectre de la lumière que la barrette PAN et fournissant chacun une image MSîBR, où i représente l’une des bandes spectrales observées, typiquement le bleu, le vert, le rouge et le proche infrarouge. Ces images MSBRforment ensemble l’image multispectrale. L’invention n’est toutefois pas limitée à l’imagerie spatiale, et on comprendra qu’elle trouve avantageusement application pour tout système imageur nécessitant la combinaison d’images sources à différentes résolutions.Panchromatic and multispectral images are, for example, images acquired by spatial optical imagers, such as those used on Earth observation satellites, SPOT-5 or PLEIADES, for example. The focal plane of such spatial optical imagers comprises a PAN panchromatic detector array integrating the entire visible spectrum and a number of XS1-XS4 multi-spectral detector arrays more finely decomposing the spectrum of light than the PAN array and providing each a MSIRBR image, where i represents one of the spectral bands observed, typically blue, green, red and near infrared. These MSBR images together form the multispectral image. The invention is however not limited to spatial imaging, and it will be understood that it advantageously finds application for any imaging system requiring the combination of source images at different resolutions.
En référence à la figure 2, le procédé selon l’invention comporte une opération de filtrage spatial passe-bas de l’image panchromatique PHR pour fabriquer une image panchromatique floue PLHR. Ce filtrage est réalisé de manière à ce que l’image panchromatique floue ne présente que les fréquences spatiales les plus basses, visibles dans l’image multispectrale. Dans un mode de réalisation possible le filtrage passe-bas est réalisé au moyen d’un filtre simulant le rapport entre la fonction de transfert de modulation de la barrette de détecteurs panchromatiques et celle des barrettes de détecteurs multispectraux XS1-XS4. L’image panchromatique floue PLHR est ensuite convertie à l’échelle géométrique de l’image multispectrale.With reference to FIG. 2, the method according to the invention comprises a low-pass spatial filtering operation of the panchromatic image PHR for producing a fuzzy panchromatic image PLHR. This filtering is carried out so that the fuzzy panchromatic image has only the lowest spatial frequencies, visible in the multispectral image. In one possible embodiment, the low-pass filtering is performed by means of a filter simulating the ratio between the modulation transfer function of the panchromatic detector array and that of the XS1-XS4 multispectral detector array. The fuzzy panchromatic image PLHR is then converted to the geometric scale of the multispectral image.
Dans un second mode de réalisation, l’image panchromatique PHR est directement convertie à l’échelle géométrique de l’image multispectrale en étant pour ce faire rééchantillonnée à l’échelle géométrique de l’image multispectrale en utilisant le rapport des fonctions de transfert de modulation comme filtre interpolateur.In a second embodiment, the panchromatic image PHR is directly converted to the geometric scale of the multispectral image by being resampled to the geometric scale of the multispectral image using the ratio of the transfer functions of the multispectral image. modulation as interpolator filter.
Prenant par la suite l’exemple du premier mode de réalisation, dans la mesure où chacune des barrettes XS1-XS4 a sa propre géométrie, on peut venir convertir l’image panchromatique floue en autant d’images panchromatiques floues converties P,BR qu’il y a de bandes spectrales considérées.Taking subsequently the example of the first embodiment, insofar as each of the XS1-XS4 arrays has its own geometry, it is possible to convert the fuzzy panchromatic image into as many fuzzy panchromatic images converted P, BR that there are spectral bands considered.
On relèvera qu’en l’absence d’un modèle suffisamment précis de colocalisation entre la bande PAN et les bandes XS (ce qui n’est pas le cas pour PLEIADES), on peut mettre en œuvre une corrélation inter-bandes pour élaborer des grilles de rééchantillonnage PAN vers XS.It should be noted that in the absence of a sufficiently accurate model of collocation between the PAN band and the XS bands (which is not the case for PLEIADES), an inter-band correlation can be used to develop PAN resampling grids to XS.
On vient ensuite calculer une image de densité de couleur correspondant au ratio entre l’image multispectrale MSBR et l’image panchromatique floue convertie PBR à l’échelle géométrique de l’image multispectrale. On calcule en réalité un ratio et une image de densité de couleur par bande spectrale de l’image multispectrale.A color density image corresponding to the ratio between the multispectral image MSBR and the fuzzy panchromatic image converted PBR at the geometric scale of the multispectral image is then calculated. In fact, a ratio and a color density image per spectral band of the multispectral image are calculated.
On aura compris que là où dans le procédé conventionnel de la figure 1 le ratio entre image multispectrale et image panchromatique floue est réalisée dans la géométrie de l’image panchromatique (ou d’une manière plus générale dans une géométrie quelconque mais commune à toutes les bandes spectrales rééchantillonnées), dans le cadre de l’invention ce ratio est calculé dans la géométrie native de chacune des images multispectrales. L’intérêt est ici de tirer parti de la similarité des artefacts liés au repliement de spectre dans l’image multispectrale dans sa géométrie native (et donc non zoomés en géométrie PAN) et des artefacts introduits dans l’image panchromatique floue par sa conversion dans la géométrie native de l’image multispectrale. Ces artéfacts vont en effet se « simplifier » lors de la division, ce qui permet de réduire les défauts visibles dans l’image fusionnée.It will be understood that where in the conventional method of FIG. 1 the ratio between multispectral image and fuzzy panchromatic image is realized in the geometry of the panchromatic image (or, more generally, in any geometry but common to all spectral bands resampled), in the context of the invention this ratio is calculated in the native geometry of each of the multispectral images. The interest here is to take advantage of the similarity of artifacts related to spectrum folding in the multispectral image in its native geometry (and therefore not zoomed in PAN geometry) and artifacts introduced into the fuzzy panchromatic image by its conversion into the native geometry of the multispectral image. These artifacts will indeed "simplify" during the division, which reduces the visible defects in the merged image.
On vient ensuite convertir l’image de densité de couleur (quatre images dans l’exemple considéré) à une seconde échelle géométrique. Cette seconde échelle géométrique est par exemple une échelle géométrique cible ou l’échelle géométrique de l’image panchromatique. Par géométrie cible, on entend la géométrie dans laquelle on veut voir l'image finale : ça peut être une ortho-image (superposable à une carte par exemple), une image telle qu’elle aurait été vue par un capteur parfait (per exemple telle qu'elle aurait été vue depuis le satellite en enlevant toutes les perturbations et déformations géométriques), ou toute autre géométrie.Then comes to convert the color density image (four images in the example) to a second geometric scale. This second geometric scale is for example a target geometric scale or the geometric scale of the panchromatic image. By geometry target, we mean the geometry in which we want to see the final image: it can be an ortho-image (superimposed on a map for example), an image as it would have been seen by a perfect sensor (for example as it would have been seen from the satellite removing all geometric disturbances and deformations), or any other geometry.
Il s’agit d’une opération de zoom qui peut être réalisée à l’aide d’un filtre de qualité quelconque, étant donné que les artefacts de zoom sont les mêmes dans les images zoomées et eux aussi se « simplifient » à la division. On résout ainsi les problèmes des rebonds radiométriques, et ce à l’aide d’un filtre qui peut être de petite emprise.This is a zoom operation that can be performed using any quality filter, since the zoom artifacts are the same in the zoomed images and they too "simplify" the division. . This solves the problems of radiometric bounces, and this with a filter that can be small.
On vient ensuite fusionner l’image panchromatique (le cas échéant préalablement convertie à l’échelle géométrique cible) et chaque image de densité de couleur convertie à l’échelle géométrique de l’image panchromatique (le cas échéant à l’échelle géométrique cible) pour produire une image fusionnée par bande spectrale considérée, et ainsi l’image multispectrale à haute résolution spatiale.We then merge the panchromatic image (if necessary previously converted to the target geometric scale) and each color density image converted to the geometric scale of the panchromatic image (where appropriate to the target geometric scale). to produce a merged image by spectral band considered, and thus the multispectral image with high spatial resolution.
Ce procédé garantit une qualité radiométrique nettement améliorée. Il implique un rééchantillonnage supplémentaire, mais l’emprise du filtre de zoom peut être nettement réduite de sorte que le bilan des performances de calcul n’est pas significativement dégradé par comparaison avec celui du procédé conventionnel de la figure 1. L’invention concerne également un programme d’ordinateur, ainsi qu’un support de stockage lisible par un ordinateur dans lequel est stocké ledit programme d’ordinateur, comprenant des instructions de code de programme pour l’exécution du procédé tel que décrit précédemment lorsque ledit programme est exécuté sur un ordinateur. Ce programme est notamment configuré pour recevoir en entrée les images panchromatiques et multispectrales et fournir en sortie une image multispectrale à haute résolution spatiale résultant de la fusion. Cette image est ensuite enregistrée dans une mémoire informatique, imprimée et/ou affichée sur un écran.This process guarantees significantly improved radiometric quality. It involves additional resampling, but the grip of the zoom filter can be significantly reduced so that the calculation performance budget is not significantly degraded compared with that of the conventional method of FIG. 1. The invention also relates to a computer program, as well as a computer-readable storage medium in which said computer program is stored, including program code instructions for executing the method as previously described when said program is executed on a computer. This program is notably configured to receive panchromatic and multispectral images as input and to output a high spatial resolution multispectral image resulting from the fusion. This image is then saved in a computer memory, printed and / or displayed on a screen.
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1257364A FR2994007B1 (en) | 2012-07-30 | 2012-07-30 | METHOD FOR MERGING MULTI-RESOLUTION IMAGES |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1257364 | 2012-07-30 | ||
| FR1257364A FR2994007B1 (en) | 2012-07-30 | 2012-07-30 | METHOD FOR MERGING MULTI-RESOLUTION IMAGES |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2994007A1 FR2994007A1 (en) | 2014-01-31 |
| FR2994007B1 true FR2994007B1 (en) | 2019-08-23 |
Family
ID=47624188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1257364A Active FR2994007B1 (en) | 2012-07-30 | 2012-07-30 | METHOD FOR MERGING MULTI-RESOLUTION IMAGES |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2994007B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616261B (en) * | 2015-02-09 | 2017-10-27 | 内蒙古科技大学 | A kind of Shearlet domains based on spectral characteristic are multispectral and panchromatic image fusion method |
| FR3058547B1 (en) | 2016-11-04 | 2018-11-16 | Centre National D'etudes Spatiales | METHOD AND DEVICE FOR RESTORING DIGITAL IMAGE |
| FR3073295B1 (en) * | 2017-11-07 | 2021-10-22 | Thales Sa | SPACE TELESCOPE GENERATING COLOR IMAGES IN TWO WIDE FIELD AND HIGH RESOLUTION FORMATS |
| CN113992838A (en) * | 2021-08-09 | 2022-01-28 | 中科联芯(广州)科技有限公司 | Imaging focusing method and control method of silicon-based multispectral signal |
| CN115063336B (en) * | 2022-08-18 | 2022-11-25 | 北京理工大学 | Full-color and multispectral image fusion method and device and medium thereof |
-
2012
- 2012-07-30 FR FR1257364A patent/FR2994007B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| FR2994007A1 (en) | 2014-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Choi et al. | A new adaptive component-substitution-based satellite image fusion by using partial replacement | |
| US10769765B2 (en) | Imaging systems and methods of using the same | |
| Arad et al. | Sparse recovery of hyperspectral signal from natural RGB images | |
| O’Connor et al. | Cameras and settings for aerial surveys in the geosciences: Optimising image data | |
| CN110326022B (en) | Apparatus and method for recovering hyperspectral data from image | |
| EP1828992B1 (en) | Method for processing images using automatic georeferencing of images derived from a pair of images captured in the same focal plane | |
| US8879865B2 (en) | Panchromatic sharpening method of spectral image based on fusion of overall structural information and spatial detail information | |
| FR2994007B1 (en) | METHOD FOR MERGING MULTI-RESOLUTION IMAGES | |
| JP2017526910A (en) | Compact multifunctional system for imaging spectroscopy | |
| Bongard et al. | 3D deconvolution of hyper-spectral astronomical data | |
| EP2457379B1 (en) | Method for estimating a defect in an image capture system and associated systems | |
| EP3114831B1 (en) | Optimised video denoising for heterogeneous multisensor system | |
| Ghaffar et al. | Data augmentation approaches for satellite image super-resolution | |
| EP2947433A1 (en) | System and method for acquiring hyperspectral images | |
| US10750135B2 (en) | Hardware-friendly model-based filtering system for image restoration | |
| Monno et al. | N-to-sRGB mapping for single-sensor multispectral imaging | |
| WO2007071882A2 (en) | Method for providing data to a digital processing means | |
| Shim et al. | Deep u*-and g-band imaging of the spitzer space telescope first look survey field: Observations and source catalogs | |
| EP3179439B1 (en) | Off-band resolution enhancement | |
| Priya et al. | Multiplicative iterative nonlinear constrained coupled non-negative matrix factorization (MINC-CNMF) for hyperspectral and multispectral image fusion | |
| FR3081590A1 (en) | METHOD FOR INCREASING THE SPATIAL RESOLUTION OF A MULTI-SPECTRAL IMAGE FROM A PANCHROMATIC IMAGE | |
| FR3061786A1 (en) | DATA STREAM PROCESSING IN AN ACQUISITION SYSTEM | |
| Aiazzi et al. | Deployment of pansharpening for correction of local misalignments between MS and Pan | |
| EP3427225B1 (en) | Method for processing images | |
| Gerace et al. | The increased potential for the Landsat Data Continuity Mission to contribute to case 2 water quality studies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |
|
| PLFP | Fee payment |
Year of fee payment: 9 |
|
| PLFP | Fee payment |
Year of fee payment: 10 |
|
| PLFP | Fee payment |
Year of fee payment: 11 |
|
| PLFP | Fee payment |
Year of fee payment: 12 |