EP4165589A1 - Procédé de construction d'un signal ou d'une image fusionné(e) haute résolution à partir d'une pluralité de signaux ou d'une pluralité d'images basse résolution - Google Patents

Procédé de construction d'un signal ou d'une image fusionné(e) haute résolution à partir d'une pluralité de signaux ou d'une pluralité d'images basse résolution

Info

Publication number
EP4165589A1
EP4165589A1 EP21736637.6A EP21736637A EP4165589A1 EP 4165589 A1 EP4165589 A1 EP 4165589A1 EP 21736637 A EP21736637 A EP 21736637A EP 4165589 A1 EP4165589 A1 EP 4165589A1
Authority
EP
European Patent Office
Prior art keywords
signal
resolution
acquisition
image
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21736637.6A
Other languages
German (de)
English (en)
Inventor
Rémy ABERGEL
Andrés ALMANSA
Gwendoline Blanchet
Christophe Latry
Lionel Moisan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National dEtudes Spatiales CNES
Centre National de la Recherche Scientifique CNRS
Universite Paris Cite
Original Assignee
Centre National dEtudes Spatiales CNES
Centre National de la Recherche Scientifique CNRS
Universite Paris Cite
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National dEtudes Spatiales CNES, Centre National de la Recherche Scientifique CNRS, Universite Paris Cite filed Critical Centre National dEtudes Spatiales CNES
Publication of EP4165589A1 publication Critical patent/EP4165589A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • TITLE A method of constructing a high-resolution merged signal or image from a plurality of signals or a plurality of low-resolution images
  • the present invention relates to the field of image processing in order to merge several images into a single image of higher resolution, said method being implemented partly on a segment on board the acquisition device, and for another part on a segment less constrained in computing power.
  • the drawback of the known merging methods is that they require very significant computing power, which may not be available on the segment on board which the image acquisition means is on board, said segment possibly being a space or air segment. , or the mobile terminal of a user. It is then possible, and also known, to transmit the acquired data to a ground segment, or to a remote server, less constrained in terms of computing power.
  • the drawback of this transmission step is twofold: on the one hand, it generally requires a step of compressing / decompressing the acquired data, in order to adapt to the bandwidth of the data transmission means; the compression / decompression step then being liable to degrade the quality of the data, when the volume of data to be transmitted, and consequently the compression ratio required for their transmission, is important. The degradation of the data quality induced by the data transmission is not without impact on the final quality of the merged image. On the other hand, this transmission step induces a high cost, in terms of energy, and / or time, and / or bandwidth consumed.
  • the aim of the invention is therefore to provide a solution to all or part of these problems.
  • the present invention relates to a method for constructing a merged signal, the merged signal being called a high resolution signal, from a plurality of signals acquired by an acquisition device, each signal of the plurality of signals being called low resolution signal, each signal comprising a plurality of samples measured by an acquisition sensor of the acquisition device configured according to a set of acquisition parameters of said signal, the set of acquisition parameters of each low resolution signal comprising a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low resolution signal, the resolution of the low resolution signal being less than a resolution of the high resolution signal, the acquisition device comprising:
  • the acquisition sensor configured to acquire the plurality of low resolution signals
  • a data transmission unit configured to transmit data to a remote computing unit, the method comprising the following steps:
  • the pre-fusion of the plurality of signals into a pre-merged signal by a calculation carried out by the on-board calculation unit, the pre-merged signal being a function of the plurality of signals and of all the acquisition parameters of each low-resolution signal of the plurality ;
  • the remote calculation unit determines, by the remote calculation unit, according to a variational method, of the high-resolution merged signal from the estimate of the pre-merged signal and of all the acquisition parameters of each signal of the plurality, a resolution of the A high resolution merged signal being greater than a resolution of each of the plurality of signals.
  • the step of calculating the filtered pre-fused signal can be carried out by the on-board calculation unit, endowed with limited calculation resources.
  • the volume of the data of the filtered pre-fused signal is less than the total volume of the data of the plurality of signals and of the same order as the volume of data of a reference signal which would be acquired by the acquisition device configured according to a sampling step corresponding to the resolution of the merged signal.
  • each low resolution signal of the plurality of low resolution signals is a low resolution image of a plurality of low resolution images of a scene, in which the pre-merged signal is a pre-merged image, and in in which the filtered pre-merged signal is a filtered pre-merged image, in which the high-resolution merged signal is a merged image called a high-resolution image, in which the set of acquisition parameters of each low-resolution image further comprises a plurality of offsets, each shift of the plurality of shifts being associated with a low resolution image of the plurality of images, said shift associated with said low resolution image corresponding to a displacement of the acquisition device relative to the scene between the acquisition of said low image resolution and the acquisition of a subsequent low-resolution image, and in which the at least one dimension of the sampling step of a
  • the low-resolution image corresponds to at least one direction defined in a formation plane of the low-resolution image
  • the step of calculating the filtered pre-fused image can be performed by the on-board calculation unit, endowed with limited calculation resources.
  • the volume of the data of the filtered pre-fused image is less than the total volume of the data of the plurality of images and of the same order as the volume of data of a reference image which would be acquired by the device.
  • acquisition configured according to a sampling step corresponding to the resolution of the merged image.
  • each low-resolution signal of the plurality of low-resolution signals is an interferogram of a plurality of interferograms, or respectively an interferometric cube of a plurality of interferometric cubes, in which the high-resolution merged signal is a spectrogram, or respectively a hyperspectral cube, in which the set of acquisition parameters include a plurality of path differences, each path difference of the plurality of path differences being associated with an interferogram of the plurality of interferograms, or respectively with an interferometric cube of the plurality of cubes interferometric.
  • the transmission step comprises a step of compressing, then decompressing, the transmitted prefused flitled image
  • the pre-fused filtered image received is the pre-fused image filtered, compressed and then decompressed.
  • a component of the displacement corresponding to each shift of the plurality of shifts is measured with a precision lower than the sampling interval along the axis of the low-resolution image with which said shift is associated, in particular with a precision of the order of a tenth, or a hundredth of the sampling step.
  • the plurality of signals is modeled by the application of a linear operator to a reference signal acquired by the acquisition sensor of the acquisition device configured according to a sampling step corresponding to the resolving the high resolution merged signal, and wherein the step of pre-merging comprises applying the assistant operator of said linear operator to the plurality of signals.
  • the pre-merging step does not introduce any loss of useful information in the sense that certain merging algorithms, in particular variational methods with an attachment to quadratic data, do not require knowledge of the plurality of signals but only knowledge of the pre-fused signal.
  • the pre-fusion step limits the information losses linked to the compression / decompression steps that can be implemented during the transmission step, compared to the information losses that would be associated with the compression steps. / decompression if the plurality of signals were transmitted with the same volume of compressed data.
  • the filtering step does not modify the pre-fused signal.
  • the filtering step comprises applying, to the pre-merged signal, the pseudo-inverse of the product of the assistant operator and of the linear operator.
  • the filtered pre-merged image obtained with the pseudo-inverse operator is smoother than the pre-merged image, so that it will be compressed more efficiently.
  • the conditioning of the product of the assistant operator and of the linear operator depends on the uniformity of the distribution of the plurality of offsets modulo the sampling step of the signals.
  • the packaging of the product of the assistant operator and of the linear operator is a function of the number of images of the plurality of images acquired, in particular as a function of the ratio between the number of images of the plurality of images, and the product of the downsampling factors according to all the sampled dimensions.
  • the sub-sampling factors correspond for each dimension sampled to the ratio between the value of the sampling interval according to this dimension for the low-resolution signals and the value of the sampling interval according to the same dimension for the reference signal.
  • the filtering step comprises applying the pseudo-inverse of a linear combination of the identity operator and the product of the assistant operator and the linear operator.
  • the linear combination makes it possible to improve the conditioning of the filtering of the pre-fused image by replacing said poorly conditioned product by said better conditioned linear combination .
  • the invention also relates to a device for acquiring a signal for constructing a merged signal, the merged signal being called a high-resolution signal, from a plurality of signals acquired by an acquisition sensor of the acquisition device, each signal of the plurality of signals, being called a low resolution signal, and comprising a plurality of samples measured by the acquisition sensor configured according to a set of acquisition parameters of said signal, the set of acquisition parameters of each low resolution signal comprising a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low resolution signal, the resolution of the low resolution signal being less than a resolution of the high resolution signal, the device comprising:
  • the acquisition sensor configured to acquire the plurality of low resolution signals
  • -measurement equipment configured to measure and / or estimate the acquisition parameters
  • a module for processing the plurality of signals configured to pre-merge the plurality of signals by calculating a pre-fused signal, a function of the plurality of signals and of all of the acquisition parameters of each signal of the plurality;
  • the device further comprising a data transmission unit configured to transmit the pre-fused filtered signal and all of the acquisition parameters to a remote computing unit, without transmitting the plurality of signals.
  • the remote computing unit can calculate an estimate of the pre-fused signal by inverse filtering of the pre-fused filtered signal, then determine, according to a known variational method, the high-resolution signal from the estimate of the pre-fused signal and from the set of acquisition parameters for each signal of the plurality.
  • the invention further comprises one or more of the following characteristics, alone or in a technically acceptable combination.
  • the signal is an image of a scene
  • the set of acquisition parameters of each low-resolution image further comprises a plurality of offsets, each offset of the plurality of offsets being associated with a low resolution image of the plurality of images, said shift associated with said low resolution image corresponding to a displacement of the acquisition sensor relative to the scene between the acquisition of said low resolution image and the acquisition of a low image next resolution, and in which at least one dimension of the pitch sampling of a low resolution image corresponds to at least one direction defined in a formation plane of the low resolution image on the acquisition device, in which the processing module is configured to calculate a pre-fused image; and wherein the filter module is configured to filter the pre-merged image; the device further comprising a data transmission unit configured to transmit the pre-fused filtered image and all of the acquisition parameters to a remote computing unit, without transmitting the plurality of images.
  • the remote computing unit can calculate an estimate of the pre-fused image by inverse filtering of the pre-fused filtered image, then determine, according to a known variational method, the high-resolution image from the estimate. of the pre-fused image and of all the acquisition parameters of each image of the plurality.
  • the acquisition sensor is modeled by a linear operator, and in which the pre-merging comprises applying the assistant operator of the linear operator to the plurality of images.
  • the filtering step includes applying to the pre-merged pseudo-inverse image of a linear combination of the identity operator and the product of the assistant operator and the linear operator.
  • the invention also relates to a computer program comprising instructions executable on an on-board computer and instructions executable on a remote computer, the executable instructions being configured to implement the method according to one of the implementation modes. work described above when said instructions are executed respectively on the on-board computer and on the remote computer.
  • the invention also relates to a use of the method according to one of the embodiments described above, to merge the images acquired by an acquisition device according to one of the embodiments described above, operably coupled. to a portable computer so that the portable computer includes the on-board computing unit of the device and the transmission unit to a remote computing unit, the portable computer being in particular a tablet or a smart phone.
  • the invention also relates to a use of the method according to one of the embodiments described above, for merging the images acquired by an acquisition device according to one of the embodiments described above, the device acquisition being on board an aircraft, in particular a drone.
  • the invention also relates to a use of the method according to one of the embodiments described above, for merging the images acquired by an acquisition device according to one of the embodiments described above, the device acquisition system being a medical imaging system.
  • the invention also relates to a use of the method according to one of the embodiments described above, for merging the images acquired by an acquisition device according to one of the embodiments described above, the device acquisition being a space imagery system carried by a satellite.
  • the invention also relates to a use of the method according to one of the embodiments described above, for merging into a spectrogram the interferograms of a plurality of interferograms acquired by a Michelson interferometer, or by an interferometer at static Fourier transform, the interferometer being for example of the SIFTI type, or to merge into a hyperspectral cube the interferometric cubes of a plurality of interferometric cubes acquired by a spectro-imager, the spectro-imager being for example of the SIELETERS type for example.
  • FIG. 1 is a presentation of a flowchart of an embodiment of the method according to the invention.
  • the invention will be described in the context of spatial imagery, but this is only one, non-limiting example of possible applications of the invention. Those skilled in the art will understand that the invention can just as easily be applied to the reconstruction of a high resolution signal, on remote and powerful calculation means, by the application of a conventional variational method, to a plurality of low-resolution signals acquired by means of an acquisition device having limited calculation means on board.
  • the acquisition device can be for example a smartphone equipped with a camera and motion sensors configured to acquire and preprocess on board a burst of images, called low resolution images, before transmitting the preprocessed images to a calculation means. remote to reconstruct higher resolution images, called high resolution images.
  • the acquisition device can also be on board an airplane, with or without a pilot, the device comprising a camera and a movement estimation system for example.
  • the device can also be a medical imaging system, configured to acquire, register, preprocess medical images before transmitting said preprocessed images with the appropriate registration information to a remote computing means.
  • the method according to the invention can be applied to monochromatic or multispectral images, for example images acquired on 3 or 4 spectral channels, the method being applied separately on each channel.
  • the method according to the invention applies to a stack of low-resolution signals resulting, for example, from the indirect measurement of a hyperspectral cube, such as signals which are obtained in a hyperspectral acquisition system by interferometry.
  • low resolution signal the signal (s) acquired by the device for acquiring the signal (s) before the signal (s) are processed by the calculation means on board the acquisition device, then transmitted to a remote computing means.
  • the low resolution signal qualification does not prejudge the resolution of the signal in absolute terms, but only indicates that said low resolution signal is of a lower resolution than the resolution of the signal which will be reconstructed by the remote computing means.
  • high resolution signal the signal, with a resolution greater than the resolution of the previously defined low resolution signals, which is reconstructed by the remote computing means, from the data transmitted by the acquisition device, ie from preprocessed low-resolution signals and a set of parameters for acquiring low-resolution signals.
  • the method according to the invention potentially applies to a great diversity of signals, in particular to images.
  • an image is a two-dimensional signal.
  • the method according to the invention is particularly advantageous when the possibility of constructing a high-resolution image and of denoising a plurality of signals, in particular images, of good quality is limited by two constraints:
  • a storage and computing power constraint on board that is to say on the platform on which the signal acquisition device is installed, said platform possibly being for example a computer, a tablet, a smart phone, or a drone, a satellite, or a medical imaging system;
  • a data transmission constraint to the remote means i.e. on the ground when the device is on board an air or space means.
  • a remote digital processing makes it possible to circumvent the constraints of on-board processing and to use better super-resolution algorithms, ie configured to build a high-resolution signal from a plurality of low-resolution signals, but it requires transmission to the remote means the plurality of low-resolution and noisy images, therefore weakly compressible, which reduces the acquisition capacity;
  • On-board digital processing on the acquisition device allows less data to be transmitted, but is limited by on-board storage and computing resources.
  • the present invention makes it possible to overcome these two constraints by distributing the processing between: - A rapid step of pre-merging the data on the platform or the acquisition device;
  • the method according to the invention is implemented by and on an acquisition device 10 comprising:
  • an acquisition sensor 11 configured to acquire a plurality of low resolution signals BR
  • a data transmission unit 14 configured to transmit data to a remote computing unit 20.
  • the acquisition sensor can be for example an optical observation instrument on board a satellite or an aircraft configured to acquire a series of low resolution images of a scene, for example a portion of the earth's surface, at successive instants, and while the satellite or aircraft is scrolling above the ground.
  • Each signal, or image, low resolution BR comprises a plurality of samples measured by the sensor of the acquisition device, the sensor being configured to acquire the signal according to a set of PA acquisition parameters, the set of parameters of acquisition PA of each low resolution signal comprising in particular a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low resolution signal BR.
  • at least one dimension of the sampling step of a low resolution image corresponds to at least one direction defined in an image formation plane. low resolution on the acquisition device.
  • the at least one dimension comprises the two sampling directions of each low resolution image, said low resolution image forming a matrix of samples, ie of pixels, of dimension equal to the number of samples in one direction, multiplied by the number of samples in the other direction.
  • the set of acquisition parameters can also include, in the case of a space image sensor carried by a traveling satellite, a plurality of offsets, each offset of the plurality of offsets being associated with a low resolution image of the satellite. plurality of images acquired by the sensor, said shift associated with said low resolution image corresponding to a displacement of the acquisition device relative to the scene between the acquisition of said low resolution image and the acquisition of a subsequent low resolution image .
  • the measuring equipment 12 configured to measure and / or estimate the PA acquisition parameters can, for example, be a platform motion detector which carries the acquisition sensor 11.
  • the on-board calculation unit 13 is configured to receive the plurality of signals, or images, low resolution, and the set of acquisition parameters PA corresponding to said plurality of signals, or images;
  • the on-board computing unit 13 can be an on-board computer on the platform which carries the acquisition sensor, conventionally comprising one or more processors and associated memory.
  • the transmission unit 14 is configured to receive the data processed by the on-board computing unit 13 with all the acquisition parameters PA, and to transmit them to the remote computing unit 20, after they have been obtained. been optionally compressed 102a by a compression module which can be found in the on-board computing unit, or in the transmission unit 14.
  • the remote computing unit 20 is configured to receive the transmitted data and to process them with the aim of constructing a high-resolution HR signal or image from the data pre-processed by the on-board computing unit 13, after having optionally decompressed them. 102ter.
  • a reference signal or an image, is defined, said reference signal being that which would be picked up by the acquisition sensor 11 configured with a sampling step corresponding to the sampling step, called reference sampling step, desired for the high resolution image.
  • Either HR is the signal, or the high-resolution reference image thus defined.
  • the acquisition sensor 11, configured to acquire each signal, or image, low resolution, is modeled by a linear operator which makes it possible to pass from the signal or the image, of high resolution reference HR to the signal, or to the image, low resolution depending on the PA acquisition parameters.
  • each displacement of the acquisition sensor 11 relative to the scene between the acquisition of a low resolution image and the acquisition of a next low resolution image corresponds to an offset associated with said low resolution image of the plurality of images acquired by the sensor.
  • each low resolution image BR ' is of size mxn
  • the desired high resolution HR image is of size MxN
  • a * d .BR is of size MxN and can in general be calculated on board. It is then possible to transmit to the ground the pre-fused image A * d .BR, however this image turns out to be in general too irregular to be effectively compressed.
  • the pre-fused filtered image F d (A * d .BR) is effectively compressible, in the sense that the errors of the 102bis compression / 102ter decompression process are limited, therefore fairly regular and with a good signal-to-noise ratio;
  • the filtering function F d is invertible so that the pre-fused image A * d .BR can be reconstructed on the ground from the pre-fused filtered image F d (A * d .BR), in order to then apply one of the variational methods for the reconstruction of the desired high resolution HR image.
  • the method 100 comprises the following steps:
  • the pre-merged signal being a function of the plurality of signals and of all of the parameters of acquiring PA of each low resolution signal of the plurality;
  • the remote calculation unit 20 determines a variational method, of the high resolution signal FIR from the estimation of the pre-fused signal A * d .BR and of all the acquisition parameters of each signal of the plurality, the resolution of the merged signal being greater than a resolution of each signal of the plurality.
  • the filtering function F d can in particular be defined as the pseudo-inverse of a linear combination of the identity operator Id and the operator equal to A * d A d , i.e.:
  • the pre-fused filtered image Fd (A * d.BR) corresponds to the unique minimizer of the regularized least squares energy, also called Tikhonov energy; this choice constitutes a compromise between the two preceding situations, and makes it possible to alleviate the possible bad conditioning of the operator A * d Ad which could make inoperative the calculation of the estimator of the least squares according to the preceding option.
  • the method according to the invention also applies, for example, to signals obtained by interferometric spectrography; in this case :
  • the high resolution signal is an S (sigma) spectrogram (or a hyperspectral cube S (x, y, sigma) where sigma represents a wavelength, and S (sigma) represents the light energy measured at this length of
  • the instrument is configured to obtain the values of the signal S (sigma) for M sigma values sampled regularly between sigma_min and sigma_max.
  • the instrument making it possible to measure the low resolution signal can be for example a Michelson interferometer, a static Fourier transform interferometer like SIFTI (for an interferogram) or a spectro-imager like SIELETERS (for the interferometric cube)
  • the set of acquisition parameters for each low-resolution signal is the set of delta path difference values that may vary from one acquisition to another
  • A_delta is not invertible and it is necessary to have recourse to a plurality of low resolution signals in order to be able to use them to reconstruct the spectrogram S (high resolution signal).
  • the plurality of low-resolution signals is a set of interferograms 11, ..., IK (or interferometric cubes) corresponding each time to different values of delta. 1.
  • this delta value can be varied by moving the distances between the prisms.
  • the variation in delta is obtained by an offset of the (airborne) instrument with respect to the scene between two shots.
  • a precise estimate of this shift and a registration of the images obtained is necessary in order to obtain the exact values of delta (x, y) for each image registered.
  • an accurate attitude estimation system of the instrument can be used for this purpose.
  • the invention also relates to a device 10 for acquiring a signal for constructing a merged HR signal, the merged signal being called a high resolution HR signal, from a plurality of BR signals acquired by the device.
  • a device 10 for acquiring a signal for constructing a merged HR signal the merged signal being called a high resolution HR signal, from a plurality of BR signals acquired by the device.
  • each signal of the plurality of signals BR being called a low resolution signal BR and comprising a plurality of samples measured by the acquisition device 10 configured according to a set of parameters of acquisition PA of said signal, the set acquisition parameters PA of each low-resolution signal BR comprising a sampling step along at least one dimension, the sampling step corresponding to a resolution of said low-resolution signal BR, the resolution of the low-resolution signal BR being less than one resolution of the high resolution HR signal
  • the device 10 comprising:
  • an acquisition sensor 11 configured to acquire the plurality of low resolution signals BR
  • an on-board computing unit 13 comprising:
  • a module for processing the plurality of signals BR configured to pre-merge 101a the plurality of signals by calculating a pre-fused signal, a function of the plurality of signals BR and of all of the acquisition parameters PA of each signal of the plurality of signals.
  • a filtering module configured to filter 101b the pre-fused signal; the device further comprising a data transmission unit configured to transmit the pre-fused filtered signal to a remote computing unit 20.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

Procédé (100) pour construire un signal fusionné haute résolution (HR), à partir de signaux basse résolution (BR) acquis par un dispositif d'acquisition (10), comprenant les étapes suivantes : acquisition (101) de signaux basse résolution (BR); mesure et/ou estimation (101') de paramètres d'acquisition (PA); préfusionnement (101a) des signaux, fonction des signaux basse résolution et des paramètres (PA); filtrage (101b) du signal préfusionné; transmission (102), du signal préfusionné filtré et des paramètres (PA),; calcul (103), d'une estimation du signal préfusionné par un filtrage inverse du signal préfusionné filtré; détermination (104), selon une méthode variationnelle, du signal fusionné haute résolution à partir de l'estimation du signal préfusionné et des paramètres, une résolution du signal fusionné étant supérieure à une résolution de chaque signal.

Description

DESCRIPTION
TITRE : Procédé de construction d’un signal ou d’une image fusionné(e) haute résolution à partir d’une pluralité de signaux ou d’une pluralité d’images basse résolution
La présente invention concerne le domaine du traitement des images pour fusionner plusieurs images en une seule image de résolution supérieure, ledit procédé étant mis en œuvre pour une partie sur un segment embarqué à bord du dispositif d’acquisition, et pour une autre partie sur un segment moins contraint en puissance de calcul.
Il est connu d’utiliser un moyen d’acquisition d’images pour acquérir une succession d’images d’une scène fixe, le moyen d’acquisition étant muni d’un dispositif pour estimer précisément les mouvements du moyen d’acquisition entre chaque prise de vue. Il est alors possible, selon des procédés connus de l’homme du métier, de fusionner les images successives acquises pour obtenir une image de résolution supérieure aux images acquises.
L’inconvénient des méthodes de fusionnement connues est de nécessiter une puissance de calcul très importante, qui peut ne pas être disponible sur le segment à bord duquel le moyen d’acquisition des images est embarqué, ledit segment pouvant être un segment spatial, ou aérien, ou encore le terminal mobile d’un utilisateur. Il est alors possible, et connu également, de transmettre les données acquises à un segment au sol, ou à un serveur distant, moins contraint en terme de puissance de calcul. L’inconvénient de cette étape de transmission est double : d’une part, elle nécessite en général une étape de compression/décompression des données acquises, pour s’adapter à la bande passante du moyen de transmission de données ; l’étape de compression/décompression étant alors susceptible de dégrader la qualité des données, lorsque le volume des données à transmettre, et par conséquent le taux de compression requis pour leur transmission, est important. La dégradation de la qualité des données induite par la transmission des données n’est pas sans impact sur la qualité finale de l’image fusionnée. D’autre part cette étape de transmission induit un coût élevé, en terme d’énergie, et/ou de temps, et/ou de bande passante consommée.
L’invention a donc pour but de proposer une solution à tout ou partie de ces problèmes.
A cet effet, la présente invention concerne un procédé pour construire un signal fusionné, le signal fusionné étant appelé signal haute résolution, à partir d’une pluralité de signaux acquis par un dispositif d’acquisition, chaque signal de la pluralité de signaux, étant appelé signal basse résolution, chaque signal comprenant une pluralité d’échantillons mesurés par un capteur d’acquisition du dispositif d’acquisition configuré selon un ensemble de paramètres d’acquisitions dudit signal, l’ensemble des paramètres d’acquisition de chaque signal basse résolution comprenant un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution, la résolution du signal basse résolution étant inférieure à une résolution du signal haute résolution, le dispositif d’acquisition comprenant :
- le capteur d’acquisition configuré pour acquérir la pluralité de signaux basse résolution,
-un équipement de mesure configuré pour mesurer et/ou estimer les paramètres d’acquisition,
-une unité de calcul embarquée,
-une unité de transmission de données, configurée pour transmettre des données à une unité de calcul déportée, le procédé comprenant les étapes suivantes :
- acquisition de la pluralité de signaux basse résolution;
- mesure et/ou estimation de l’ensemble des paramètres d’acquisition; - préfusionnement de la pluralité des signaux en un signal préfusionné, par un calcul réalisé par l’unité de calcul embarquée, le signal préfusionné étant fonction de la pluralité des signaux et de l’ensemble des paramètres d’acquisition de chaque signal basse résolution de la pluralité ;
- filtrage du signal préfusionné, réalisé par l’unité de calcul embarquée;
- transmission, par l’unité de transmission à l’unité de calcul déportée, du signal préfusionné filtré et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité, sans transmission de la pluralité des signaux ;
- calcul, par l’unité de calcul déportée, d’une estimation du signal préfusionné par un filtrage inverse du signal préfusionné filtré;
- détermination, par l’unité de calcul déportée, selon une méthode variationnelle, du signal fusionné haute résolution à partir de l’estimation du signal préfusionné et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité, une résolution du signal fusionné haute résolution étant supérieure à une résolution de chaque signal de la pluralité.
Selon ces dispositions, l’étape de calcul du signal préfusionné filtré peut être réalisée par l’unité de calcul embarquée, dotée de ressources calculatoires limitées.
Selon ces dispositions, le volume des données du signal préfusionné filtrée est inférieur au volume total des données de la pluralité de signaux et du même ordre que le volume de données d’un signal de référence qui serait acquis par le dispositif d’acquisition configuré selon un pas d’échantillonnage correspondant à la résolution du signal fusionné.
Selon un mode de mise en œuvre, l’invention comprend une ou plusieurs des caractéristiques suivantes, seules ou en combinaison techniquement acceptable. Selon un mode de mise en œuvre, chaque signal basse résolution de la pluralité de signaux basse résolution est une image basse résolution d’une pluralité d’images basse résolution d’une scène, dans lequel le signal préfusionné est une image préfusionnée, et dans lequel le signal préfusionné filtré est une image préfusionnée filtrée, dans lequel le signal fusionné haute résolution est une image fusionnée dite image haute résolution, dans lequel l’ensemble des paramètres d’acquisition de chaque image basse résolution comprennent en outre une pluralité de décalages, chaque décalage de la pluralité de décalages étant associé à une image basse résolution de la pluralité d’images, ledit décalage associé à ladite image basse résolution correspondant à un déplacement du dispositif d’acquisition relativement à la scène entre l’acquisition de ladite image basse résolution et l’acquisition d’une image basse résolution suivante, et dans lequel l’au moins une dimension du pas d’échantillonnage d’une image basse résolution correspond à au moins une direction définie dans un plan de formation de l’image basse résolution sur le capteur d’acquisition.
Selon ces dispositions, l’étape de calcul de l’image préfusionnée filtrée peut être réalisée par l’unité de calcul embarquée, dotée de ressources calculatoires limitées.
Selon ces dispositions, le volume des données de l’image préfusionnée filtrée est inférieur au volume total des données de la pluralité d’images et du même ordre que le volume de données d’une image de référence qui serait acquise par le dispositif d’acquisition configuré selon un pas d’échantillonnage correspondant à la résolution de l’image fusionnée.
Selon un mode de mise en œuvre, chaque signal basse résolution de la pluralité de signaux basse résolution est un interférogramme d’une pluralité d’interférogrammes, ou respectivement un cube interférométrique d’une pluralité de cubes interférométriques, dans lequel le signal fusionné haute résolution est un spectrogramme, ou respectivement un cube hyperspectral, dans lequel l’ensemble des paramètres d’acquisition comprennent une pluralité de différences de marche, chaque différence de marche de la pluralité de différences de marche étant associée à un interférogramme de la pluralité d’interférogrammes, ou respectivement à un cube interférométrique de la pluralité de cubes interférométriques.
Selon un mode de mise en oeuvre, l’étape de transmission comprend une étape de compression, puis de décompression, de l’image préfusionnée flitrée transmise ;
Selon ces dispositions, l’image préfusionnée filtrée reçue est l’image préfusionnée filtrée, comprimée puis décomprimée.
Selon ces dispositions, avec des ressources calculatoires embarquées limitées, il est possible de minimiser encore plus la quantité de données à transmettre et/ou de minimiser la perte d’information liée à l’étape de compression puis de décompression pour un même volume de données transmises.
Selon un mode de mise en oeuvre, une composante du déplacement correspondant à chaque décalage de la pluralité de décalages est mesurée avec une précision inférieure au pas d’échantillonnage selon l’axe de l’image basse résolution à laquelle ledit décalage est associé, en particulier avec une précision de l’ordre d’un dixième, ou d’un centième du pas d’échantillonnage.
Selon un mode de mise en oeuvre, la pluralité de signaux est modélisée par l’application d’un opérateur linéaire à un signal de référence acquis par le capteur d’acquisition du dispositif d’acquisition configuré selon un pas d’échantillonnage correspondant à la résolution du signal fusionné haute résolution, et dans lequel l’étape de préfusionnement comprend l’application de l’opérateur adjoint dudit opérateur linéaire à la pluralité de signaux. Selon ces dispositions, l’étape de préfusionnement n’introduit aucune perte d’information utile au sens où certains algorithmes de fusionnement, en particulier les méthodes variationnelles avec une attache aux données quadratiques, ne nécessitent pas la connaissance de la pluralité de signaux mais seulement la connaissance du signal préfusionné.
Selon ces dispositions, l’étape de préfusionnement limite les pertes d’information liées aux étapes de compression/décompression pouvant être mises en œuvre au cours de l’étape de transmission, par rapport aux pertes d’information qui seraient associées aux étapes de compression/décompression si l’on transmettait la pluralité de signaux avec un même volume de données compressées.
Selon un mode de mise en œuvre, l’étape de filtrage ne modifie pas le signal préfusionné.
Selon un mode de mise en œuvre, l’étape de filtrage comprend l’application, au signal préfusionné, du pseudo-inverse du produit de l’opérateur adjoint et de l’opérateur linéaire.
Selon ces dispositions, si le produit de l’opérateur adjoint et de l’opérateur linéaire est bien conditionné, l’image préfusionnée filtrée obtenue avec l’opérateur pseudo-inverse est plus régulière que l’image préfusionnée, de sorte qu’elle sera comprimée plus efficacement.
Selon ces dispositions, le conditionnement du produit de l’opérateur adjoint et de l’opérateur linéaire dépend de l’uniformité de la distribution de la pluralité des décalages modulo le pas d’échantillonnage des signaux.
Selon ces dispositions, le conditionnement du produit de l’opérateur adjoint et de l’opérateur linéaire est fonction du nombre d’images de la pluralité d’images acquises, en particulier en fonction du rapport entre le nombre d’images de la pluralité d’images, et le produit des facteurs de sous-échantillonnage selon toutes les dimensions échantillonnées. Les facteurs de sous-échantillonnage correspondent pour chaque dimension échantillonnée au rapport entre la valeur du pas d’échantillonnage selon cette dimension pour les signaux basse résolution et la valeur du pas d’échantillonnage selon la même dimension pour le signal de référence.
Selon un mode de mise en oeuvre, l’étape de filtrage comprend l’application du pseudo-inverse d’une combinaison linéaire de l’opérateur identité et du produit de l’opérateur adjoint et de l’opérateur linéaire.
Selon ces dispositions, si le produit de l’opérateur adjoint et de l’opérateur linéaire est mal conditionné, la combinaison linéaire permet d’améliorer le conditionnement du filtrage de l’image préfusionnée en remplaçant ledit produit mal conditionné par ladite combinaison linéaire mieux conditionnée.
L’invention concerne également un dispositif d’acquisition d’un signal pour construire un signal fusionné, le signal fusionné étant appelé signal haute résolution, à partir d’une pluralité de signaux acquis par un capteur d’acquisition du dispositif d’acquisition, chaque signal de la pluralité de signaux, étant appelé signal basse résolution, et comprenant une pluralité d’échantillons mesurés par le capteur d’acquisition configuré selon un ensemble de paramètres d’acquisition dudit signal, l’ensemble des paramètres d’acquisition de chaque signal basse résolution comprenant un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution, la résolution du signal basse résolution étant inférieure à une résolution du signal haute résolution, le dispositif comprenant :
- le capteur d’acquisition configuré pour acquérir la pluralité de signaux basse résolution, -un équipement de mesure configuré pour mesurer et/ou estimer les paramètres d’acquisition,
- une unité de calcul embarquée comprenant ,
- un module de traitement de la pluralité des signaux configuré pour préfusionner la pluralité des signaux en calculant un signal préfusionné, fonction de la pluralité des signaux et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité;
- un module de filtrage configuré pour filtrer le signal préfusionné; le dispositif comprenant en outre une unité de transmission de données configurée pour transmettre le signal préfusionné filtré et l’ensemble des paramètres d’acquisition à une unité de calcul déportée, sans transmission de la pluralité des signaux.
Selon ces dispositions, l’unité de calcul déportée peut calculer une estimation du signal préfusionné par un filtrage inverse du signal préfusionné filtré, puis déterminer, selon une méthode variationnelle connue, le signal haute résolution à partir de l’estimation du signal préfusionné et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité.
Selon un mode de réalisation, l’invention comprend en outre une ou plusieurs des caractéristiques suivantes, seules ou en combinaison techniquement acceptable.
Selon un mode de réalisation, le signal est une image d’une scène, et dans lequel l’ensemble de paramètres d’acquisition de chaque image basse résolution comprend en outre une pluralité de décalages, chaque décalage de la pluralité de décalages étant associé à une image basse résolution de la pluralité d’images, ledit décalage associé à ladite image basse résolution correspondant à un déplacement du capteur d’acquisition relativement à la scène entre l’acquisition de ladite image basse résolution et l’acquisition d’une image basse résolution suivante, et dans lequel l’au moins une dimension du pas d’échantillonnage d’une image basse résolution correspond à au moins une direction définie dans un plan de formation de l’image basse résolution sur le dispositif d’acquisition, dans lequel le module de traitement est configuré pour calculer une image préfusionnée; et dans lequel le module de filtrage est configuré pour filtrer l’image préfusionnée; le dispositif comprenant en outre une unité de transmission de données configurée pour transmettre l’image préfusionnée filtrée et l’ensemble des paramètres d’acquisition à une unité de calcul déportée, sans transmission de la pluralité des images.
Selon ces dispositions, l’unité de calcul déportée peut calculer une estimation de l’image préfusionnée par un filtrage inverse de l’image préfusionnée filtrée, puis déterminer, selon une méthode variationnelle connue, l’image haute résolution à partir de l’estimation de l’image préfusionnée et de l’ensemble des paramètres d’acquisition de chaque image de la pluralité.
Selon un mode de réalisation, le capteur d’acquisition est modélisé par un opérateur linéaire, et dans lequel le préfusionnement comprend l’application de l’opérateur adjoint de l’opérateur linéaire à la pluralité d’images.
Selon un mode de réalisation, l’étape de filtrage comprend l’application à l’image préfusionnée du pseudo-inverse d’une combinaison linéaire de l’opérateur identité et du produit de l’opérateur adjoint et de l’opérateur linéaire.
L’invention concerne également un programme d’ordinateur comprenant des instructions exécutables sur un ordinateur embarqué et des instructions exécutables sur un ordinateur déporté, les instructions exécutables étant configurées pour mettre en oeuvre le procédé selon l’un des modes de mise en œuvre décrit ci-avant lorsque lesdites instructions sont exécutées respectivement sur l’ordinateur embarqué et sur l’ordinateur déporté.
L’invention concerne également une utilisation du procédé selon l’un des modes de mise en œuvre décrit ci-avant, pour fusionner les images acquises par un dispositif d’acquisition selon l’une des modes de réalisation décrit ci-avant, couplé fonctionnellement à ordinateur portable de sorte que l’ordinateur portable comprend l’unité de calcul embarquée du dispositif et l’unité de transmission vers une unité de calcul déportée, l’ordinateur portable étant en particulier une tablette ou un téléphone intelligent.
L’invention concerne également une utilisation du procédé selon l’un des modes de mise en œuvre décrit ci-avant, pour fusionner les images acquises par un dispositif d’acquisition selon l’une des modes de réalisation décrit ci-avant, le dispositif d’acquisition étant embarqué sur un aéronef, en particulier un drone.
L’invention concerne également une utilisation du procédé selon l’un des modes de mise en œuvre décrit ci-avant, pour fusionner les images acquises par un dispositif d’acquisition selon l’une des modes de réalisation décrit ci-avant, le dispositif d’acquisition étant un système d’imagerie médicale.
L’invention concerne également une utilisation du procédé selon l’un des modes de mise en œuvre décrit ci-avant, pour fusionner les images acquises par un dispositif d’acquisition selon l’une des modes de réalisation décrit ci-avant, le dispositif d’acquisition étant un système d’imagerie spatiale porté par un satellite.
L’invention concerne également une utilisation du procédé selon l’un des modes de mise en œuvre décrit ci-avant, pour fusionner en un spectrogramme les interférogrammes d’une pluralité d’interférogrammes acquis par un interféromètre de Michelson, ou par un interféromètre à transformée de Fourier statique, l’interféromètre étant par exemple du type SIFTI, ou pour fusionner en un cube hyperspectral les cubes interférométriques d’une pluralité de cubes interférométriques acquis par un spectro-imageur, le spectro-imageur étant par exemple par exemple du type SIELETERS.
Pour sa bonne compréhension, un mode de réalisation et/ou de mise en oeuvre de l’invention est décrit en référence aux dessins ci-annexés représentant, à titre d’exemple non limitatif, une forme de réalisation ou de mise en oeuvre respectivement d’un dispositif et/ou d’un procédé selon l’invention. Les mêmes références sur les dessins désignent des éléments similaires ou des éléments dont les fonctions sont similaires.
[Fig. 1] est une présentation d’un logigramme d’un mode de mise en oeuvre du procédé selon l’invention.
L’invention va être décrite dans le contexte de l’imagerie spatiale, mais ce n’est qu’un exemple, non limitatif, parmi les applications possibles de l’invention. L’homme du métier comprendra que l’invention peut tout aussi bien être appliquée à la reconstruction d’un signal haute résolution, sur des moyens de calculs déportés et puissants, par l’application d’une méthode variationnelle classique, à une pluralité de signaux basse résolution acquis au moyen d’un dispositif d’acquisition disposant à bord de moyens de calculs limités.
Le dispositif d’acquisition peut être par exemple un smartphone équipé d’une caméra et de capteurs de mouvement configuré pour acquérir et prétraiter à bord une rafale d’images, dites images basse résolution, avant de transmettre les images prétraitées à un moyen de calcul déporté pour reconstruire des images de plus haute résolution, dites images haute résolution.
Le dispositif d’acquisition peut également être embarqué sur un avion, avec ou sans pilote, le dispositif comprenant une caméra et un système d’estimation du mouvement par exemple. Le dispositif peut également être un système d’imagerie médicale, configuré pour acquérir, recaler, prétraiter les images médicales avant de transmettre à un moyen de calcul déporté lesdites images prétraitées avec les informations de recalages appropriées.
Le procédé selon l’invention peut s’appliquer à des images monochromatiques ou multispectrales, par exemple des images acquises sur 3 ou 4 canaux spectraux, la méthode étant appliquée séparément sur chaque canal.
Plus généralement, le procédé selon l’invention s’applique à une piles de signaux basse résolution résultant par exemple de la mesure indirecte d’un cube hyperspectral, comme les signaux qui sont obtenus dans un système d’acquisition hyperspectral par interférométrie.
Par convention, nous appellerons signal basse résolution le ou les signaux acquis par le dispositif d’acquisition du ou des signaux avant que le ou les signaux, ne soient traités par les moyens de calculs embarqués sur le dispositif d’acquisition, puis transmis à un moyen de calcul déporté. La qualification de signal basse résolution ne préjuge pas de la résolution du signal dans l’absolu, mais indique seulement que ledit signal basse résolution est d’une résolution inférieure à la résolution du signal qui sera reconstruit par le moyen de calcul déporté.
Par convention également, nous appellerons signal haute résolution le signal, de résolution supérieure à la résolution des signaux basse résolution précédemment définis, qui est reconstruit par le moyen de calcul déporté, à partir des données transmises par le dispositif d’acquisition, i.e. à partir des signaux basse résolution prétraités et un ensemble de paramètres d’acquisition des signaux basse résolution. Comme cela a été indiqué précédemment, le procédé selon l’invention s’applique potentiellement à une grande diversité de signaux, notamment à des images. Par convention, nous considérerons ici qu’une image est un signal à deux dimensions.
Le procédé selon l’invention est particulièrement avantageux lorsque la possibilité de construire une image haute résolution et de débruiter une pluralité de signaux, notamment d’images, de bonne qualité est limitée par deux contraintes :
- Une contrainte de stockage et puissance de calcul à bord, c’est-à-dire sur la plateforme sur laquelle le dispositif d’acquisition des signaux est embarquée, ladite plateforme pouvant être par exemple un ordinateur, une tablette, un téléphone intelligent, ou encore un drone, un satellite, ou un système d’imagerie médicale ;
- Une contrainte de transmission des données vers le moyen déporté, i.e. au sol lorsque le dispositif est embarqué sur un moyen aérien ou spatial.
Ces deux contraintes sont en quelque sorte en compétition car :
- Un traitement numérique déporté permet de contourner les contraintes de traitements à bord et d’utiliser de meilleurs algorithmes de super résolution, i.e. configuré pour construire un signal haute résolution à partir d’une pluralité de signaux basse résolution, mais il impose de transmettre au moyen déporté la pluralité d’images basse résolution et bruitées, donc faiblement compressibles, ce qui diminue la capacité d’acquisition ;
- Un traitement numérique embarqué sur le dispositif d’acquisition, permet de transmettre moins de données, mais est limité par les ressources de stockage et de calcul embarquées.
La présente invention permet de dépasser ces deux contraintes en répartissant le traitement entre : - Une étape rapide de préfusionnement des données sur la plateforme ou le dispositif d’acquisition ;
- Une étape de reconstruction, déportée, nécessitant des moyens de calculs et de stockage plus importants.
Une description détaillée d’un exemple de mise en œuvre du procédé selon l’invention est présentée ci-dessous en référence à la figure 1.
Le procédé selon l’invention est mis en œuvre par et sur un dispositif d’acquisition 10 comprenant :
- un capteur d’acquisition 11 configuré pour acquérir une pluralité de signaux basse résolution BR,
-un équipement de mesure 12 configuré pour mesurer et/ou estimer les paramètres d’acquisition PA,
-une unité de calcul embarquée 13,
-une unité de transmission 14 de données, configurée pour transmettre des données à une unité de calcul déportée 20.
Le capteur d’acquisition peut être par exemple un instrument optique d’observation embarqué sur un satellite ou un aéronef configuré pour acquérir une suite d’images basse résolution d’une scène, par exemple une portion du sol terrestre, à des instants successifs, et pendant que le satellite ou l’aéronef défile au-dessus du sol.
Chaque signal, ou image, basse résolution BR comprend une pluralité d’échantillons mesurés par le capteur du dispositif d’acquisition, le capteur étant configuré pour acquérir le signal selon un ensemble de paramètres d’acquisitions PA, l’ensemble des paramètres d’acquisition PA de chaque signal basse résolution comprenant notamment un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution BR. Dans le cas d’un capteur d’images spatiales porté par un satellite défilant, l’au moins une dimension du pas d’échantillonnage d’une image basse résolution correspond à au moins une direction définie dans un plan de formation de l’image basse résolution sur le dispositif d’acquisition. De manière habituelle, l’au moins une dimension comprend les deux directions d’échantillonnage de chaque image basse résolution, ladite image basse résolution formant une matrice d’échantillons, i.e. de pixels, de dimension égale au nombre d’échantillons selon une direction, multiplié par le nombre d’échantillons selon l’autre direction.
L’ensemble des paramètres d’acquisition peut également comprendre, dans le cas d’un capteur d’images spatiales porté par un satellite défilant, une pluralité de décalages, chaque décalage de la pluralité de décalages étant associé à une image basse résolution de la pluralité d’images acquises par le capteur, ledit décalage associé à ladite image basse résolution correspondant à un déplacement du dispositif d’acquisition relativement à la scène entre l’acquisition de ladite image basse résolution et l’acquisition d’une image basse résolution suivante. L’équipement de mesure 12 configuré pour mesurer et/ou estimer les paramètres d’acquisition PA peut être par exemple un détecteur de mouvement de la plateforme qui porte le capteur d’acquisition 11.
L’unité de calcul embarquée 13 est configurée pour recevoir la pluralité de signaux, ou d’images, basse résolution, et l’ensemble des paramètre d’acquisition PA correspondant à ladite pluralité de signaux, ou d’images; L’unité de calcul embarquée 13 peut être un calculateur embarqué sur la plateforme qui porte le capteur d’acquisition, comprenant de manière classique un ou plusieurs processeurs et de la mémoire associée. L’unité de transmission 14 est configurée pour recevoir les données traitées par l’unité de calcul embarquée 13 avec l’ensemble des paramètres d’acquisition PA, et pour les transmettre à l’unité de calcul déportée 20, après qu’elles aient été éventuellement comprimées 102bis par un module de compression qui peut se trouver dans l’unité de calcul embarquée, ou dans l’unité de transmission 14.
L’unité de calcul déportée 20 est configurée pour recevoir les données transmises et pour les traiter dans le but de construire un signal ou une image haute résolution HR à partir des données prétraitées par l’unité de calcul embarquée 13, après les avoir éventuellement décomprimées 102ter.
Afin de présenter plus en détail un exemple de mise en œuvre du procédé 100, un signal, ou une image, de référence est défini(e), ledit signal de référence étant celui qui serait capté par le capteur d’acquisition 11 configuré avec un pas d’échantillonnage correspondant au pas d’échantillonnage, appelé pas d’échantillonnage de référence, souhaité pour l’image haute résolution.
Soit HR le signal, ou l’image haute résolution de référence ainsi définie.
Le capteur d’acquisition 11 , configuré pour acquérir chaque signal, ou image, basse résolution, est modélisé par un opérateur linéaire qui permet de passer du signal ou de l’image, de haute résolution de référence HR au signal, ou à l’image, basse résolution en fonction des paramètres d’acquisition PA.
Par exemple, dans le cas particulier d’une pluralité d’images basse résolution acquises successivement par un capteur d’acquisition 11 porté par un porteur en mouvement, chaque déplacement du capteur d’acquisition 11 relativement à la scène entre l’acquisition d’une image basse résolution et l’acquisition d’une image basse résolution suivante correspond à un décalage associé à ladite image basse résolution de la pluralité d’images acquises par le capteur. Il est alors possible de définir l’opérateur linéaire Ad en fonction de chaque décalage de pluralité de décalages d=(d1, ...,d',....,dk) associé à chaque image basse résolution de la pluralité d’images basse résolution BR=(BR'), i=1 à K, de sorte que :
[Math 1]
Ad HR + £=BR=(BR1,...., BR,...., BRk)
Où chaque image basse résolution BR' est de taille mxn, et l’image haute résolution HR recherchée est de taille MxN, et où Ad est l’opérateur linéaire de l’ensemble RMN vers l’ensemble Rkmn qui modélise le processus de génération de la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk) à partir de l’image haute résolution HR de référence, e étant un bruit de mesure appartenant à Rkmn.
Les méthodes variationnelles qui permettent de manière connue d’inverser l’équation ci-dessus pour retrouver HR à partir de BR prennent la forme d’un problème d’optimisation qui est résolu par des algorithmes itératifs dont la mise en oeuvre est en général trop coûteuse en puissance de calcul pour être effectuée sur l’unité de calcul embarquée 13. Une manière de contourner cette difficulté technique consiste à transmettre la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk) à l’unité de calcul déportée 20 qui dispose des moyens de calculs nécessaire. Cependant, lors de cette opération de transmission, la pile est compressée et un compromis doit être trouvé entre qualité de transmission et quantité de données à transmettre. Il s’avère que les erreurs liées à l’opération de transmission de la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk) peuvent nuire à la qualité de l’image haute résolution HR reconstruite par l’unité de calcul déportée 20.
La présente invention propose une alternative à la transmission de la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk) permettant à la fois de diminuer la quantité de données à transmettre tout en améliorant la qualité de l’image reconstruite par l’unité de calcul déportée 20. L’invention repose sur le fait que le calcul de la solution au problème d’inversion précité ne nécessite que la connaissance d’une image préfusionnée égale à A* d.BR, et non la connaissance de la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk), où A* d est l’opérateur adjoint de l’opérateur Ad. Il est à noter que A* d.BR est de taille MxN et peut en général être calculée à bord. Il est alors possible de transmettre au sol l’image préfusionnée A* d.BR, cependant cette image s’avère être en générale trop irrégulière pour être efficacement compressée.
C’est pourquoi l’image transmise au sol est une image préfusionnée filtrée Fd(A* d.BR) qui satisfait les contraintes suivantes :
1. Le calcul de l’image préfusionnée filtrée Fd(A* d.BR) est possible à faible coût, donc possible sur l’unité de calcul embarquée 13 ;
2. L’image préfusionnée filtrée Fd(A* d.BR) est efficacement compressible, au sens où on limite les erreurs du processus de compression 102bis/décompression 102ter, donc assez régulière et avec un bon rapport signal à bruit ;
3. La fonction de filtrage Fd est inversible de sorte que l’on peut reconstruire au sol l’image préfusionnée A* d.BR à partir de l’image préfusionnée filtrée Fd(A* d.BR), pour ensuite appliquer l’une des méthodes variationnelles pour la reconstruction de l’image haute résolution HR recherchée.
Ainsi, comme cela est illustré sur la figure 1 , le procédé 100 comprend les étapes suivantes :
- acquisition 101 de la pluralité de signaux basse résolution BR ;
- mesure et/ou estimation 101’ de l’ensemble des paramètres d’acquisition PA;
- préfusionnement 101a de la pluralité des signaux en le signal préfusionné A* d.BR, par un calcul réalisé par l’unité de calcul embarquée 13, le signal préfusionné étant fonction de la pluralité des signaux et de l’ensemble des paramètres d’acquisition PA de chaque signal basse résolution de la pluralité ;
- filtrage 101b) du signal préfusionné A* d.BR, réalisé par l’unité de calcul embarquée 13;
- transmission 102, par l’unité de transmission 14, du signal préfusionné filtré Fd(A* d.BR) et de l’ensemble des paramètres d’acquisition PA de chaque signal de la pluralité, sans transmission de la pluralité des signaux ;
- calcul 103, par l’unité de calcul déportée 20, d’une estimation du signal préfusionné par un filtrage inverse du signal préfusionné filtré Fd(A* d.BR);
- détermination 104, par l’unité de calcul déportée 20, selon une méthode variationnelle, du signal haute résolution FIR à partir de l’estimation du signal préfusionné A* d.BR et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité, la résolution du signal fusionné étant supérieure à une résolution de chaque signal de la pluralité.
Selon un mode de mise en œuvre, la fonction de filtrage Fd peut en particulier se définir comme le pseudo-inverse d’une combinaison linéaire de l’opérateur identité Id et de l’opérateur égal à A* d Ad, soit :
[Math 2]
(a*ld + b*( A* d Ad))-1
Suivant les valeurs choisies pour les paramètres a et b de la combinaison linéaire, différents cas de figures sont à distinguer :
1. a=1, b=0 : alors l’image préfusionnée filtrée Fd(A* d.BR)= A* d.BR ; ce choix n’est pas optimal car, même si l’image préfusionnée A* d.BR suffit, avec l’ensemble des paramètres d’acquisition PA, notamment les décalages, pour résoudre les problèmes variationnels précités, l’image préfusionnée s’avère en général être très irrégulière et donc difficile à transmettre au sol de manière efficace à l’aide de compresseurs usuels, par exemple basés sur des décompositions en bases d’ondelettes.
2. a=0, b=1 : alors l’image préfusionnée filtrée Fd(A* d.BR)= ( A* d Ad)-1 A* d.BR qui correspond à l’estimateur des moindres carrées qui constitue une bonne approximation de l’image haute résolution recherchée FIR dès lors que l’opérateur A*d Ad est bien conditionné. Le conditionnement est directement lié à la configuration des décalages d=(d1, ...,d',....,dk) associé à chaque image basse résolution de la pluralité d’images basse résolution et des déplacements du dispositif d’acquisition 10 associés à ces décalages. Typiquement, plus les déplacements (modulo le pas d’échantillonnage basse résolution) sont uniformément répartis, plus l’opérateur est bien conditionné. Le conditionnement est également lié au nombre k d’images basse résolution dans la pluralité d'images basse résolution BR=(BR1,...., BR',...., BRk).
3. a>0, b>0 : alors l’image préfusionnée filtrée Fd(A*d.BR) correspond à l’unique minimiseur de l’énergie des moindres carrés régularisée, aussi appelée énergie de Tikhonov ; ce choix constitue un compromis entre les deux situations précédentes, et permet de pallier l’éventuel mauvais conditionnement de l’opérateur A*d Ad qui pourrait rendre inopérant le calcul de l’estimateur des moindres carrées selon l’option précédente.
Comme cela a été indiqué précédemment, le procédé selon l’invention s’applique également par exemple aux signaux obtenus par spectrographie interférométrique ; dans ce cas :
• le signal haute résolution est un spectrogramme S(sigma) (ou un cube hyperspectral S(x,y,sigma) où sigma représente une longueur d’onde, et S(sigma) représente l’énergie lumineuse mesurée à cette longueur d’onde. L’instrument est configuré pour obtenir les valeurs du signal S(sigma) pour M valeurs de sigma échantillonnés régulièrement entre sigma_min et sigma_max.
• le signal basse résolution est un interférogramme l(delta) (ou un cube interferométrique l(x,y,delta(x,y))), où la différence de marche delta prends m valeurs échantillonnés régulièrement entre 0 et delta_max (dans le cas du cube interférométrique, m=1 et delta(x,y) prends une valeur pre-calibrée connue sur chaque pixel (x,y)). • L’instrument permettant de mesurer le signal basse résolution peut être par exemple un interféromètre de Michelson, un interféromètre à transformée de Fourier statique comme SIFTI (pour un interférogramme) ou un spectro-imageur comme SIELETERS (pour le cube interférométrique)
• Un signal basse résolution est lié au signal haute résolution par un opérateur linéaire A_delta tel que I = A_delta * S, soit
Pour un interférogramme :
Ou pour un cube interférométrique où · L’ensemble de paramètres d’acquisition de chaque signal basse résolution (équivalent du décalage en super-résolution multi-images) est l’ensemble de valeurs de différences de marche delta pouvant varier d’une acquisition à une autre
• Pour que l’opérateur A_delta soit inversible et bien conditionné le nombre m doit respecter certaines conditions données par le théorème de
Shannon ou Shannon généralisé selon le cas. En particulier si m<M alors A_delta n’est pas inversible et il est nécessaire d’avoir recours à une pluralité de signaux basse résolution afin de pouvoir s’en servir pour reconstruire le spectrogramme S (signal haute résolution). · La pluralité de signaux basse résolution est un ensemble d’interférogrammes 11, ..., IK (ou cubes interférométriques) correspondant à chaque fois à des valeurs différentes de delta. 1. Dans le cas d’un interféromètre de Michelson ou à transformée de Fourier Statique comme SIFTI on peut faire varier cette valeur de delta en faisant bouger les distances entre les prismes
2. Dans le cas de l’instrument SIELETERS, la variation de delta est obtenue par un décalage de l’instrument (aéroporté) par rapport à la scène entre deux prises de vue. Dans ce cas une estimation précise de ce décalage et un recalage des images obtenues est nécessaire afin d’obtenir les valeurs exactes de delta(x,y) pour chaque image recalée. Dans le cas où cet instrument serait porté par un satellite un système d’estimation précise de l’attitude de l’instrument peut être utilisé à cette fin.
• En prenant un nombre K suffisant de signaux basse résolution on peut obtenir un nombre de mesures interférométriques K*m>M suffisamment grand pour pouvoir inverser l’opérateur linéaire A_delta et obtenir une bonne estimation du spectrogramme S. Cette inversion étant (dans le cas général d’un échantillonnage irrégulier) mal conditionnée il est souvent nécessaire pour y parvenir d’utiliser des méthodes variationnelles ayant un coût computationnel trop grand pour être exécuté à bord.
• Notre procédé appliqué à ce cas consiste à :
1. Calculer à bord l’adjoint de l’opérateur A_delta appliqué à la pluralité de signaux afin d’obtenir un signal prefusionné de taille M (au lieu de K*m).
Lorsque l’échantillonnage de delta est irrégulier on pourra se servir de l’algorithme NFFT pour que cette opération soit numériquement efficace
2. Filtrer le signal prefusionné afin d’obtenir un signal plus compressible
3. Compresser le signal prefusionné filtré et le transmettre au sol. Transmettre aussi les valeurs de delta (paramètres d’acquisition). 4. Décompresser au sol le signal prefusionné filtré, et appliquer le filtrage inverse pour obtenir le signal prefusionné (A* d * I)j
5. Utiliser le signal prefusionné filtré dans le cadre d’une méthode variationnelle pour obtenir le spectrogramme (signal haute résolution) S.
Selon un aspect, l’invention concerne également un dispositif d’acquisition 10 d’un signal pour construire un signal fusionné HR, le signal fusionné étant appelé signal haute résolution HR, à partir d’une pluralité de signaux BR acquis par le dispositif d’acquisition 10, chaque signal de la pluralité de signaux BR, étant appelé signal basse résolution BR et comprenant une pluralité d’échantillons mesurés par le dispositif d’acquisition 10 configuré selon un ensemble de paramètres d’acquisition PA dudit signal, l’ensemble des paramètres d’acquisition PA de chaque signal basse résolution BR comprenant un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution BR, la résolution du signal basse résolution BR étant inférieure à une résolution du signal haute résolution HR, le dispositif 10 comprenant :
- un capteur d’acquisition 11 configuré pour acquérir la pluralité de signaux basse résolution BR,
-un équipement de mesure 12 configuré pour mesurer et/ou estimer les paramètres d’acquisition PA,
-une unité de calcul embarquée 13 comprenant :
- un module de traitement de la pluralité des signaux BR configuré pour préfusionner 101a la pluralité des signaux en calculant un signal préfusionné, fonction de la pluralité des signaux BR et de l’ensemble des paramètres d’acquisition PA de chaque signal de la pluralité de signaux BR ;
- un module de filtrage configuré pour filtrer 101b le signal préfusionné; le dispositif comprenant en outre une unité de transmission de données configurée pour transmettre le signal préfusionné filtré à une unité de calcul déportée 20.

Claims

REVENDICATIONS
1. Procédé (100) pour construire un signal fusionné, le signal fusionné étant appelé signal haute résolution (HR), à partir d’une pluralité de signaux (BR) acquis par un dispositif d’acquisition (10), chaque signal de la pluralité de signaux (BR), étant appelé signal basse résolution, chaque signal (BR) comprenant une pluralité d’échantillons mesurés par un capteur d’acquisition (11) du dispositif d’acquisition (10) configuré selon un ensemble de paramètres d’acquisitions (PA) dudit signal (BR), l’ensemble des paramètres d’acquisition (PA) de chaque signal basse résolution comprenant un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution (BR), la résolution du signal basse résolution (BR) étant inférieure à une résolution du signal haute résolution, le dispositif d’acquisition comprenant :
- le capteur d’acquisition (11) configuré pour acquérir la pluralité de signaux basse résolution (BR),
-un équipement de mesure (12) configuré pour mesurer et/ou estimer les paramètres d’acquisition (PA),
-une unité de calcul embarquée (13),
-une unité de transmission (14) de données, configurée pour transmettre des données à une unité de calcul déportée (20), le procédé (100) comprenant les étapes suivantes :
- acquisition (101) de la pluralité de signaux basse résolution (BR) ;
- mesure et/ou estimation (10T) de l’ensemble des paramètres d’acquisition (PA);
- préfusionnement (101a) de la pluralité des signaux en un signal préfusionné, par un calcul réalisé par l’unité de calcul embarquée (13), le signal préfusionné étant fonction de la pluralité des signaux et de l’ensemble des paramètres d’acquisition (PA) de chaque signal basse résolution de la pluralité ; -filtrage (101b) du signal préfusionné, réalisé par l’unité de calcul embarquée
(13);
- transmission (102), par l’unité de transmission (14) à l’unité de calcul déportée (20), du signal préfusionné filtré et de l’ensemble des paramètres d’acquisition (PA) de chaque signal de la pluralité, sans transmission de la pluralité des signaux ;
- calcul (103), par l’unité de calcul déportée (20), d’une estimation du signal préfusionné par un filtrage inverse du signal préfusionné filtré;
- détermination (104), par l’unité de calcul déportée (20), selon une méthode variationnelle, du signal fusionné haute résolution à partir de l’estimation du signal préfusionné et de l’ensemble des paramètres d’acquisition de chaque signal de la pluralité, une résolution du signal fusionné haute résolution étant supérieure à une résolution de chaque signal de la pluralité.
2. Procédé (100) selon la revendication 1, dans lequel chaque signal basse résolution de la pluralité de signaux basse résolution (BR) est une image basse résolution d’une pluralité d’images basse résolution (BR) d’une scène, dans lequel le signal préfusionné est une image préfusionnée, et dans lequel le signal préfusionné filtré est une image préfusionnée filtrée, dans lequel le signal fusionné haute résolution est une image fusionnée dite image haute résolution, dans lequel l’ensemble des paramètres d’acquisition (PA) de chaque image basse résolution (BR) comprennent en outre une pluralité de décalages, chaque décalage de la pluralité de décalages étant associé à une image basse résolution de la pluralité d’images (BR), ledit décalage associé à ladite image basse résolution correspondant à un déplacement du dispositif d’acquisition relativement à la scène entre l’acquisition de ladite image basse résolution et l’acquisition d’une image basse résolution suivante, et dans lequel l’au moins une dimension du pas d’échantillonnage d’une image basse résolution (BR) correspond à au moins une direction définie dans un plan de formation de l’image basse résolution (BR) sur le capteur d’acquisition 11.
3. Procédé selon l’une quelconque des revendications 1 ou 2, dans lequel la pluralité de signaux est modélisée par l'application d’un opérateur linéaire à un signal de référence acquis par le capteur d’acquisition (11) du dispositif d’acquisition (10) configuré selon un pas d’échantillonnage correspondant à la résolution du signal fusionné haute résolution (HR), et dans lequel l’étape de préfusionnement (101a) comprend l’application de l’opérateur adjoint dudit opérateur linéaire à la pluralité de signaux.
4. Procédé selon la revendication 3, dans lequel l’étape de filtrage (101b) ne modifie pas le signal préfusionné.
5. Procédé selon la revendication 3, dans lequel l’étape de filtrage (101b) comprend l’application, au signal préfusionné, du pseudo-inverse du produit de l’opérateur adjoint et de l’opérateur linéaire.
6. Procédé selon la revendication 3, dans lequel l’étape de filtrage (101b) comprend l’application du pseudo-inverse d’une combinaison linéaire de l’opérateur identité et du produit de l’opérateur adjoint et de l’opérateur linéaire.
7. Dispositif d’acquisition (10) d’un signal pour construire un signal fusionné (HR), le signal fusionné étant appelé signal haute résolution (HR), à partir d’une pluralité de signaux (BR) acquis par un capteur d’acquisition (11) du dispositif d’acquisition (10), chaque signal de la pluralité de signaux (BR), étant appelé signal basse résolution (BR), et comprenant une pluralité d’échantillons mesurés par le capteur d’acquisition (11) configuré selon un ensemble de paramètres d’acquisition (PA) dudit signal, l’ensemble des paramètres d’acquisition (PA) de chaque signal basse résolution (BR) comprenant un pas d’échantillonnage selon au moins une dimension, le pas d’échantillonnage correspondant à une résolution dudit signal basse résolution (BR), la résolution du signal basse résolution (BR) étant inférieure à une résolution du signal haute résolution (HR), le dispositif comprenant :
- le capteur d’acquisition (11) configuré pour acquérir la pluralité de signaux basse résolution (BR),
-un équipement de mesure (12) configuré pour mesurer et/ou estimer les paramètres d’acquisition (PA),
- une unité de calcul embarquée (13) comprenant ,
- un module de traitement de la pluralité des signaux configuré pour préfusionner (101a) la pluralité des signaux en calculant un signal préfusionné, fonction de la pluralité des signaux et de l’ensemble des paramètres d’acquisition (PA) de chaque signal de la pluralité ;
- un module de filtrage configuré pour filtrer (101b) le signal préfusionné; le dispositif comprenant en outre une unité de transmission de données (14) configurée pour transmettre le signal préfusionné filtré et l’ensemble des paramètres d’acquisition (PA) à une unité de calcul déportée (20), sans transmission de la pluralité des signaux.
8. Dispositif d’acquisition selon la revendication 7, dans lequel le signal est une image d’une scène, et dans lequel l’ensemble de paramètres d’acquisition (PA) de chaque image basse résolution (BR) comprend en outre une pluralité de décalages, chaque décalage de la pluralité de décalages étant associé à une image basse résolution (BR) de la pluralité d’images (BR), ledit décalage associé à ladite image basse résolution correspondant à un déplacement du capteur d’acquisition (11) relativement à la scène entre l’acquisition de ladite image basse résolution et l’acquisition d’une image basse résolution suivante, et dans lequel l’au moins une dimension du pas d’échantillonnage d’une image basse résolution correspond à au moins une direction définie dans un plan de formation de l’image basse résolution sur le dispositif d’acquisition, dans lequel le module de traitement est configuré pour calculer (101a) une image préfusionnée; et dans lequel le module de filtrage est configuré pour filtrer (101b) l’image préfusionnée; le dispositif comprenant en outre une unité de transmission de données (14) configurée pour transmettre l’image préfusionnée filtrée et l’ensemble des paramètres d’acquisition (PA) à une unité de calcul déportée (20), sans transmission de la pluralité des images (BR) .
9. Dispositif selon la revendication 8 dans lequel le capteur d’acquisition (11) est modélisé par un opérateur linéaire, et dans lequel le préfusionnement (101a) comprend l’application de l’opérateur adjoint de l’opérateur linéaire à la pluralité d’images.
10. Dispositif selon la revendication 9 dans lequel l’étape de filtrage (101b) comprend l’application à l’image préfusionnée du pseudo-inverse d’une combinaison linéaire de l’opérateur identité et du produit de l’opérateur adjoint et de l’opérateur linéaire.
11. Programme d’ordinateur comprenant des instructions exécutables sur un ordinateur embarqué et des instructions exécutables sur un ordinateur déporté, les instructions exécutables étant configurées pour mettre en œuvre le procédé selon l’une des revendications 1 à 6 lorsque lesdites instructions sont exécutées respectivement sur l’ordinateur embarqué et sur l’ordinateur déporté.
12. Utilisation du procédé selon l’une des revendications 1 à 6 pour fusionner les images acquises par un dispositif d’acquisition selon l’une des revendications 8 ou 9, couplé fonctionnellement à ordinateur portable de sorte que l’ordinateur portable comprend l’unité de calcul embarquée du dispositif et l’unité de transmission vers une unité de calcul déportée, l’ordinateur portable étant en particulier une tablette ou un téléphone intelligent.
13. Utilisation du procédé selon l’une des revendications 1 à 6 pour fusionner les images acquises par un dispositif d’acquisition selon l’une des revendications 8 ou 9, le dispositif d’acquisition étant embarqué sur un aéronef, en particulier un drone.
14. Utilisation du procédé selon l’une des revendications 1 à 6 pour fusionner les images acquises par un dispositif d’acquisition selon l’une des revendications 8 ou 9, le dispositif d’acquisition étant un système d’imagerie médicale.
15. Utilisation du procédé selon l’une des revendications 1 à 6 pour fusionner les images acquises par un dispositif d’acquisition selon l’une des revendications 8 ou 9, le dispositif d’acquisition étant un système d’imagerie spatiale porté par un satellite.
EP21736637.6A 2020-06-12 2021-06-10 Procédé de construction d'un signal ou d'une image fusionné(e) haute résolution à partir d'une pluralité de signaux ou d'une pluralité d'images basse résolution Pending EP4165589A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2006182A FR3111462B1 (fr) 2020-06-12 2020-06-12 Procédé de construction d’un signal ou d’une image fusionné(e) haute résolution à partir d’une pluralité de signaux ou d’une pluralité d’images basse résolution.
PCT/FR2021/051041 WO2021250356A1 (fr) 2020-06-12 2021-06-10 Procédé de construction d'un signal ou d'une image fusionné(e) haute résolution à partir d'une pluralité de signaux ou d'une pluralité d'images basse résolution

Publications (1)

Publication Number Publication Date
EP4165589A1 true EP4165589A1 (fr) 2023-04-19

Family

ID=73013531

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21736637.6A Pending EP4165589A1 (fr) 2020-06-12 2021-06-10 Procédé de construction d'un signal ou d'une image fusionné(e) haute résolution à partir d'une pluralité de signaux ou d'une pluralité d'images basse résolution

Country Status (4)

Country Link
US (1) US12133001B2 (fr)
EP (1) EP4165589A1 (fr)
FR (1) FR3111462B1 (fr)
WO (1) WO2021250356A1 (fr)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166384A (en) * 1998-11-06 2000-12-26 General Electric Company Method and apparatus for minimizing blurring and generating a high resolution image in a radiation imaging system
FR2906093A1 (fr) * 2006-09-18 2008-03-21 Canon Kk Procedes et dispositifs de codage et de decodage, systeme de telecommunication et programme d'ordinateur les mettant en oeuvre
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes

Also Published As

Publication number Publication date
WO2021250356A1 (fr) 2021-12-16
FR3111462A1 (fr) 2021-12-17
US12133001B2 (en) 2024-10-29
FR3111462B1 (fr) 2022-08-05
US20230105475A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
CA2592293C (fr) Procede de traitement d&#39;images mettant en oeuvre le georeferencement automatique d&#39;images issues d&#39;un couple d&#39;images pris dans le meme plan focal
EP2567537B1 (fr) Procede d&#39;imagerie polychrome
CN108594222B (zh) 一种双频干涉合成孔径雷达的高程重建方法和装置
FR3038431A1 (fr) Bloc camera haute resolution pour drone, avec correction des instabilites de type oscillations ondulantes
FR3055421A1 (fr) Detection coherente multivisee de changements
WO2009043923A1 (fr) Procede de synchronisation de flux video
FR3021127A1 (fr) Systeme et procede d&#39;acquisition d&#39;images hyperspectrales
FR3055727B1 (fr) Procede et dispositif de caracterisation des aberrations d&#39;un systeme optique
EP4139707A1 (fr) Procédé de calage géométrique de modèle numérique d&#39;élévation
FR2899344A1 (fr) Procede de restitution de mouvements de la ligne de visee d&#39;un instrument optique
CA2290673C (fr) Perfectionnement a l&#39;acquisition d&#39;image par balayage pousse-balai
EP2500701B1 (fr) Système et procédé de métrologie appliqué à un interféromètre d&#39;analyse à distance d&#39;un composé gazeux
WO2021250356A1 (fr) Procédé de construction d&#39;un signal ou d&#39;une image fusionné(e) haute résolution à partir d&#39;une pluralité de signaux ou d&#39;une pluralité d&#39;images basse résolution
EP0410826B1 (fr) Procédé itératif d&#39;estimation de mouvement, entre une image de référence et une image courante, et dispositif pour la mise en oeuvre de ce procédé
EP2747421B1 (fr) Procede et dispositif de correction de reponse spatiale pour spectrometres a transformee de fourier imageurs
FR2958489A1 (fr) Procede de codage et procede de reconstruction d&#39;un bloc d&#39;une sequence d&#39;images
FR3098358A1 (fr) Procédé et dispositif de calcul de fonctions de visibilité pour un radiomètre à synthèse d’ouverture interférométrique
WO2018083266A1 (fr) Procédé et dispositif de restauration d&#39;image numérique
EP2772735B1 (fr) Dispositif et procédé d&#39;adaptation dynamique de résolution spatiale pour spectromètres à transformée de fourier imageurs
CA3037110A1 (fr) Procede et dispositif d&#39;analyse d&#39;une onde electromagnetique en haute definition
FR3081590A1 (fr) Procede d’augmentation de resolution spatiale d’une image multi-spectrale a partir d’une image panchromatique
EP3165875B1 (fr) Procede d&#39;acquisition d&#39;images par un instrument optique spatial ou aeroporte avec champ de vision etendu
EP1544667B1 (fr) Complément fréquentiel d&#39;images acquises par un dispositif d&#39;acquisition à synthèse d&#39;ouverture optique dilué, par combinaison d&#39;images fréquentiellement complémentaires
Alparone et al. A proposal for full-scale processing and assessment of MS pansharpening
FR3048842A1 (fr) Capteur d&#39;images par decalage temporel et integration etendue

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221205

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250825