EP4558970A1 - Procede et systeme de surveillance spatiale infrarouge de jour - Google Patents

Procede et systeme de surveillance spatiale infrarouge de jour

Info

Publication number
EP4558970A1
EP4558970A1 EP23754818.5A EP23754818A EP4558970A1 EP 4558970 A1 EP4558970 A1 EP 4558970A1 EP 23754818 A EP23754818 A EP 23754818A EP 4558970 A1 EP4558970 A1 EP 4558970A1
Authority
EP
European Patent Office
Prior art keywords
shots
earth
light
objects
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23754818.5A
Other languages
German (de)
English (en)
Inventor
Marine Pyanet
Théo JOFFRE
Pascal Richard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National dEtudes Spatiales CNES
ArianeGroup SAS
Original Assignee
Centre National dEtudes Spatiales CNES
ArianeGroup SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National dEtudes Spatiales CNES, ArianeGroup SAS filed Critical Centre National dEtudes Spatiales CNES
Publication of EP4558970A1 publication Critical patent/EP4558970A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Definitions

  • Such a system makes it possible to follow the evolution of the trajectories of objects, to catalog these objects and to update their trajectories.
  • Near-earth space is defined as the portion of space located up to a few hundred thousand kilometers from the earth. Near-earth space monitoring therefore concerns essentially, but not only, the detection of objects that are in orbit around the Earth.
  • the size distribution of objects varies from a characteristic radius of a few millimeters, for example propulsion residues, paint or meteorites, to several tens of meters, notably satellites or artificial orbital systems, whether they are operational or not.
  • Ground-based optical telescopes are forced to operate during the night due to increased photon emission noise, or quantum noise, and the potential for daytime sky background saturation. Although some ground systems have solved these problems, these systems are generally expensive. Space surveillance satellites can also be used during the day and do not encounter problems detecting photon emission noise, but are also expensive and have limitations due to their observation patterns, their need to facing solar avoidance and their relatively long latency in sending tracking data to the ground. Passive ground-based radio frequency (RF) systems can detect resident space objects (RSOs) during the day, but these RSOs must actively transmit data to a ground satellite station. As a result, most SARs are not observed during the day, leaving nearby SARs vulnerable to dangerous and/or harmful activities.
  • RF radio frequency
  • the Graz Observatory in Austria carries out laser detection in broad daylight on certain space objects. But, the observation of these objects is based on sensors in the visible, it is limited to very luminous objects and in low orbit.
  • the main aim of the present invention is therefore to provide a system and a method for detecting space objects in orbit around the Earth capable of operating in broad daylight and less expensive than known systems.
  • a space surveillance method for detecting space objects orbiting the Earth in images captured during the day, the method comprising the following steps:
  • a shooting device comprising at least one infrared sensor, each infrared shot comprising a matrix of pixels which are each associated with an intensity of light received by an infrared sensor,
  • the step of detecting space objects in orbit around the Earth is implemented by an artificial intelligence system operating by deep learning and comprising a plurality of artificial neural network layers linked together to analyze the information from the previous layer of neurons, the object detection step spacecraft in orbit around the Earth comprising:
  • the discrimination comprising a monitoring of each detected and stationary light point in successive shots, and, a recording of the coordinates of the light points detected at possibly different positions and grouped by this monitoring, the recording being made, for each light point detected, following its disappearance in the following shots.
  • Said infrared sensor such as a SWIR (“short wave infrared” camera in English) provides images which can be very different from the visible images in terms of noise characteristics, heterogeneities, defects in particular. This is why classical detection algorithms directly transposed from the visible imaging application give poor results.
  • SWIR short wave infrared
  • the method according to the invention comprises an algorithm based on artificial intelligence. It is based on a neural network trained on a set of images specifically simulated to be as representative as possible of real infrared images in the optical configuration used for image acquisition. A set of real images acquired in real conditions with the experimental device was studied to build a realistic model of noise, defects, response, background and non-uniformities. Then, these models were used to simulate a set of images, with known ground truth, to use as a training set for the neural network.
  • SNR signal-to-noise ratio
  • the method according to the invention has the advantage of being able to operate from a simple calibration carried out from a view of the sky that does not require a specific module or development.
  • Deep learning is one of the main technologies of Machine learning, implementing algorithms capable of mimicking the actions of the human brain thanks to artificial neural networks composed of tens or even hundreds of “layers”. » of neurons, each receiving and interpreting information from the previous layer. Deep learning networks are trained on the basis of the complex data structures they encounter.
  • the method according to the invention also has the advantage of being able to be used by a system equipped with a conventional reflecting telescope which has not been optimized for operation with short-wavelength infrared waves.
  • the camera device thus makes it possible to easily carry out, from Earth, space surveillance to detect space objects orbiting the Earth in images captured during the day.
  • the layers of artificial neural networks can be calibrated, prior to their use to detect space objects (satellites, debris, stars, etc.) present in the images infrared, by a supervised learning process from a base of different images allowing the artificial intelligence system to determine the typical characteristics of a space object (characteristics differentiating a light point corresponding to a real space object from the background of image, hot pixels, electronic noise, etc.).
  • the method may further comprise, just after capturing shots, an application of a non-uniformity correction to the captured shots.
  • the method may further comprise filtering of each stacked image obtained.
  • the method may further comprise a formation of stacked images from a superposition of a plurality of said shots, each pixel of a stacked image being associated with an intensity of received light corresponding to the average of the intensities of the superimposed shots for the same pixel, the detection of spatial objects using the stacked images as shots to be processed.
  • the method may further comprise, before the step of detecting space objects orbiting the Earth, a step of delineating each stacked image to eliminate streaky defects on the stacked image.
  • a space surveillance system for detecting space objects in orbit around the Earth, the system comprising a reflecting telescope mounted on a mechanical support with motorized movement, a shooting device comprising at least one infrared sensor mounted at the output of the reflector telescope and configured to take series of shots of the daytime sky at a frequency between 1 Hz and a few hundred Hertz, and a processing unit receiving each captured shot by the camera.
  • the processing unit can comprise an artificial intelligence system operating by deep learning and comprising a plurality of layers of artificial neural network connected together to analyze the information of the previous layer of neurons, the processing unit being configured to carry out the following steps from the images received:
  • the detection being carried out by the artificial intelligence system operating by deep learning, and
  • an identification of each object detected from a catalog of known space objects in orbit around the Earth comprising a detection of light points on each shot, and a discrimination of the detected light points, the discrimination comprising a monitoring of each detected and stationary light point in successive shots, and, a recording of the coordinates of the light points detected at possibly different positions and grouped by this monitoring, the recording being carried out, for each light point detected, following its disappearance in the following shots.
  • the imaging device may further comprise at least one visible light sensor mounted at the output of the reflecting telescope and configured to take series of shots of the night sky, the spatial surveillance system further comprising a day/night alternation module making it possible to change the type of sensor receiving light from the sky depending on the environmental light intensity
  • Figure 1 represents a spatial surveillance method according to one mode of implementation of the invention.
  • Figure 2 represents a spatial surveillance system according to a first embodiment of the invention.
  • Figure 3 represents a spatial surveillance system according to a second embodiment of the invention.
  • Figure 2 is schematically represented a spatial surveillance system according to a first embodiment of the invention.
  • the space surveillance system 1 is configured to detect space objects orbiting the Earth.
  • the system 1 comprises a reflector telescope 2 mounted on a mechanical support 3 with motorized movement, a shooting device 4 mounted at the outlet of the reflector telescope 2 and comprising at least one infrared sensor 40, and a processing unit 5 receiving each shot view captured by the shooting device 4.
  • the shooting device 4 is configured to take series of shots of the daytime sky at a frequency of between 1 Hz and a few hundred Hertz.
  • the exposure time for each shot is adjusted to limit the saturation of the infrared sensor 40.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nonlinear Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Vascular Medicine (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

Un procédé de surveillance spatiale pour détecter des objets spatiaux en orbite autour de la Terre dans des images capturées pendant la journée, le procédé comprenant les étapes suivantes : - une capture (100) d'une pluralité d'images infrarouges du ciel de jour à l'aide d'un dispositif de prise de vue comportant au moins un capteur infrarouge, - une détection (140 et 150) d'objets spatiaux en orbite autour de la Terre à partir des images, la détection de points lumineux étant mise en œuvre par un système d'intelligence artificielle fonctionnant par apprentissage profond - une identification (160) de chaque objet détecté à partir d'un catalogue d'objets spatiaux connus en orbite autour de la Terre.

Description

Description
Titre de l'invention : Procédé et système de surveillance spatiale infrarouge de jour
Domaine Technique
L'invention concerne la surveillance d’objets en orbite autour de la Terre à l’aide de capteurs infrarouges à ondes courtes pendant la journée, et plus particulièrement un procédé de surveillance amélioré.
Un tel système permet de suivre l'évolution des trajectoires des objets, de cataloguer ces objets et de mettre à jour leurs trajectoires.
Technique antérieure
L'espace proche de la terre est défini comme la part de l'espace situé jusqu'à quelques centaines de milliers de kilomètres de la terre. La surveillance de l’espace proche de la terre concerne donc essentiellement, mais pas seulement, la détection des objets qui sont en orbite autour de la Terre.
Le contexte de la présente invention est la hausse du nombre d'objets en orbite autour de la Terre que l'on constate. Ces objets peuvent être, par exemple, des débris ou des satellites opérationnels.
Le nombre important d’objets spatiaux en orbite basse (LEO pour « Low Earth Orbit » en anglais), c’est-à-dire situé de 200km à 2000km de la surface terrestre, induit un risque croissant de collisions pouvant mener à long terme à un accroissement de la dégradation de la situation, mais surtout à des risques vis-à-vis des moyens spatiaux opérationnels, qu'ils soient militaires, scientifiques ou commerciaux. Or, chaque année, un nombre croissant de satellites sont lancés en orbite, rendant l'environnement spatial de plus en plus congestionné et contesté. Afin de maîtriser ces risques, il est primordial de cataloguer l'ensemble des objets potentiellement dangereux et de leur associer des paramètres orbitaux valides qui permettent de décrire leurs trajectoires.
Observés depuis un point fixe sur la Terre, les objets spatiaux en orbite basse présentent comme caractéristiques de défiler rapidement sur la voûte céleste. En outre, à chaque instant plusieurs objets traversent la sphère céleste en plusieurs endroits. Selon ses paramètres orbitaux chaque objet traverse la voûte céleste locale à intervalles temporels plus ou moins réguliers, allant de quelques dizaines de minutes à plusieurs heures.
Des effets divers tels que marée, freinage atmosphérique, pression de radiation, irrégularité du champ gravitationnel terrestre affectent les orbites. Ceci empêche de décrire ces orbites précisément à long terme avec un jeu invariant de paramètres orbitaux.
Par ailleurs, la distribution de taille des objets varie d'un rayon caractéristique de quelques millimètres, par exemple les résidus de propulsion, de peinture ou les météorites, à plusieurs dizaines de mètres, notamment les satellites ou systèmes orbitaux artificiels, qu'ils soient opérationnels ou non.
Réaliser une surveillance (ou « survey » en anglais) d’objets spatiaux en orbite basse implique de :
- détecter les objets spatiaux en orbite basse, sans connaissance a priori de leur existence, ni de leur position,
- définir leur trajectoire ou paramètres orbitaux, avec une précision adaptée à l'exploitation envisagée,
- mettre à jour, au cours du temps, les paramètres orbitaux des objets détectés.
Il est en outre nécessaire de réacquérir les mêmes objets et de rafraîchir la mesure de leurs paramètres orbitaux régulièrement afin que leur précision reste adaptée en fonction de l'exploitation qui doit en être faite, par exemple pour mettre en oeuvre les processus d’évaluation de risques de collision.
Enfin, le système doit être capable d'affiner sur demande la précision de la connaissance des paramètres orbitaux d'un objet donné, de sorte de pouvoir prédire précisément sa position dans un avenir proche, typiquement quelques jours, en vue par exemple de consolider un risque de collision et de planifier d'éventuelles manoeuvres d'évitement.
Pour surveiller les objets spatiaux en orbite autour de la Terre, on utilise généralement des télescopes ou des radars.
Bien qu’ils soient moins chers et plus faciles à utiliser que les radars, les télescopes au sol sont généralement incapables de voir les satellites à haute altitude pendant la journée à cause du fond de ciel lumineux. Les satellites peuvent également être difficiles à suivre par les radars compte tenu de leur distribution géographique limitée et de leurs limites de portée.
En conséquence, il y a des périodes de temps non observées chaque jour pendant lesquelles des objets spatiaux potentiellement dangereux et/ou néfastes peuvent manoeuvrer sans être détectés depuis le sol, ce qui pourrait entraîner la perte de la garde des opérateurs de satellites et mettre potentiellement en danger les satellites à proximité.
Les télescopes optiques au sol sont contraints de fonctionner pendant la nuit en raison de l'augmentation du bruit d’émission de photons, ou bruit quantique, et du potentiel de saturation du fond de ciel diurne. Bien que certains systèmes au sol aient résolu ces problèmes, ces systèmes sont généralement coûteux. Des satellites de surveillance spatiale peuvent également être utilisés pendant la journée et ne rencontrent pas de problèmes de détection de bruit d’émission de photons, mais sont également coûteux et ont des limites en raison de leurs schémas d'observation, de leur besoin de faire face à l'évitement solaire et de leur latence relativement longue dans l'envoi des données de suivi au sol. Les systèmes de radiofréquences (RF) passifs basés au sol peuvent détecter des objets spatiaux résidents (RSO) pendant la journée, mais ces RSO doivent transmettre activement des données à une station satellite au sol. En conséquence, la plupart des RSO ne sont pas observés pendant la journée, laissant les RSO à proximité vulnérables aux activités dangereuses et/ou néfastes.
L’observatoire de Graz en Autriche réalise de la détection laser en pleine journée sur certains objets spatiaux. Mais, l’observation de ces objets se basant sur des capteurs dans le visible, elle est limitée à des objets très lumineux et en orbite basse.
Comme cela est indiqué dans l’article « Daytime GEO Tracking with Aquila : Approach and Results from a New Ground-Based SWIR Small Telescope System » de Numerica Corporation, il est connu d’utiliser des ondes infrarouges à courtes longueurs d’ondes pour la surveillance d’objets spatiaux en orbite autour de la Terre. La plupart des techniques utilisant de telles ondes utilisent de très grand télescopes (supérieurs à 1 m de diamètre) et/ou des systèmes optiques à refroidissement cryogénique et n’ont généralement pas pu démontrer une capacité à observer des objets sur une orbite plus éloigné que l’orbite basse de la Terre en pleine journée.
Il est également connu des documents US 10740609 et US 9423341 des systèmes de détection d’objets spatiaux en orbite autour de la Terre en plein jour à l’aide de capteurs infrarouges.
Même si ces systèmes présentent des avantages par rapport aux précédents systèmes connus, les systèmes décrits dans ces documents restent complexes et onéreux. Les procédés mis en oeuvre impliquent notamment d’utiliser des télescopes spécifiquement calibrés et optimisés pour un fonctionnement dans l’infrarouge (plus onéreux). Les procédés utilisent également des procédés complexes de calibration pour traiter le bruit notamment, les procédés utilisant des développements spécifiques.
Exposé de l’invention
La présente invention a donc pour but principal de fournir un système et un procédé de détection d’objets spatiaux en orbite autour de la Terre capable de fonctionner en plein jour et moins onéreux que les systèmes connus.
Selon un objet de l’invention, il est proposé un procédé de surveillance spatiale pour détecter des objets spatiaux en orbite autour de la Terre dans des images capturées pendant la journée, le procédé comprenant les étapes suivantes :
- une capture d’une pluralité de prises de vue dans l’infrarouge du ciel de jour à l’aide d’un dispositif de prise de vue comportant au moins un capteur infrarouge, chaque prise de vue dans l’infrarouge comportant une matrice de pixels qui sont associés chacun à une intensité de lumière reçue par un capteur infrarouge,
- une détection d’objets spatiaux en orbite autour de la Terre à partir des prises de vue capturées,
- une identification de chaque objet détecté à partir d’un catalogue d’objets spatiaux connus en orbite autour de la Terre.
Selon une caractéristique générale de l’invention, l’étape de détection d’objets spatiaux en orbite autour de la Terre est mise en oeuvre par un système d’intelligence artificielle fonctionnant par apprentissage profond et comportant une pluralité de couches de réseau de neurones artificiels reliées entre elles pour analyser les informations de la couche de neurones précédentes, l’étape de détection d’objets spatiaux en orbite autour de la Terre comportant :
- une détection de points lumineux sur chaque prise de vue,
- une discrimination des points lumineux détectés, la discrimination comportant un suivi de chaque point lumineux détecté et stationnaire dans des prises de vue successives, et, un enregistrement des coordonnées des points lumineux détectés à des positions éventuellement différentes et regroupés par ce suivi, l’enregistrement étant réalisé, pour chaque point lumineux détecté, à la suite de sa disparition dans les prises de vue suivantes.
Ledit capteur infrarouge, tel qu’une caméra SWIR (« short wave infrared » en anglais), fournit des images qui peuvent être très différentes des images visibles en termes de caractéristiques de bruit, d'hétérogénéités, de défauts notamment. C'est pourquoi les algorithmes de détection classiques directement transposés de l'application d'imagerie visible donnent de mauvais résultats.
Afin d'obtenir de meilleurs résultats de détection, y compris sur des objets à faible rapport signal sur bruit (SNR), le procédé selon l’invention comprend un algorithme basé sur l'intelligence artificielle. Il est basé sur un réseau de neurones entraîné sur un ensemble d'images spécifiquement simulées pour être le plus représentatif possible des images infrarouges réelles dans la configuration optique utilisée pour l'acquisition des images. Un ensemble d'images réelles acquises en conditions réelles avec le dispositif expérimental a été étudié pour construire un modèle réaliste de bruit, de défauts, de réponse, de fond et de non-uniformités. Ensuite, ces modèles ont été utilisés pour simuler un ensemble d'images, avec une vérité terrain connue, à utiliser comme ensemble d'entraînement pour le réseau de neurones.
En utilisant une intelligence artificielle fonctionnant par apprentissage profond, ou « deep learning » en anglais, pour le traitement des images infrarouges, le procédé selon l’invention présente l’avantage de pouvoir fonctionner à partir d’une calibration simple réalisée à partir d’une vue du ciel qui ne nécessite pas de module ou de développement spécifique.
Le « Deep learning », ou apprentissage profond, est l'une des technologies principales du Machine learning, mettant en oeuvre des algorithmes capables de mimer les actions du cerveau humain grâce à des réseaux de neurones artificielles composés de dizaines voire de centaines de « couches » de neurones, chacune recevant et interprétant les informations de la couche précédente. Les réseaux de « deep learning » sont entraînés sur la base de structures complexes de données auxquelles ils sont confrontés.
Le procédé selon l’invention présente également l’avantage de pouvoir être utilisé par un système doté d’un télescope à réflexion classique qui n’a pas été optimisé pour un fonctionnement avec des ondes infrarouges à courtes longueurs d’ondes. Le dispositif de prise de vues permet ainsi de facilement réaliser, depuis la Terre, une surveillance spatiale pour détecter des objets spatiaux en orbite autour de la Terre dans des images capturées pendant la journée.
Dans un premier mode de réalisation du procédé de surveillance selon l’invention, les couches de réseaux de neurones artificiels peuvent être calibrées, préalablement à leur utilisation pour détecter des objets spatiaux (satellites, débris, étoiles etc...) présents dans les images infrarouges, par un procédé d’apprentissage supervisé à partir d’une base de différentes images permettant au système d’intelligence artificielle de déterminer les caractéristiques typiques d’un objet spatial (caractéristiques différenciant un point lumineux correspondant à un objet spatial réel du fond de l’image, des pixels chauds, du bruit électronique, etc...).
Dans un deuxième mode de réalisation du procédé de surveillance selon l’invention, le procédé peut comprendre, en outre, juste après la capture de prises de vue, une application d’une correction de non-uniformité sur les prises de vue capturées.
Dans un troisième mode de réalisation du procédé de surveillance selon l’invention, le procédé peut comprendre, en outre un filtrage de chaque image empilée obtenue.
Dans un quatrième mode de réalisation du procédé de surveillance selon l’invention, le procédé peut comporter en outre une formation d’images empilées à partir d’une superposition d’une pluralité desdites prises de vue, chaque pixel d’une image empilée étant associé à une intensité de lumière reçue correspondant à la moyenne des intensités des prises de vue superposées pour le même pixel, la détection d’objets spatiaux utilisant les images empilées comme prises de vue à traiter.
Dans un cinquième mode de réalisation du procédé de surveillance selon l’invention, le procédé peut comprendre, en outre, avant l’étape de détection d’objets spatiaux en orbite autour de la Terre, une étape de délignage de chaque image empilée pour éliminer les défauts en stries sur l’image empilée. Selon un autre objet de l’invention, il est proposé un système de surveillance spatiale pour détecter des objets spatiaux en orbite autour de la Terre, le système comprenant un télescope réflecteur monté sur un support mécanique à déplacement motorisé, un dispositif de prises de vue comportant au moins un capteur infrarouge monté en sortie du télescope réflecteur et configuré pour prendre des séries de prises de vue du ciel de jour à une fréquence comprise entre 1 Hz et quelques centaines de Hertz, et une unité de traitement recevant chaque prise de vue capturée par le dispositif de prises de vue.
Selon une caractéristique générale du système de surveillance spatiale selon l’invention, l’unité de traitement peut comprendre un système d’intelligence artificielle fonctionnant par apprentissage profond et comportant une pluralité de couches de réseau de neurones artificiels reliées entre elles pour analyser les informations de la couche de neurones précédentes, l’unité de traitement étant configurée pour réaliser les étapes suivantes à partir des prises de vues reçues :
- une détection d’objets spatiaux en orbite autour de la Terre à partir des prises de vue capturées, la détection étant réalisée par le système d’intelligence artificielle fonctionnant par apprentissage profond, et
- une identification de chaque objet détecté à partir d’un catalogue d’objets spatiaux connus en orbite autour de la Terre, la détection d’objets spatiaux en orbite autour de la Terre comportant une détection de points lumineux sur chaque prise de vue, et une discrimination des points lumineux détectés, la discrimination comportant un suivi de chaque point lumineux détecté et stationnaire dans des prises de vue successives, et, un enregistrement des coordonnées des points lumineux détectés à des positions éventuellement différentes et regroupés par ce suivi, l’enregistrement étant réalisé, pour chaque point lumineux détecté, à la suite de sa disparition dans les prises de vue suivantes.
Dans un mode de réalisation du système de surveillance spatiale, le dispositif de prises de vue peut comprendre en outre au moins un capteur de lumière visible monté en sortie du télescope réflecteur et configuré pour prendre des séries de prises de vue du ciel de nuit, le système de surveillance spatiale comprenant en outre un module d’alternance jour/nuit permettant de changer le type de capteur recevant la lumière du ciel en fonction de l’intensité lumineuse environnementale Brève description des dessins
D’autres caractéristiques et avantages de la présente invention ressortiront de la description faite ci-dessous, en référence aux dessins annexés qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif.
[Fig. 1] La figure 1 représente un procédé de surveillance spatiale selon un mode de mise en oeuvre de l’invention.
[Fig. 2] La figure 2 représente un système de surveillance spatiale selon un premier mode de réalisation de l’invention.
[Fig. 3] La figure 3 représente un système de surveillance spatiale selon un deuxième mode de réalisation de l’invention.
Description des modes de réalisation
Sur la figure 2 est représenté schématiquement un système de surveillance spatiale selon un premier mode de réalisation de l’invention.
Le système 1 de surveillance spatiale est configuré pour détecter des objets spatiaux en orbite autour de la Terre. Le système 1 comprend un télescope réflecteur 2 monté sur un support 3 mécanique à déplacement motorisé, un dispositif 4 de prises de vue monté en sortie du télescope réflecteur 2 et comportant au moins un capteur infrarouge 40, et une unité de traitement 5 recevant chaque prise de vue capturée par le dispositif 4 de prises de vue.
Le dispositif 4 de prises de vue est configuré pour prendre des séries de prises de vue du ciel de jour à une fréquence comprise entre 1 Hz et quelques centaines de Hertz. Le temps de pose pour chaque prise de vue est réglé pour limiter la saturation du capteur infrarouge 40.
L”unité de traitement 5 comprend un système d’intelligence artificielle 50 fonctionnant par apprentissage profond et comportant une pluralité de couches de réseau de neurones artificiels reliées entre elles pour analyser les informations de la couche de neurones précédentes. L’unité de traitement 50 est configurée pour mettre en oeuvre un procédé de surveillance spatiale dans des images capturées pendant la journée.
Sur la figure 1 est représenté un tel procédé de surveillance selon un mode de mise en oeuvre de l’invention. Dans une première étape 100 du procédé, on réalise une capture d’une pluralité d’images infrarouges du ciel en pleine journée à l’aide du dispositif 4 de prise de vue et de son capteur infrarouge 40. Chaque image infrarouge comporte une matrice de pixels qui sont associés chacun à une intensité de lumière reçue par le capteur infrarouge.
Dans une deuxième étape 110 du procédé, on réalise une correction de la non- uniformité de réponse des pixels pour chaque image capturée. Cette correction est faite via l’acquisition préalable d’une image uniforme de référence, acquise directement sur ciel dans une zone dépourvue d’objets lumineux (étoiles ou satellites). Cette calibration ne nécessite pas de démontage du capteur, ni de matériel complémentaire.
Dans une étape suivante 120 du procédé, on réalise des empilements d’une pluralité d’images capturées successivement. L’image empilée obtenue est réalisée par la superposition des images infrarouges de l’empilement. Chaque pixel d’une image empilée est associé à une intensité de lumière reçue correspondant à la moyenne des intensités des images infrarouges superposées pour le même pixel.
Dans une étape suivante 130, on réalise ensuite un délignage, ou « destriping » en anglais, pour chaque image empilée. Le délignage permet d’éliminer les défauts en stries qui peuvent apparaître sur l’image empilée à cause de la superposition des images infrarouges.
Dans une étape suivante 140, on réalise une détection des points lumineux, ou « plot detection » en anglais », sur chacune des images empilées délignées. Cette étape consiste en une extraction des points lumineux par rapport au bruit de fond.
Cette étape de détection des points lumineux 140 peut être précédée d’un filtrage d’image classique (type moyenneur) pour réduire le bruit de fond et améliorer les performances de la détection.
L’étape 140 de détection des points lumineux est mise en oeuvre par le système d’intelligence artificielle 50 fonctionnant par apprentissage profond et comportant une pluralité de couches de réseau de neurones artificiels reliées entre elles pour analyser les informations de la couche de neurones précédentes. Dans une étape suivante 150, on réalise une discrimination des points lumineux détectés à l’étape précédente 140 en étoiles ou satellites. Cette discrimination comporte un suivi des points lumineux détectés et stationnaires dans les images (ces points stationnaires appartiennent donc au même objet spatial). Et dès lors que tous les points d’un même objet spatial sont listés, on réalise un enregistrement des coordonnées des points lumineux détectés à des positions éventuellement différentes et regroupés par ce pistage. Autrement dit, l’enregistrement est réalisé dès lors que point lumineux détecté disparaît sur les images suivantes.
La détection d’objets spatiaux à l’étape 150 permet ainsi d’obtenir les objets spatiaux en orbite autour de la Terre présents dans les images.
Dans une étape suivante 160, les objets détectés sont comparés aux objets répertoriés dans un catalogue d’objets spatiaux connus en orbite autour de la Terre. Le catalogue répertorie les objets spatiaux connus en orbite autour de la Terre en y indiquant les différentes caractéristiques de l’objet spatial : ses dimensions, son orbite, et différentes caractéristiques intrinsèques.
Dans une étape suivante 170, de nouvelles caractéristiques sont extraites à partir des objets détectés dans les images empilées, pour soit mettre à jour les informations relatives à cet objet spatial s’il est déjà répertorié dans le catalogue, ou pour ajouter un nouvel objet spatial dans le catalogue.
Les couches de réseaux de neurones artificiels sont calibrées, préalablement à leur utilisation pour détecter des objets spatiaux (étoiles, satellites, débris, etc...), par un procédé d’apprentissage supervisé à partir d’une base de différentes images permettant au système d’intelligence artificielle de déterminer les caractéristiques typiques d’un objet spatial (étoiles, satellites, débris, etc...). La calibration est effectuée sur un jeu d’images de simulation qui ont été générées pour reproduire des images typiques issues du capteur. Chaque image de simulation comprend un fond et du bruit de fond, des plots lumineux correspondant soit à des étoiles, soit à des objets spatiaux, soit à des défauts du capteur. A chaque image ainsi créée, on associe sa vérité, soit les positions des objets réels dans l’image (étoiles et satellites). Un grand nombre d’images est ainsi créé et sert de base d’apprentissage au réseau de neurones. La présente invention permet ainsi de fournir un système et un procédé de détection d’objets spatiaux en orbite autour de la Terre capable de fonctionner en plein jour et moins onéreux que les systèmes connus.

Claims

Revendications
[Revendication 1] Procédé de surveillance spatiale pour détecter des objets spatiaux en orbite autour de la Terre dans des images capturées pendant la journée, le procédé comprenant les étapes suivantes :
- une capture (100) d'une pluralité de prises de vue dans l'infrarouge du ciel de jour à l'aide d'un dispositif de prise de vue comportant au moins un capteur infrarouge, chaque prise de vue dans l'infrarouge comportant une matrice de pixels qui sont associés chacun à une intensité de lumière reçue par un capteur infrarouge,
- une détection (140 et 150) d'objets spatiaux en orbite autour de la Terre à partir desdites prises de vue,
- une identification (160) de chaque objet détecté à partir d'un catalogue d'objets spatiaux connus en orbite autour de la Terre,
- le procédé étant caractérisé en ce que l'étape de détection d'objets spatiaux en orbite autour de la Terre est mise en oeuvre par un système d'intelligence artificielle fonctionnant par apprentissage profond et comportant une pluralité de couches de réseau de neurones artificiels reliées entre elles pour analyser les informations de la couche de neurones précédentes, l'apprentissage profond étant basé sur des images de simulation générées pour reproduire des images typiques issues du capteur infrarouge et comportant un fond et du bruit de fond, des plots lumineux correspondant soit à des étoiles, soit à des objets spatiaux, soit à des défauts du capteur infrarouge, chaque image de simulation étant associée à une vérité basée sur les positions des objets réels dans l'image, et l'étape de détection d'objets spatiaux en orbite autour de la Terre comportant :
- une détection (140) de points lumineux sur chaque prise de vue,
- une discrimination (150) des points lumineux détectés, la discrimination comportant un suivi de chaque point lumineux détecté et stationnaire dans des prises de vue successives, et, un enregistrement des coordonnées des points lumineux détectés à des positions éventuellement différentes et regroupés par ce suivi, l'enregistrement étant réalisé, pour chaque point lumineux détecté, à la suite de sa disparition dans les prises de vue suivantes.
[Revendication 2] Procédé selon la revendication 1, dans lequel les couches de réseaux de neurones artificiels sont calibrées, préalablement à leur utilisation pour détecter des objets spatiaux, par un procédé d'apprentissage supervisé à partir d'une base de différentes images permettant au système d'intelligence artificielle de déterminer les caractéristiques typiques d'un objet spatial.
[Revendication 3] Procédé selon l'une des revendications 1 ou 2, comprenant en outre, juste après la capture (100) de prises de vue, une application (110) d'une correction de non-uniformité sur les prises de vue capturées.
[Revendication 4] Procédé selon l'une des revendications 1 à 3, comprenant en outre un filtrage de chaque prise de vue.
[Revendication 5] Procédé selon l'une des revendications 1 à 4, comportant en outre une formation (120) d'images empilées à partir d'une superposition d'une pluralité desdites prises de vue, chaque pixel d'une image empilée étant associé à une intensité de lumière reçue correspondant à la moyenne des intensités des prises de vue superposées pour le même pixel, la détection (140 et 150) d'objets spatiaux utilisant les images empilées comme prises de vue à traiter.
[Revendication 6] Procédé selon la revendication 5, comprenant en outre, avant l'étape de détection des points lumineux, une étape de délignage (130) de chaque image empilée pour éliminer les défauts en stries sur l'image empilée.
[Revendication 7] Système (1, 10) de surveillance spatiale pour détecter des objets spatiaux en orbite autour de la Terre, le système (1) comprenant un télescope réflecteur (2) monté sur un support (3) mécanique à déplacement motorisé, un dispositif (4, 4') de prises de vue comportant au moins un capteur infrarouge (40) monté en sortie du télescope réflecteur (2) et configuré pour prendre des séries de prises de vue du ciel de jour à une fréquence comprise entre 1 Hz et quelques centaines de Hertz, et une unité de traitement (5) recevant chaque prise de vue capturée par le dispositif de prises de vue, caractérisé en ce que l'unité de traitement comprend un système d'intelligence artificielle (50) fonctionnant par apprentissage profond et comportant une pluralité de couches de réseau de neurones artificiels reliées entre elles pour analyser les informations de la couche de neurones précédentes, l'unité de traitement étant configurée pour réaliser les étapes suivantes à partir des prises de vues reçues :
- une détection d'objets spatiaux en orbite autour de la Terre à partir des prises de vue capturées, la détection de points lumineux étant réalisée par le système d'intelligence artificielle fonctionnant par apprentissage profond, et
- une identification de chaque objet détecté à partir d'un catalogue d'objets spatiaux connus en orbite autour de la Terre, la détection d'objets spatiaux en orbite autour de la Terre comportant une détection (140) de points lumineux sur chaque prise de vue, et une discrimination (150) des points lumineux détectés, la discrimination comportant un suivi de chaque point lumineux détecté et stationnaire dans des prises de vue successives, et, un enregistrement des coordonnées des points lumineux détectés à des positions éventuellement différentes et regroupés par ce suivi, l'enregistrement étant réalisé, pour chaque point lumineux détecté, à la suite de sa disparition dans les prises de vue suivantes.
[Revendication 8] Système (10) de surveillance spatiale selon la revendication 7, dans lequel le dispositif (49 de prises de vue comprend en outre au moins un capteur de lumière visible (42) monté en sortie du télescope réflecteur (2) et configuré pour prendre des séries de prises de vue du ciel de nuit, le système (10) de surveillance spatiale comprenant en outre un module d'alternance jour/nuit (44) permettant de changer le type de capteur recevant la lumière du ciel en fonction de l'intensité lumineuse environnementale.
EP23754818.5A 2022-07-21 2023-07-21 Procede et systeme de surveillance spatiale infrarouge de jour Pending EP4558970A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2207482A FR3138215B1 (fr) 2022-07-21 2022-07-21 Procédé et système de surveillance spaciale infrarouge de jour
PCT/FR2023/051139 WO2024018164A1 (fr) 2022-07-21 2023-07-21 Procede et systeme de surveillance spatiale infrarouge de jour

Publications (1)

Publication Number Publication Date
EP4558970A1 true EP4558970A1 (fr) 2025-05-28

Family

ID=84362249

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23754818.5A Pending EP4558970A1 (fr) 2022-07-21 2023-07-21 Procede et systeme de surveillance spatiale infrarouge de jour

Country Status (7)

Country Link
US (1) US20260030891A1 (fr)
EP (1) EP4558970A1 (fr)
JP (1) JP2025528712A (fr)
KR (1) KR20250059391A (fr)
AU (1) AU2023311394A1 (fr)
FR (1) FR3138215B1 (fr)
WO (1) WO2024018164A1 (fr)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657251A (en) * 1995-10-02 1997-08-12 Rockwell International Corporation System and process for performing optimal target tracking
US7349804B2 (en) * 2004-10-18 2008-03-25 Trex Enterprises Corp. Daytime stellar imager
US9063934B2 (en) * 2007-08-17 2015-06-23 At&T Intellectual Property I, Lp System for identifying media content
US9423341B1 (en) 2009-11-30 2016-08-23 Oceanit Laboratories, Inc. Daytime infrared imaging of satellites
US8511614B2 (en) * 2010-03-22 2013-08-20 Raytheon Company Satellite system providing optimal space situational awareness
US20130250104A1 (en) * 2012-03-20 2013-09-26 Global Science & Technology, Inc Low cost satellite imaging method calibrated by correlation to landsat data
US9341517B1 (en) * 2013-03-15 2016-05-17 Wavefront Research, Inc. Optical angular measurement sensors
WO2020107022A1 (fr) * 2018-11-23 2020-05-28 Slingshot Aerospace, Inc. Moteur de flux de travail de traitement de signal incorporant une interface utilisateur graphique pour une perception situationnelle spatiale
US10740609B1 (en) * 2019-08-30 2020-08-11 Numerica Corporation System and method for space object detection in daytime sky images
AU2023333059A1 (en) * 2022-09-02 2025-03-06 ExoAnalytic Solutions, Inc. Systems for software-defined telescopes
US20250278614A1 (en) * 2024-02-29 2025-09-04 Rtx Bbn Technologies, Inc. Rapid and uncertainty quantified orbital propagation using uncertainty-aware artificial intelligence

Also Published As

Publication number Publication date
FR3138215B1 (fr) 2024-08-02
FR3138215A1 (fr) 2024-01-26
US20260030891A1 (en) 2026-01-29
JP2025528712A (ja) 2025-09-02
AU2023311394A1 (en) 2025-02-13
KR20250059391A (ko) 2025-05-02
WO2024018164A1 (fr) 2024-01-25

Similar Documents

Publication Publication Date Title
CA2804991C (fr) Systeme optique de veille pour systeme de veille spatiale de surveillance de l'espace proche
EP2593368B1 (fr) Procede de realisation d'un systeme de veille spatiale pour la surveillance de l'espace proche
EP2593367B1 (fr) Systeme de veille spatiale pour la surveillance de l'espace proche
EP4308460B1 (fr) Systeme de detection de la trajectoire d'objets mobiles
WO2014179482A1 (fr) Dispositif d'estimation d'urgence incendie dans une orbite géosynchrone (fuego)
US9423341B1 (en) Daytime infrared imaging of satellites
Boër et al. TAROT: a network for space surveillance and tracking operations
FR3137183A1 (fr) Procédé et dispositif pour la détermination d’une loi de pointage d’un satellite par détermination d’une distribution spatio-temporelle
US11471717B1 (en) Early fire detection and suppression
WO2012007692A1 (fr) Procédé et dispositif d'imagerie bi-spectral multifonctions
EP4115327B1 (fr) Procédé d'aide à la détection d'éléments, dispositif et plateforme associés
WO2024018164A1 (fr) Procede et systeme de surveillance spatiale infrarouge de jour
Becker et al. Improved space object detection using short-exposure image data with daylight background
Day et al. Experimental Results from On-orbit Edge-deployed AI Detection of Resident Space Objects Using Computer Vision
EP4225650B1 (fr) Système de détection de la trajectoire d'objets mobiles
Suthakar Image Processing for Stratospheric Based Space Situational Awareness (SSA)
Jansson Optical Detection and Analysis of Meteors with AllSky7
FR2701762A1 (fr) Dispositif de restitution d'orbite de corps célestes, notamment de satellites artificiels, par écartométrie.
Kelly FUEGO—Fire Urgency Estimator in Geosynchronous Orbit—A Proposed Early-Warning Fire

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250129

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)