EP4677560A1 - Procédé de surveillance automatique - Google Patents

Procédé de surveillance automatique

Info

Publication number
EP4677560A1
EP4677560A1 EP24714241.7A EP24714241A EP4677560A1 EP 4677560 A1 EP4677560 A1 EP 4677560A1 EP 24714241 A EP24714241 A EP 24714241A EP 4677560 A1 EP4677560 A1 EP 4677560A1
Authority
EP
European Patent Office
Prior art keywords
scene
sensor
images
current image
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24714241.7A
Other languages
German (de)
English (en)
Inventor
Paul Jean Alain BONDOIS
Claire TAFANELLI
Fabien Hauzanneau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Safran Electronics and Defense SAS
Original Assignee
Safran Electronics and Defense SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Safran Electronics and Defense SAS filed Critical Safran Electronics and Defense SAS
Publication of EP4677560A1 publication Critical patent/EP4677560A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the invention relates to an automatic surveillance method, in particular intended to be embedded in terrestrial viewfinders or for any other system incorporating cameras or sensors capable of monitoring a given scene.
  • Sensor monitoring methods are known based on panoramic strips of the observed scene. For this, a sensor scans the scene at a configurable rotation speed and over a configurable angular sector and acquires images associated with line-of-sight information of the sensor. These acquired images are then processed in real time in two stages.
  • the images are projected into a panoramic frame.
  • Projecting the images into the panoramic frame is in itself a computationally expensive step because the projection must be of high quality to be used by the detection algorithms mentioned later. It thus requires the implementation of many functions, such as: a complex geometric transformation of the homography type, a rolling shutter correction, a correction of the sensor orientations, a correction of distortions, an estimation of the motion for the registration of the current image with the other images, etc.
  • the images are processed by at least two image processors.
  • a first panoramic strip reconstruction image processing is applied to reconstruct a panoramic strip and optimize its final quality.
  • many additional functions costly in computational resources are applied to the projected image so that the final panoramic strip is of good quality.
  • Such functions can be a motion blur correction, a contrast enhancement and an operation to smooth the differences in brightness and contrast between the images used to construct the strip.
  • a second object detection image processing between the current projected image and a set of reference strips is applied to detect objects of interest and changes occurring over the entire sector observed by the sensor, image by image.
  • This detection adds computational complexity.
  • object detection requires that the projection of the current image into the panoramic reference frame be performed optimally and of high quality.
  • Existing monitoring methods therefore require a huge amount of computing resources to operate and can only be implemented on powerful electronic processing cards. They can therefore only be difficult to embed in terrestrial sights.
  • the invention aims to overcome these drawbacks.
  • a method for automatically monitoring a scene comprising the steps of: a) acquiring a plurality of images by a sensor configured to scan said scene, b) constructing a panoramic strip of the scene from said images, c) determining a monitoring trajectory from a plurality of waypoints in said scene, and creating a plurality of instances of an information extraction algorithm for the defined waypoints, each of said algorithm instances has reference images, specific to each of the waypoints (202) and centered on said waypoint, and d) repeating a step of traveling the monitoring trajectory by said sensor, and at each waypoint traveled, acquiring at least one current image continuously, and extracting information from said current image, from the instance of the information extraction algorithm, by comparing the current image with said set of reference images associated with said waypoint
  • the detection of information from the scene is based on images and not on a panoramic strip as in the state of the art.
  • This makes it possible to reduce the resources required to implement the method.
  • the method makes it possible to do without complex and computationally expensive image processing.
  • the method can be implemented simply in existing sensors or viewfinders.
  • the method according to the invention makes it possible to construct the panoramic strip only with inexpensive processing.
  • the method may include creating N instances of an object detection algorithm on the N defined waypoints.
  • Each instance may have reference images, which are specific to each of the N waypoints and centered on said point.
  • the method may comprise traversing the monitoring trajectory, stopping at each of the N passage points, by said sensor, and acquiring the current images continuously.
  • the method may comprise, for each stop on a point, a call to an instance of the object detection algorithm linked to said point.
  • the method may comprise the initialization of said instance, for example only once during the first passage over the point, then the comparison of the current image with a set of reference images. The method may then understand the updating of the reference images and finally the highlighting of the detected objects and/or the recovery/transmission of the detection information of these objects.
  • the sensor may be a viewfinder comprising one or more cameras and means for actuating the camera(s) of the sensor along a line of sight.
  • the line of sight may correspond to the horizontal and vertical orientation of the sensor.
  • the sensor may be any type of optronic sensor.
  • the sensor may comprise at least one visible spectrum camera and/or at least one infrared camera, or any other camera. Said cameras may be oriented in parallel.
  • the sensor may include means for processing the data acquired by said cameras.
  • the panoramic strip of the scene can be constructed once at the start of the method and does not need to be updated at each iteration of step d). This makes it possible to further reduce the calculator resources for implementing the method.
  • Step b) of constructing the panoramic strip can be carried out by juxtaposing the images acquired in step a). Prior to this juxtaposition, the images acquired in step a) can be processed by at least one operation to zoom out said current image and/or at least one translation operation and/or at least one operation to smooth out the differences in brightness and contrast between the images used to construct the strip.
  • the panoramic strip reconstruction function is therefore much less expensive in calculator resources compared to the state-of-the-art methods.
  • Step d) may include, for each waypoint, extracting information from the current image based on the reference image.
  • the information may relate to the presence or absence of an object in the image, for example in relation to the last image of the previous scan, or the tracking of the movement of an object in the image, the extraction of characteristics of an object in the image such as its position, its dimensions, its speed and possibly its identification, etc.
  • Information extraction can be performed by any type of algorithm for detecting objects or elements in the scene, for example by a moving object detection algorithm, a change detection algorithm and/or any algorithm that uses temporal learning on the whole image or on a part.
  • Step d) may comprise the detection of the appearance or disappearance of objects from the scene between two successive iterations of the path of the monitoring trajectory by the sensor. This detection may comprise the comparison of said at least one current image with the reference image of the point of passage that the sensor travels.
  • the image of reference may include data from the image acquired during the previous scan of said waypoint by the sensor.
  • the method may comprise a step of updating, for each waypoint, the reference image with the successive current images acquired at each iteration of step d).
  • the reference image associated with a waypoint may comprise an image at one or more resolution scales and statistical data learned on the scene at all resolution scales and from successive current images taken of said waypoint.
  • step a) can be performed by scanning the scene by the sensor at a rotation speed following an angular sector.
  • the rotation speed and the angular sector can be defined by a user, or even calculated automatically by the algorithm.
  • At least one waypoint in the scene can correspond to a point of interest in the landscape such as a building, a crossroads, etc.
  • Waypoints can be selected by the user, in particular by selecting points on the panoramic strip.
  • Waypoints can be determined automatically by automatic analysis of the scene by a dedicated algorithm, for example based on artificial intelligence.
  • the number N of waypoints can for example be between 2 and 20 but can also be greater than 20.
  • the method may include an exposure time of the sensor during the journey of the monitoring trajectory for the acquisition of said at least one current image, at each passage point.
  • the method may include displaying the panoramic banner, said at least one current image, the monitoring trajectory and/or any data extracted from the current image.
  • the method may include displaying the line of sight data and/or the sensor movement speed.
  • the invention further relates to a device for automatically monitoring a scene, comprising a sensor mounted on actuators configured to move the sensor and a processing circuit for implementing the aforementioned method.
  • the sensor may be a viewfinder comprising one or more cameras and means for actuating the camera(s) of the sensor along a line of sight.
  • the sensor may comprise at least one visible spectrum camera and/or at least one infrared camera, or any other camera.
  • the invention also relates to a computer program comprising instructions for implementing the aforementioned method, when said instructions are executed by a processor of a processing circuit.
  • FIG. 1 represents a diagram of an exemplary embodiment of the method according to the invention
  • FIG. 2 represents a first example of a display resulting from the method of Figure 1
  • FIG. 3 represents a second example of a display resulting from the method of Figure 1
  • FIG. 4 represents another example of an explanatory display resulting from the method of Figure 1.
  • the method 100 for automatically monitoring a scene by a sensor Referring to FIG. 1, the method 100 for automatically monitoring a scene by a sensor.
  • the sensor is in particular a viewfinder, for example a terrestrial viewfinder, comprising several cameras and actuators capable of moving the cameras of the sensor horizontally and vertically along a line of sight 102.
  • the sensor can be any type of optronic sensor.
  • the sensor includes visible spectrum cameras, infrared cameras, or any other cameras arranged in parallel or not.
  • the sensor further comprises processing means capable of implementing the method 100.
  • the method 100 comprises a first phase of constructing a panoramic strip 108 visible in detail in FIGS. 2 and 3.
  • This first phase comprises a step of scanning the scene along a predetermined angular sector and at a given speed.
  • the method 100 comprises the acquisition of data relating to the line of sight 102 of the sensor, i.e. its horizontal and vertical orientations, and the acquisition of images 110 of the sensor at a plurality of successive instants.
  • the method 100 comprises a step 104 of projection and processing of the acquired images consisting at least of zooming out operations 104a, i.e. changing the size of the image, and of translation of the images 104b.
  • the method 100 then comprises a step 106 of reconstructing the panoramic strip 108 by applying an operation 106a making it possible to smooth the differences in brightness and contrast between the images, used to construct the strip, to the images projected and processed in the previous step 104 and by inserting 106b the images into the panoramic strip 108.
  • the method 100 comprises a step of selecting a plurality of waypoints 202, for example N waypoints 202 (where N is an integer), in the panoramic strip 108.
  • the waypoints 202 are defined by the operator.
  • the number N of waypoints can for example be between 2 and 20.
  • the waypoints 202 can be determined, or suggested for validation to the operator, automatically by processing the scene of the panoramic banner 108, for example by methods based on artificial intelligence.
  • Waypoints 202 can be points in the landscape ⁇
  • N instances of an object detection algorithm 114 are created in connection with the N defined waypoints. Each instance is associated with reference images 112, which are specific to each of the waypoints and centered on said waypoint.
  • Waypoints 202 define a surveillance trajectory 204.
  • the method 100 then comprises the repetitive traversal, throughout the monitoring duration, of the monitoring trajectory 204 by the sensor. This consists of traversing the monitoring trajectory 204, stopping at each of the N waypoints 202, by said sensor, and acquiring the current images continuously.
  • the instance of the object detection algorithm 114 linked to said point 202 is called. It is initialized, for example, once only during the first passage over the waypoint. Then, the current image 110, having said waypoint 202 as its optical center, is compared with a set of reference images 112 and then the reference images 112 of said waypoint are updated. Finally, the detected objects are highlighted and/or the detection information for these objects 1000 is retrieved/transmitted.
  • a moving object detection process is applied to the current image 110. This makes it possible to detect the objects 206-1, 206-2 and 206-3 which move in the zone 122 corresponding to the visual field of the sensor.
  • the moving object detection processing can be replaced by any other type of processing suitable for extracting useful information from the images. And in particular, by algorithms for detecting objects or elements in the scene, such as for example a change detection algorithm or any algorithm that uses temporal learning on the whole image or on a part.
  • the reference images 112, linked to each of the N waypoints, some of which are framed in FIG. 4, are regularly updated according to the successive current images 110 acquired.
  • the reference images 112 are updated at each time t of the path of the monitoring trajectory 204.
  • the reference image 112 associated with a waypoint 202 comprises an image at one or more resolution scales and statistical data learned on the scene at all resolution scales and from the successive current images 110 taken from said waypoint 202.
  • the method 100 maintains in memory N instances of an object detection algorithm 114 on the N defined waypoints. Each instance will have its reference images 112, which will also be maintained.
  • the optical field of the sensor may be modified.
  • the N instances of the object detection algorithm 114 will be reset, as well as their associated reference images 112.
  • Figures 2 and 3 represent examples of displays that can be produced during the execution of the method 100. Such images can be displayed on a screen equipping the sensor or on a screen remote and separate from the sensor.
  • the current image 110 displayed in the upper part corresponds to the image captured by the sensor when it is aligned along a line of sight corresponding to the zone 122 of the panoramic strip 108.
  • the detections 1000 are also displayed/encrusted.
  • Other information can be displayed to the operator such as the data of the line of sight and/or the speed of movement of the sensor.
  • the method 100 further comprises the detection of the appearance or disappearance of objects from the scene between two successive iterations of the path of the monitoring trajectory 204 by the sensor, via the processing 114.
  • the current image(s) 110 are compared to the reference image 112 of the waypoint 202 that the sensor displays.
  • the reference image 112 comprises data from the image acquired during the previous scanning of said waypoint 202 by the sensor.
  • the panoramic banner 108 is not updated during the stages of the trajectory and the successive stages 114.
  • the panoramic banner 108 can be updated, for example to update its content or to extend or reduce the surveillance zone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

L'invention concerne un procédé (100) de surveillance automatique d'une scène comprenant les étapes consistant à : a) acquérir une pluralité d'images par un capteur configuré pour balayer ladite scène, b) construire un bandeau panoramique (108) de la scène à partir desdites images, c) déterminer une trajectoire de surveillance à partir d'une pluralité de points de passage dans ladite scène, et d) répéter une étape consistant à parcourir la trajectoire de surveillance par ledit capteur, et à chaque point de passage parcouru, acquérir au moins une image courante (110) et extraire des informations de ladite image courante.

Description

DESCRIPTION
TITRE : Procédé de surveillance automatique
Domaine technique de l’invention
L’invention concerne un procédé de surveillance automatique, en particulier destiné pour être embarqué dans des viseurs terrestres ou pour tout autre système embarquant des caméras ou capteurs aptes à surveiller une scène donnée.
Etat de la technique antérieure
On connaît des procédés de surveillance pour capteur basés sur des bandeaux panoramiques de la scène observée. Pour cela, un capteur balaye la scène à une vitesse de rotation configurable et sur un secteur angulaire configurable et acquiert des images associées à des informations de ligne de visée du capteur. Ces images acquises sont ensuite traitées en temps réel en deux étapes.
Premièrement, les images sont projetées dans un repère panoramique. La projection des images dans le repère panoramique est en soi une étape coûteuse en ressources calculators car la projection doit être de grande qualité pour être utilisée par les algorithmes de détection mentionnés plus loin. Elle nécessite ainsi la mise en œuvre de nombreuses fonctions, telles que : une transformation géométrique complexe de type homographie, une correction de l’obturateur déroulant (ou « rolling shutter » en anglais), une correction des orientations du capteur, une correction des distorsions, une estimation du mouvement pour le recalage de l’image courante avec les autres images, etc.
Secondement, les images sont traitées par au moins deux traitements d’images.
D’une part, un premier traitement d’images de reconstruction de bandeau panoramique est appliqué pour reconstruire un bandeau panoramique et optimaliser sa qualité finale. Ainsi de nombreuses fonctions supplémentaires coûteuses en ressources calculatoires sont appliquées à l’image projetée pour que le bandeau panoramique final soit de bonne qualité. De telles fonctions peuvent être une correction du flou de bougé, une amélioration du contraste et une opération permettant de lisser les différences de luminosité et contraste entre les images utilisées pour construire le bandeau.
D’autre part, un second traitement d’images de détection d’objets entre l’image courante projetée et un ensemble de bandeaux de référence est appliqué pour détecter les objets d’intérêt et les changements survenus sur la totalité du secteur observé par le capteur et ce, image par image. Cette détection ajoute de la complexité calculatoire. Pour fonctionner de manière optimale, la détection d’objets nécessite que la projection de l’image courante dans le repère panoramique soit réalisée de manière optimale et qu’elle soit de grande qualité. Les procédés de surveillance existants nécessitent donc énormément de ressources calculatoires pour fonctionner et ne sont implémentables que sur des cartes électroniques de traitements puissantes. Ils ne peuvent ainsi que difficilement être embarqués dans les viseurs terrestres. L’invention vise à remédier à ces inconvénients.
Résumé de l’invention
A cet effet, il est proposé un procédé de surveillance automatique d’une scène comprenant les étapes consistant à : a) acquérir une pluralité d’images par un capteur configuré pour balayer ladite scène, b) construire un bandeau panoramique de la scène à partir desdites images, c) déterminer une trajectoire de surveillance à partir d’une pluralité de points de passage dans ladite scène, et créer une pluralité d’instances d’un algorithme d’extraction d’information pour les points de passage définis, chacune desdites instances d’algorithme a des images de référence, propres à chacun des points de passage (202) et centrées sur ledit point de passage, et d) répéter une étape consistant à parcourir la trajectoire de surveillance par ledit capteur, et à chaque point de passage parcouru, acquérir au moins une image courante en continu, et extraire des informations de ladite image courante, à partir de l’instance de l’algorithme d’extraction d’information, par comparaison de l’image courante avec ledit ensemble d’images de référence associés audit point de passage
Ainsi, la détection d’informations depuis la scène se base sur des images et non sur un bandeau panoramique comme dans l’état de l’art. Ceci permet de réduire les ressources nécessaires à la mise en œuvre du procédé. Notamment, le procédé permet de s’affranchir de traitements d’images complexes et coûteux en calcul. Le procédé peut être implémenté de façon simple dans les capteurs ou viseurs existants. Contrairement au bandeau panoramique de l’état de l’art, le procédé selon l’invention permet de construire le bandeau panoramique uniquement avec des traitements peu coûteux.
Le procédé peut comprendre la création de N instances d’un algorithme de détection d’objets sur les N points de passage définis. Chaque instance peut avoir des images de référence, qui sont propres à chacun des N points de passage et centrées sur ledit point.
Le procédé peut comprendre le parcourt de la trajectoire de surveillance, en marquant un arrêt sur chacun des N points de passage, par ledit capteur, et l’acquisition des images courantes en continu.
Le procédé peut comprendre pour chaque arrêt sur un point, un appel d’une instance de l’algorithme de détection d’objets liée audit point. Le procédé peut comprendre l’initialisation de ladite instance, par exemple une seule fois lors du premier passage sur le point, puis la comparaison de l’image courante avec un ensemble d’images de référence. Le procédé peut comprendre ensuite la mise à jour des images de référence et enfin la mise en avant des objets détectés et/ou la récupération / la transmission des informations de détections de ces objets.
Le capteur peut être un viseur comprenant une ou plusieurs caméras et des moyens d’actionnement de la ou des caméras du capteur selon une ligne de visée. La ligne de visée peut correspondre à l’orientation horizontale et verticale du capteur.
Le capteur peut être tout type de capteur optronique. Le capteur peut comprendre au moins une caméra du spectre visible et/ou au moins une caméra infrarouge, ou toute autre caméra. Lesdites caméras peuvent être orientées de manière parallèle.
Le capteur peut comprendre des moyens de traitement des données acquises par lesdites caméras.
En outre, le bandeau panoramique de la scène peut être construit une fois au lancement du procédé et ne nécessite pas d’être mis à jour à chaque itération de l’étape d). Ceci permet de réduire encore plus les ressources calculators pour la mise en œuvre du procédé. L’étape b) de construction du bandeau panoramique peut être réalisée par juxtaposition des images acquises à l’étape a). Préalablement à cette juxtaposition, les images acquises à l’étape a) peuvent être traitées par au moins une opération pour dézoomer ladite image courante et/ou au moins une opération de translation et/ou au moins une opération permettant de lisser les différences de luminosité et contraste entre les images utilisées pour construire le bandeau. Ainsi, la fonction de reconstruction de bandeau panoramique est donc beaucoup moins coûteuse en ressources calculators comparé aux procédés de l’état de l’art.
L’étape d) peut comprendre, pour chaque point de passage, l’extraction des informations de l’image courante en fonction de l’image de référence.
Les informations peuvent être relatives à la présence ou non d’un objet dans l’image, par exemple par rapport à la dernière image du balayage précèdent, ou le suivi de déplacement d’un objet dans l’image, l’extraction de caractéristiques d’un objet dans l’image tels que sa position, ses dimensions, sa vitesse et éventuellement son identification, etc.
L’extraction d’informations peut être réalisée par tout type d’algorithme de détection d’objets ou d’éléments dans la scène, par exemple par un algorithme de détection d’objets mobiles, un algorithme de détection de changement et/ou tout algorithme qui utilise un apprentissage temporel sur toute l’image ou sur une partie.
L’étape d) peut comprendre la détection d’apparition ou de disparition d’objets de la scène entre deux itérations successives du parcours de la trajectoire de surveillance par le capteur. Cette détection peut comprendre la comparaison de ladite au moins une image courante à l’image de référence du point de passage que parcours le capteur. En particulier, l’image de référence peut comprendre des données de l’image acquise lors du précédent balayage dudit point de passage par le capteur.
Ceci permet de détecter les changements survenus dans la scène lorsque le capteur était orienté vers une autre zone de la scène.
Le procédé peut comprendre une étape consistant à mettre à jour, pour chaque point de passage, l’image de référence avec les images courantes successives acquises à chaque itération de l’étape d).
En particulier, l’image de référence associée à un point de passage peut comprendre une image à une ou plusieurs échelles de résolution et des données statistiques apprises sur la scène à toutes les échelles de résolution et à partir des images courantes successives prises dudit point de passage.
Selon un mode de réalisation, l’étape a) peut être réalisé par balayage de la scène par le capteur à une vitesse de rotation suivant un secteur angulaire. Par exemple, la vitesse de rotation et le secteur angulaire peuvent être définis par un utilisateur, ou encore calculés automatiquement par l’algorithme.
Au moins un point de passage de la scène peut correspondre à un point d’intérêt du paysage tel qu’un bâtiment, un croisement de chemins, etc.
Les points de passage peuvent être sélectionnés par l’utilisateur, en particulier en sélectionnant des points sur le bandeau panoramique.
Les points de passage peuvent être déterminés automatiquement par analyse automatique de la scène par un algorithme dédié par exemple basé sur l’intelligence artificielle.
Le nombre N de points de passage peut par exemple être compris entre 2 et 20 mais peut aussi être supérieur à 20.
Le procédé peut comprendre un temps de pose du capteur lors du parcours de la trajectoire de surveillance pour l’acquisition de ladite au moins une image courante, à chaque point de passage.
Le procédé peut comprendre l’affichage du bandeau panoramique, de ladite au moins une image courante, de la trajectoire de surveillance et/ou de toutes données extraites de l’image courante. Le procédé peut comprendre l’affichage des données de la ligne de visée et/ou de la vitesse de déplacement du capteur.
L’invention concerne en outre un dispositif de surveillance automatique d’une scène, comportant un capteur monté sur des actionneurs configurés pour déplacer le capteur et un circuit de traitement pour la mise en œuvre du procédé précité.
Le capteur peut être un viseur comprenant une ou plusieurs caméras et des moyens d’actionnement de la ou des caméras du capteur selon une ligne de visée. Le capteur peut comprendre au moins une caméra du spectre visible et/ou au moins une caméra infrarouge, ou toute autre caméra. L’invention concerne encore un programme informatique comportant des instructions pour la mise en œuvre du procédé précité, lorsque lesdites instructions sont exécutées par un processeur d’un circuit de traitement.
Brève description des figures
[Fig. 1] représente un schéma d’un exemple de réalisation du procédé selon l’invention, [Fig. 2] représente un premier exemple d’affichage issu du procédé de la figure 1 , [Fig. 3] représente un second exemple d’affichage issu du procédé de la figure 1 , [Fig. 4] représente un autre exemple d’affichage explicatif issu du procédé de la figure 1 .
Description détaillée de l’invention
En référence à la figure 1 , le procédé 100 de surveillance automatique d’une scène par un capteur.
Le capteur est en particulier un viseur, par exemple un viseur terrestre, comprenant plusieurs caméras et des actionneurs aptes à déplacer les caméras du capteur horizontalement et verticalement selon une ligne de visée 102. Alternativement, le capteur peut être tout type de capteur optronique.
Le capteur comprend des caméras du spectre visible, des caméras infrarouges, ou toutes autres caméras agencées en parallèle ou non.
Le capteur comprend en outre des moyens de traitement aptes à mettre en œuvre le procédé 100.
Le procédé 100 comprend une première phase de construction d’un bandeau panoramique 108 visible en détail aux figures 2 et 3. Cette première phase comprend une étape de balayage de la scène suivant un secteur angulaire prédéterminé et à une vitesse donnée. Durant ce balayage, le procédé 100 comprend l’acquisition de données relatives à la ligne de visée 102 du capteur, c’est-à-dire ses orientations horizontale et verticale, et l’acquisition d’images 110 du capteur à une pluralité d’instants successifs.
Le procédé 100 comprend une étape 104 de projection et de traitement des images acquises consistant au moins en des opérations de dézoom 104a, c’est-à-dire de changement de taille de l’image, et de translation des images 104b.
Le procédé 100 comprend ensuite une étape 106 de reconstruction du bandeau panoramique 108 en appliquant une opération 106a permettant de lisser les différences de luminosité et contraste entre les images, utilisées pour construire le bandeau, aux images projetées et traitées à l’étape 104 précédente et en insérant 106b les images dans le bandeau panoramique 108.
Ce bandeau panoramique 108 construit est stocké en mémoire pour la suite du procédé 100. Le procédé 100 comprend une étape de sélection d’une pluralité de points de passage 202, par exemple N points de passage 202 (où N est un nombre entier), dans le bandeau panoramique 108. Les points de passage 202 sont définie par l’opérateur. Le nombre N de point de passage peut par exemple être compris entre 2 et 20.
Selon un mode de réalisation, les points de passage 202 peuvent être déterminées, ou suggérées pour validation à l’opérateur, de façon automatique par un traitement de la scène du bandeau panoramique 108, par exemple par des méthodes basées sur l’intelligence artificielle.
Les points de passage 202 peuvent être des points du paysage^
Dans un premier temps, N instances d’un algorithme de détection d’objets 114 sont créées en lien avec les N points de passage définis. Chaque instance est associée avec des images de référence 112, qui sont propres à chacun des points de passage et centrées sur ledit point de passage.
Les points de passage 202 définissent une trajectoire de surveillance 204.
Le procédé 100 comprend ensuite le parcours répétitif, durant toute la durée de surveillance, de la trajectoire de surveillance 204 par le capteur. Cela consiste à parcourir la trajectoire de surveillance 204, en marquant un arrêt sur chacun des N points de passage 202, par ledit capteur, et à acquérir les images courantes en continu.
Pour chaque arrêt sur un point 202, l’instance de l’algorithme de détection d’objets 114 liée à ledit point 202 est appelée. Elle est initialisée, par exemple une seule fois lors du premier passage sur le point de passage. Ensuite, l’image courante 110, ayant pour centre optique ledit point de passage 202, est comparée avec un ensemble d’images de référence 112 puis les images de référence 112 dudit point de passage sont mises à jour. Enfin les objets détectés sont mis en avant et/ou les informations de détections de ces objets 1000 sont récupérées / transmises.
Par exemple, un traitement de détection d’objets mobiles est appliqué à l’image courante 110. Ceci permet de détecter les objets 206-1 , 206-2 et 206-3 qui se déplacent dans la zone 122 correspondant au champ visuel du capteur.
Le traitement de détection d’objets mobiles peut être remplacé par tout autre type de traitement approprié pour extraire des informations utiles des images. Et notamment, par des algorithmes de détection d’objets ou d’éléments dans la scène, tels que par exemple un algorithme de détection de changement ou tout algorithme qui utilise un apprentissage temporel sur toute l’image ou sur une partie.
Les images de référence 112, liées à chacun des N points de passages dont certaines sont encadrées à la figure 4, sont régulièrement mises à jour en fonction des images courantes 110 successives acquises. Par exemple, les images de référence 112 sont mises à jour à chaque instant t du parcours de la trajectoire de surveillance 204. L’image de référence 112 associée à un point de passage 202 comprend une image à une ou plusieurs échelles de résolution et des données statistiques apprises sur la scène à toutes les échelles de résolution et à partir des images courantes 110 successives prises dudit point de passage 202.
Ainsi, le procédé 100 entretient en mémoire N instances d’un algorithme de détection d’objets 114 sur les N points de passage définis. Chaque instance aura ses images de référence 112, qui seront-elles aussi entretenues.
Durant le parcours de la trajectoire de surveillance, le champ optique du capteur peut être modifié. Dans ce cas, les N instances de l’algorithme de détection d’objets 114 seront réinitialisées, ainsi que leurs images de référence 112 associées.
Les figures 2 et 3 représentent des exemples d’affichage qui peuvent être réalisés lors de l’exécution du procédé 100. De telles images peuvent être affichées sur un écran équipant le capteur ou sur un écran à distance et distinct du capteur. L’image courante 110 affichée en partie supérieure correspond à l’image captée par le capteur lorsqu’il est aligné selon une ligne de visée correspondant à la zone 122 du bandeau panoramique 108. Dans cette image courante 110, sont également affichées / incrustées les détections 1000. D’autres informations peuvent être affichées à l’opérateur telle que les données de la ligne de visée et/ou de la vitesse de déplacement du capteur.
Le procédé 100 comprend en outre la détection d’apparition ou de disparition d’objets de la scène entre deux itérations successives du parcours de la trajectoire de surveillance 204 par le capteur, via le traitement 114. Par exemple, la ou les images courantes 110 sont comparées à l’image de référence 112 du point de passage 202 que visualise le capteur. En particulier, l’image de référence 112 comprend des données de l’image acquise lors du précédent balayage dudit point de passage 202 par le capteur.
Ceci permet de détecter les changements survenus dans la scène lorsque le capteur était orienté vers une autre zone de la scène.
Selon un mode de réalisation, le bandeau panoramique 108 n’est pas mis à jour lors des étapes de parcours de la trajectoire et des étapes 114 successives. Alternativement, le bandeau panoramique 108 peut être mis à jour, par exemple pour actualiser son contenu ou pour étendre ou réduire la zone de surveillance.

Claims

REVENDICATIONS
1 . Procédé (100) de surveillance automatique d’une scène comprenant les étapes consistant à : a) acquérir une pluralité d’images (110) par un capteur configuré pour balayer ladite scène, b) construire un bandeau panoramique (108) de la scène à partir desdites images, c) déterminer une trajectoire de surveillance (204) à partir d’une pluralité de points de passage (202) dans ladite scène, et créer une pluralité d’instances d’un algorithme d’extraction d’information pour les points de passage définis, chacune desdites instances d’algorithme a des images de référence (112), propres à chacun des points de passage (202) et centrées sur ledit point de passage (202), et d) répéter une étape consistant à parcourir la trajectoire de surveillance par ledit capteur, et à chaque point de passage (202) parcouru, acquérir au moins une image courante en continu et extraire des informations de ladite image courante, à partir de ladite instance de l’algorithme d’extraction d’information, par comparaison de l’image courante avec ledit ensemble d’images de référence associés audit point de passage (202).
2. Procédé (100) selon la revendication précédente, dans lequel l’étape d) comprend l’application d’un algorithme de détection d’objets à ladite au moins une image courante (110).
3. Procédé (100) selon l’une des revendications précédentes, dans lequel l’étape d) comprend la détection d’apparition ou de disparition d’objets de la scène entre deux itérations successives du parcours de la trajectoire de surveillance (204) par le capteur.
4. Procédé (100) selon l’une des revendications précédentes, comprenant une étape consistant à mettre à jour, pour chaque point de passage (202), l’image de référence (112) avec les images courantes (110) successives acquises à chaque itération de l’étape d).
5. Procédé (100) selon l’une des revendications précédentes, comprenant une étape consistant à traiter au moins une des images courantes (110) par au moins une opération pour dézoomer ladite image courante et/ou au moins une opération de translation.
6. Procédé (100) selon l’une des revendications précédentes, dans lequel l’étape a) est réalisé par balayage de la scène par le capteur à une vitesse de rotation suivant un secteur angulaire.
7. Procédé (100) selon l’une des revendications précédentes, dans lequel au moins un point de passage (202) de la scène correspond à un point du paysage.
8. Dispositif de surveillance automatique d’une scène, comportant un capteur monté sur des actionneurs configurés pour déplacer le capteur et un circuit de traitement pour la mise en œuvre du procédé (100) selon l’une des revendications précédentes.
9. Programme informatique comportant des instructions pour la mise en œuvre du procédé (100) selon l’une des revendications 1 à 8, lorsque lesdites instructions sont exécutées par un processeur d’un circuit de traitement.
EP24714241.7A 2023-03-03 2024-03-01 Procédé de surveillance automatique Pending EP4677560A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2301954A FR3146365B1 (fr) 2023-03-03 2023-03-03 Procédé de surveillance automatique
PCT/FR2024/050262 WO2024184603A1 (fr) 2023-03-03 2024-03-01 Procédé de surveillance automatique

Publications (1)

Publication Number Publication Date
EP4677560A1 true EP4677560A1 (fr) 2026-01-14

Family

ID=87889175

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24714241.7A Pending EP4677560A1 (fr) 2023-03-03 2024-03-01 Procédé de surveillance automatique

Country Status (3)

Country Link
EP (1) EP4677560A1 (fr)
FR (1) FR3146365B1 (fr)
WO (1) WO2024184603A1 (fr)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6954498B1 (en) * 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
IN2007KN02527A (fr) * 2005-01-03 2015-10-16 Vumii Inc
US20070058717A1 (en) * 2005-09-09 2007-03-15 Objectvideo, Inc. Enhanced processing for scanning video

Also Published As

Publication number Publication date
FR3146365B1 (fr) 2025-04-25
WO2024184603A1 (fr) 2024-09-12
FR3146365A1 (fr) 2024-09-06

Similar Documents

Publication Publication Date Title
US12348857B2 (en) Directed image capture
CN111553265B (zh) 一种排水管道内部缺陷的检测方法及系统
EP3200153B1 (fr) Procédé de détection de cibles au sol et en mouvement dans un flux vidéo acquis par une caméra aéroportée
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
FR2951565A1 (fr) Procede, programme d'ordinateur et dispositif de suivi hybride de representations d'objets, en temps reel, dans une sequence d'images
CN112396073A (zh) 基于双目图像的模型训练方法、装置及数据处理设备
EP1694058A1 (fr) Procédé et dispositif de capture d'images comprenant une mesure de mouvements locaux
CN112435278A (zh) 一种基于动态目标检测的视觉slam方法及装置
CN116994000B (zh) 零件边缘特征提取方法和装置、电子设备及存储介质
CN110889403A (zh) 文本检测方法以及相关装置
EP4524876A1 (fr) Procédés et systèmes de génération d'images à super résolution
US20170287187A1 (en) Method of generating a synthetic image
Vida et al. Open-source meteor detection software for low-cost single-board computers
CN120125812B (zh) 基于跨尺度全局局部特征联合的伪装目标检测方法及系统
US11373315B2 (en) Method and system for tracking motion of subjects in three dimensional scene
WO2024184603A1 (fr) Procédé de surveillance automatique
FR3033913A1 (fr) Procede et systeme de reconnaissance d'objets par analyse de signaux d'image numerique d'une scene
JPH06111018A (ja) イメージ処理システム
Rosney et al. Automating sports broadcasting using ultra-high definition cameras, neural networks, and classical denoising
CN115797164B (zh) 固定视场中的图像拼接方法、装置、系统
CN118230249A (zh) 一种入侵物体检测识别方法、装置、设备及存储介质
Wild et al. Tracking the urban chameleon-towards a hybrid change detection of graffiti
Zali et al. Preliminary Study on Shadow Detection in Drone-Acquired Images with U-NET
EP0550101A1 (fr) Procédé de recalage d'images
CN120563621B (zh) 模型训练方法、靶标测量方法、装置、设备、介质和产品

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20251002

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR