EP4272159A1 - Procédé et système de détection d'un objet statique dans un environnement surveillé par au moins une caméra - Google Patents

Procédé et système de détection d'un objet statique dans un environnement surveillé par au moins une caméra

Info

Publication number
EP4272159A1
EP4272159A1 EP21847698.4A EP21847698A EP4272159A1 EP 4272159 A1 EP4272159 A1 EP 4272159A1 EP 21847698 A EP21847698 A EP 21847698A EP 4272159 A1 EP4272159 A1 EP 4272159A1
Authority
EP
European Patent Office
Prior art keywords
image
camera
alert
scene
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21847698.4A
Other languages
German (de)
English (en)
Inventor
Dominique MARTIN DECROIX
Andrei Stoian
Tom ESCOFFIER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HITACHI RAIL GTS FRANCE SAS
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP4272159A1 publication Critical patent/EP4272159A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30112—Baggage; Luggage; Suitcase
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • TITLE Method and system for detecting a static object in an environment monitored by at least one camera
  • the present invention relates to a method and a system for detecting a static object in an environment monitored by at least one camera.
  • a suspicious package is luggage or any other object abandoned, either voluntarily with the aim of committing a malicious act, or involuntarily by thoughtlessness of its owner.
  • Security procedures aim to protect the public, assess the threat posed by the suspicious package, and possibly destroy it.
  • Security procedures may vary from one context to another and between operators, but generally consist of securing a perimeter around the suspicious package, deploying security personnel authorized to intervene and possibly implementing appropriate means to destroy the suspicious package.
  • the object of the present invention is to solve this problem by proposing a solution adapted to places welcoming the public.
  • the subject of the invention is a method for detecting a static object in an environment monitored by at least one camera, said method comprising: an acquisition step, by a camera, during a detection time window , of an image stream, each image of the image stream being indexed by an acquisition date and corresponding to the observation of an environmental scene; then, for each image of the stream of images, a preprocessing step consisting in: subtracting from the considered image, a background image corresponding to a background of the scene observed, to obtain an image of shapes, which contains shapes present in the observed scene; isolate, in the image considered, a silhouette for each person present in the observed scene, to obtain an image of silhouettes; and combining the image of shapes and the image of silhouettes associated with the image considered to obtain a processed image, which comprises only objects present in the observed scene, and finally, on a temporal succession of processed images corresponding to observation of the same scene of the environment, a step consisting in following from one processed image to another each object present in the environment and in issuing an alert as soon as an object
  • This process makes it possible to drastically reduce the detection time of a suspicious package while presenting high reliability, such as to minimize false alerts and therefore to initiate security procedures only when they are justified.
  • this method comprises one or more of the following characteristics, taken in isolation or in all technically possible combinations:
  • the method further comprises a step of automatic identification of the alerts received from the cameras of the plurality of cameras in order to filter the false alerts.
  • the identification step comprises a classification sub-step making it possible to assign, to a static object associated with an alert, a class from among a plurality of predefined classes corresponding to types of suspicious packages.
  • the identification step comprises a sub-step making it possible to assign, to a static object associated with an alert, a class among a plurality of dynamic classes, the dynamic classes being defined during the implementation of the method, defined dynamic classes being stored in a whitelist.
  • a predefined class corresponds to an infrastructure element belonging to the background of the scene whose appearance changes over time, an alert associated with an object belonging to said predefined class being deleted because it is considered a false alert.
  • a predefined class corresponds to a new type of suspicious package, an alert associated with an object belonging to said predefined class being confirmed because considered as a real alert.
  • the identification step consists in applying a classification algorithm of the artificial neural network type.
  • the invention also relates to a detection system for implementing the above detection method.
  • the system comprises at least one camera, the camera being capable of carrying out the steps of acquiring a stream of images, of preprocessing the images of the stream of images and of tracking the objects during a window detection time so as to emit an alert in the event of detection of a static object.
  • the system comprises a control center in communication with said at least one camera and capable of filtering the alerts generated by said at least one camera by implementing the automatic identification step.
  • This system has the ability to evolve based on operator feedback to better filter false alerts and thus adapt to the scene actually observed by the camera.
  • FIG. 1 is a schematic representation of an embodiment of a detection system according to the invention.
  • FIG. 2 is a schematic representation of an embodiment of the detection method according to the invention.
  • the detection system 1 comprises a plurality of cameras 10-1, 10-2,..., 10-N, a communication network 20 and a control center 30.
  • the function of the plurality of cameras is to monitor an environment, in particular a place open to the public, such as an airport for example.
  • Each camera observes the environment from a specific point of view. Therefore, the scene observed by a camera is specific to this camera.
  • the plurality of cameras comprises N cameras, which are referenced 10-1, 10-2, ... 10-N in Figure 1.
  • the cameras are identical to each other.
  • the structure of a camera for example the 10-N camera, will now be presented.
  • a camera comprises an optical sensor 11, acquisition electronics 12, a computer 13 and a communication interface 17.
  • the optical sensor 11 is able to observe a scene of the environment.
  • the acquisition electronics 12 is capable of generating an image signal, or more simply an image in what follows, from the light collected by the optical sensor 11.
  • the computer 13 comprises calculation means, such as a processor 14, and information storage means, such as a memory 15.
  • the memory 15 notably stores computer programs, including the instructions, when they are executed by the processor 14, make it possible to implement certain functionalities.
  • the memory 15 stores a pre-processing program 16, the execution of which allows the implementation of part of the detection method according to the invention, as will become apparent below.
  • the communication interface 17 connects the camera to a network in order to exchange, in reception, camera parameter information (for example parameters for adjusting the optical properties of the sensor 11, or even program configuration parameters 16) and, in transmission, all or part of raw images or pre-processed images and/or suspicious package detection alerts.
  • camera parameter information for example parameters for adjusting the optical properties of the sensor 11, or even program configuration parameters 16
  • the plurality of cameras is connected to a communication network 20.
  • This is for example a local area network (“Local Area Network—LAN”), using for example the Ethernet protocol.
  • a control center 30 is for example a computer. It comprises a communication interface 32, a computer 33, a peripheral interface 37 and a plurality of peripherals 38.
  • the communication interface 32 connects the control center 30 to the network 20, in order in particular to allow communication with the plurality of cameras, in reception, of image preprocessing information delivered by the various cameras and, in transmission, of camera control/command information.
  • the computer 33 comprises calculation means, such as a processor 34, and information storage means, such as a memory 35.
  • the memory 35 notably stores computer programs, including the instructions, when they are executed by the processor 34, make it possible to implement certain functionalities.
  • the memory 35 stores an alert filtering program, the execution of which allows the implementation of part of the detection method according to the invention, as will become apparent below.
  • the memory 35 also stores a white list 39 of the objects having led to the transmission of a false alarm, but which are not suspicious, belonging for example to the background of the scene observed although changing in appearance over time.
  • the plurality of peripherals 38 allow an operator to interact with the control center 30.
  • the plurality of peripherals 38 comprises for example a screen which can allow the viewing of the images acquired by such or such a camera, a mouse which can allow select such or such an area of an image displayed on the screen, and a keyboard that can allow the white list 39 to be updated, for example by entering a descriptor of the area selected on the screen.
  • the detection system 1 is part of a distributed architecture in which certain tasks are remoted so as to be carried out in the cameras or at least as close as possible to the cameras (these are in particular the tasks of pre-processing of the images acquired by each camera individually) while other tasks are centralized in the control center (these are the tasks centralizing all the alerts reported by the cameras).
  • the detection method 100 begins with a step 110 of acquisition of a stream of images by a camera (for example the camera 10-1 of FIG. 1), more precisely by the optical sensor and the electronics of associated acquisition.
  • a camera for example the camera 10-1 of FIG. 1
  • Each image of the stream is indexed with the instant t at which it was acquired.
  • the image at time t is thus denoted l(t).
  • the camera operating with a sampling time At the image which follows the image l(t) is the image l(t+At).
  • An image corresponds to the observation of a scene, defined as the observation of an area of the environment according to a certain pose of the camera, that is to say according to an orientation of the optical axis of the camera and taking into account the optical properties of the latter (in particular the aperture angle of the camera).
  • the second step 120 of the method 100 consists in applying pre-processing to each image l(t) acquired.
  • it is the computer 13 which performs this step by executing the preprocessing program 16.
  • a background image I0 is subtracted from the image l(t).
  • an image of shapes is obtained at time t, denoted lf(t).
  • the background image I0 is an image of the background of the scene observed by the camera 10-1. It is advantageously obtained by means of the camera 10-1 having enabled the acquisition of the image l(t) considered.
  • the background image I0 corresponds to the observation of the scene when the latter is empty, i.e. when it contains neither person nor object (other than the objects belonging to the background of the scene) .
  • the background image I0 is for example obtained by acquiring images at night, when the place is not frequented. It can also be obtained by associating portions of images which remain invariant over a long period of observation of the scene.
  • the image of shapes lf(t) is a binary image, a pixel taking for example the value zero when the corresponding pixel of the image l(t) is found in the background image I0, and the value unit otherwise.
  • the image of shapes if(t) comprises a priori different shapes, which correspond to people and objects, static or mobile, present in the scene observed at time t.
  • This first sub-step is not sufficient because, in public environments where the density of people is high, the immobility of a user, present next to baggage, makes it difficult to distinguish the object from the user: in the image of forms there will be no border between these two forms, which will be merged into one and the same form.
  • the pre-processing step 120 thus comprises a second sub-step 124, carried out in parallel with the first sub-step 122 and consisting in isolating, in the image l(t), a silhouette for each person present in the observed scene. An image of silhouettes at time t, denoted ls(t), is obtained as output.
  • an algorithm of the people segmentation type is applied to the image l(t).
  • Algorithms of the people segmentation type are known.
  • An example of such an algorithm is presented in the article by Cao, Z., Martinez, G. H., Simon, T., Wei, S. E., & Sheikh, Y. A., “OpenPose: realtime multi-person 2D pose estimation using Part Affinity Fields”, 2019, IEEE transactions on pattern analysis and machine intelligence.
  • a person segmentation type algorithm identifies whether a person is present in the observed scene. If so, a silhouette is associated with that person.
  • the image of silhouettes groups together the silhouettes associated with each of the people present in the image I (t).
  • the image of silhouettes ls(t) is a binary image, a pixel taking for example the value zero when the corresponding pixel of the image ls(t) is found inside the silhouette of a person present in the observed scene, and the unit value otherwise.
  • the third sub-step 126 of the second step 120 consists in combining the images obtained at the end of the first and second sub-steps 122 and 124 from the same image l(t) of the stream in order to obtain an image d 'objects at time t, denoted lo(t).
  • the image of objects lo(t) only includes the shapes present in the observed scene which correspond to objects, the shapes corresponding to people having been eliminated.
  • the image of shapes and the image of silhouettes at time t, lf(t) and I s(t), are for example combined pixel by pixel, by application of an “AND” logical operator.
  • a pixel of the image of objects taking for example the unit value when the corresponding pixel of the shape image If (t) is inside a shape and when the corresponding pixel of the silhouette image ls(t) is outside a silhouette, and the value zero otherwise.
  • This combination step is particularly interesting since it limits the pixels of interest to a small number of pixels, which lightens the processing carried out downstream, in particular the tracking of objects.
  • a fourth sub-step 128 the pixels of the image of objects I o(t) that can be associated with the same object are brought together in a region delimited by an outline (“blob” in English).
  • a region detection algorithm is applied to the image lo(t) to define areas whose pixels have substantially constant properties, but which differ from the pixels of the surrounding areas. This is a classic approach based on edge detection and illustrated for example by the article by S. Suzuki, “Topological structural analysis of digitized binary images by border following”, Computer vision, graphies, and image processing, 30(1), 32-46, 1985.
  • the output is an image processed at time t, denoted l*(t).
  • the third step 130 of the method 100 consists in analyzing a temporal succession of processed images l*(t). For example, the images belonging to a detection time window, of a few seconds for example, are taken into account.
  • a tracking or tracking algorithm is implemented here. This processing step is known as such. It is explained for example in the book by Maggio, E., & Cavallaro, A, “Video tracking: theory and practice. John Wiley & Sons” published in 2011.
  • An alarm Ai is emitted for each object Oi among the objects present in the observed scene which is identified as immobile throughout the detection time window.
  • a vignette Zi is isolated in the image l(t) around the object Oi. Only this vignette Zi is transmitted, with the alert Ai, to the control center 30 for the rest of the process 100.
  • the detection method 100 comprises a fourth step 140 of automatically identifying the alerts intended to filter the alerts in order to limit the number of false alerts and confirm the real alerts among all the alerts Ai received from the plurality of cameras.
  • Step 140 includes a first sub-step 142 of classification. It consists of running a classification algorithm on a Zi thumbnail to determine the class to which the corresponding Oi object belongs.
  • the classification algorithm is configured to assign a class among a plurality of predefined classes.
  • the plurality of predefined classes includes for example the classes “suitcases”, “handbag”, “backpack”, etc.
  • the classification algorithm used is for example a suitably trained deep neural network.
  • this classification algorithm is the one presented in the article by He, K., Zhang, X., Ren, S., & Sun, J., “Deep residual learning for image recognition”, in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
  • the output of sub-step 142 is a score S1 of membership in one of the plurality of predefined classes that the classifier can distinguish
  • step 140 comprises a second sub-step 144 of determining membership of the white list 29.
  • This step implements a whitelist membership determination algorithm such as the one presented in the article Chen, Y., Zhou, X. S., & Huang, T. S., “One-class SVM for learning in image retrieval”, in Proceedings 2001 International Conference on Image Processing, Vol. 1, p. 34-37, October 2001, IEEE.
  • the white list 29 includes infrastructure elements that belong to the background of the scene but whose appearance changes over time: shadows of static equipment, automatic doors that open and close, advertising posters that vary, moving escalator, etc.
  • infrastructure elements that belong to the background of the scene but whose appearance changes over time: shadows of static equipment, automatic doors that open and close, advertising posters that vary, moving escalator, etc.
  • Such evolving infrastructure elements cannot be subtracted from the image during pre-processing, since it is not possible, when installing the camera, to know what the objects in the background of the scene are. actually observed which may lead to artefacts in the processed image, and consequently to false alarms.
  • the white list then includes the infrastructure elements that belong to the background of the scene as well as their characteristics. It is dynamically defined during step 150, as detailed below.
  • the sub-step 144 consists in determining whether the thumbnail Zi associated with an alert Ai in fact corresponds to one of the elements of the white list. More precisely, firstly, a neural network makes it possible to extract characteristic elements from the thumbnail, then, secondly, a comparator compares, using a machine learning algorithm, these characteristics with those of characteristic elements of the white list. If it is similar enough to an infrastructure item in the list whitelisted, the thumbnail is considered to match that whitelisted infrastructure element. This processing will therefore make it possible to identify the artefacts of the image which are due to known modifications of the background of the scene and which therefore should not raise an alert.
  • the sub-step 144 is in fact also a classification step, but on a set of classes (the infrastructure elements of the white list) which evolves dynamically according to the history of the use of the detection system.
  • Sub-step 144 calculates a second score S2.
  • step 140 includes a third voting sub-step 146 making it possible to compare the first and second thresholds S1 and S2 with each other. If the second threshold is greater than the first for alert Ai, the alert is suppressed. Otherwise the alert Ai is validated and the validated alert Ai* is displayed on the screen so that the operator becomes aware of it and triggers the appropriate response.
  • the method 100 includes a configuration step 150 making it possible to change the white list 29 during the use of the detection system and the implementation of the method, making it possible to increase the rate of rejection of false alarms.
  • a sub-step 152 the operator verifies the exact nature of the validated alert Ai*.
  • the images at the origin of the alert are presented to him.
  • a sub-step 154 If it considers that it is a false alert, in a sub-step 154, it updates the white list. The operator adds this false positive to the whitelist of uninteresting objects so that objects similar to those present in this whitelist no longer return alerts thereafter.
  • the method 100 identifies in a succession of images of the same scene any static object that does not correspond to an object of a type deemed uninteresting.
  • the white list is shared at the central level and thus benefits all of the cameras 10-1 to 10-N, and not only the camera by means of which the so-called “uninteresting” object was observed. .
  • a whitelist mechanism is implemented for infrastructure elements leading to a rejection of alerts classified as such, and a whitelist mechanism for new threats leading to the confirmation of alerts classified as such.
  • each alert not discarded by the white list of infrastructure elements is submitted to an operator, who then determines whether or not the corresponding event constitutes a threat of a new kind, which is not part of of the set of predefined classes from step 142. If so, it then indicates what the observed object corresponds to.
  • This object is included in an intermediate list, either as a new occurrence of an already existing threat category, or as the first occurrence of a new threat category. Once a category in this intermediate list has a sufficient number of samples, a new class is automatically created in the whitelist of new threats for automatic detection by implementing an algorithm similar to that of step 144.
  • the prior art also does not make it possible to recognize non-invariant objects from the background of the observed scene as irrelevant.
  • classification algorithms have a very high computational complexity.
  • the preprocessing steps according to the invention make it possible to limit the computational complexity.
  • a dynamic consideration of the real situation through the use of a white list makes it possible to reduce the number of predefined classes to follow.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

Ce procédé comporte : une étape (110) d'acquisition par une caméra d'un flux d'images, chaque image étant indexée par une date et correspondant à l'observation d'une scène de l'environnement; puis, pour chaque image, une étape (120) de prétraitement consistant à : soustraire (122), de l'image considérée, une image du fond de la scène observée, pour obtenir une image de formes; isoler (124), dans l'image considérée, une silhouette pour chaque personne présente dans la scène observée, pour obtenir une image de silhouettes; et, combiner (126) l'image de formes et l'image de silhouettes pour obtenir une image traitée, ne comportant que des objets présents dans la scène observée, et enfin, sur une succession temporelle d'images traitées, une étape (130) consistant à suivre d'une image traitée à l'autre chaque objet et à émettre une alerte dès qu'un objet est identifié comme étant statique durant la fenêtre temporelle de détection.

Description

TITRE : Procédé et système de détection d’un objet statique dans un environnement surveillé par au moins une caméra
La présente invention concerne un procédé et un système de détection d’un objet statique dans un environnement surveillé par au moins une caméra.
Un colis suspect est un bagage ou tout autre objet abandonné, soit volontairement dans le but de commettre un acte malveillant, soit involontairement par étourderie de son propriétaire.
Les exploitants de lieux accueillant du public (aéroport, station de métro, métro, tramway, etc.) se doivent d’implémenter des procédures de sécurité strictes pour lever le doute quant à la nature exacte d’un colis suspect.
Les procédures de sécurité visent à protéger le public, à évaluer la menace que représente le colis suspect, et éventuellement à détruire celui-ci. Les procédures de sécurité peuvent varier d’un contexte à l’autre et entre exploitant, mais consistent généralement à sécuriser un périmètre autour du colis suspect, à déployer des personnels de sécurité habilités à intervenir et éventuellement à mettre en œuvre les moyens adaptés pour détruire le colis suspect.
Le lancement de ces procédures de sécurité ont des conséquences majeures sur le bon fonctionnement du lieu accueillant du public et des services rendus aux usagers (retards, annulations, etc.). Cela a par conséquent des impacts financiers importants pour l’exploitant.
Il s’avère que l’information de détection d’un colis suspect arrive au centre de décision très tardivement par rapport au moment où ce colis a été abandonné. Ce temps de détection important nécessaire à la remontée de l’information rend quasiment impossible la recherche du propriétaire afin de qualifier la criticité de l’évènement. Une alerte est par conséquent systématiquement déclenchée et la procédure de sécurité correspondante engagée, généralement jusqu’à la destruction du colis suspect.
Il est donc souhaitable de minimiser le temps de détection afin d’augmenter les chances de qualifier la criticité de l’évènement et de ne pas avoir à lancer les procédures de sécurité associées et, en tout cas, de réduire le temps entre l’abandon du colis et le moment où la situation revient à la normale et le lieu rouvert au public.
Les exploitants ont souvent recours à la vidéosurveillance en support de la tâche de détection des colis suspects dans les lieux qu’ils gèrent. Les algorithmes de traitement d’image appliqués aux images de vidéosurveillance permettent théoriquement de remonter automatiquement des alertes aux opérateurs en charge d’effectuer la levée de doute.
Pour autant, le niveau de performance (détection) et la sensibilité (fausses alarmes) des solutions existantes restent incompatibles d’une utilisation pour des lieux accueillant du public, qui se caractérisent par la présence d’un nombre variable d’usagers (de plus immobiles ou en mouvement ) et par une luminosité non contrôlée (détection d’ombre, motif au sol, etc.).
Le but de la présente invention est de résoudre ce problème en proposant une solution adaptée aux lieux accueillant du public.
Pour cela l’invention a pour objet un procédé de détection d’un objet statique dans un environnement surveillé par au moins une caméra, ledit procédé comportant : une étape d’acquisition, par une caméra, au cours d’une fenêtre temporelle de détection, d’un flux d’images, chaque image du flux d’images étant indexée par une date d’acquisition et correspondant à l’observation d’une scène de l’environnement ; puis, pour chaque image du flux d’images, une étape de prétraitement consistant à : soustraire de l’image considérée, une image de fond correspondant à un fond de la scène observée, pour obtenir une image de formes, qui contient des formes présentes dans la scène observée ; isoler, dans l’image considérée, une silhouette pour chaque personne présente dans la scène observée, pour obtenir une image de silhouettes ; et combiner l’image de formes et l’image de silhouettes associées à l’image considérée pour obtenir une image traitée, qui ne comporte que des objets présents dans la scène observée, et enfin, sur une succession temporelle d’images traitées correspondant à l’observation de la même scène de l’environnement, une étape consistant à suivre d’une image traitée à l’autre chaque objet présent dans l’environnement et à émettre une alerte dès qu’un objet parmi les objets présents est identifié comme étant statique durant la fenêtre temporelle de détection.
Ce procédé permet de réduire drastiquement le temps de détection d’un colis suspect tout en présentant une fiabilité élevée, de nature à minimiser les fausses alertes et donc de n’engager les procédures de sécurité que lorsqu’elles se justifient.
Suivant des modes particuliers de réalisation, ce procédé comporte une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles :
- le procédé comporte en outre une étape d’identification automatique des alertes reçues des caméras de la pluralité de caméras afin de filtrer les fausses alertes. - l’étape d’identification comporte une sous-étape de classification permettant d’attribuer, à un objet statique associé à une alerte, une classe parmi une pluralité de classes prédéfinies correspondant à des types de colis suspect.
- l’étape d’identification comporte une sous-étape permettant d’attribuer, à un objet statique associé à une alerte, une classe parmi une pluralité de classes dynamiques, les classes dynamiques étant définies au cours de la mise en œuvre du procédé, les classes dynamiques définies étant stockées dans une liste blanche.
- une classe prédéfinie correspond à un élément d’infrastructure appartenant au fond de la scène dont l’aspect évolue au cours du temps, une alerte associée à un objet relevant de ladite classe prédéfinie étant supprimée car considérée comme une fausse alerte.
- une classe prédéfinie correspond à un nouveau type de colis suspect, une alerte associée à un objet relevant de ladite classe prédéfinie étant confirmée car considérée comme une vraie alerte.
- l’étape d’identification consiste à appliquer un algorithme de classification du type réseau de neurones artificiels.
L’invention a également pour objet un système de détection pour la mise en œuvre du procédé de détection précédent.
De préférence, le système comporte au moins une caméra, la caméra étant propre à réaliser les étapes d’acquisition d’un flux d’images, de prétraitement des images du flux d’images et de suivi des objets au cours d’une fenêtre temporelle de détection de manière à émettre une alerte en cas de détection d’un objet statique.
De préférence encore, le système comporte un central de contrôle en communication avec ladite au moins une caméra et propre à filtrer les alertes générées par ladite au moins une caméra en mettant en œuvre l’étape d’identification automatique.
Ce système a la capacité d’évoluer à partir d’un retour de l’opérateur pour mieux filtrer les fausses alertes et s’adapter ainsi à la scène qu’observe effectivement la caméra.
L’invention et ses avantages seront mieux compris à la lecture de la description détaillée qui va suivre d’un mode de réalisation particulier, donné uniquement à titre d’exemple non limitatif, cette description étant faite en se référant aux dessins annexés sur lesquels :
- la figure 1 est une représentation schématique d’un mode de réalisation d’un système de détection selon l’invention ; et,
- la figure 2 est une représentation schématique d’un mode de réalisation du procédé de détection selon l’invention. SYSTEME DE DETECTION
En se référant à la figure 1 , un mode de réalisation d’un système de détection selon l’invention va être présenté.
Le système de détection 1 comporte une pluralité de caméras 10-1 , 10-2,... , 10-N, un réseau de communication 20 et un centre de contrôle 30.
La pluralité de caméras a pour fonction de surveiller un environnement, notamment un lieu accueillant du public, comme un aéroport par exemple. Chaque caméra observe l’environnement d’un point de vue spécifique. Par conséquent, la scène observée par une caméra est spécifique de cette caméra.
La pluralité de caméras comporte N caméras, qui sont référencées 10-1 , 10-2, ... 10-N sur la figure 1.
Les caméras sont identiques entre elles. La structure d’une caméra, par exemple la caméra 10-N, va maintenant être présentée.
Une caméra comporte un capteur optique 11 , une électronique d’acquisition 12, un calculateur 13 et une interface de communication 17.
Le capteur optique 11 est propre à observer une scène de l’environnement.
L’électronique d’acquisition 12 est propre à générer un signal d’image, ou plus simplement image dans ce qui suit, à partir de la lumière collectée par le capteur optique 11.
Le calculateur 13 comporte des moyens de calcul, tels qu’un processeur 14, et des moyens de stockage de l’information, tels qu’une mémoire 15. La mémoire 15 stocke notamment des programmes informatiques, dont les instructions, lorsqu’elles sont exécutées par le processeur 14, permettent de mettre en œuvre certaines fonctionnalités. En particulier, parmi ces programmes, la mémoire 15 stocke un programme de prétraitement 16, dont l’exécution permet la mise en œuvre d’une partie du procédé de détection selon l’invention, comme cela deviendra apparent ci-après.
L’interface de communication 17 connecte la caméra à un réseau afin d’échanger, en réception, des informations de paramétrage de la caméra (par exemple des paramètres de réglage des propriétés optiques du capteur 1 1 , ou encore des paramètres de configuration du programme 16) et, en émission, tout ou partie d’images brutes ou d’images prétraitées et/ou des alertes de détection de colis suspect.
La pluralité de caméras est connectée à un réseau de communication 20. Il s’agit par exemple d’un réseau local (« Local Area Network - LAN » en anglais), utilisant par exemple le protocole Ethernet. Un centre de contrôle 30 est par exemple un ordinateur. Il comporte une interface de communication 32, un calculateur 33, une interface de périphériques 37 et une pluralité de périphériques 38.
L’interface de communication 32 connecte le centre de contrôle 30 au réseau 20, afin notamment de permettre la communication avec la pluralité de caméras, en réception, d’informations de prétraitement d’images délivrées par les différentes caméras et, en émission, d’informations de contrôle/commande des caméras.
Le calculateur 33 comporte des moyens de calcul, tels qu’un processeur 34, et des moyens de stockage de l’information, tels qu’une mémoire 35. La mémoire 35 stocke notamment des programmes informatiques, dont les instructions, lorsqu’elles sont exécutées par le processeur 34, permettent de mettre en œuvre certaines fonctionnalités. En particulier, parmi ces programmes, la mémoire 35 stocke un programme de filtrage des alertes dont l’exécution permet la mise en œuvre d’une partie du procédé de détection selon l’invention, comme cela deviendra apparent ci-après.
La mémoire 35 stocke également une liste blanche 39 des objets ayant conduit à l’émission d’une fausse alerte, mais qui ne sont pas suspects, appartenant par exemple au fond de la scène observée bien que changeant d’aspect au cours du temps.
La pluralité de périphériques 38 permettent à un opérateur d’interagir avec le centre de contrôle 30. Par exemple, la pluralité de périphériques 38 comporte par exemple un écran pouvant permettre la visualisation des images acquises par telle ou telle caméra, une souri pouvant permettre de sélectionner telle ou telle zone d’une image affichée sur l’écran, et un clavier pouvant permettre de mettre à jour la liste blanche 39, par exemple en saisissant un descripteur de la zone sélectionnée sur l’écran.
L’homme du métier constatera que le système de détection 1 relève d’une architecture répartie dans laquelle certaines tâches sont déportées de manière à être réalisées dans les caméras ou tout au moins au plus près des caméras (il s’agit notamment des tâches de prétraitement des images acquises par chaque caméra individuellement) alors que d’autres tâches sont centralisées dans le centre de contrôle (il s’agit des tâches centralisant toutes les alertes remontées par les caméras).
PROCEDE DE DETECTION
En se référant à la figure 2, un mode de réalisation du procédé de détection selon l’invention va être présenté en détail.
Le procédé de détection 100 débute par une étape 1 10 d’acquisition d’un flux d’images par une caméra (par exemple la caméra 10-1 de la figure 1 ), plus précisément par le capteur optique et l’électronique d’acquisition associée. Chaque image du flux est indexée avec l’instant t auquel elle a été acquise. L’image à l’instant t est ainsi notée l(t). La caméra fonctionnant avec un temps d’échantillonnage At, l’image qui succède à l’image l(t) est l’image l(t+ At).
Une image correspond à l’observation d’une scène, définie comme l’observation d’une zone de l’environnement selon une certaine pose de la caméra, c’est-à-dire selon une orientation de l’axe optique de la caméra et compte tenu des propriétés optiques de celle-ci (notamment l’angle d’ouverture de la caméra).
Les caméras étant fixes, la pose de chaque caméra est statique. Par conséquent, les images du flux d’images délivré par une même caméra correspondent toutes à la même scène observée.
La seconde étape 120 du procédé 100 consiste à appliquer des prétraitements sur chaque image l(t) acquise. De préférence, c’est le calculateur 13 qui effectue cette étape en exécutant le programme de prétraitement 16.
Dans une première sous-étape 122 une image de fond I0 est soustraire de l’image l(t). A l’issue de cette première sous-étape, est obtenue une image de formes à l’instant t, notée lf(t).
La soustraction de fond est un traitement connu. Un exemple en est donné dans l’article de Z. Zivkovic, « Improved adaptive Gaussian mixture model for background subtraction», in Proceedings of the 17th International Conference on Pattern Recognition, August 2004, ICPR 2004, Vol. 2, pp. 28-31 , IEEE.
L’image de fond I0 est une image du fond de la scène observée par la caméra 10- 1. Elle est avantageusement obtenue au moyen de la caméra 10-1 ayant permis l’acquisition de l’image l(t) considérée.
L’image de fond I0 correspond à l’observation de la scène lorsque celle-ci est vide, c’est-à-dire lorsqu’elle ne comporte ni personne, ni objet (autre que les objets appartenant au fond de la scène). L’image de fond I0 est par exemple obtenue par l’acquisition d’images la nuit, lorsque le lieu n’est pas fréquenté. Elle peut également être obtenue en associant des portions d’images qui restent invariantes au cours d’une période longue d’observation de la scène.
De préférence, l’image de formes lf(t) est une image binaire, un pixel prenant par exemple la valeur nulle lorsque le pixel correspondant de l’image l(t) se retrouve dans l’image de fond I0, et la valeur unité sinon.
L’image de formes if(t) comporte a priori différentes formes, qui correspondent aux personnes et objets, statiques ou mobiles, présents dans la scène observée à l’instant t.
Cette première sous-étape n’est pas suffisante car, dans des environnements publics où la densité de personnes est importante, l’immobilité d’un usager, présent à côté d’un bagage, fait qu’il est difficile de distinguer l’objet de l’usager : dans l’image de formes il n’y aura pas de frontière entre ces deux formes, qui seront fusionnées dans une seule et même forme.
De plus, dans un environnement dont la luminosité n’est pas contrôlée, des fausses alertes sont souvent générées par des ombres, des motifs au sol, des objets appartenant au fond mais qui ne sont pas statiques (comme des escalateurs mécaniques, ascenseurs, portes automatiques, des panneaux publicitaires). Ces éléments d’infrastructure, provenant du fond de la scène, sont la cause d’artéfacts dans l’image de formes lf(t).
L’étape de prétraitement 120 comporte ainsi une seconde sous-étape 124, conduite en parallèle de la première sous-étape 122 et consistant à isoler, dans l’image l(t), une silhouette pour chaque personne présente dans la scène observée. Une image de silhouettes à l’instant t, notée ls(t), est obtenue en sortie.
De préférence, est appliqué sur l’image l(t) un algorithme du type segmentation de personnes.
Les algorithmes du type segmentation de personnes sont connus. Un exemple d’un tel algorithme est présenté dans l’article de Cao, Z., Martinez, G. H., Simon, T., Wei, S. E., & Sheikh, Y. A., « OpenPose: realtime multi-person 2D pose estimation using Part Affinity Fields », 2019, IEEE transactions on pattern analysis and machine intelligence.
Un algorithme du type segmentation de personnes permet d’identifier si une personne est présente dans la scène observée. Dans l’affirmative, une silhouette est associée à cette personne.
L’image de silhouettes regroupe les silhouettes associées à chacune des personnes présentent sur l’image I (t).
De préférence, l’image de silhouettes ls(t) est une image binaire, un pixel prenant par exemple la valeur nulle lorsque le pixel correspondant de l’image l(t) se retrouve à l’intérieur de la silhouette d’une personne présente dans la scène observée, et la valeur unité sinon.
La troisième sous-étape 126 de la seconde étape 120 consiste à combiner les images obtenues à l’issue des première et seconde sous-étapes 122 et 124 à partir de la même image l(t) du flux afin d’obtenir une image d’objets à l’instant t, notée lo(t).
L’image d’objets lo(t) ne comporte plus que les formes présentes dans la scène observée qui correspondent à des objets, les formes correspondant à des personnes ayant été éliminées.
Pour cela, l’image de formes et l’image de silhouettes à l’instant t, lf(t) et I s(t) , sont par exemple combinées pixel par pixel, par application d’un opérateur logique « ET ». Un pixel de l’image d’objets prenant par exemple la valeur unité lorsque le pixel correspondant de l’image de formes If (t) se situe à l’intérieur d’une forme et lorsque le pixel correspondant de l’image de silhouettes ls(t) se situe à l’extérieur d’une silhouette, et la valeur nulle sinon.
Cette étape de combinaison est particulièrement intéressante puisqu’elle limite les pixels d’intérêt à un petit nombre de pixels, ce qui allège les traitements réalisés en aval, notamment le suivi d’objets.
Avantageusement, au cours d’une quatrième sous-étape 128, les pixels de l’image d’objets I o(t) que l’on peut associer à un même objet sont réunies dans une région délimitée par un contour (« blob » en anglais).
Un algorithme de détection de régions est appliqué sur l’image lo(t) pour y définir des zones dont les pixels possèdent des propriétés sensiblement constantes, mais qui diffèrent par rapport aux pixels des zones environnantes. Il s’agit d’une approche classique fondée sur la détection de contour et par exemple illustrée par l’article de S. Suzuki, « Topological structural analysis of digitized binary images by border following”, Computer vision, graphies, and image processing, 30(1 ), 32-46, 1985.
On obtient en sortie une image traitée à l’instant t, notée l*(t).
A l’issue du prétraitement de l’image à l’instant t, I (t) , l’image suivante du flux, l(t+At), est travaillée de la même manière.
La troisième étape 130 du procédé 100 consiste à analyser une succession temporelle d’images traitées l*(t). Par exemple, sont prises en compte les images appartenant à une fenêtre temporelle de détection, de quelques secondes par exemple.
Il s’agit de suivre un objet de la scène observée d’une image traitée à la suivante afin d’identifier les objets statiques sur la fenêtre temporelle de détection.
Est ici mis en œuvre un algorithme de poursuite, ou de suivi, (« tracking » en anglais). Cette étape de traitement est connue en tant que telle. Elle est expliquée par exemple dans l’ouvrage de Maggio, E., & Cavallaro, A, « Video tracking: theory and practice. John Wiley & Sons » publié en 2011 .
Une alarme Ai est émise pour chaque objet Oi parmi les objets présents dans la scène observée qui est identifié comme immobile tout au long de la fenêtre temporelle de détection.
Avantageusement, un vignette Zi est isolée dans l’image l(t) autour de l’objet Oi. Seule cette vignette Zi est transmise, avec l’alerte Ai, au centre de commande 30 pour la suite du procédé 100.
Le procédé de détection 100 comporte une quatrième étape 140 d’identifier automatiquement les alertes destinée à filtrer les alertes pour limiter le nombre de fausses alertes et confirmer les vraies alertes parmi l’ensemble des alertes Ai reçues de la pluralité de caméras. L’étape 140 comporte une première sous-étape 142 de classification. Elle consiste à exécuter un algorithme de classification sur une vignette Zi pour déterminer la classe à laquelle appartient l’objet Oi correspondant.
L’algorithme de classification est configuré pour attribuer une classe parmi une pluralité de classes prédéfinies. La pluralité de classes prédéfinies comporte par exemple les classes « valises », « sac à main», « sac à dos », etc.
L’algorithme de classification utilisé est par exemple un réseau de neurones profonds convenablement entrainé. De préférence, cet algorithme de classification est celui présenté dans l’article de He, K., Zhang, X., Ren, S., & Sun, J., « Deep residual learning for image recognition”, in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
La sortie de la sous-étape 142 est un score S1 d’appartenance à l’une des classes de la pluralité de classes prédéfinies que le classificateur peut distinguer
Parallèlement à la première sous-étape 142, l’étape 140 comporte une seconde sous-étape 144 de détermination d’appartenance à la liste blanche 29.
Cette étape met en œuvre un algorithme de détermination d’appartenance à une liste blanche tel que celui présenté dans l’article Chen, Y., Zhou, X. S., & Huang, T. S., « One-class SVM for learning in image retrieval”, in Proceedings 2001 International Conference on Image Processing, Vol. 1 , pp. 34-37, ocotbre 2001 , IEEE.
La liste blanche 29 comporte les éléments d’infrastructure qui appartiennent au fond de la scène mais dont l’aspect évolue au cours du temps : ombres d’un équipement statique, portes automatiques qui s’ouvrent et se ferment, affiches publicitaires qui varient, escalier mécanique en mouvement, etc. De tels éléments d’infrastructure évolutifs ne peuvent être soustraits de l’image lors d’un prétraitement, puisqu’il n’est pas possible, lors de l’installation de la caméra, de savoir quels sont les objets du fond de la scène effectivement observée qui risquent de conduire à des artefacts dans l’image traitée, et par conséquent à des fausses alertes.
La liste blanche comporte alors les éléments d’infrastructure qui appartiennent au fond de la scène ainsi que leurs caractéristiques. Elle est définie dynamiquement au cours de l’étape 150, comme détaillée ci-après.
La sous-étape 144 consiste à déterminer si la vignette Zi associée à une alerte Ai correspond en fait à l’un des éléments de la liste blanche. Plus précisément, dans un premier temps, un réseau de neurones permet d’extraire des éléments caractéristiques de la vignette, puis, dans un second temps, un comparateur compare, à l’aide d’un algorithme d’apprentissage machine, ces caractéristiques avec celles de éléments caractéristiques de la liste blanche. Si elle est suffisamment similaire à un élément d’infrastructure de la liste blanche, la vignette est considérée comme correspondant à cet élément d’infrastructure de la liste blanche. Ce traitement va donc permette d’identifier les artefacts de l’image qui sont dus à des modifications connues du fond de la scène et ne devant par conséquent pas faire remonter d’alerte. La sous-étape 144 est en fait également une étape de classification, mais sur un ensemble de classes (les éléments d’infrastructure de la liste blanche) qui évolue dynamiquement en fonction de l’historique de l’utilisation du système de détection.
La sous-étape 144 calcule un second score S2.
Enfin, l’étape 140 comporte une troisième sous-étape 146 de vote permettant de comparer les premier et second seuils S1 et S2 entre eux. Si le second seuil est supérieur au premier pour l’alerte Ai, celle-ci est supprimée. Sinon l’alerte Ai est validée et l’alerte validée Ai* est affichée sur l’écran pour que l’opérateur en prenne connaissance et déclenche la réponse adaptée.
Il y a donc suppression automatique des fausses alarmes.
Avantageusement, le procédé 100 comporte une étape 150 de configuration permettant de faire évoluer la liste blanche 29 au cours de l’utilisation du système de détection et la mise en œuvre du procédé, permettant d’augmenter le taux de rejet de fausses alarmes.
Pour cela, dans une sous-étape 152, l’opérateur vérifie la nature exacte de l’alerte validée Ai*. Les images à l’origine de l’alerte lui sont présentées.
S’il estime qu’il s’agit d’une fausse alerte, dans une sous-étape 154, il met à jour la liste blanche. L’opérateur ajoute ce faux positif à la liste blanche d’objets non-intéressants afin que des objets similaires à ceux présents dans cette liste blanche ne renvoient plus d’alertes par la suite.
Ainsi, le procédé 100 identifie dans une succession d’image d’une même scène tout objet statique ne correspondant pas à un objet d’un type jugé non-intéressant.
On notera que la liste blanche est partagée au niveau central et ainsi profite à l’ensemble des caméras 10-1 à 10-N, et non pas uniquement à la caméra au moyen de laquelle l’objet dit « non intéressant » a été observé.
Dans l’état de la technique, les algorithmes basés sur la classification pré-entrainée ne sont pas utilisés pour le cas spécifique de la détection de colis suspects dans des lieux accueillant du public. Ils ne le sont pas car l’entrainement doit être réalisé sur un corpus de données contenant un ensemble prédéfini de classes d’objets à reconnaitre, cet ensemble étant figé au moment déploiement. Ainsi, s’il est initialement entrainé pour reconnaitre des valises, des sacs à dos ou des sacs à main, un tel algorithme ne pourra pas reconnaitre des objets tels que par exemple des caddies, des poussettes ou des sacs plastiques. Ceci est extrêmement limitant pour une détection efficace. L’invention permet de résoudre ce problème. Ainsi, en variante du mode de réalisation décrit ci-dessus, de nouvelles classes peuvent être créées dynamiquement en reprenant le mécanisme de liste blanche.
Par exemple est mis en œuvre un mécanisme de liste blanche pour les éléments d’infrastructure conduisant à un rejet des alertes classifiées comme telles, et un mécanisme de liste blanche de nouvelles menaces conduisant à la confirmation des alertes classifiées comme telles.
Ainsi, chaque alerte non écartée par la liste blanche des éléments d’infrastructure est soumise à un opérateur, à lui alors de déterminer si oui ou non l’évènement correspondant constitue ou non une menace d’un genre nouveau, qui ne fait pas partie de l’ensemble des classes prédéfinies de l’étape 142. Dans l’affirmative, il indique alors à quoi correspond l’objet observé. Cet objet est intégré dans une liste intermédiaire, soit en tant que nouvelle occurrence d’une catégorie de menaces déjà existante, soit en tant que première occurrence d’une nouvelle catégorie de menace. Une fois qu’une catégorie de cette liste intermédiaire a un nombre suffisant d’échantillons, une nouvelle classe est automatiquement créée dans la liste blanche des nouvelles menaces en vue d’une détection automatique par la mise en œuvre d’un algorithme similaire à celui de l’étape 144.
Par rapport à l’invention, l’art antérieur ne permet pas non plus de reconnaître des objets non-invariants du fond de la scène observée comme non pertinents.
L’art antérieur ne met pas en œuvre des algorithmes basés sur la classification pré- entrainée, car ces algorithmes ont souvent des forts taux de fausses alertes dont la réduction se fait au prix d’une baisse drastique du taux d’objets détectés. Une fois encore ceci est extrêmement limitant pour la détection de colis suspects, car il bien plus préférable de détecter tous les colis suspects, même au prix de fausses alarmes, que d’en louper un qui s’avère être réellement dangereux.
Enfin, ces algorithmes de classification ont une complexité de calcul très élevée. Les étapes de prétraitement selon l’invention permettent de limiter la complexité de calcul. De plus, une prise en compte dynamique de la situation réelle à travers l’emploi d’une liste blanche permet de réduire le nombre de classes prédéfinies à suivre.

Claims

REVENDICATIONS
1. Procédé de détection (100) d’un objet statique dans un environnement surveillé par au moins une caméra, ledit procédé comportant :
- une étape (110) d’acquisition, par une caméra (10-1 ), au cours d’une fenêtre temporelle de détection, d’un flux d’images, chaque image du flux d’images étant indexée par une date d’acquisition et correspondant à l’observation d’une scène de l’environnement ; puis, pour chaque image du flux d’images, une étape (120) de prétraitement consistant à :
- soustraire (122) de l’image considérée, une image de fond correspondant à un fond de la scène observée, pour obtenir une image de formes, qui contient des formes présentes dans la scène observée ;
- isoler (124), dans l’image considérée, une silhouette pour chaque personne présente dans la scène observée, pour obtenir une image de silhouettes ; et,
- combiner (126) l’image de formes et l’image de silhouettes associées à l’image considérée pour obtenir une image traitée, qui ne comporte que des objets présents dans la scène observée, et enfin, sur une succession temporelle d’images traitées correspondant à l’observation de la même scène de l’environnement, une étape (130) consistant à suivre d’une image traitée à l’autre chaque objet présent dans l’environnement et à émettre une alerte dès qu’un objet parmi les objets présents est identifié comme étant statique durant la fenêtre temporelle de détection.
2. Procédé selon la revendication 1 , comportant en outre une étape (140) d’identification automatique des alertes reçues des caméras de la pluralité de caméras afin de filtrer les fausses alertes.
3. Procédé selon la revendication 2, dans lequel l’étape (140) d’identification comporte une sous-étape (142) de classification permettant d’attribuer, à un objet statique associé à une alerte, une classe parmi une pluralité de classes prédéfinies correspondant à des types de colis suspect.
4. Procédé selon la revendication 2 ou la revendication 3, dans lequel l’étape (140) d’identification comporte une sous-étape (144) permettant d’attribuer, à un objet statique associé à une alerte, une classe parmi une pluralité de classes dynamiques, les classes dynamiques étant définies au cours de la mise en œuvre du procédé, les classes dynamiques définies étant stockées dans une liste blanche.
5. Procédé selon la revendication 4, dans lequel une classe prédéfinie correspond à un élément d’infrastructure appartenant au fond de la scène dont l’aspect évolue au cours du temps, une alerte associée à un objet relevant de ladite classe prédéfinie étant supprimée car considérée comme une fausse alerte.
6. Procédé selon la revendication 4 ou la revendication 5, dans lequel une classe prédéfinie correspond à un nouveau type de colis suspect, une alerte associée à un objet relevant de ladite classe prédéfinie étant confirmée car considérée comme une vraie alerte.
7. Procédé selon l’une quelconque des revendications 2 à 5, dans lequel l’étape d’identification consiste à appliquer un algorithme de classification du type réseau de neurones artificiels.
8. Système de détection (1 ) pour la mise en œuvre d’un procédé de détection (100) selon l’une quelconque des revendications précédentes.
9. Système selon la revendication 8, comportant au moins une caméra (10- 1 ), la caméra étant propre à réaliser les étapes d’acquisition (110) d’un flux d’images, de prétraitement (120) des images du flux d’images et de suivi (130) des objets au cours d’une fenêtre temporelle de détection de manière à émettre une alerte en cas de détection d’un objet statique.
10. Système selon la revendication 9, comportant un central de contrôle (30) en communication avec ladite au moins une caméra (10-1 ) et propre à filtrer les alertes générées par ladite au moins une caméra en mettant en œuvre l’étape d’identification automatique (140).
EP21847698.4A 2020-12-31 2021-12-28 Procédé et système de détection d'un objet statique dans un environnement surveillé par au moins une caméra Pending EP4272159A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2014290A FR3118522B1 (fr) 2020-12-31 2020-12-31 Procede et systeme de detection d'un objet statique dans un environnement surveille par au moins une camera
PCT/EP2021/087706 WO2022144346A1 (fr) 2020-12-31 2021-12-28 Procédé et système de détection d'un objet statique dans un environnement surveillé par au moins une caméra

Publications (1)

Publication Number Publication Date
EP4272159A1 true EP4272159A1 (fr) 2023-11-08

Family

ID=75953940

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21847698.4A Pending EP4272159A1 (fr) 2020-12-31 2021-12-28 Procédé et système de détection d'un objet statique dans un environnement surveillé par au moins une caméra

Country Status (3)

Country Link
EP (1) EP4272159A1 (fr)
FR (1) FR3118522B1 (fr)
WO (1) WO2022144346A1 (fr)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284249B2 (en) * 2008-03-25 2012-10-09 International Business Machines Corporation Real time processing of video frames for triggering an alert
JP6241796B2 (ja) * 2015-12-25 2017-12-06 パナソニックＩｐマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法

Also Published As

Publication number Publication date
WO2022144346A1 (fr) 2022-07-07
FR3118522A1 (fr) 2022-07-01
FR3118522B1 (fr) 2023-04-07

Similar Documents

Publication Publication Date Title
US10289823B2 (en) Camera system for traffic enforcement
EP2013816B1 (fr) Procede d'identification d'une personne par analyse de caracteristiques de ses cils
EP3410413B1 (fr) Génération améliorée d'événements d'alerte sur la base d'une détection d'objets à partir d'images de caméra
Filonenko et al. Unattended object identification for intelligent surveillance systems using sequence of dual background difference
EP3285209B1 (fr) Procede de surveillance au moyen d'un systeme multi-capteur
EP2965287A1 (fr) Procédé de suivi d'une cible dans une séquence d'images avec prise en compte de la dynamique de la cible
WO2021110789A1 (fr) Système et procédé de détection de fraude
Tripathi et al. Robust abnormal event recognition via motion and shape analysis at ATM installations
FR3111452A1 (fr) Procédé de protection automatique d’un objet, d’une personne ou d’une information ou œuvre visuelle vis-à-vis d’un risque d’observation non désirée
EP2483590A1 (fr) Système et procédé pour détecter la présence d'un sujet en zone sensible
Saketh et al. Intelligent surveillance support system
EP4272159A1 (fr) Procédé et système de détection d'un objet statique dans un environnement surveillé par au moins une caméra
Chang et al. Localized detection of abandoned luggage
Tay et al. Application of computer vision in the construction industry
FR2997212A1 (fr) Appairage d'un objet et d'un detenteur de cet objet
Joshi et al. Suspicious object detection
Madhavan et al. Violence Detection from CCTV Footage Using Optical Flow and Deep Learning in Inconsistent Weather and Lighting Conditions
Pham et al. Two-stage unattended object detection method with proposals
EP2926294A1 (fr) Procédé de détection de personnes et/ou d'objets dans un espace
Raju et al. Efficient abandoned luggage detection in complex surveillance videos
Abirami et al. A comparative analysis on ATM theft detection based on human behaviour
FR3112467A1 (fr) Magasin autonome de vente au détail en libre-service
EP3067709A1 (fr) Procédé et dispositif de suivi d'individus dans un lieu équipé de moyens répartis de détection
Yang et al. Surveillance system using abandoned object detection
WO2015092040A1 (fr) Procédé d'estimation du nombre de personnes et/ou d'objets dans un espace

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230630

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: HITACHI RAIL GTS FRANCE SAS