EP2671376A1 - Procédé et dispositif de traitement de séquences d'images d'une scène et système de surveillance d'une scène comportant un tel dispositif - Google Patents

Procédé et dispositif de traitement de séquences d'images d'une scène et système de surveillance d'une scène comportant un tel dispositif

Info

Publication number
EP2671376A1
EP2671376A1 EP12702022.0A EP12702022A EP2671376A1 EP 2671376 A1 EP2671376 A1 EP 2671376A1 EP 12702022 A EP12702022 A EP 12702022A EP 2671376 A1 EP2671376 A1 EP 2671376A1
Authority
EP
European Patent Office
Prior art keywords
scene
panoramic view
interest
camera
image sequences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12702022.0A
Other languages
German (de)
English (en)
Inventor
Serge Couvet
Malek BAKLOUTI
Philippe Robin
Pierre VAURES
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP2671376A1 publication Critical patent/EP2671376A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • Method and device for processing image sequences of a scene and system for monitoring a scene comprising such a device
  • the present invention relates to a method for processing image sequences of a scene, acquired by at least one camera, of the type comprising a step of reconstructing a panoramic view of the scene from the acquired image sequences and a step of displaying the panoramic view.
  • the invention also relates to a device associated with the image sequence processing method and a monitoring system comprising such a device.
  • the invention applies in the field of video surveillance systems.
  • video surveillance systems are nowadays equipped with more and more numerous, rich and complex functionalities, with the aim of automating, simplifying and making reliable the work of an operator in control and command centers equipped with such systems.
  • CCTV CCTV
  • the operator must generally interpret a large number of video streams as well as information from ancillary sensors or video algorithms.
  • the operator must then be expert in the system and know in a remarkable way the disposition of the cameras and third devices in the environment filmed by the cameras and monitored by the monitoring system. He then makes a considerable mental effort to build a coherent (mental) visualization of the situation of his environment.
  • mapping system used as a data representation medium.
  • This mapping system includes a global data visualization tool containing several basic information such as the position and state of the cameras, their field of view ...
  • this mapping system is also used as an interface support Man / Machine (HMI) for basic operational functions in command centers, eg for camera reservation.
  • HMI Man / Machine
  • mapping systems are two-dimensional and dissociated from the video stream.
  • the document WO 2010/1 12 604 describes a method of virtual extension and enrichment of the field of observation of the current image of a scene described by a video comprising several images.
  • the field of view is extended by a mosaic obtained from the images of the video illustrating the scene at different resolutions.
  • the method further comprises a step of insertion in the repository of the contextual data image and a step of enriching the extended field of view by georeferenced information in the contextual data.
  • the object of the invention is to propose another type of method for contextualization in the form of a panoramic view of the stream or streams of at least one camera.
  • the subject of the invention is a method for processing image sequences of a scene of the aforementioned type, characterized in that the panoramic view comprises at least one area of interest that can be moved in the panoramic view and refreshed at a higher frequency than the rest of the panoramic view.
  • the method for processing image sequences of a scene comprises one or more of the following characteristics taken alone or in combination:
  • the area of interest is dynamically refreshed at the acquisition frequency of the image sequences
  • the method comprises a step of displaying additional contextual information on the displayed panoramic view
  • the additional contextual information belongs to the group consisting of: georeferenced devices, mobile units, georeferenced events, points of interest;
  • the panoramic view is reconstructed from sequences of images acquired by at least one mobile camera performing a scan of the scene intended to be represented on the panoramic view;
  • the panoramic view is reconstructed from sequences of images acquired by at least two fixed cameras having fields of view of the scene that are at least contiguous;
  • the method comprises a step of filtering the image sequences of the scene in order to extract information therefrom.
  • the invention also relates to a device for processing image sequences of a scene, acquired by at least one camera, comprising means for reconstructing a panoramic view of the scene from the sequences acquired images and means for displaying the panoramic view, characterized in that the device further comprises means for defining an area of interest in the panoramic view, means for moving the area of interest in the panoramic view and means for refreshing the area of interest at a frequency greater than that of the rest of the panoramic view and is adapted to implement a method of processing image sequences as described above.
  • the image sequence processing device comprises one or more of the following characteristics taken alone or in combination:
  • the moving means of the zone of interest can be manipulated by an operator
  • the moving means of the zone of interest are chosen from the group comprising a control lever, a touch screen, a touchpad and buttons.
  • the subject of the invention is also a system for monitoring a scene, comprising at least one camera oriented towards the scene and acquiring sequences of images of the scene, characterized in that it comprises a device for processing image sequences as described above.
  • FIG. 1 is a block diagram illustrating a scene monitoring system according to the invention comprising a device for processing image sequences of the scene,
  • FIG. 2 is an exemplary illustration of a panoramic view of a scene obtained by an image sequence processing device of the scene according to one embodiment of the invention
  • FIGS. 3 and 4 are block diagrams illustrating steps of a method for processing image sequences of a scene implemented by the device of FIG. 1.
  • the invention relates to a system 10 for monitoring a scene as illustrated in FIG.
  • This monitoring system 10 comprises at least one camera 12 oriented towards the scene and acquiring sequences of images of the scene and a device 14 for processing the scene sequences of the scene.
  • image sequences are also called video streams.
  • the camera or each camera 12 is of the PTZ camera type for "Pan-Tilt-Zoom" in English, that is to say remotely controllable by an operator of the surveillance system 10 to realize panoramic, tilting or zoom in an adjustable way.
  • the instantaneous fields of view of each camera are distinct from each other.
  • the or each camera 12 is a fixed camera whose field of view can not be adjusted in size, inclination or zoom.
  • the instantaneous fields of view of each camera are at least contiguous and preferably overlap partially so as to be able to reconstruct a continuous panoramic view from the images acquired by the cameras at a given moment.
  • the device 14 for processing the scene sequences of the scene comprises a unit 16 for processing the images acquired by each camera 12 and a man / machine interface comprising means 18 for displaying in graphical form the images processed by the unit 16.
  • the processing unit 16 is able to process the image sequences acquired by the cameras 12, to reconstruct a panoramic view from the acquired image sequences and to command the display of this panoramic view in graphic form by the means 18 display.
  • the processing unit 16 comprises means 20 for reconstructing the panoramic view of the scene from the image sequences acquired.
  • the device 14 further comprises means for defining an area of interest in the panoramic view, means for moving the area of interest in the panoramic view and means for refreshing the area of interest at a frequency. higher than the rest of the panoramic view.
  • the displacement means of the zone of interest can be manipulated by an operator. They are chosen from the group comprising a control lever, a touch screen, a touchpad, buttons, etc.
  • the device 14 comprises a data storage unit 28 representative of the acquired image sequences and data to be displayed in graphical form by the display means 18 such as the reconstructed panoramic view and the area of interest.
  • the storage unit 28 comprises a first memory 30 and a second temporary memory 32.
  • the first memory 30 is adapted to store the initial and final data, that is to say before and after treatment by the treatment unit 16.
  • the second temporary memory 32 is adapted to store the temporary data, that is to say, being processed by the processing unit 16.
  • FIG. 2 illustrates an example of a panoramic view 50 of a scene reconstructed by the means 20 for reconstructing a device 14 for processing image sequences of the scene as described above.
  • an area of interest 52 is defined by the means for defining the device 14.
  • This area of interest 52 is representative of the field of view of a camera 12 of a surveillance system according to the invention comprising the device 14.
  • the area of interest 52 is refreshed at a higher frequency than the rest of the panoramic view by the refreshing means of the device 14.
  • the panoramic view is refreshed locally by the video stream from the or each camera associated with an area of interest.
  • the dynamic panoramic view is formed of the refreshed area of interest and the panoramic view, that is to say the bottom, said static with respect to a lower refresh rate than that of the area of interest.
  • an operator using a monitoring system 10 enters data via the man / machine interface concerning the panoramic view that he wishes to display on the display means 18 of the human-machine interface.
  • these data relate to the dimensions of the field of view and the resolution of the desired panoramic view.
  • the image sequence processing device implements a method for processing image sequences of a scene according to the invention. This is described in the case where the image sequences are acquired by a single camera 12 in order to simplify the description.
  • This camera 12 is preferably a PTZ camera type mobile camera.
  • This method comprises a step of creating or reconstructing a panoramic view of the scene from the image sequences acquired by the moving camera having performed a scan of the scene.
  • the panoramic view represents a field of view of 360 °.
  • An exemplary embodiment of this step 100 is illustrated in FIG.
  • the processing unit 16 After receiving a request from the operator for the generation of a panoramic view at 102, the processing unit 16 reads from the storage unit 28 information relating to the camera to be used to generate the desired panoramic view, during of a step 104.
  • this information is the IP address of the camera, its geographical coordinates ...
  • the processing unit 16 sends commands to the camera so that it acquires a sequence of images making it possible to reconstruct the desired panoramic view in both resolution and field of view.
  • the camera acquires this sequence of images for a defined time according to the desired resolution and field of view and acquisition parameters of the camera.
  • the acquired images are transmitted to the device 14 and stored in the temporary memory 32.
  • the processing unit 16 filters and cleans the images of the sequence to remove information, at 1 10. For example, a raw image, that is to say acquired by the camera, is cleaned and filtered to remove from the image unwanted dynamic elements in the representation of the scene illustrating the city such as cars, characters or others. This step is performed automatically.
  • the processing unit 16 implements video analysis methods for the purpose of automatically detecting moving objects, for example by applying bottom segmentation methods and keeping in the image only the static background. of the scene in order to form the so-called static panoramic view.
  • the filtered and cleaned images are stored in the temporary memory 32. Then, if the camera has not scanned a field of view sufficient to form the desired static panoramic view, the device 14 again performs steps 106 through 110. there are enough images to form the desired static panoramic view.
  • the processing unit 16 builds the static panoramic view from the cleaned and filtered images stored in the temporary memory 32, during a step 1 12.
  • the images from the mobile camera, taken at different angles (Pan and Tilt), after being cleaned and filtered, are juxtaposed by image processing techniques known to those skilled in the art to align them and to form a global image of the whole scene: the static panoramic view.
  • This image is then recorded in the first memory 30 of the storage unit 28 and transmitted to the display means 18.
  • the operator defines an area of interest in the panoramic view using the means for defining this area, for example using a touch screen, a touchpad and / or buttons of the input means of the screen.
  • This area of interest is refreshed dynamically from the video stream of the camera. The whole formed by the area of interest refreshed in the panoramic view is called thereafter a dynamic panoramic view.
  • FIG. 4 illustrates an exemplary embodiment of a step 200 for displaying the dynamic panoramic view of the image sequence processing method of the camera implemented by the device 14.
  • the processing unit 16 After receiving the definition of the area of interest by the operator, the processing unit 16 reads in the storage unit 28 information about the camera corresponding to the desired area of interest, during a step 202.
  • this information is the IP address of the camera, its geographical coordinates ...
  • a step of embedding the video stream in the panoramic view is performed in order to relocate the video stream in the panoramic view.
  • This step takes place in two sub-steps:
  • This "direct" method has the advantage of being robust to the brightness conditions of the scene since it is based only on mechanical values.
  • the coordinates of the texture of the portion of the panoramic view defined by the area of interest to be updated are calculated in 208.
  • this sub-step 210 of fine relocation is executed by relying on image processing techniques to refine the location.
  • this sub-step 210 of fine relocation is carried out by the mapping of points of interest between the panoramic view and the images acquired by the camera.
  • the texture of the portion of the panoramic view corresponding to the area of interest is updated, at 212, by embedding the video stream received by the camera associated with the area of interest.
  • the area of interest is refreshed at a higher frequency than the rest of the panoramic view.
  • it is refreshed dynamically at the acquisition frequency of the video stream of the camera associated with the area of interest.
  • the area of interest is movable in the panoramic view by the operator using the means for moving this area, for example using a touch screen, a touchpad and / or buttons means of input of the man-machine interface.
  • step 200 of displaying the dynamic panoramic view is then implemented again.
  • the step 200 of displaying the panoramic view is performed using a primitive three-dimensional model (3D) such as for example a polyhedron (or quad) or preferably a sphere.
  • 3D three-dimensional model
  • the method further comprises a step of enriching the dynamic panoramic view with information on the environment, for example the names of the streets visible on the panoramic view, as well as the state of the system, for example localized alarms.
  • the intrinsic and extrinsic parameters of each camera are accurately estimated in order to be able to integrate this information in a realistic way into the dynamic panoramic view.
  • an additional contextual information display is displayed on the displayed panoramic view.
  • This additional contextual information is selected from the group consisting of georeferenced devices, mobile units, georeferenced events, points of interest.
  • step 100 of reconstructing a panoramic view is repeated regularly in order to update the static panoramic view. However, the update rate of the static panoramic view is lower than that of the area of interest. This update ensures a good match with the actual scene over a longer period.
  • the method and the device for processing image sequences of a scene thus make it possible to obtain a dynamic panoramic view refreshed locally by the video (s) coming from one or more observation points which thus restores Realistic context of one or more real video streams.
  • the system and the device according to the invention can minimize the cognitive load of the operator by reducing the need to readjust the frame of reference of the cameras when changing the point of view.
  • the use of the panoramic context makes it possible to display on the same medium: the video stream, the static vicinity of the camera, and location-based information such as alarms or popups such as street names, if they are visible in the field of the panoramic view, to complete the perception of the operator.
  • the monitoring device according to the invention also makes it possible to provide new functionalities with respect to state-of-the-art monitoring devices such as camera control, thus simplifying the use of the video surveillance device. .
  • the operator controls his visual using for example a control lever (or "joystick” in English) classic.
  • the updated area of interest moves according to the movements of the camera.
  • the display of the other available cameras of the network in the panoramic field of view respectively represented by their associated area of interest allows the operator to choose / switch from the current camera to another camera simply by selecting the one in the panorama thanks to the man-machine interface.
  • the operator selects the camera by double clicking on the area of interest representative of the camera's field of view in the panorama using a joystick, a touch screen or a mouse of the man-machine interface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

Procédé et dispositif de traitement de séquences d'images d'une scène et système de surveillance d'une scène comportant un tel dispositif
La présente invention concerne un procédé de traitement de séquences d'images d'une scène, acquises par au moins une caméra, du type comprenant une étape de reconstruction d'une vue panoramique de la scène à partir des séquences d'images acquises et une étape d'affichage de la vue panoramique.
L'invention concerne également un dispositif associé au procédé de traitement de séquences d'images et un système de surveillance comportant un tel dispositif.
En particulier, l'invention s'applique dans le domaine des systèmes de vidéosurveillance. Ces systèmes de vidéosurveillance sont de nos jours dotés de fonctionnalités de plus en plus nombreuses, riches et complexes, dans le but d'automatiser, de simplifier et de fiabiliser le travail d'un opérateur dans les centres de contrôle et commande équipés de tels systèmes de vidéosurveillance.
Cependant, l'opérateur doit généralement interpréter un grand nombre de flux vidéo ainsi que des informations provenant de capteurs annexes ou d'algorithmes vidéos. L'opérateur doit alors être expert du système et connaître de façon remarquable la disposition des caméras et dispositifs tiers dans l'environnement filmé par les caméras et surveillé par le système de surveillance. Il effectue alors un effort mental considérable pour se construire une visualisation (mentale) cohérente de la situation de son environnement.
Ainsi, la représentation d'informations et de données hétérogènes dans les systèmes de vidéosurveillance est alors une problématique clé.
On connaît déjà dans l'état de la technique des systèmes de vidéosurveillance d'une scène comportant des outils de représentation des flux vidéos sur un mur d'écrans avec des images isolées acquises par plusieurs caméras. Dans le meilleur des cas, le numéro et/ou le libellé de chaque caméra filmant la scène ainsi que leur emplacement sont renseignés sur ce mur d'écrans.
En plus de la représentation des flux vidéo sur un mur d'écrans, certains systèmes de vidéosurveillance sont équipés d'un système de cartographie utilisé comme support de représentation de données. Ce système de cartographie comporte un outil de visualisation de données globales regroupant plusieurs informations élémentaires comme la position et l'état des caméras, leur champ de vue... En outre, ce système de cartographie est aussi utilisé en tant que support d'interface homme/machine (IHM) pour des fonctions opérationnelles de base dans des centres de commandement, par exemple pour la réservation de caméra. De façon générale, les systèmes de cartographie sont en deux dimensions et dissociés du flux vidéo.
Néanmoins, les systèmes de vidéosurveillance actuels sont limités dans la représentation de l'information notamment les flux vidéo et les alarmes. Bien que l'utilisation de la cartographie tente de proposer une cohérence géographique des données géolocalisées, celle-ci reste insuffisante pour une vue globale de la scène et la remise dans leur contexte des flux vidéos qui restent dissociés des systèmes de cartographie.
Pour répondre à la problématique de contextualisation de l'information tout en assurant, à bas coût, un rendu réaliste de l'environnement, l'utilisation d'images « réelles >> devient une nécessité.
Par exemple, le document WO 2010/1 12 604 décrit un procédé d'extension virtuelle et d'enrichissement du champ d'observation de l'image courante d'une scène décrite par une vidéo comportant plusieurs images. Le champ d'observation est étendu par une mosaïque obtenue à partir des images de la vidéo illustrant la scène à différentes résolutions. Le procédé comporte en outre une étape d'insertion dans le référentiel de l'image de données contextuelles et une étape d'enrichissement du champ de vue étendu par une information géoréférencée dans la donnée contextuelle.
Le but de l'invention est de proposer un autre type de procédé permettant une contextualisation sous forme d'une vue panoramique du ou des flux d'au moins une caméra.
A cet effet, l'invention a pour objet un procédé de traitement de séquences d'images d'une scène du type précité, caractérisé en ce que la vue panoramique comporte au moins une zone d'intérêt déplaçable dans la vue panoramique et rafraichie à une fréquence supérieure à celle du reste de la vue panoramique.
Selon des modes particuliers de réalisation, le procédé de traitement de séquences d'images d'une scène comporte l'une ou plusieurs des caractéristiques suivantes prises seules ou en combinaison :
- la zone d'intérêt est rafraichie dynamiquement à la fréquence d'acquisition des séquences d'images ;
- le procédé comprend une étape d'affichage d'informations contextuelles supplémentaires sur la vue panoramique affichée ;
- les informations contextuelles supplémentaires appartiennent au groupe consistant en : des dispositifs géoréférencés, des unités mobiles, des événements géoréférencés, des points d'intérêts ; - la vue panoramique est reconstruite à partir de séquences d'images acquises par au moins une caméra mobile réalisant un balayage de la scène destinée à être représentée sur la vue panoramique ;
- la vue panoramique est reconstruite à partir de séquences d'images acquises par au moins deux caméras fixes ayant des champs de vue de la scène au moins contigus ; et
- le procédé comprend une étape de filtrage des séquences d'images de la scène pour en retirer des informations.
Selon un autre aspect, l'invention a également pour objet un dispositif de traitement de séquences d'images d'une scène, acquises par au moins une caméra, comportant des moyens de reconstruction d'une vue panoramique de la scène à partir des séquences d'images acquises et des moyens d'affichage de la vue panoramique, caractérisé en ce que le dispositif comprend en outre des moyens de définition d'une zone d'intérêt dans la vue panoramique, des moyens de déplacement de la zone d'intérêt dans la vue panoramique et des moyens de rafraîchissement de la zone d'intérêt à une fréquence supérieure à celle du reste de la vue panoramique et est adapté pour mettre en œuvre un procédé de traitement de séquences d'images tel que décrit précédemment.
Selon des modes particuliers de réalisation, le dispositif de traitement de séquences d'images comporte l'une ou plusieurs des caractéristiques suivantes prises seules ou en combinaison :
- les moyens de déplacement de la zone d'intérêt sont manipulables par un opérateur ; et
- les moyens de déplacement de la zone d'intérêt sont choisis dans le groupe comprenant un levier de commande, un écran tactile, un pavé tactile et des boutons.
Selon un autre aspect, l'invention a également pour objet un système de surveillance d'une scène, comportant au moins une caméra orientée vers la scène et acquérant des séquences d'images de la scène, caractérisé en ce qu'il comporte un dispositif de traitement de séquences d'images tel que décrit précédemment.
L'invention sera mieux comprise à l'aide de la description qui va suivre, donnée uniquement à titre d'exemple et fait en se référant aux dessins annexés, sur lesquels :
- la figure 1 est un schéma synoptique illustrant un système de surveillance d'une scène selon l'invention comportant un dispositif de traitement de séquences d'images de la scène,
- la figure 2 est un exemple d'illustration d'une vue panoramique d'une scène obtenue par un dispositif de traitement de séquences d'images de la scène selon un mode de réalisation de l'invention, et - les figures 3 et 4 sont des schémas blocs illustrant des étapes d'un procédé de traitement de séquences d'images d'une scène mis en œuvre par le dispositif de la figure 1 .
L'invention concerne un système de surveillance 10 d'une scène comme cela est illustré sur la figure 1 .
Ce système de surveillance 10 comporte au moins une caméra 12 orientée vers la scène et acquérant des séquences d'images de la scène et un dispositif 14 de traitement des séquences d'images de la scène. Dans la suite, les séquences d'images sont également appelées flux vidéo.
La caméra ou chaque caméra 12 est du type caméra PTZ pour « Pan-Tilt-Zoom » en anglais, c'est-à-dire contrôlable à distance par un opérateur du système de surveillance 10 pour réaliser des vues panoramiques, en inclinaison ou en zoom de façon réglable. Dans ce cas, les champs de vue instantanés de chaque caméra sont distincts les uns des autres.
Selon une variante, la ou chaque caméra 12 est une caméra fixe dont le champ de vue n'est réglable ni en taille, ni en inclinaison ni en zoom. Dans ce cas, les champs de vue instantanés de chaque caméra sont au moins contigus et de préférence se recouvrent partiellement de sorte à pouvoir reconstruire une vue panoramique continue à partir des images acquises par les caméras à un instant donné.
Le dispositif 14 de traitement des séquences d'images de la scène comprend une unité 16 de traitement des images acquises par chaque caméra 12 et une interface homme/machine comprenant des moyens 18 d'affichage sous forme graphique des images traitées par l'unité 16 de traitement et des moyens d'entrée par un opérateur de paramètres pour réaliser et/ou contrôler la vue panoramique à afficher.
L'unité 16 de traitement est apte à traiter les séquences d'images acquises par les caméras 12, à reconstruire une vue panoramique à partir des séquences d'images acquises et à commander l'affichage de cette vue panoramique sous forme graphique par les moyens 18 d'affichage.
Pour cela, l'unité 16 de traitement comporte des moyens 20 de reconstruction de la vue panoramique de la scène à partir des séquences d'images acquises.
Le dispositif 14 comprend en outre des moyens de définition d'une zone d'intérêt dans la vue panoramique, des moyens de déplacement de la zone d'intérêt dans la vue panoramique et des moyens de rafraîchissement de la zone d'intérêt à une fréquence supérieure à celle du reste de la vue panoramique. Les moyens de déplacement de la zone d'intérêt sont manipulables par un opérateur. Ils sont choisis dans le groupe comprenant un levier de commande, un écran tactile, un pavé tactile, des boutons, etc.
En outre, le dispositif 14 comporte une unité 28 de stockage de données représentatives des séquences d'images acquises et des données à afficher sous forme graphique par les moyens 18 d'affichage telles que la vue panoramique reconstruite et la zone d'intérêt.
Pour cela, l'unité 28 de stockage comporte une première mémoire 30 et une seconde mémoire temporaire 32. La première mémoire 30 est adaptée pour stocker les données initiales et finales, c'est-à-dire respectivement avant et après traitement par l'unité 16 de traitement. La seconde mémoire temporaire 32 est adaptée pour stocker les données temporaires, c'est-à-dire en cours de traitement par l'unité 16 de traitement.
La figure 2 illustre un exemple d'une vue panoramique 50 d'une scène reconstruite par les moyens 20 de reconstruction d'un dispositif 14 de traitement de séquences d'images de la scène tel que décrit ci-dessus. Dans cette vue panoramique 50, une zone d'intérêt 52 est définie par les moyens de définition du dispositif 14. Cette zone d'intérêt 52 est représentative du champ de vue d'une caméra 12 d'un système de surveillance selon l'invention comportant le dispositif 14. La zone d'intérêt 52 est rafraîchie à une fréquence supérieure à celle du reste de la vue panoramique par les moyens de rafraîchissement du dispositif 14. Ainsi, la vue panoramique est rafraîchie localement par le flux vidéo provenant de la ou chaque caméra associée à une zone d'intérêt.
Dans la suite de la description, la vue panoramique dynamique est formée de la zone d'intérêt rafraîchie et de la vue panoramique, c'est-à-dire le fond, dite statique par rapport à une plus faible fréquence de rafraîchissement que celle de la zone d'intérêt.
En fonctionnement, un opérateur utilisant un système 10 de surveillance selon l'invention, entre des données via l'interface homme/machine concernant la vue panoramique qu'il souhaite afficher sur les moyens 18 d'affichage de l'interface homme- machine. En particulier, ces données concernent les dimensions du champ de vue et la résolution de la vue panoramique souhaitée.
Ces données sont transmises à l'unité 16 de traitement en vue de la construction de la vue panoramique et stockées dans la mémoire temporaire 32 de l'unité de stockage 28.
Le dispositif de traitement de séquences d'images met en œuvre un procédé de traitement de séquences d'images d'une scène selon l'invention. Celui-ci est décrit dans le cas où les séquences d'images sont acquises par une seule caméra 12 afin de simplifier la description. Cette caméra 12 est de préférence une caméra mobile du type caméra PTZ.
Ce procédé comporte une étape de création ou de reconstruction d'une vue panoramique de la scène à partir des séquences d'images acquises par la caméra mobile ayant réalisé un balayage de la scène.
De préférence, la vue panoramique représente un champ de vue de 360°. Un exemple de réalisation de cette étape 100 est illustré sur la figure 3.
Après avoir reçu une demande de l'opérateur pour la génération d'une vue panoramique en 102, l'unité de traitement 16 lit dans l'unité 28 de stockage des informations concernant la caméra à utiliser pour générer la vue panoramique souhaitée, au cours d'une étape 104. Par exemple, ces informations sont l'adresse IP de la caméra, ses coordonnées géographiques...
Ensuite, en 106, l'unité 16 de traitement envoie des commandes à la caméra afin qu'elle acquiert une séquence d'images permettant de reconstruire la vue panoramique souhaitée tant en résolution qu'en champ de vue.
Au cours d'une étape 108, la caméra acquiert cette séquence d'images pendant un temps défini en fonction de la résolution et du champ de vue souhaités et des paramètres d'acquisition de la caméra. Les images acquises sont transmises au dispositif 14 et enregistrées dans la mémoire temporaire 32.
Puis, l'unité 16 de traitement filtre et nettoie les images de la séquence pour en retirer des informations, en 1 10. Par exemple, une image brute, c'est-à-dire acquise par la caméra, est nettoyée et filtrée afin de supprimer de l'image les éléments dynamiques indésirables dans la représentation de la scène illustrant la ville tels que des voitures, personnages ou autres. Cette étape est réalisée automatiquement.
Pour cela, l'unité 16 de traitement met en œuvre des méthodes d'analyse vidéo dans le but de détecter automatiquement les objets mobiles, par exemple en appliquant des méthodes de segmentation du fond et de ne garder dans l'image que le fond statique de la scène dans le but de former la vue panoramique dite statique.
Les images filtrées et nettoyées sont stockées dans la mémoire temporaire 32. Ensuite, si la caméra n'a pas balayé un champ de vue suffisant pour former la vue panoramique statique désirée, le dispositif 14 effectue à nouveau les étapes 106 à 1 10 jusqu'à ce qu'il y ait suffisamment d'images pour former la vue panoramique statique désirée.
Alors, l'unité 16 de traitement construit la vue panoramique statique à partir des images nettoyées et filtrées enregistrées dans la mémoire temporaire 32, au cours d'une étape 1 12. Pour cela, les images provenant de la caméra mobile, prises à différents angles (Pan et Tilt), après avoir été nettoyées et filtrées, sont juxtaposées par des techniques de traitements d'images connues de l'homme du métier permettant de les aligner et de former une image globale de toute la scène : la vue panoramique statique.
Cette image est alors enregistrée dans la première mémoire 30 de l'unité de stockage 28 et transmise aux moyens 18 d'affichage.
Puis, l'opérateur définit une zone d'intérêt dans la vue panoramique à l'aide des moyens de définition de cette zone, par exemple en utilisant un écran tactile, un pavé tactile et/ou des boutons des moyens d'entrée de l'interface homme-machine. Cette zone d'intérêt est rafraîchie de façon dynamique à partir du flux vidéo de la caméra. L'ensemble formé par la zone d'intérêt rafraîchie dans la vue panoramique est appelé par la suite une vue panoramique dynamique.
La figure 4 illustre un exemple de réalisation d'une étape 200 d'affichage de la vue panoramique dynamique du procédé de traitement des séquences d'images de la caméra mise en œuvre par le dispositif 14.
Après avoir reçu la définition de la zone d'intérêt par l'opérateur, l'unité de traitement 16 lit dans l'unité 28 de stockage des informations concernant la caméra correspondant à la zone d'intérêt souhaitée, au cours d'une étape 202. Par exemple, ces informations sont l'adresse IP de la caméra, ses coordonnées géographiques...
Ensuite, une étape d'incrustation du flux vidéo dans la vue panoramique est réalisée afin de relocaliser le flux vidéo dans la vue panoramique.
Cette étape de déroule en deux sous-étapes :
- tout d'abord, une sous-étape 204 de relocalisation globale utilisant les valeurs de positionnement de la caméra directement retournées par l'encodeur de celle-ci, en 206. Cette méthode « directe >> présente l'avantage d'être robuste aux conditions de luminosité de la scène puisqu'elle ne se base que sur des valeurs mécaniques. Les coordonnées de la texture de la portion de la vue panoramique définie par la zone d'intérêt à mettre à jour sont calculées en 208.
- puis une sous-étape 210 de relocalisation fine est exécutée en s'appuyant sur des techniques de traitement d'images pour affiner la localisation. De façon générale, cette sous-étape 210 de relocalisation fine est réalisée par la mise en correspondance de points d'intérêt entre la vue panoramique et les images acquises par la caméra.
Ensuite, la texture de la portion de la vue panoramique correspondant à la zone d'intérêt est mise à jour, en 212, en y incrustant le flux vidéo reçu par la caméra associée à la zone d'intérêt. Ainsi, la zone d'intérêt est rafraîchie à une fréquence supérieure à celle du reste de la vue panoramique. De préférence, elle est rafraîchie dynamiquement à la fréquence d'acquisition du flux vidéo de la caméra associée à la zone d'intérêt.
De plus, la zone d'intérêt est déplaçable dans la vue panoramique par l'opérateur à l'aide des moyens de déplacement de cette zone, par exemple en utilisant un écran tactile, un pavé tactile et/ou des boutons des moyens d'entrée de l'interface homme- machine. Dans ce cas, l'étape 200 d'affichage de la vue panoramique dynamique est alors mise en œuvre à nouveau.
L'étape 200 d'affichage de la vue panoramique est réalisée en utilisant un modèle tridimensionnel (3D) primitif comme par exemple un polyèdre (ou quad) ou de préférence une sphère.
Le procédé comporte en outre une étape d'enrichissement de la vue panoramique dynamique par des informations sur l'environnement, par exemple le nom des rues visibles sur la vue panoramique, ainsi que l'état du système, par exemple des alarmes localisées.
Pour cela, les paramètres intrinsèque et extrinsèque de chaque caméra sont estimés d'une manière précise afin de pouvoir intégrer ces informations d'une manière réaliste dans la vue panoramique dynamique.
Au cours de cette étape, un affichage d'informations contextuelles supplémentaires sur la vue panoramique affichée est réalisé. Ces informations contextuelles supplémentaires sont choisies dans le groupe comprenant des dispositifs géoréférencés, des unités mobiles, des événements géoréférencés, des points d'intérêts. Selon une variante, l'étape 100 de reconstruction d'une vue panoramique est répétée régulièrement afin de mettre à jour la vue panoramique statique. Cependant, la fréquence de mise à jour de la vue panoramique statique est inférieure à celle de la zone d'intérêt. Cette mise à jour assure une bonne correspondance avec la scène réelle sur une plus grande durée.
Le procédé et le dispositif de traitement de séquences d'images d'une scène permettent ainsi d'obtenir une vue panoramique dynamique rafraîchie localement par la/les vidéo(s) provenant d'un ou plusieurs points d'observation qui restaure ainsi de façon réaliste le contexte d'un ou de plusieurs flux vidéo réels.
Ainsi, on conçoit que le système et le dispositif selon l'invention permettent de minimiser la charge cognitive de l'opérateur en réduisant la nécessité de réajuster le cadre de référence des caméras lors du changement du point de vue.
En outre, l'utilisation du contexte panoramique permet d'afficher sur un même support : le flux vidéo, le voisinage proche de la caméra de façon statique, et des informations géolocalisées comme des alarmes ou contextuelles comme le nom des rues, si elles sont visibles dans le champ de la vue panoramique, afin de compléter la perception de l'opérateur.
On conçoit également que les coûts de conception d'un système de surveillance selon l'invention sont beaucoup moindres que la conception d'un environnement synthétique pour la contextualisation des flux vidéos.
En effet, dans le cas d'une contextualisation des flux vidéo utilisant un modèle tridimensionnel (3D), le modèle synthétique de l'environnement à observer doit être construit de manière la plus réaliste possible. Cela nécessite des coûts de conception et de développement d'un modèle 3D de l'ordre de 10000 euros pour un environnement de 200 m x 200 m par exemple. Ainsi ce procédé comportant une étape de modélisation 3D est non envisageable surtout dans le cas de surveillance urbaine à grande échelle tandis que le procédé selon l'invention de contextualisation par l'image panoramique n'est pas coûteuse puisque l'image panoramique est construite en utilisant les images acquises sur le site et que le flux vidéo est projeté sur ce panorama. Cette reconstruction est réalisée automatiquement ne prend qu'une quinzaine de minutes environ.
En outre, on comprend que le dispositif de surveillance selon l'invention permet également d'apporter de nouvelles fonctionnalités par rapport aux dispositifs de surveillance de l'état de la technique telles que le contrôle des caméras simplifiant ainsi l'usage du dispositif de vidéosurveillance.
En effet, l'opérateur contrôle son visuel en utilisant par exemple un levier de commande (ou « joystick >> en anglais) classique. En outre, en commandant la caméra en panorama et en inclinaison, la zone d'intérêt mise à jour se déplace en fonction des mouvements de la caméra. De plus, l'affichage des autres caméras disponibles du réseau dans le champ de vue panoramique représentées respectivement par leur zone d'intérêt associée permet à l'opérateur de choisir/basculer de la caméra en cours vers une autre caméra simplement par sélection de celle-ci dans le panorama grâce à l'interface homme- machine. Par exemple, l'opérateur sélectionne la caméra en double cliquant sur la zone d'intérêt représentative du champ de vue de la caméra dans le panorama à l'aide d'un levier de commande, d'un écran tactile ou d'une souris de l'interface homme-machine.

Claims

REVENDICATIONS
1 .- Procédé de traitement de séquences d'images d'une scène, acquises par au moins une caméra (12), comprenant une étape de reconstruction (100) d'une vue panoramique (50) de la scène à partir des séquences d'images acquises et une étape d'affichage de la vue panoramique, caractérisé en ce que la vue panoramique (50) comporte au moins une zone d'intérêt (52) déplaçable dans la vue panoramique et rafraichie à une fréquence supérieure à celle du reste de la vue panoramique (50). 2.- Procédé de traitement de séquences d'images selon la revendication 1 , caractérisé en ce que la zone d'intérêt (52) est rafraichie dynamiquement à la fréquence d'acquisition des séquences d'images.
3. - Procédé de traitement de séquences d'images selon l'une quelconque des revendications 1 et 2, caractérisé en ce qu'il comprend une étape d'affichage d'informations contextuelles supplémentaires sur la vue panoramique affichée.
4. - Procédé de traitement de séquences d'images selon la revendication 3, caractérisé en ce que les informations contextuelles supplémentaires appartiennent au groupe consistant en : des dispositifs géoréférencés, des unités mobiles, des événements géoréférencés, des points d'intérêts.
5. - Procédé de traitement de séquences d'images selon l'une quelconque des revendications 1 à 4, caractérisé en ce que la vue panoramique (50) est reconstruite à partir de séquences d'images acquises par au moins une caméra (12) mobile réalisant un balayage de la scène destinée à être représentée sur la vue panoramique (50).
6. - Procédé de traitement de séquences d'images selon l'une quelconque des revendications 1 à 5, caractérisé en ce que la vue panoramique (50) est reconstruite à partir de séquences d'images acquises par au moins deux caméras (12) fixes ayant des champs de vue de la scène au moins contigus.
7. - Procédé de traitement de séquences d'images selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'il comprend une étape (1 10) de filtrage des séquences d'images de la scène pour en retirer des informations.
8. - Dispositif (14) de traitement de séquences d'images d'une scène, acquises par au moins une caméra (12), comportant des moyens (20) de reconstruction d'une vue panoramique (50) de la scène à partir des séquences d'images acquises et des moyens d'affichage (18) de la vue panoramique, caractérisé en ce que le dispositif comprend en outre des moyens de définition d'une zone d'intérêt (52) dans la vue panoramique (50), des moyens de déplacement de la zone d'intérêt (52) dans la vue panoramique et des moyens de rafraîchissement de la zone d'intérêt (52) à une fréquence supérieure à celle du reste de la vue panoramique et est adapté pour mettre en œuvre un procédé de traitement de séquences d'images selon l'une quelconque des revendications 1 à 7.
9. - Dispositif (14) de traitement de séquences d'images selon la revendication 8, caractérisé en ce que les moyens de déplacement de la zone d'intérêt sont manipulables par un opérateur.
10. - Dispositif (14) de traitement de séquences d'images selon l'une quelconque des revendications 8 et 9, caractérisé en ce que les moyens de déplacement de la zone d'intérêt sont choisis dans le groupe comprenant un levier de commande, un écran tactile, un pavé tactile et des boutons.
1 1 . - Système (10) de surveillance d'une scène, comportant au moins une caméra (12) orientée vers la scène et acquérant des séquences d'images de la scène, caractérisé en ce qu'il comporte un dispositif (14) de traitement de séquences d'images acquises selon l'une quelconque des revendications 8 à 10.
EP12702022.0A 2011-01-31 2012-01-31 Procédé et dispositif de traitement de séquences d'images d'une scène et système de surveillance d'une scène comportant un tel dispositif Withdrawn EP2671376A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1100282A FR2971074B1 (fr) 2011-01-31 2011-01-31 Procede et dispositif de traitement de sequences d'images d'une scene et systeme de surveillance d'une scene comportant un tel dispositif
PCT/EP2012/051537 WO2012104290A1 (fr) 2011-01-31 2012-01-31 Procédé et dispositif de traitement de séquences d'images d'une scène et système de surveillance d'une scène comportant un tel dispositif

Publications (1)

Publication Number Publication Date
EP2671376A1 true EP2671376A1 (fr) 2013-12-11

Family

ID=44486864

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12702022.0A Withdrawn EP2671376A1 (fr) 2011-01-31 2012-01-31 Procédé et dispositif de traitement de séquences d'images d'une scène et système de surveillance d'une scène comportant un tel dispositif

Country Status (4)

Country Link
EP (1) EP2671376A1 (fr)
FR (1) FR2971074B1 (fr)
MX (1) MX2013008816A (fr)
WO (1) WO2012104290A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108243349A (zh) * 2016-12-26 2018-07-03 中科创达软件股份有限公司 一种信息处理方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731630B (zh) * 2012-10-16 2019-01-11 华为技术有限公司 一种视频监控方法、设备和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024706A1 (en) * 2005-08-01 2007-02-01 Brannon Robert H Jr Systems and methods for providing high-resolution regions-of-interest

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650058B1 (en) * 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US20070002131A1 (en) * 2005-02-15 2007-01-04 Ritchey Kurtis J Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method
EP2243290A4 (fr) * 2008-01-29 2011-06-22 Enforcement Video Llc Caméra omnidirectionnelle destinée à être utilisée dans l'enregistrement d'événements de véhicule de police

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024706A1 (en) * 2005-08-01 2007-02-01 Brannon Robert H Jr Systems and methods for providing high-resolution regions-of-interest

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAEHYUK CHOI ET AL: "A Spatial-Temporal Multiresolution CMOS Image Sensor With Adaptive Frame Rates for Tracking the Moving Objects in Region-of-Interest and Suppressing Motion Blur", IEEE JOURNAL OF SOLID-STATE CIRCUITS, IEEE, vol. 42, no. 12, 1 December 2007 (2007-12-01), pages 2978 - 2989, XP011197041 *
See also references of WO2012104290A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108243349A (zh) * 2016-12-26 2018-07-03 中科创达软件股份有限公司 一种信息处理方法及装置

Also Published As

Publication number Publication date
WO2012104290A1 (fr) 2012-08-09
FR2971074A1 (fr) 2012-08-03
MX2013008816A (es) 2014-03-21
FR2971074B1 (fr) 2013-08-30

Similar Documents

Publication Publication Date Title
US20230298285A1 (en) Augmented and virtual reality
CN107636534B (zh) 用于图像处理的方法和系统
US20180261012A1 (en) Remote Object Detection and Local Tracking using Visual Odometry
US10600169B2 (en) Image processing system and image processing method
US10269178B2 (en) Method for visualising surface data together with panorama image data of the same surrounding
JP2020526829A (ja) クラウド対応の拡張現実
WO2016114930A2 (fr) Systèmes et procédés pour la création artistique en réalité augmentée
CN103460684A (zh) 图像处理设备、成像系统和图像处理系统
WO2016207551A1 (fr) Dispositif interactif a affichage tridimensionnel
CN112105983B (zh) 增强的视觉能力
US11016565B2 (en) Postponing the state change of an information affecting the graphical user interface until during the condition of inattentiveness
CN104599310A (zh) 三维场景动画录制方法及装置
US10606457B2 (en) Shake event detection system
EP2671376A1 (fr) Procédé et dispositif de traitement de séquences d'images d'une scène et système de surveillance d'une scène comportant un tel dispositif
EP2831847A1 (fr) Procede et dispositif de creation d'images
FR3097363A1 (fr) Système numérique de préparation de mission
WO2014170482A1 (fr) Procede de generation d'un flux video de sortie a partir d'un flux video large champ
FR3039919A1 (fr) Suivi d’une cible dans un reseau de cameras
WO2014023887A1 (fr) Procédé de rendu d'image en temps réel
EP2059903B1 (fr) Procede et outil de configuration d'au moins un systeme de videosurveillance intelligente
WO2021239805A1 (fr) Construction d'images vues du dessus d'un tronçon de route
EP1810194A1 (fr) Visualisation de resultats de moteur de recherche 3d par strate 2d
JP2014116852A (ja) 監視システム
CN117097866A (zh) 基于三维视频融合的监控可视化方法、装置及设备
FR2932351A1 (fr) Procede d'observation de scenes couvertes au moins partiellement par un ensemble de cameras et visualisables sur un nombre reduit d'ecrans

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130726

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20181001

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200723