EP3274914A1 - Procédé de dénombrement d'objets dans une zone spatiale prédéterminée - Google Patents

Procédé de dénombrement d'objets dans une zone spatiale prédéterminée

Info

Publication number
EP3274914A1
EP3274914A1 EP16714811.3A EP16714811A EP3274914A1 EP 3274914 A1 EP3274914 A1 EP 3274914A1 EP 16714811 A EP16714811 A EP 16714811A EP 3274914 A1 EP3274914 A1 EP 3274914A1
Authority
EP
European Patent Office
Prior art keywords
detector
predetermined spatial
image
parameter
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16714811.3A
Other languages
German (de)
English (en)
Inventor
Antoine FAGETTE
Stephen CHAI KHEH CHEW
Nicolas COURTY
Thomas CORPETTI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Thales SA
Universite de Bretagne Sud
Original Assignee
Centre National de la Recherche Scientifique CNRS
Thales SA
Universite de Bretagne Sud
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Thales SA, Universite de Bretagne Sud filed Critical Centre National de la Recherche Scientifique CNRS
Publication of EP3274914A1 publication Critical patent/EP3274914A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Definitions

  • the present invention relates to a method of counting objects in a predetermined spatial area.
  • the present invention also relates to a computer program product and an associated information carrier.
  • the present invention also relates to a detection device adapted to implement the counting method.
  • EP 2 704 060 A2 a method for estimating the size of a crowd from an image, the method comprising the steps of determining a candidate to obtain the most informative data point using an active learning algorithm.
  • the method also includes a step of receiving an annotation from a user identifying the data of the most informative data point.
  • the method also includes a step of applying a regression function to the most informative point determined and the associated notation to minimize a loss on the annotated data.
  • the method includes, finally, a step of constructing a regression model using the user annotated data and the deduced annotated data.
  • Document US 2007/0031005 A1 describes an optical system comprising a camera and a processor comprising a video analysis software.
  • the software is adapted to estimate a baseline frame representative of a background, estimate geometric parameters to represent a scale of object variation in the given frame, obtain a change detection map to distinguish the background from object in the given frame and combine the change detection map with the geometric parameters to obtain a measure of congestion in the given frame.
  • the aforementioned methods provide unreliable results in determining the spatial density of objects in the provided image.
  • a method of counting objects in a predetermined spatial area includes a first non-learning phase supervised method comprising the steps of selecting a plurality of discrete spatial densities of objects in the predetermined spatial area, providing parameters relating to a detector adapted to acquire at least one image, the image comprising the predetermined spatial area, the parameters provided comprising at least one parameter relating to the focal length of the detector, a parameter relating to the altitude of the detector and a parameter relating to the inclination of the detector relative to the predetermined spatial zone, of generating a database comprising a a plurality of images for each selected spatial density, the generation step using the parameters provided at the providing step, and determining a law for estimating the spatial density in the predetermined spatial area using the base d generated learning.
  • the method also comprises a second enumeration phase in the predetermined spatial zone comprising the steps of acquiring an image comprising the spatial zone predetermined by the detector, and estimating the spatial density of the object in the predetermined spatial zone by application of the law in the acquired image.
  • the counting method comprises one or more of the following characteristics, taken in isolation or in any technically possible combination:
  • the generation step comprises a step of correcting the perspective defect related to the detector.
  • the method comprises a segmentation step of an image for determining the pixels containing an object.
  • the determination step is implemented by learning, the learning comprising an extraction of characteristics, the extracted characteristics being also used in the estimation step.
  • the determination step is implemented using a carrier vector regression.
  • a parameter relating to the detector is an intrinsic characteristic of the detector.
  • a parameter relating to the position of the detector and / or an orientation parameter of the detector is provided.
  • a monitoring device for counting the objects in a predetermined spatial area comprising a detector adapted to acquire at least one image, the image comprising the predetermined spatial zone, the detector having parameters, a parameter being relative to the focal length of the detector, a parameter being relative to the altitude of the detector and a parameter being relative to the inclination of the detector relative to the predetermined spatial zone.
  • the device comprises a processing module adapted to count the objects in the predetermined spatial area.
  • the processing module is able to choose a plurality of distinct spatial density in the predetermined spatial zone, to receive parameters relating to the detector, the parameters received comprising at least one parameter relating to the focal length of the detector, a parameter relating to the altitude of the detector and a parameter relating to the inclination of the detector with respect to the predetermined spatial zone, generating a plurality of images for each selected spatial density using the parameters received, determining a law making it possible to estimate the spatial density in the spatial zone predetermined by using as a basis of learning the generated learning base and estimate the spatial density of object in the predetermined area by applying the law to the acquired image.
  • FIG. 1 a schematic view of an example of a processing module enabling the implementation of a method for counting objects in a predetermined spatial zone
  • FIG. 2 an example of an image generated to constitute a learning base
  • FIG. 3 a flow chart of an example of implementation of a method of counting objects.
  • FIG. 10 A processing module 10 and a computer program product 12 are shown in FIG.
  • the interaction of the computer program product 12 with the processing module 10 makes it possible to implement a method of counting objects in a predetermined spatial zone.
  • the processing module 10 is preferably a computer.
  • the processing module 10 is an electronic calculator able to manipulate and / or transform data represented as electronic or physical quantities in registers of the processing module 10 and / or memories in other similar data corresponding to physical data in the memories, registers or other types of display, transmission or storage device.
  • the processing module 10 comprises a processor 14 comprising a data processing unit 16, memories 18 and an information carrier reader 20.
  • the processing module 10 also comprises a keyboard 22 and a display unit 24.
  • the computer program product 12 includes an information carrier 20.
  • the information carrier 20 is a readable medium.
  • An information carrier 20 is a support readable by the processing module 10, usually by the data processing unit 14.
  • the information carrier 20 is a medium adapted to memorize electronic instructions and capable of being coupled to a bus of a computer system.
  • the information carrier 20 is a diskette or floppy disk ("floppy disk"), an optical disk, a CD-ROM a magneto-optical disk, a ROM memory, a memory RAM, an EPROM memory, an EEPROM memory, a magnetic card or an optical card.
  • On the information carrier 20 is stored a computer program including program instructions.
  • the computer program is loadable on the data processing unit 14 and is adapted to be used to carry out the implementation of the method of counting objects in the predetermined spatial area when the computer program is implemented on the treatment module 10.
  • FIGS. 2 and 3 schematically illustrate an exemplary implementation of the method of counting objects.
  • object is meant a countable element.
  • the object is observable, that is to say that a detector 30 as shown in Figure 3 is able to observe the object in the predetermined area.
  • Such a detector 30 is, by way of illustration, a camera 30.
  • Such a camera 30 is characterized by parameters P.
  • the detector 30 has thus intrinsic parameters P in trinsèque, that is to say not dependent on the environment, as the focal detector 30 or the size of the image acquired by the detector 30.
  • the intrinsic parameters P in tnnsque are parameters specific to the camera 30.
  • the detector 30 also has extrinsic extrinsic parameters P.
  • a parameter relating to the position P.sub.0 of the camera 30 depending on the environment in question is an extrinsic parameter Pextnnsec-
  • a position parameter P poSition of the camera 30 is the altitude of the camera 30.
  • a position parameter P poSition of the camera 30 is the distance of the camera 30 from the predetermined spatial area.
  • the distance from the camera 30 to the predetermined spatial area is defined as the distance between the plane of the detectors of the camera 30 and the point of the predetermined spatial area which is closest to the camera 30.
  • a parameter related to the orientation of the camera 30 and depending on the mechanical system holding the camera 30 is an extrinsic parameter Pextnnsque-
  • the orientation parameter Guidance of the camera 30 is the angle of inclination of the axis of view of the camera 30 relative to the horizontal. Such an angle is generally referred to as the pitch angle.
  • orientation orientation parameters are taken into account.
  • Another orientation parameter of the camera 30 is, for example, the angular orientation of the direction of the optical axis of the camera 30 relative to an absolute reference.
  • the direction of the optical axis of the camera 30 is usually called the heading angle.
  • the inclination of the camera 30 around its axis of view also known as the roll angle, is another example of orientation parameter Guidance of the camera 30.
  • orientation parameters of the camera 30 are also expressible in the form of Euler angles, namely the angles of precession, nutation and own rotation.
  • the nutation angle is the generally preferred parameter.
  • the objects are persons and that the detector 30 is a CCTV camera.
  • the predetermined spatial area is a space to be monitored.
  • the objects are objects of biological interest observed with the aid of a detector 30 and an optics performing a microscope function.
  • the objects are carbon nanotubes and the detector is in this case an electron microscope. More generally, it is possible to apply the method in question to any type of object whose behavior is simulable in a realistic manner.
  • the predetermined spatial area ZS generally depends on the object.
  • the predetermined spatial zone ZS is a part of the sample observed using the microscope.
  • the predetermined spatial area ZS is a part of the environment, for example, a street portion. This is clearly shown in the image of Figure 2.
  • the camera 30 is suitable for acquiring an image of the predetermined spatial area ZS, typically the camera 30 is suitable for acquiring an image of the street.
  • the enumeration method is a method of enumerating the crowd in an environment.
  • the method comprises two successive phases P1 and P2.
  • the first phase P1 corresponds to the upper part of FIG. 3 (delimited by the dotted lines 32) while the second phase P2 corresponds to the lower part of FIG. 3.
  • the first phase P1 is a non-learning phase.
  • supervised while the second phase P2 is a counting phase in the predetermined spatial zone ZS.
  • the first phase P1 unsupervised learning aims to obtain a law for estimating the spatial density of people in the predetermined area.
  • the law is a link between features of an image and a value of the spatial density of people in the predetermined spatial area ZS.
  • parameters of the detector 30 are used to generate a learning base automatically and, from the training base, a regression model is learned by the processing module 10 .
  • the second phase P2 of enumeration in the predetermined spatial zone ZS seeks to apply the law to real cases.
  • real case images acquired by the camera 30 and not generated automatically as in the case of the first phase P1 unsupervised learning. More specifically, the video stream from the camera 30 is collected, and characteristics are extracted from the video stream to obtain the spatial density over the entire image thanks to the regression model learned during the implementation of the first one. P1 learning phase.
  • the implementation of the method thus makes it possible to obtain the enumeration of persons in the predetermined spatial zone ZS.
  • the first unsupervised learning phase P1 comprises four steps: a selection step S100, a supply step S102, a generation step S104 and a determination step S106.
  • a plurality of spatially distinct density of people in the predetermined spatial area ZS is selected.
  • each spatial density is equidistributed between a zero spatial density and a high spatial density.
  • a spatial density is considered high depending on the context and in particular the conditions of the shooting.
  • a spatial density greater than or equal to 50 people in the predetermined area is considered a high spatial density.
  • the choice step S100 is implemented for several distinct areas of the image.
  • parameters relating to the camera 30 are provided.
  • the parameters provided comprise at least one parameter relating to the focal length of the detector 30, a parameter relating to the altitude of the detector 30, a parameter relating to the inclination of the detector 30 relative to the predetermined spatial area ZS and a parameter relating to the position of the main point.
  • a parameter relating to the position of the main point is, for example, the position of the optical center relative to the center of the image.
  • a parameter relating to the camera 30 is an intrinsic parameter P in trinsèque-
  • the focal length of the camera 30 or the number of pixels of the camera 30 is provided.
  • the parameter relating to the camera 30 is at least one of the group consisting of a position parameter P position and an orientation parameter Orientation of the camera 30 relative to the environment.
  • parameters relating to the camera 30 are obtained.
  • a learning base is generated.
  • both a plurality of images are generated and an annotation element corresponds to the terrain truth.
  • the term "ground truth” is more often referred to as "ground-truth”.
  • the plurality of images is generated for each spatial density selected at the choice step S100.
  • the processing module 10 generates synthetic images by using the parameter relating to the camera 30.
  • the synthetic images are not images coming from the camera 30. These are images generated as if they were taken by the camera 30 but which are synthetic images.
  • the pedestrian positions comprising the synthetic images are calculated to correspond to a spatial density field in a three-dimensional environment included in an area comprising the field of view of the camera 30 and its immediate vicinity to avoid edge effects.
  • a spatial density gradient is created ranging from a maximum spatial density to a minimum spatial density across the image.
  • the gradient is oriented along lines of constant depth in the image, so that for a given depth, the spatial density ranges are from very dense to very rare. This is consistent with the assumption that for a given depth, the appearance of the constant spatial density crowd is about the same along a line of constant depth.
  • a mixture of Gaussian functions randomly positioned in the predetermined spatial area ZS with a random standard deviation is used. Such a mixture makes it possible to generate an image close to the crowds obtained in reality.
  • - P is the list of positions in the image where pedestrians are
  • N (p, P, ⁇ 2 ) is a two-dimensional Gaussian nucleus evaluated at the pixel p with the average position P, and
  • the position P of a pedestrian in the image is calculated by using a parameter of the camera 30 by projecting into the image a point situated at the position of the pedestrian considered and at the altitude corresponding to half the height of the camera.
  • a human typically, it is considered that the average height of a human being is 1.70 meters (m).
  • the coefficient ⁇ is calculated as one-third of one-half of the apparent height of a human being at position P in the image. Therefore, the value taken by the coefficient ⁇ for the pedestrian P depends on its location in the image. Usually, the coefficient a is of the order of a few pixels.
  • the database contains a set of synthetic images to which, for each image, is associated a ground truth.
  • the law makes it possible to estimate the spatial density in the predetermined spatial zone ZS.
  • the learning base is used as a learning base for the learning base generated in the generation step S104.
  • the learning base is generated without implementing a manual annotation by an operator.
  • the determination step S106 is implemented by four successive steps: a correction step S106a of the perspective, a segmentation step S106b of the crowd, an extraction step S106c of the characteristics and a learning step S106d.
  • the correction step S106a it is taken into account that in an image, the objects close to the detector 30 appear larger than the objects that are farther away.
  • a perspective effect is taken into account when analyzing the characteristics to be extracted from the image because a characteristic extracted from an object in the foreground represents a portion of the object smaller than a characteristic extracted which is extracted further in the image.
  • two successive steps are implemented, namely a step of normalizing the characteristics by using a perspective normalization map and a step of dividing the image into quasi-deep depth bands. constant.
  • the normalization of the features is implemented using a perspective normalization map in which a pixel weight is related to the expected depth for the object that generated the pixel.
  • a weighting of weights is applied for distant objects. Weighting increases the weight considered if the object is farther than an object in the foreground.
  • the perspective normalization map is generated using the camera settings 30.
  • the correction factor is obtained by orthorectification.
  • two-dimensional parameters such as height or width
  • the correction factor of the perspective W (p) is obtained by means of the following formula:
  • the map thus obtained is used to normalize the characteristics by applying the weights calculated to each of the pixels that are in the predetermined spatial area ZS if the characteristic is a surface-like characteristic and by applying the square root of the weights to the characteristics related to edge effects if the characteristic is a contour type characteristic.
  • the visual angle according to which the pedestrian is seen is materialized by a cylinder of height h and radius r for a camera 30 which is positioned at a height H.
  • the considered band of the image is considered extreme values that are not too far from each other. For this, it is fixed a maximum angular variation in the band corresponding to a pixel.
  • two bands B1 and B2 are represented in FIG. 2, the two bands B1 and B2 being relative to the predetermined spatial zone ZS.
  • the defects related to the particular shooting of the camera 30 were taken into account in the analysis of the synthetic images.
  • the pixels belonging to the crowd are determined throughout the image. For this, in the learning base, it is used ground truth data.
  • the characteristics are extracted.
  • the characteristics are related to a particular pixel p, the pixel p is a segmented pixel at the segmentation step S106b. This ensures that the pixel p is connected to the presence of a crowd.
  • the characteristic attached to a pixel p is calculated on a sliding window W P TO of radius r w centered on the pixel p.
  • Extracted features are of two types, outline features and texture characteristics.
  • contour characteristics are obtained using a Canny contour detector, more often referred to as "Canny edge detector”.
  • the contour characteristics are, for example, the orientation of the contours, or their length.
  • the extraction step S106c of the contour features is implemented using a Minkowski fractal dimension.
  • a Minkowski fractal dimension is also noted according to the acronym MFD for the English Minkowski Fatal Dimension.
  • the extraction step S106c of the texture characteristics is, for example, implemented using grayscale dependency matrices.
  • Such matrices are usually referred to by the acronym GLDM for "Gray Level Dependency Matrix”.
  • the extraction step S106c also comprises a step of presenting the extracted characteristics in the form of a vector having a plurality of dimensions by differentiating the radius values r w .
  • r ref is considered a reference value for the radius r w corresponding to one third of the half of the apparent average height in the image of a human being as described above for the coefficient ⁇ .
  • Such reference values denoted r ref are used to obtain six different values of radius r w which are, in the example of FIG. r ref , 1/2. r ref , r ref , 3/2. r ref , 2. ref and 3. ref .
  • a vector vector regression Such a regression is also noted SVR, acronym of the English Support Vector Regression. Such a regression binds the feature vector to the values taken by the spatial density in the density function F.
  • the kernel used is a Gaussian RBF kernel, RBF being the acronym for "Radial Basis Function", which means "radial-based function".
  • RBF being the acronym for "Radial Basis Function", which means "radial-based function”.
  • k kernel the kernel is noted.
  • a kernel parameter ⁇ a penalty parameter of the error term C and a loss function parameter ⁇ .
  • n is the number of training data
  • - ⁇ is a constant value
  • the law is obtained making it possible to estimate the spatial density in the predetermined zone.
  • the law is a regression model since the learning technique used is a SVR technique.
  • the second phase P2 of enumeration in the zone comprises three stages; an acquisition step S202, a obtaining step S204 and an estimation step S206.
  • an image is acquired by the detector 30.
  • the image has at least the predetermined spatial area ZS.
  • the characteristics determined at the extraction step S106c are obtained for the image supplied at the acquisition step S202.
  • the obtaining step S204 comprises a segmentation step S204a and an extraction step S204b.
  • the segmentation step S204a is performed by using a crowd detection algorithm in the image.
  • the segmentation operation extracts characteristics that are relative to the crowd and not features relating to places where there is no crowd. Improved segmentation increases the overall performance of the enumeration process.
  • the extraction step S204b is similar to the extraction step S106c described for the first phase P1.
  • the characteristic vectors are obtained at each pixel of the image for which a crowd has been detected.
  • the spatial density of objects in the predetermined area is estimated. For this, it is applied the law obtained at the end of the first phase P1 to the acquired image. This link is shown by the arrow 50 in FIG.
  • the regression model obtained at the end of the first phase P1 is applied to obtain a spatial density value. Otherwise formulated, the model is applied to each characteristic vector to deduce an estimate of the value taken by the function F at the corresponding pixel p. Moreover, since the estimation is only performed in the segmented zones and the function F is the result of a Gaussian convolution, the function F may in some cases also have significant values outside the zone. segmented.
  • the obtained spatial density values are extrapolated using image convolution using a normalized kernel K such that:
  • v 0 v c - ⁇ . (k 2 - v c ), and
  • - u c , v c are the coordinates of the center of the core, these coordinates being adjustable by the processing module 10.
  • the parameter a is determined using the images obtained by the learning parameter.
  • Parameter a is, for example, found by a dichotomy technique.
  • an estimate of the spatial density of the number of pedestrians in the predetermined spatial zone ZS is obtained.
  • the second phase P2 comprises a deduction step during which the number of pedestrians is deduced from the estimated spatial density at the estimation step.
  • the number of pedestrians in the predetermined area is obtained by integration over the entire predetermined area.
  • the method allows both to obtain analysis elements and behaves as a self-learning system.
  • the proposed method uses a learning method implying, in fact, a database easier to obtain.
  • the learning method is done using real data, which implies a manual annotation by an operator of the data to obtain a learning base.
  • the learning base of the proposed method has a better quality than the learning base of the method of the state of the art.
  • the variability and representativeness of the training data are questionable for the processes of the state of the art.
  • extreme situations ie a spatial density greater than 50 people in the area are rarely present in the actual data because the situation is too rarely in practice.
  • the annotation of the operator is actually unreliable especially when the crowd is very dense or the resolution is limited, these problems can be cumulated.
  • the base is generated to be representative of the future use of the detector 30, that is to say that the different images generated can scan very different densities of space ranging from low to very dense.
  • the method has the advantage of being robust to the change of position and / or orientation of the detector. Indeed, the shooting parameters are respected.
  • the training data is virtually created with the same camera 30 that will be used next. For this, it is provided data to the camera 30 as the intrinsic characteristics of P in tnnsèque focal or image or extrinsic size of the P position and P or orientation ientation- With the parameters given by the camera 30 , the learning database is automatically constructed in a faithful and statistically representative way.
  • the robustness is also ensured by the fact that a change made on the camera 30 only supposes to implement the first phase P1 without acquiring field images which would be indispensable in a method of the state of the art.
  • the method is also advantageous in that the ground truth is immediately available since the annotation is automatic and any camera change can be immediately taken into account via the learning of a regression model not assuming the provision of a new learning game.
  • the method applies in particular to the supervision of crowds by means of video surveillance in a security or transport perspective.
  • the method makes it possible to estimate the spatial density of a crowd and to count the number of pedestrians in the crowd.
  • the acquisition step is done continuously so that it can be considered that the second phase P2 is performed iteratively on a continuous video stream.
  • the proposed method is related to computer-assisted vision, the computer implementing the learning.
  • the method can therefore be implemented using any computer or any other device. Multiple systems can be used with programs implementing the above method but it is also conceivable to use devices dedicated to the implementation of the previous method, these may fit into devices that measure the data provided.
  • the method can be implemented by a monitoring device capable of counting the objects in a predetermined spatial zone ZS comprising a detector 30 for acquiring at least one image, the image comprising the predetermined spatial zone ZS and a module of processing 10.
  • the processing module 10 is adapted to count objects in the predetermined spatial zone ZS and is able to implement the steps of choice, supply S102, generation S104, determination S106, obtaining S204 and estimate S206.
  • the processing module 10 is also adapted to receive parameters relating to the detector 30, the received parameters comprising at least one parameter being relative to the focal length of the detector 30, a parameter being relative to the altitude of the detector 30, a parameter being relative at the inclination of the detector 30 relative to the predetermined spatial area ZS.
  • the proposed embodiments are not related to a particular programming language. Incidentally, this implies that multiple programming languages can be used to implement the previously detailed method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un procédé de dénombrement d'objets dans une zone spatiale prédéterminée, le procédé comportant : - une première phase d'apprentissage non-supervisé, et - une deuxième phase de dénombrement dans la zone comprenant les étapes de : - acquisition d'une image comportant la zone prédéterminée par le détecteur (30), et - estimation de la densité spatiale d'objet dans la zone prédéterminée par application de la loi à l'image acquise.

Description

Procédé de dénombrement d'objets dans une zone spatiale prédéterminée
La présente invention concerne un procédé de dénombrement d'objets dans une zone spatiale prédéterminée. La présente invention se rapporte aussi à un produit programme d'ordinateur et à un support d'informations associé. La présente invention concerne aussi un dispositif de détection propre à mettre en œuvre le procédé de dénombrement.
Avec l'utilisation croissante de la vidéo-surveillance dans les lieux publics pour améliorer la sécurité, de nombreuses techniques d'analyse des vidéos fournies par des caméras ont été développées.
Il est notamment connu du document EP 2 704 060 A2 un procédé d'estimation de la taille d'une foule à partir d'une image, le procédé comprenant les étapes de détermination d'un candidat pour obtenir le point de données le plus informatif par utilisation d'un algorithme d'apprentissage actif. Le procédé comporte également une étape de réception d'une annotation de la part d'un utilisateur identifiant les données du point de données le plus informatif. Le procédé comporte aussi une étape d'application d'une fonction de régression au point le plus informatif déterminé ainsi qu'à la notation associée pour minimiser une perte sur la donnée annotée. Le procédé comprend, enfin, une étape de construction d'un modèle de régression en utilisant les données annotées par l'utilisateur et les données annotées déduites.
Le document US 2007/0031005 A1 décrit un système optique comprenant une caméra et un processeur comportant un logiciel d'analyse vidéo. Le logiciel est adapté pour estimer un cadre de fond de référence représentatif d'un fond, estimer des paramètres géométriques pour représenter une échelle de variation d'objet dans le cadre donné, obtenir une carte de détection de changement pour distinguer le fond à partir d'objet dans le cadre donné et combiner la carte de détection de changement avec les paramètres géométriques pour obtenir une mesure de la congestion dans le cadre donné.
Toutefois, lorsque la densité spatiale d'objets augmente, les procédés précités procurent des résultats peu fiables pour déterminer la densité spatiale d'objets dans l'image fournie.
Il existe donc un besoin pour un procédé de détermination d'objet dans une zone spatiale prédéterminée permettant d'obtenir des estimations plus fiables, notamment lorsque la densité spatiale d'objets est grande.
Pour cela, il est proposé un procédé de dénombrement d'objets dans une zone spatiale prédéterminée. Le procédé comporte une première phase d'apprentissage non- supervisé comprenant les étapes de choix d'une pluralité de densités spatiales distinctes d'objets dans la zone spatiale prédéterminée, de fourniture de paramètres relatifs à un détecteur propre à acquérir au moins une image, l'image comportant la zone spatiale prédéterminée, les paramètres fournis comprenant au moins un paramètre relatif à la focale du détecteur, un paramètre relatif à l'altitude du détecteur et un paramètre relatif à l'inclinaison du détecteur par rapport à la zone spatiale prédéterminée, de génération d'une base de données comportant une pluralité d'images pour chaque densité spatiale choisie, l'étape de génération utilisant les paramètres fournis à l'étape de fourniture, et de détermination d'une loi permettant d'estimer la densité spatiale dans la zone spatiale prédéterminée en utilisant la base d'apprentissage générée. Le procédé comporte aussi une deuxième phase de dénombrement dans la zone spatiale prédéterminée comprenant les étapes d'acquisition d'une image comportant la zone spatiale prédéterminée par le détecteur, et estimation de la densité spatiale d'objet dans la zone spatiale prédéterminée par application de la loi à l'image acquise.
Suivant des modes de réalisation particuliers, le procédé de dénombrement comprend une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toutes les combinaisons techniquement possibles :
- l'étape de génération comporte une étape de correction du défaut de perspective lié au détecteur.
- le procédé comporte une étape de segmentation d'une image pour déterminer les pixels contenant un objet.
- l'étape de détermination est mise en œuvre par apprentissage, l'apprentissage comportant une extraction de caractéristiques, les caractéristiques extraites étant également utilisées à l'étape d'estimation.
- l'étape de détermination est mise en œuvre en utilisant une régression à vecteur de support.
- à l'étape de fourniture, un paramètre relatif au détecteur est une caractéristique intrinsèque au détecteur.
- à l'étape de fourniture, il est fourni un paramètre relatif à la position du détecteur et/ou un paramètre d'orientation du détecteur.
Il est aussi décrit un produit programme d'ordinateur comportant des instructions logicielles, les instructions logicielles mettant en œuvre un procédé tel que décrit précédemment, lorsque les instructions logicielles sont exécutées par un ordinateur.
Il est également proposé un support d'informations sur lequel est mémorisé un produit programme d'ordinateur tel que décrit précédemment. Il est aussi proposé un dispositif de surveillance propre à dénombrer les objets dans une zone spatiale prédéterminée comprenant un détecteur propre à acquérir au moins une image, l'image comportant la zone spatiale prédéterminée, le détecteur présentant des paramètres, un paramètre étant relatif à la focale du détecteur, un paramètre étant relatif à l'altitude du détecteur et un paramètre étant relatif à l'inclinaison du détecteur par rapport à la zone spatiale prédéterminée. Le dispositif comporte un module de traitement adapté à dénombrer les objets dans la zone spatiale prédéterminée. Le module de traitement est apte à choisir une pluralité de densité spatiale distincte dans la zone spatiale prédéterminée, recevoir des paramètres relatifs au détecteur, les paramètres reçus comprenant au moins un paramètre relatif à la focale du détecteur, un paramètre relatif à l'altitude du détecteur et un paramètre relatif à l'inclinaison du détecteur par rapport à la zone spatiale prédéterminée, générer une pluralité d'images pour chaque densité spatiale choisie en utilisant les paramètres reçus, déterminer une loi permettant d'estimer la densité spatiale dans la zone spatiale prédéterminée en utilisant comme base d'apprentissage la base d'apprentissage générée et estimer la densité spatiale d'objet dans la zone prédéterminée par application de la loi à l'image acquise.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit de modes de réalisation de l'invention, donnée à titre d'exemple uniquement et en référence aux dessins qui sont :
- figure 1 , une vue schématique d'un exemple de module de traitement permettant la mise en œuvre d'un procédé de dénombrement d'objets dans une zone spatiale prédéterminée,
- figure 2, un exemple d'image générée pour constituer une base d'apprentissage, et
- figure 3, un ordinogramme d'un exemple de mise en œuvre d'un procédé de dénombrement d'objets.
Un module de traitement 10 et un produit programme d'ordinateur 12 sont représentés à la figure 1 .
L'interaction du produit programme d'ordinateur 12 avec le module de traitement 10 permet de mettre en œuvre un procédé de dénombrement d'objets dans une zone spatiale prédéterminée.
Le module de traitement 10 est, de préférence, un ordinateur.
Plus généralement, le module de traitement 10 est un calculateur électronique propre à manipuler et/ou transformer des données représentées comme des quantités électroniques ou physiques dans des registres du module de traitement 10 et/ou des mémoires en d'autres données similaires correspondant à des données physiques dans les mémoires, des registres ou d'autres types de dispositif d'affichage, de transmission ou de mémorisation.
Le module de traitement 10 comporte un processeur 14 comprenant une unité de traitement de données 16, des mémoires 18 et un lecteur 20 de support d'informations. Le module de traitement 10 comprend également un clavier 22 et une unité d'affichage 24.
Le produit programme d'ordinateur 12 comporte un support d'informations 20. Le support d'informations 20 est un support lisible. Un support d'informations 20 est un support lisible par le module de traitement 10, usuellement par l'unité de traitement de données 14. Le support d'informations 20 est un médium adapté à mémoriser des instructions électroniques et capable d'être couplé à un bus d'un système informatique.
A titre d'exemple, le support d'informations 20 est une disquette ou disque souple (de la dénomination anglaise de « floppy dise » ), un disque optique, un CD-ROM un disque magnéto-optique, une mémoire ROM, une mémoire RAM, une mémoire EPROM, une mémoire EEPROM, une carte magnétique ou une carte optique.
Sur le support d'informations 20 est mémorisé un programme d'ordinateur comprenant des instructions de programme.
Le programme d'ordinateur est chargeable sur l'unité de traitement de données 14 et est adapté pour être entraîner la mise en œuvre du procédé de dénombrement d'objets dans la zone spatiale prédéterminée lorsque le programme d'ordinateur est mis en œuvre sur le module de traitement 10.
Le fonctionnement du module de traitement 10 en interaction avec le produit programme d'ordinateur 12 est maintenant décrit en référence aux figures 2 et 3 qui illustrent schématiquement un exemple de mise en œuvre du procédé de dénombrement d'objets.
Par le terme « objet », il est entendu un élément dénombrable. Dans le cadre de l'invention, l'objet est observable, c'est-à-dire qu'un détecteur 30 tel que représenté à la figure 3 est propre à observer l'objet dans la zone prédéterminée.
Un tel détecteur 30 est, à titre d'illustration, une caméra 30.
Une telle caméra 30 est caractérisée par des paramètres P.
Le détecteur 30 présente ainsi des paramètres intrinsèques Pintrinsèque, c'est-à-dire ne dépendant pas de l'environnement, comme la focale du détecteur 30 ou la taille de l'image acquise par le détecteur 30.
Les paramètres intrinsèques Pintnnsèque sont des paramètres propres à la caméra 30. Le détecteur 30 présente également des paramètres extrinsèques P extrinsèque- A titre d'exemple, un paramètre relatif à la position PpoSition de la caméra 30 dépendant de l'environnement considéré est un paramètre extrinsèque Pextnnsèque-
De préférence, un paramètre de position PpoSition de la caméra 30 est l'altitude de la caméra 30.
Selon un autre exemple, un paramètre de position PpoSition de la caméra 30 est la distance de la caméra 30 par rapport à la zone spatiale prédéterminée.
De manière usuelle, la distance de la caméra 30 à la zone spatiale prédéterminée est définie comme la distance entre le plan des détecteurs de la caméra 30 et le point de la zone spatiale prédéterminée qui est le plus proche de la caméra 30.
Selon encore un autre exemple, en supposant qu'il soit défini un repère orthonormé (X, Y, Z) pour l'espace à surveiller, d'autres paramètres de position Pposition de la caméra 30 sont la position selon l'axe X et la position selon l'axe Y.
De même, un paramètre lié à l'orientation Porientation de la caméra 30 et dépendant du système mécanique tenant la caméra 30 est un paramètre extrinsèque Pextnnsèque-
De préférence, le paramètre d'orientation Porientation de la caméra 30 est l'angle d'inclinaison de l'axe de vue de la caméra 30 par rapport à l'horizontale. Un tel angle est généralement appelé angle de tangage.
En complément, d'autres paramètres d'orientation Porientation sont pris en compte. Un autre paramètre d'orientation Porientation de la caméra 30 est, par exemple, l'orientation angulaire de la direction de l'axe optique de la caméra 30 par rapport à un référentiel absolu. La direction de l'axe optique de la caméra 30 est usuellement appelée angle de cap.
L'inclinaison de la caméra 30 autour de son axe de vue, aussi appelé angle de roulis, est un autre exemple de paramètre d'orientation Porientation de la caméra 30.
Il est à noter que les paramètres d'orientation Porientation de la caméra 30 sont également exprimables sous la forme d'angles d'Euler, à savoir les angles de précession, de nutation et de rotation propre. L'angle de nutation est le paramètre généralement privilégié.
Dans la suite, il est considéré que les objets sont des personnes et que le détecteur 30 est une caméra de vidéosurveillance. Dans un tel cas, la zone spatiale prédéterminée est un espace à surveiller.
Selon un autre exemple, les objets sont des objets d'intérêts biologiques observés à l'aide d'un détecteur 30 et d'une optique réalisant une fonction de microscope.
Selon encore un autre exemple, les objets sont des nanotubes de carbones et le détecteur est dans ce cas un microscope électronique. De manière plus générale, il est possible d'appliquer le procédé considéré à tout type d'objets dont le comportement est simulable de manière réaliste.
La zone spatiale prédéterminée ZS dépend généralement de l'objet.
A titre d'illustration, lorsque l'objet considéré est un objet d'intérêt biologique, la zone spatiale prédéterminée ZS est une partie de l'échantillon observé à l'aide du microscope.
Dans le cadre de l'exemple décrit, lorsque l'objet est une personne, la zone spatiale prédéterminée ZS est une partie de l'environnement, par exemple, une portion de rue. Cela apparaît clairement dans l'image de la figure 2.
Dans un tel cas, la caméra 30 est propre à acquérir une image de la zone spatiale prédéterminée ZS, typiquement la caméra 30 est propre à acquérir une image de la rue. En outre, le procédé de dénombrement est un procédé de dénombrement de la foule dans un environnement.
Comme schématiquement représenté à la figure 3, le procédé comporte deux phases successives P1 et P2. La première phase P1 correspond à la partie supérieure de la figure 3 (délimitée par les traits 32 en pointillés) tandis que la deuxième phase P2 correspond à la partie inférieure de la figure 3. La première phase P1 est une phase d'apprentissage non-supervisé tandis que la deuxième phase P2 est une phase de dénombrement dans la zone spatiale prédéterminée ZS.
La première phase P1 d'apprentissage non-supervisé vise à obtenir une loi permettant d'estimer la densité spatiale de personnes dans la zone prédéterminée.
Par l'expression « apprentissage non-supervisé », il est entendu que les données d'apprentissages sont générées automatiquement.
Dans un tel contexte, la loi est un lien entre des caractéristiques d'une image et une valeur de la densité spatiale de personnes dans la zone spatiale prédéterminée ZS.
La loi permet ainsi de déterminer des caractéristiques impliquées dans l'augmentation de la densité spatiale de personnes.
Lors de la première phase P1 d'apprentissage, des paramètres du détecteur 30 sont utilisés pour générer une base d'apprentissage de manière automatique et, à partir de la base d'apprentissage, un modèle de régression est appris par le module de traitement 10.
La deuxième phase P2 de dénombrement dans la zone spatiale prédéterminée ZS cherche à appliquer la loi à des cas réels.
Par l'expression « cas réel », il est entendu des images acquises par la caméra 30 et non générées automatiquement comme dans le cas de la première phase P1 d'apprentissage non-supervisé. Plus précisément, le flux vidéo issu de la caméra 30 est collecté, puis des caractéristiques sont extraites du flux vidéo pour obtenir la densité spatiale sur l'ensemble de l'image grâce au modèle de régression appris lors de la mise en œuvre de la première phase P1 d'apprentissage.
La mise en œuvre du procédé permet donc d'obtenir le dénombrement de personnes dans la zone spatiale prédéterminée ZS.
La première phase P1 d'apprentissage non-supervisé comporte quatre étapes : une étape de choix S100, une étape de fourniture S102, une étape de génération S104 et une étape de détermination S106.
A l'étape de choix S100, une pluralité de densité spatiale distincte de personnes dans la zone spatiale prédéterminée ZS est choisie.
Selon un mode de réalisation, chaque densité spatiale est équirépartie entre une densité spatiale nulle et une densité spatiale élevée.
De manière générale, une densité spatiale est considérée comme élevée selon le contexte et en particulier les conditions de la prise de vue.
Usuellement, une densité spatiale supérieure ou égale à 50 personnes dans la zone prédéterminée est considérée comme une densité spatiale élevée.
A l'issue de l'étape de choix S100, un ensemble de densité spatiale a donc été obtenu.
Selon un mode de réalisation, l'étape de choix S100 est mise en œuvre pour plusieurs zones distinctes de l'image.
A l'étape de fourniture S102, il est fourni des paramètres relatifs à la caméra 30. Les paramètres fournis comprennent au moins un paramètre relatif à la focale du détecteur 30, un paramètre relatif à l'altitude du détecteur 30, un paramètre relatif à l'inclinaison du détecteur 30 par rapport à la zone spatiale prédéterminée ZS et un paramètre relatif à la position du point principal.
Un paramètre relatif à la position du point principal est, par exemple, la position du centre optique par rapport au centre de l'image.
Selon un exemple, un paramètre relatif à la caméra 30 est un paramètre intrinsèque Pintrinsèque-
A titre d'exemple, la focale de la caméra 30 ou le nombre de pixels de la caméra 30 est fourni.
Selon un autre exemple, le paramètre relatif à la caméra 30 est au moins l'un du groupe constitué d'un paramètre de position Pposition et d'un paramètre d'orientation Porientation de la caméra 30 par rapport à l'environnement. A l'issue de l'étape de fourniture S102, il est obtenu des paramètres relatifs à la caméra 30. Parmi ces paramètres, il se trouve au moins un paramètre relatif à la focale du détecteur 30, un paramètre relatif à l'altitude du détecteur 30, un paramètre relatif à l'inclinaison du détecteur 30 par rapport à la zone spatiale prédéterminée ZS et un paramètre relatif à la position du point principal.
A l'étape de génération S104, il est généré une base d'apprentissage.
Pour cela, à l'étape de génération S104, il est à la fois généré une pluralité d'images et un élément d'annotation correspond à la vérité de terrain. Le terme « vérité terrain » est plus souvent désigné sous le terme anglais de « ground-truth ».
La pluralité d'images est générée pour chaque densité spatiale choisie à l'étape de choix S100.
Par « génération », il est à entendre que le module de traitement 10 génère des images synthétiques en utilisant le paramètre relatif à la caméra 30. Les images synthétiques ne sont pas des images issues de la caméra 30. Ce sont des images générées comme si elles étaient prises par la caméra 30 mais qui sont des images synthétiques.
De préférence, les positions des piétons comportant les images synthétiques sont calculées pour correspondre à un champ de densité spatiale dans un environnement tridimensionnel compris dans une zone comprenant le champ de vision de la caméra 30 et son voisinage immédiat pour éviter les effets de bord.
A titre d'exemple, pour paramétrer le champ de densité spatiale, il est créé un gradient de densité spatiale allant d'une densité spatiale maximale à une densité spatiale minimale à travers l'image. Le gradient est orienté selon des lignes de profondeur constante dans l'image, de sorte que pour une profondeur donnée, les intervalles de densité spatiale sont de très denses à très rares. Cela correspond à l'hypothèse que pour une profondeur donnée, l'apparence de la foule à densité spatiale constante est à peu près la même le long d'une ligne de profondeur constante.
En variante, il est utilisé un mélange de fonctions gaussiennes positionnées de manière aléatoire dans la zone spatiale prédéterminée ZS avec un écart type aléatoire. Un tel mélange permet de générer une image proche des foules obtenues dans la réalité.
Une approche permettant de mettre en œuvre le calcul de la vérité terrain est de définir une fonction de densité spatiale de réalité terrain, dite fonction F. Pour calculer la fonction F pour chaque pixel d'une image générée, la fonction de densité spatiale de réalité terrain F est définie par l'équation suivante : où :
- P est la liste des positions dans l'image où se trouvent des piétons,
- N(p, P, σ2) est un noyau gaussien bidimensionnel évalué au pixel p avec comme position moyenne P, et
- σ est un coefficient.
La position P d'un piéton dans l'image est calculée en utilisant un paramètre de la caméra 30 en projetant dans l'image un point situé à la position du piéton considéré et à l'altitude correspondant à la moitié de la hauteur d'un être humain. Typiquement, il est considéré que la hauteur moyenne d'un être humain est de 1 ,70 mètre (m).
Similairement, le coefficient σ est calculé comme un tiers de la moitié de la hauteur apparente d'un être humain à la position P dans l'image. Par conséquent, la valeur prise par le coefficient σ pour le piéton P dépend de son emplacement dans l'image. Usuellement, le coefficient a est de l'ordre de quelques pixels.
Le calcul de la vérité terrain est mis en œuvre automatiquement et évite l'annotation par un être humain. Une telle opération est donc plus précise puisque l'opération est effectuée automatiquement.
A l'issue de l'étape de génération S104, il est donc obtenu une base de données pouvant servir de base de données d'apprentissage. La base de données comporte un ensemble d'images synthétiques à laquelle, pour chaque image, est associée une vérité terrain.
A l'étape de détermination S106, une loi est déterminée.
La loi permet d'estimer la densité spatiale dans la zone spatiale prédéterminée ZS.
Pour cela, il est utilisé comme base d'apprentissage la base d'apprentissage générée à l'étape de génération S104. Comme expliqué précédemment, il est à noter que la base d'apprentissage est générée sans mettre en œuvre une annotation manuelle par un opérateur.
Selon l'exemple de la figure 3, l'étape de détermination S106 est mise en œuvre par quatre étapes successives : une étape de correction S106a de la perspective, une étape de segmentation S106b de la foule, une étape d'extraction S106c des caractéristiques et une étape d'apprentissage S106d.
A l'étape de correction S106a, il est pris en compte le fait que dans une image, les objets proches du détecteur 30 apparaissent plus grands que les objets qui sont plus loin. Un tel effet de perspective est en prendre en compte lors de l'analyse des caractéristiques à extraire de l'image du fait qu'une caractéristique extraite d'un objet du premier plan représente une portion de l'objet plus petite qu'une caractéristique extraite qui est extraite plus loin dans l'image. A l'étape de correction S1 06a, il est mis en œuvre deux étapes successives, à savoir une étape de normalisation des caractéristiques en utilisant une carte de normalisation de la perspective et une étape de division de l'image en bandes de profondeur quasi-constante.
La normalisation des caractéristiques est mise en œuvre en utilisant une carte de normalisation de perspective dans lequel un poids de pixel est lié à la profondeur prévue pour l'objet qui a généré le pixel. Une pondération des poids est appliquée pour les objets lointains. La pondération augmente le poids considéré si l'objet est plus loin qu'un objet du premier plan.
La carte de normalisation de perspective est générée en utilisant les paramètres de caméra 30.
Plus précisément, le facteur de correction est obtenu par orthorectification. Ainsi, au lieu d'utiliser des paramètres bidimensionnels comme la hauteur ou la largeur, il est préférable de prendre en compte la nature tridimensionnelle d'un être humain. Pour cela, la variation d'apparence du volume tridimensionnel occupé par le piéton. Il en est déduit un facteur de correction de la perspective W(p) pour le pixel p.
A titre d'exemple, le facteur de correction de la perspective W(p) est obtenu à l'aide de la formule suivante :
max(A1( ) + A2(p))
W(p) = OÙ:
• l'être humain est modélisé par un cylindre à base circulaire,
• Ai (p) est l'aire apparente de l'aire latérale, et
• A2(p) est l'aire apparente de la base circulaire supérieure.
La carte ainsi obtenue est utilisée pour normaliser les caractéristiques par application des poids calculés à chacun des pixels qui sont dans la zone spatiale prédéterminée ZS si la caractéristique est une caractéristique de type surface et par application de la racine carrée des poids sur les caractéristiques liées aux effets de bord si la caractéristique est une caractéristique de type contour.
Pour la segmentation en bandes de profondeur constante dans l'image, l'angle visuel selon lequel est vu le piéton est matérialisé par un cylindre de hauteur h et de rayon r pour une caméra 30 qui est positionnée à une hauteur H.
Il apparaît que cet angle varie selon la position du piéton dans l'image. La bande considérée de l'image est considérée comme des valeurs extrêmes qui ne sont pas trop loin l'une de l'autre. Pour cela, il est fixé une variation angulaire maximale dans la bande correspondant à un pixel. A titre d'illustration, deux bandes B1 et B2 sont représentées dans la figure 2, les deux bandes B1 et B2 étant relatives à la zone spatiale prédéterminée ZS.
A l'issue de l'étape de correction S106a, les défauts liés à la prise de vue particulière de la caméra 30 ont été pris en compte dans l'analyse des images synthétiques.
A l'étape de segmentation S106b de la foule, il est déterminé dans toute l'image, les pixels appartenant à la foule. Pour cela, dans la base d'apprentissage, il est utilisé des données de vérité terrain.
A l'étape d'extraction S106c, les caractéristiques sont extraites.
Les caractéristiques sont reliées à un pixel p particulier, le pixel p est un pixel segmenté à l'étape de segmentation S106b. Cela assure que le pixel p est relié à la présence d'une foule.
La caractéristique attachée à un pixel p est calculée sur une fenêtre glissante WP TO de rayon rw centrée sur le pixel p.
Les caractéristiques extraites sont de deux types, les caractéristiques de contour et des caractéristiques de texture.
A titre d'exemple, les caractéristiques de contour sont obtenues en utilisant un détecteur de contour de Canny, plus souvent désigné sous la terminologie anglaise de « Canny edge detector ».
Les caractéristiques de contour sont, par exemple, l'orientation des contours, ou leur longueur.
En variante, l'étape d'extraction S106c des caractéristiques de contour est mise en œuvre en utilisant une dimension fractale de Minkowski. Une telle technique est aussi notée selon l'acronyme MFD pour l'anglais Minkowski Fatal Dimension.
L'étape d'extraction S106c des caractéristiques de texture est, par exemple, mise en œuvre en utilisant des matrices de dépendance en niveaux de gris. De telles matrices sont usuellement appelées selon l'acronyme GLDM pour « Gray Level Dependency Matrix ».
L'étape d'extraction S106c comporte également une étape de présentation des caractéristiques extraites sous la forme d'un vecteur présentant une pluralité de dimensions par différenciation des valeurs de rayon rw.
Plus précisément, il est considéré une valeur de référence pour le rayon rw correspondant à un tiers de la moitié de la hauteur moyenne apparente à l'image d'un être humain comme cela décrit précédemment pour le coefficient σ. De telles valeurs de référence notées rref sont utilisées pour obtenir six valeurs différentes de rayon rwqui sont, selon l'exemple de la figure 3 : 1/4. rref, 1 /2. rref, rref, 3/2. rref, 2. rref et 3. rref.
De ce fait, selon une mise en œuvre par la demanderesse, pour chaque pixel de l'image, il est obtenu un vecteur de caractéristiques de dimensions 1 *144.
A l'étape d'apprentissage S106d, il est utilisé, selon l'exemple illustré, une régression à vecteur de support. Une telle régression est aussi notée SVR, acronyme de l'anglais Support Vector Régression. Une telle régression permet de lier le vecteur de caractéristiques avec les valeurs prises par la densité spatiale dans la fonction de densité F.
Les performances de la technique SVR dépendent profondément d'un bon réglage de paramètres qui sont choisis à la fois dans le noyau et la technique elle-même.
Dans l'exemple illustré, le noyau utilisé est un noyau gaussien RBF, RBF étant l'acronyme anglais de « Radial Basis Function », ce qui signifie « fonction à base radiale ». Pour la suite, le noyau est noté noyau k.
Pour caractériser un tel noyau, trois paramètres doivent être caractérisés : un paramètre du noyau γ, un paramètre de pénalité du terme d'erreur C et un paramètre de fonction de perte ε.
Le paramètre de noyau γ est choisi de sorte que le noyau k vérifie l'équation suivante : k(xp, xq) = exp (—γ. ||xp - xq||2)
Où xp est xq sont les p-ième et q-ième vecteurs de caractéristiques.
L'optimisation du choix des trois paramètres permet d'obtenir de bonnes performances. Une méthode usuelle pour obtenir de bons paramètres est divisée une validation croisée avec l'ensemble d'apprentissage.
Comme une validation croisée est coûteuse en terme de temps, les contraintes suivantes ont été utilisées pour le paramètre de pénalité de C et le paramètre de la fonction de perte ε.
Jlogn
n
OÙ :
- y est la valeur moyenne des valeurs de vérité terrain,
- oy est l'écart type des valeurs de vérité de terrain,
- ob est l'écart type du bruit des valeurs de vérité terrain,
- n est le nombre de données d'apprentissage, et - τ est une valeur constante.
Il a été choisi, par la demanderesse, de fixer la valeur constante r à trois et pour le paramètre de noyau γ de mettre le paramètre à la valeur de la médiane de la liste de toutes les valeurs des carrées de la norme entre xp et xq pour tous les p et q possibles.
A l'issue de l'étape d'apprentissage S106d, il est obtenu la loi permettant d'estimer la densité spatiale dans la zone prédéterminée.
Dans le cas particulier présenté, la loi est un modèle de régression puisque la technique d'apprentissage utilisée est une technique SVR.
La deuxième phase P2 de dénombrement dans la zone comporte trois étapes ; une étape d'acquisition S202, une étape d'obtention S204 et une étape d'estimation S206.
A l'étape d'acquisition S202, une image est acquise par le détecteur 30.
L'image comporte au moins la zone spatiale prédéterminée ZS.
A l'étape d'obtention S204, les caractéristiques déterminées à l'étape d'extraction S106c sont obtenues pour l'image fournie à l'étape d'acquisition S202.
L'étape d'obtention S204 comporte une étape de segmentation S204a et une étape d'extraction S204b.
L'étape de segmentation S204a s'effectue grâce à l'utilisation d'un algorithme de détection de la foule dans l'image.
L'opération de segmentation permet d'extraire les caractéristiques qui sont relatives à la foule et pas les caractéristiques relatives à des endroits où il n'y a pas de foule. L'amélioration de la segmentation augmente la performance globale du procédé de dénombrement.
L'étape d'extraction S204b est similaire à l'étape d'extraction S106c décrite pour la première phase P1 .
Comme l'extraction n'est effectuée que pour les pixels pour lesquels une foule a été détectée, à l'issue de l'étape d'obtention S204, les vecteurs de caractéristiques sont obtenus en chaque pixel de l'image pour lesquels une foule a été détectée.
A l'étape d'estimation S206, il est estimé la densité spatiale d'objets dans la zone prédéterminée. Pour cela, il est appliqué la loi obtenue à l'issue de la première phase P1 à l'image acquise. Ce lien est manifesté par la flèche 50 sur la figure 3.
Plus précisément, il est appliqué le modèle de régression obtenu à l'issue de la première phase P1 pour obtenir une valeur de densité spatiale. Autrement formulé, il est appliqué le modèle à chaque vecteur de caractéristiques pour en déduire une estimation de la valeur prise par la fonction F au pixel p correspondant. De plus, l'estimation n'étant effectuée que dans les zones segmentées et la fonction F étant le résultat d'une convolution gaussienne, il se peut que la fonction F prenne dans certains cas des valeurs non négligeables également en-dehors de la zone segmentée.
Pour estimer les valeurs prises par la fonction F en-dehors de la zone segmentée, les valeurs de densité spatiale obtenues sont extrapolées en utilisant une convolution d'images en utilisant un noyau normalisé K tel que :
(/ - u0)2 + (k2 - v0)2
V (/ , /^), ^!, /^) = exp( - ) avec
- la constante u0 définie par l'équation u0 = uc - β. (kt - c);
- la constante v0 est définie par l'équation v0 = vc - β. (k2 - vc), et
- la constante β est définie par l'équation β = a. , °
^(k1-uc)2 Hk2 -Vc)2
- uc, vc sont les coordonnées du centre du noyau, ces coordonnées étant réglables par le module de traitement 10.
Le paramètre a est déterminé en utilisant les images obtenues par le paramètre d'apprentissage.
Le paramètre a est, par exemple, trouvé par une technique de dichotomie.
A l'issue de l'étape d'estimation S206, une estimation de la densité spatiale du nombre de piétons dans la zone spatiale prédéterminée ZS est obtenue.
Optionnellement, la deuxième phase P2 comporte une étape de déduction durant laquelle il est déduit le nombre de piétons à partir de la densité spatiale estimée à l'étape d'estimation.
Par exemple, le nombre de piétons dans la zone prédéterminée est obtenu par intégration sur l'ensemble de la zone prédéterminée. Le procédé permet à la fois d'obtenir des éléments d'analyse et se comporte comme un système d'autoapprentissage.
Par rapport au procédé de l'état de la technique, le procédé proposé utilise une méthode par apprentissage impliquant, en effet, une base de données plus facile à obtenir.
De fait, dans les procédés de l'état de la technique, la méthode par apprentissage se fait à l'aide de données réelles, ce qui implique une annotation manuelle par un opérateur des données pour obtenir une base d'apprentissage.
De plus, la base d'apprentissage du procédé proposé présente une meilleure qualité que la base d'apprentissage du procédé de l'état de la technique. En effet, la variabilité et la représentativité des données d'apprentissage sont discutables pour les procédés de l'état de la technique. En particulier, en pratique, dans les bases de l'état de la technique, les situations extrêmes à savoir une densité spatiale supérieure à 50 personnes dans la zone sont rarement présentes dans les données réelles car la situation se présente trop rarement en pratique. De plus, l'annotation de l'opérateur est en réalité peu fiable notamment lorsque la foule est très dense ou que la résolution est limitée, ces problèmes pouvant se cumuler. A contrario, la base est générée pour être représentative des cas d'utilisation futur du détecteur 30, c'est-à-dire que les différentes images générées permettent de balayer des densités spatiales très différentes allant de peu denses à très denses.
En outre, le procédé présente l'avantage d'être robuste au changement de position et/ou d'orientation du détecteur. En effet, les paramètres de prise de vue sont respectés. Les données d'apprentissage sont virtuellement crées avec la même caméra 30 que celle qui sera utilisée ensuite. Pour cela, il est fourni des données relatives à la caméra 30 comme des caractéristiques intrinsèques Pintnnsèque de focale ou de taille d'image ou extrinsèques de position Pposition et d'orientation Porientation- Grâce aux paramètres donnés par la caméra 30, la base de données d'apprentissage est construite automatiquement de manière fidèle et statistiquement représentative.
La robustesse est également assurée par le fait qu'un changement opéré sur la caméra 30 suppose seulement de remettre en œuvre la première phase P1 sans acquérir des images de terrain ce qui seraient indispensable dans un procédé de l'état de la technique.
Le procédé est également avantageux en ce que la vérité terrain est immédiatement disponible puisque l'annotation est automatique et que tout changement de caméra 30 peut être immédiatement pris en compte via l'apprentissage d'un modèle de régression ne supposant pas la fourniture d'un nouveau jeu d'apprentissage.
Le procédé s'applique notamment à la supervision des foules par le biais de la vidéosurveillance dans une perspective sécurité ou transport. Dans une telle application, le procédé permet d'estimer la densité spatiale d'une foule et de dénombrer le nombre de piéton dans la foule.
Fréquemment, dans une telle situation, l'étape d'acquisition se fait en continu de sorte qu'il peut être considéré que la deuxième phase P2 est réalisée itérativement sur un flux vidéo continu.
Le procédé proposé est relatif à de la vision assistée par ordinateur, l'ordinateur mettant en œuvre l'apprentissage. Le procédé peut donc être mis en œuvre à l'aide d'un ordinateur quelconque ou tout autre dispositif. De multiples systèmes peuvent être utilisés avec des programmes mettant en œuvre le procédé précédent mais il est également envisageable d'utiliser des appareils dédiés à la mise en œuvre du procédé précédent, ceux-ci pouvant s'insérer dans des dispositifs propres à mesurer les données fournies. Notamment, le procédé peut être mis en œuvre par un dispositif de surveillance propre à dénombrer les objets dans une zone spatiale prédéterminée ZS comprenant un détecteur 30 propre à acquérir au moins une image, l'image comportant la zone spatiale prédéterminée ZS et un module de traitement 10. Le module de traitement 10 est adapté à dénombrer des objets dans la zone spatiale prédéterminée ZS et est apte à mettre en œuvre les étapes de choix, de fourniture S102, de génération S104, de détermination S106, d'obtention S204 et d'estimation S206. Le module de traitement 10 est aussi adapté pour recevoir des paramètres relatifs au détecteur 30, les paramètres reçus comprenant au moins un paramètre étant relatif à la focale du détecteur 30, un paramètre étant relatif à l'altitude du détecteur 30, un paramètre étant relatif à l'inclinaison du détecteur 30 par rapport à la zone spatiale prédéterminée ZS.
De plus, les modes de réalisation proposés ne sont pas reliés à un langage de programmation particulier. Incidemment, cela implique que des multiples langages de programmation peuvent être utilisés pour mettre en œuvre le procédé précédemment détaillé.
Le procédé et les modes de réalisation décrits ci-dessous sont aptes à être combinés les uns aux autres, totalement ou partiellement, pour donner lieu à d'autres modes de réalisation de l'invention.

Claims

REVENDICATIONS
1 . - Procédé de dénombrement d'objets dans une zone spatiale prédéterminée (ZS), le procédé comportant :
- une première phase d'apprentissage non-supervisé comprenant les étapes de :
- choix d'une pluralité de densités spatiales distinctes d'objets dans la zone spatiale prédéterminée (ZS),
- fourniture de paramètres relatifs à un détecteur (30) propre à acquérir au moins une image, l'image comportant la zone spatiale prédéterminée (ZS), les paramètres fournis comprenant au moins un paramètre relatif à la focale du détecteur (30), un paramètre relatif à l'altitude du détecteur (30) et un paramètre relatif à l'inclinaison du détecteur (30) par rapport à la zone spatiale prédéterminée (ZS),
- génération d'une base de données comportant une pluralité d'images pour chaque densité spatiale choisie, l'étape de génération utilisant les paramètres fournis à l'étape de fourniture, et
- détermination d'une loi permettant d'estimer la densité spatiale dans la zone prédéterminée en utilisant la base d'apprentissage générée,
- une deuxième phase de dénombrement dans la zone spatiale prédéterminée (ZS) comprenant les étapes de :
- acquisition d'une image comportant la zone spatiale prédéterminée (ZS) par le détecteur (30), et
- estimation de la densité spatiale d'objet dans la zone spatiale prédéterminée (ZS) par application de la loi à l'image acquise.
2. - Procédé selon la revendication 1 , dans lequel l'étape de génération comporte une étape de correction du défaut de perspective lié au détecteur (30).
3. - Procédé selon la revendication 1 ou 2, dans lequel le procédé comporte une étape de segmentation d'une image pour déterminer les pixels contenant un objet.
4. - Procédé selon l'une quelconque des revendications 1 à 3, dans lequel l'étape de détermination est mise en œuvre par apprentissage, l'apprentissage comportant une extraction de caractéristiques, les caractéristiques extraites étant également utilisées à l'étape d'estimation.
5. - Procédé selon l'une quelconque des revendications 1 à 4, dans lequel l'étape de détermination est mise en œuvre en utilisant une régression à vecteur de support.
6. - Procédé selon l'une quelconque des revendications 1 à 5, dans lequel à l'étape de fourniture, un paramètre relatif au détecteur (30) est une caractéristique intrinsèque
( Pintrinsèque) au détecteur (30).
7. - Procédé selon l'une quelconque des revendications 1 à 6, dans lequel à l'étape de fourniture, il est fourni un paramètre relatif à la position (PpoSition) du détecteur (30) et/ou un paramètre d'orientation (Porientation) du détecteur (30).
8. - Produit programme d'ordinateur comportant des instructions logicielles, les instructions logicielles mettant en œuvre un procédé selon l'une quelconque des revendications 1 à 7, lorsque les instructions logicielles sont exécutées par un ordinateur.
9. - Support d'informations sur lequel est mémorisé un produit programme d'ordinateur selon la revendication 8.
10. - Dispositif de surveillance propre à dénombrer les objets dans une zone spatiale prédéterminée (ZS) comprenant :
- un détecteur (30) propre à acquérir au moins une image, l'image comportant la zone spatiale prédéterminée (ZS), le détecteur (30) présentant des paramètres, un paramètre étant relatif à la focale du détecteur (30), un paramètre étant relatif à l'altitude du détecteur (30) et un paramètre étant relatif à l'inclinaison du détecteur (30) par rapport à la zone spatiale prédéterminée (ZS), et
- un module de traitement (10) adapté à dénombrer les objets dans la zone spatiale prédéterminée (ZS),
le module de traitement (10) étant apte à :
- choisir une pluralité de densité spatiale distincte dans la zone spatiale prédéterminée (ZS),
- recevoir des paramètres relatifs au détecteur (30), les paramètres reçus comprenant au moins le paramètre relatif à la focale du détecteur (30), le paramètre relatif à l'altitude du détecteur (30), le paramètre relatif à l'inclinaison du détecteur (30) par rapport à la zone spatiale prédéterminée (ZS), - générer une pluralité d'images pour chaque densité spatiale choisie en utilisant les paramètres reçus,
- déterminer une loi permettant d'estimer la densité spatiale dans la zone spatiale prédéterminée (ZS) en utilisant comme base d'apprentissage la base d'apprentissage générée, et
- estimer la densité spatiale d'objet dans la zone spatiale prédéterminée (ZS) par application de la loi à l'image acquise.
EP16714811.3A 2015-03-24 2016-03-24 Procédé de dénombrement d'objets dans une zone spatiale prédéterminée Withdrawn EP3274914A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1500580A FR3034229B1 (fr) 2015-03-24 2015-03-24 Procede de denombrement d'objets dans une zone spatiale predeterminee
PCT/EP2016/056630 WO2016151103A1 (fr) 2015-03-24 2016-03-24 Procédé de dénombrement d'objets dans une zone spatiale prédéterminée

Publications (1)

Publication Number Publication Date
EP3274914A1 true EP3274914A1 (fr) 2018-01-31

Family

ID=54007737

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16714811.3A Withdrawn EP3274914A1 (fr) 2015-03-24 2016-03-24 Procédé de dénombrement d'objets dans une zone spatiale prédéterminée

Country Status (5)

Country Link
EP (1) EP3274914A1 (fr)
FR (1) FR3034229B1 (fr)
SA (1) SA517390016B1 (fr)
SG (1) SG11201707853WA (fr)
WO (1) WO2016151103A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661116B (zh) * 2022-11-10 2025-09-16 中国气象局气象探测中心 空中生态目标对象密度测量方法、设备和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139409B2 (en) 2000-09-06 2006-11-21 Siemens Corporate Research, Inc. Real-time crowd density estimation from video
GB2505501B (en) 2012-09-03 2020-09-09 Vision Semantics Ltd Crowd density estimation

Also Published As

Publication number Publication date
SA517390016B1 (ar) 2020-11-25
FR3034229A1 (fr) 2016-09-30
FR3034229B1 (fr) 2017-04-28
SG11201707853WA (en) 2017-10-30
WO2016151103A1 (fr) 2016-09-29

Similar Documents

Publication Publication Date Title
EP3707676B1 (fr) Procédé d'estimation de pose d'une caméra dans le référentiel d'une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d'ordinateur associé
US10839211B2 (en) Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images
Virtanen et al. Streak detection and analysis pipeline for space-debris optical images
EP3138079B1 (fr) Procédé de suivi de forme dans une scène observée par un capteur asynchrone de lumière
EP3200153B1 (fr) Procédé de détection de cibles au sol et en mouvement dans un flux vidéo acquis par une caméra aéroportée
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
EP2930659B1 (fr) Procédé de détection de points d'intérêt dans une image numérique
EP2786314B1 (fr) Procede et dispositif de suivi d'un objet dans une sequence d'au moins deux images
CA2840436A1 (fr) Systeme de cartographie et d'identification de plantes utilisant un traitement d'image numerique et une generation d'itineraire
Verbeeck et al. A multi-wavelength analysis of active regions and sunspots by comparison of automatic detection algorithms
EP3271869A1 (fr) Procédé de traitement d'un signal asynchrone
EP4033399A1 (fr) Dispositif informatique et procédé pour l'estimation de la densité d'une foule
EP3384462B1 (fr) Procede de caracterisation d'une scene par calcul d'orientation 3d
EP3274914A1 (fr) Procédé de dénombrement d'objets dans une zone spatiale prédéterminée
FR3107359A1 (fr) Procede et dispositif de determination d'obstacles d'altitude
FR2978276A1 (fr) Procede de modelisation de batiments a partir d'une image georeferencee
FR3127837A1 (fr) Procédé d’analyse de la surface d’un toit d’un bâtiment
EP3491582B1 (fr) Procédé de comparaison d'objets disposés au voisinage les uns des autres, et dispositif associé
FR3025683A1 (fr) Procede et dispositif d'estimation de parametres d'egalisation d'image numerique
EP4465242A1 (fr) Un procede d'estimation d'au moins une dimension d'un objet represente par un nuage de points
EP4006838A1 (fr) Procédés de calibration d'une caméra et de mesure de distances réelles à partir d'une image acquise par la caméra
De Visscher et al. Supervised classification of solar features using prior information
Velumani et al. Research Article Estimates of Maize Plant Density from UAV RGB Images Using Faster-RCNN Detection Model: Impact of the Spatial Resolution
FR3150891A1 (fr) Procédé et dispositif de suivi de satellites dans une séquence d'images
WO2026093367A1 (fr) Procédé de détection d'au moins un objet, dispositif électronique, système, produit programme d'ordinateur et support correspondants

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170922

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20201127

RIC1 Information provided on ipc code assigned before grant

Ipc: G06V 10/12 20220101ALN20220419BHEP

Ipc: G06V 10/774 20220101ALI20220419BHEP

Ipc: G06V 10/772 20220101ALI20220419BHEP

Ipc: G06V 20/52 20220101AFI20220419BHEP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0020520000

RIC1 Information provided on ipc code assigned before grant

Ipc: G06V 10/12 20220101ALN20230907BHEP

Ipc: G06V 10/774 20220101ALI20230907BHEP

Ipc: G06V 10/772 20220101ALI20230907BHEP

Ipc: G06V 20/52 20220101AFI20230907BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G06V 10/12 20220101ALN20230915BHEP

Ipc: G06V 10/774 20220101ALI20230915BHEP

Ipc: G06V 10/772 20220101ALI20230915BHEP

Ipc: G06V 20/52 20220101AFI20230915BHEP

RIC1 Information provided on ipc code assigned before grant

Ipc: G06V 10/12 20220101ALN20231005BHEP

Ipc: G06V 10/774 20220101ALI20231005BHEP

Ipc: G06V 10/772 20220101ALI20231005BHEP

Ipc: G06V 20/52 20220101AFI20231005BHEP

INTG Intention to grant announced

Effective date: 20231020

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

INTC Intention to grant announced (deleted)
RIC1 Information provided on ipc code assigned before grant

Ipc: G06V 10/12 20220101ALN20240313BHEP

Ipc: G06V 10/774 20220101ALI20240313BHEP

Ipc: G06V 10/772 20220101ALI20240313BHEP

Ipc: G06V 20/52 20220101AFI20240313BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20240510

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240911