FR3063368A1 - METHOD FOR SEARCHING A POSTERIORI OBJECT IN VIDEO STREAMS - Google Patents
METHOD FOR SEARCHING A POSTERIORI OBJECT IN VIDEO STREAMS Download PDFInfo
- Publication number
- FR3063368A1 FR3063368A1 FR1770177A FR1770177A FR3063368A1 FR 3063368 A1 FR3063368 A1 FR 3063368A1 FR 1770177 A FR1770177 A FR 1770177A FR 1770177 A FR1770177 A FR 1770177A FR 3063368 A1 FR3063368 A1 FR 3063368A1
- Authority
- FR
- France
- Prior art keywords
- video
- image
- sought
- avatar
- correspondence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
L'invention concerne un procédé de recherche d'un objet à posteriori dans des flux vidéo d'une pluralité de caméras de surveillance, procédé comprenant les étapes suivantes, consistant à : • ET1 : construire un avatar en trois dimensions de l'objet réel cherché, • ET2 : décomposer l'avatar 3D construit en une pluralité de critères d'identification caractéristiques dudit avatar 3D, • ET3 : pour chaque critère d'identification : - ET31 : rechercher une image dudit critère d'identification dans les flux vidéos de la pluralité de caméras, - ET32 : créer une liste d'extraits vidéos montrant une image du critère d'identification avec, pour chaque extrait vidéo de la liste, l'image du critère d'identification associée, un identifiant d'une caméra ayant enregistré le dit extrait vidéo, une plage horaire à laquelle le dit extrait vidéo a été enregistré, et un indice élémentaire de correspondance de l'image du critère d'identification avec le critère d'identification cherché, • ET4 : à partir des listes d'extraits vidéos créées au cours des étapes ET3, former des groupes d'extraits vidéos montrant tous un même objet image de l'avatar cherché puis, à chaque groupe d'extraits vidéos, associer l'objet image commun et un indice global de correspondance fonction des indices élémentaires de correspondance de chaque extrait vidéo dudit groupe d'extraits vidéos. Applications dans le domaine de la sécurité, de la sûreté ou de la gestion de crise.A method of retrospectively searching for an object in video streams of a plurality of surveillance cameras, the method comprising the steps of: • ET1: constructing a three-dimensional avatar of the real object searched, • ET2: break down the 3D avatar constructed into a plurality of identification criteria characteristic of the 3D avatar, • ET3: for each identification criterion: - ET31: search for an image of said identification criterion in the video streams of the plurality of cameras, - ET32: create a list of video clips showing an image of the identification criterion with, for each video clip in the list, the image of the associated identification criterion, an identifier of a camera having recorded said video clip, a time slot at which said video clip was recorded, and an elementary index of matching of the image of the identification criterion with the criterion identification required, • ET4: from the lists of video clips created during steps ET3, form groups of video clips showing all the same image object of the searched avatar then, to each group of video clips , associating the common image object and an overall index of correspondence according to the elementary correspondence indices of each video extract of said group of video clips. Applications in the field of security, safety or crisis management.
Description
Domaine technique et état de l'artTechnical field and state of the art
L'invention concerne un procédé de recherche à posteriori d'un objet dans des flux vidéos de surveillance d'une zone géographique. Le mot objet doit être compris ici et dans tout ce qui suit au sens large. Ainsi un objet à chercher peut être un être vivant susceptible de se déplacer, tel qu'une personne ou un animal, ou un objet susceptible d'être déplacé tel qu'un bagage, un véhicule, ...The invention relates to a method of retrospectively searching for an object in video surveillance streams of a geographic area. The word object should be understood here and in everything that follows in the broad sense. Thus an object to be searched can be a living being capable of moving, such as a person or an animal, or an object capable of being moved such as luggage, a vehicle, ...
L'invention trouve une application notamment dans les domaines de la sécurité, de la sûreté ou de la gestion de crise sur une zone géographique identifiée telle qu'une ville ou un quartier, un lieu public tel qu'un musée, une gare, un parc de loisirs, ... ou encore une zone privée telle qu'un site industriel. Dans de tels domaines, il est fréquent de rechercher un objet à posteriori pour chercher une explication à une situation donnée, pour retracer le chemin parcouru par une personne, .... L'invention trouve également une application dans le domaine de la formation ou de la sensibilisation à la sécurité, la sûreté ou la gestion de crise.The invention finds an application in particular in the fields of security, safety or crisis management in an identified geographical area such as a city or a district, a public place such as a museum, a station, a leisure park, ... or even a private area such as an industrial site. In such fields, it is frequent to look for an object a posteriori to seek an explanation for a given situation, to retrace the path traveled by a person, etc. The invention also finds an application in the field of training or awareness of security, safety or crisis management.
Des moteurs de recherche existent, susceptibles de rechercher une image en deux dimensions d'un objet dans des photos ou des vidéos et de fournir en retour une liste d'images sélectionnées avec pour chaque image une probabilité pour que l'objet image sélectionné corresponde effectivement à l'objet réel cherché. Ces moteurs de recherche sont en pratique des outils logiciels comprenant une pluralité de lignes de codes adaptées pour la mise en oeuvre d'un procédé de recherche. Ces moteurs de recherche sont généralement performants pour des recherches bien spécifiques, par exemple la recherche dans une image numérique ou un flux vidéo numérique d'un visage, d'une moustache sur un visage, d'une couleur ou d'une forme d'un bagage, ... mais ils sont rarement performants pour tout type de recherche ou d'objet. Au surplus, si ces moteurs de recherche sont efficaces pour travailler sur des photos ou des vidéos de très bonne qualité, ils le sont généralement bien moins lorsque la qualité des photos ou des vidéos est moindre.Search engines exist, capable of searching for a two-dimensional image of an object in photos or videos and of providing in return a list of selected images with, for each image, a probability for the selected image object to actually correspond. to the real object sought. These search engines are in practice software tools comprising a plurality of lines of code adapted for the implementation of a search process. These search engines are generally efficient for very specific searches, for example the search in a digital image or a digital video stream of a face, a mustache on a face, a color or a shape of baggage, ... but they are rarely effective for any type of research or object. Furthermore, if these search engines are efficient at working on very good quality photos or videos, they are generally much less so when the quality of the photos or videos is lower.
On constate ainsi en pratique le manque d'un outil de recherche particulièrement efficient, notamment pour travailler sur des flux vidéos de qualité limitée, comme c'est le cas souvent des flux vidéos produits par des caméras de vidéosurveillance.We thus see in practice the lack of a particularly efficient research tool, in particular to work on video streams of limited quality, as is often the case for video streams produced by video surveillance cameras.
Description de ['inventionDescription of the invention
L'invention propose un nouveau procédé de recherche à posteriori dans des flux vidéos, de qualité bien supérieure à celle des procédés existants. A cet effet, l'invention propose un procédé de recherche d'un objet dans des flux vidéo d’une pluralité de caméras de surveillance, procédé comprenant les étapes suivantes, consistant à :The invention proposes a new posteriori search method in video streams, of much higher quality than existing methods. To this end, the invention provides a method of searching for an object in video streams from a plurality of surveillance cameras, method comprising the following steps, consisting in:
• ET1 : construire un avatar en trois dimensions de l'objet réel cherché, • ET2 : décomposer l'avatar 3D construit en une pluralité de critères d'identification caractéristiques dudit avatar 3D, • ET3 : pour chaque critère d'identification :• ET1: construct a three-dimensional avatar of the real object sought, • ET2: decompose the 3D avatar constructed into a plurality of identification criteria characteristic of said 3D avatar, • ET3: for each identification criterion:
- ET31 : rechercher une image dudit critère d'identification dans les flux vidéos de la pluralité de caméras,- ET31: search for an image of said identification criterion in the video streams of the plurality of cameras,
- ET32 : créer une liste d'extraits vidéos montrant une image du critère d'identification avec, pour chaque extrait vidéo de la liste, l'image du critère d'identification associée, un identifiant d'une caméra ayant enregistré le dit extrait vidéo, une plage horaire à laquelle le dit extrait vidéo a été enregistré, et un indice élémentaire de correspondance de l'image du critère d'identification avec le critère d'identification cherché, • ET4 : à partir des listes d'extraits vidéos créées au cours des étapes ET3, former des groupes d'extraits vidéos montrant tous un même objet image de l'avatar cherché puis, à chaque groupe d'extraits vidéos, associer l'objet image commun et un indice global de correspondance fonction des indices élémentaires de correspondance de chaque extrait vidéo dudit groupe d'extraits vidéos.- ET32: create a list of video extracts showing an image of the identification criterion with, for each video extract of the list, the image of the associated identification criterion, an identifier of a camera having recorded said video extract , a time slot during which the said video extract was recorded, and an elementary index of correspondence of the image of the identification criterion with the identification criterion sought, • ET4: from the lists of video extracts created at during steps ET3, form groups of video extracts all showing the same image object of the avatar sought, then, with each group of video extracts, associate the common image object and a global index of correspondence based on the elementary indices of correspondence of each video extract of said group of video extracts.
Pour une recherche plus efficace dans les flux vidéos d'une pluralité de caméras de surveillance, l'invention propose ainsi de créer pour l'objet à chercher un avatar 3D, c'est à dire une image en trois dimensions de l'objet à chercher, puis de décomposer ledit avatar en une pluralité de critères d'identification susceptibles d'être cherchés dans les flux vidéos. Par rapport à une recherche connue basée sur un avatar 2D de l'objet à chercher, utiliser un avatar 3D permet d'utiliser une image plus fine et plus précise de l'objet à chercher, et d'utiliser également plus de critères d'identification ou des critères d'identification plus pertinents pour la recherche, notamment des critères obtenus à partir de la troisième dimension de l'avatar, comme par exemple un volume global occupé dans l'espace par l'objet réel cherché, ou bien un aspect (forme, couleur, un motif, ...) spécifique sur un côté de l'objet à chercher et différent sur un deuxième côté, etc. Les résultats des recherches effectuées sur chaque critère d'identification sont ensuite aboutés pour localiser un ou des objets images de l'objet réel. Grâce à la recherche de critères d'identification spécifiques à la troisième dimension de l'avatar, l'indice de correspondance global, c'est-à-dire la probabilité pour qu'un objet image localisé corresponde avec l'objet réel cherché est plus importante que dans le cas d'une recherche 2D classique.For a more efficient search in the video streams of a plurality of surveillance cameras, the invention thus proposes to create for the object to be sought a 3D avatar, that is to say a three-dimensional image of the object to search, then decompose said avatar into a plurality of identification criteria that can be sought in video streams. Compared to a known search based on a 2D avatar of the object to be searched, using a 3D avatar makes it possible to use a finer and more precise image of the object to be searched, and also to use more criteria. identification or identification criteria more relevant to the search, in particular criteria obtained from the third dimension of the avatar, such as for example a global volume occupied in space by the real object sought, or else an aspect (shape, color, pattern, ...) specific on one side of the object to be searched and different on a second side, etc. The results of the searches carried out on each identification criterion are then abutted to locate one or more image objects of the real object. Thanks to the search for identification criteria specific to the third dimension of the avatar, the global correspondence index, i.e. the probability that a localized image object corresponds to the real object sought is more important than in the case of a classic 2D search.
L'objet réel cherché peut être une personne, un animal ou un bien matériel tel qu'un objet porté ou déplacé par une personne, un vêtement, un bagage ou un véhicule par exemple.The real object sought may be a person, an animal or a tangible good such as an object carried or moved by a person, clothing, luggage or a vehicle for example.
L'avatar 3D peut être construit à partir d'informations fournies par un utilisateur, les dites informations comprenant :The 3D avatar can be constructed from information provided by a user, said information including:
• une représentation 2D de l'objet réel cherché, par exemple une photo ou un dessin, et/ou • des attributs de l'objet réel cherché, par exemple une forme 3D de l'objet réel cherché, une forme 3D d'un détail de l'objet réel cherché, un aspect extérieur de l'objet réel cherché ou un aspect extérieur d'un détail de l'objet réel cherché.• a 2D representation of the real object sought, for example a photo or a drawing, and / or • attributes of the real object sought, for example a 3D form of the real object sought, a 3D form of a detail of the real object sought, an external appearance of the real object sought or an external aspect of a detail of the real object sought.
Il est ainsi possible de chercher aussi bien un objet réel pour lequel peu d'informations sont disponibles, par exemple une personne dont le visage n'est pas connu mais ayant comme attribut une moustache, qu'un objet pour lequel de nombreuses informations sont disponibles, par exemple une personne dont le visage et la corpulence sont définis par une photo et ayant comme attributs une moustache, un vêtement de forme et d'aspect décrits par l'utilisateur et un bagage de forme et d'aspect décrits par l'utilisateur.It is thus possible to search both for a real object for which little information is available, for example a person whose face is not known but having as attribute a mustache, as for an object for which a lot of information is available , for example a person whose face and body size are defined by a photo and having as attributes a mustache, a garment of shape and appearance described by the user and a bag of shape and appearance described by the user .
De préférence, une étape ET3 est réalisée pour chaque critère d'identification de l'avatar 3D et au moins deux moteurs de recherche distincts sont utilisés pour chercher les flux vidéos. Des moteurs de recherche distincts peuvent ainsi être utilisés pour chercher des critères d'identification distincts, les moteurs de recherche étant choisis en fonction de leur performance pour la recherche d'un critère d'identification particulier. Les performances de chaque moteur de recherche sont ainsi utilisées au mieux pour obtenir un résultat de recherche global avec un indice plus élevé de correspondance global avec l'objet réel cherché.Preferably, a step ET3 is carried out for each criterion for identifying the 3D avatar and at least two separate search engines are used to search for the video streams. Separate search engines can thus be used to search for distinct identification criteria, the search engines being chosen according to their performance for the search for a particular identification criterion. The performance of each search engine is thus best used to obtain a global search result with a higher index of global correspondence with the real object sought.
Certaines informations utilisées pour la construction de l'avatar 3D de l'objet à chercher sont plus fiables que d'autres, comme on le verra mieux plus loin. Pour tenir compte de ceci, le procédé selon l'invention peut être amélioré de la façon suivante :Certain information used for the construction of the 3D avatar of the object to be sought is more reliable than others, as we will see better below. To take this into account, the method according to the invention can be improved as follows:
• au cours de l'étape ET2, à chaque critère d'identification issu de la décomposition de l'avatar 3D, est associé un indice de fiabilité représentatif de la fiabilité d'une information fournie par l'utilisateur et utilisée pour la construction d'une partie de l'avatar 3D associée au dit critère d'identification, • au cours de l'étape ET3, l'indice élémentaire de correspondance de chaque image du critère d'identification trouvé est pondéré avec l'indice de confiance associé au critère d'identification recherché.• during step ET2, each identification criterion resulting from the decomposition of the 3D avatar, is associated with a reliability index representative of the reliability of information supplied by the user and used for the construction of 'a part of the 3D avatar associated with said identification criterion, • during step ET3, the elementary index of correspondence of each image of the identification criterion found is weighted with the confidence index associated with identification criteria sought.
• au cours de l'étape ET4 : à chaque groupe d'extraits vidéos sont associés l'objet image localisé et un indice global de correspondance fonction des indices élémentaires de correspondance pondérés de chaque extrait vidéo dudit groupe d'extraits vidéos.• during step ET4: each group of video extracts is associated with the localized image object and a global correspondence index based on the elementary weighted correspondence indices of each video extract of said group of video extracts.
Pour chaque extrait vidéo, l'indice élémentaire de correspondance de l'image du critère d'identification avec le critère cherché, pondéré par l'indice de confiance associé audit critère d'identification est une probabilité plus fine, plus précise que l'objet image localisé dans l'extrait vidéo corresponde effectivement à l'objet cherché.For each video extract, the elementary index of correspondence of the image of the identification criterion with the sought criterion, weighted by the confidence index associated with said identification criterion is a finer, more precise probability than the object image located in the video extract effectively corresponds to the object sought.
Le procédé selon l'invention peut également être complété par une étape ET6 consistant à, pour au moins un objet image localisé, déterminer un chemin parcouru par ledit objet image localisé en classant selon une échelle de temps les extraits vidéos du groupe d'extraits vidéos associé au dit objet image. Le procédé permet ainsi de reconstituer à posteriori un chemin parcouru par un objet dans une zone géographique prédéfinie.The method according to the invention can also be supplemented by a step ET6 consisting in, for at least one localized image object, determining a path traveled by said localized image object by classifying on a time scale the video extracts from the group of video extracts associated with said image object. The method thus makes it possible to reconstruct a posteriori a path traveled by an object in a predefined geographical area.
Le procédé selon l'invention peut également être complété par une étape ET7 consistant à déterminer au moins un prolongement possible du chemin parcouru en fonction du chemin parcouru, en fonction d'obstacles identifiés sur la zone géographique et / ou en fonction de moyens de déplacement accessibles sur la zone géographique qui seront détaillés plus loin.The method according to the invention can also be supplemented by a step ET7 consisting in determining at least one possible extension of the path traveled as a function of the path traveled, as a function of obstacles identified in the geographical area and / or as a function of means of movement accessible on the geographical area which will be detailed later.
Plusieurs prolongements du chemin parcouru peuvent être déterminés. Egalement, pour chaque prolongement déterminé, peuvent être déterminées :Several extensions of the distance covered can be determined. Also, for each determined extension, can be determined:
• une probabilité pour que ce prolongement soit suivi par l'objet image localisé et / ou • une estimation du temps de parcours.• a probability that this extension is followed by the localized image object and / or • an estimate of the travel time.
Le procédé permet ainsi de prédire des évolutions possibles d'une situation donnée.The method thus makes it possible to predict possible evolutions of a given situation.
Enfin, pour faciliter l'exploitation par l'utilisateur des résultats obtenus par le procédé selon l'invention, ledit procédé peut comprendre également une étape d'affichage ET8 consistant à :Finally, to facilitate the use by the user of the results obtained by the method according to the invention, said method can also include an ET8 display step consisting of:
• ET81 : afficher le chemin parcouru sur une carte de la zone géographique et • ET82 : afficher une image de l'objet image localisé ayant parcouru ledit chemin et l'indice global de correspondance associé.• ET81: display the path traveled on a map of the geographic area and • ET82: display an image of the localized image object having traveled the said path and the associated global correspondence index.
Peut également être affichée (ET83) une liste des caméras ayant filmé les extraits vidéos montrant l'objet image localisé sur le chemin parcouru avec, pour chaque caméra, une indication relative à la plage horaire durant laquelle a été filmé l'extrait vidéo montrant l'objet image localisé.Can also be displayed (ET83) a list of cameras having filmed the video extracts showing the image object located on the path traveled with, for each camera, an indication relating to the time slot during which the video extract was shown showing the localized image object.
Peut également être affiché (ET85) au moins un prolongement possible du chemin parcouru, la probabilité que ce chemin soit suivi et l'estimation de son temps de parcours.Can also be displayed (ET85) at least one possible extension of the route traveled, the probability that this route is followed and the estimate of its travel time.
Brève description des fleuresBrief description of the flowers
L'invention sera mieux comprise, et d'autres caractéristiques et avantages de l'invention apparaîtront à la lumière de la description qui suit d'un exemple de mise en oeuvre d'un procédé selon l'invention. Cet exemple est donné à titre non limitatif. La description est à lire en relation avec le dessin annexé dans lequel la figure unique est un organigramme montrant les principales étapes d'un procédé selon l'invention.The invention will be better understood, and other characteristics and advantages of the invention will appear in the light of the following description of an example of implementation of a method according to the invention. This example is given without limitation. The description should be read in conjunction with the appended drawing in which the single figure is a flowchart showing the main steps of a method according to the invention.
Description d'un mode de réalisation de l'inventionDescription of an embodiment of the invention
L'invention concerne un procédé de recherche d'un objet dans des flux vidéos d'une pluralité de caméras de surveillance localisées sur une zone géographique prédéfinie. Comme dit précédemment, le terme « objet » doit être compris au sens le plus large. Ainsi un objet peut être une personne, un animal, un bien bien matériel susceptible d'être déplacé par une personne, ... Le procédé selon l'invention a été développé initialement pour la recherche de personnes, mais il peut aussi bien être mis en oeuvre par exemple pour le suivi des déplacements d'un véhicule indépendamment de toute personne qui utilise ledit véhicule. Par ailleurs, la zone géographique prédéfinie doit également être vue au sens large ; elle peut correspondre à un quartier dans une ville, à une ville entière, à une zone privée et / ou à accès restreint tel qu'un site industriel, un parc de loisirs, ...The invention relates to a method of searching for an object in video streams from a plurality of surveillance cameras located in a predefined geographical area. As said earlier, the term "object" should be understood in the broadest sense. Thus an object can be a person, an animal, a material good likely to be moved by a person, ... The method according to the invention was developed initially for the search for people, but it can as well be put implemented for example for monitoring the movements of a vehicle independently of any person who uses said vehicle. Furthermore, the predefined geographic area must also be seen in the broad sense; it can correspond to a district in a city, to an entire city, to a private area and / or to restricted access such as an industrial site, a leisure park, ...
Le procédé selon l'invention est de préférence mis en oeuvre sous la forme d'un outil logiciel comprenant une pluralité de lignes de codes adaptées pour la mise en oeuvre de chacune des étapes du procédé. Les moyens informatiques suivants sont nécessaires pour l'exécution du procédé :The method according to the invention is preferably implemented in the form of a software tool comprising a plurality of lines of code suitable for the implementation of each of the steps of the method. The following IT resources are necessary for the execution of the process:
• un terminal utilisateur comprenant une interface homme / machine (H/M), adaptée pour permettre à un utilisateur de transmettre des informations sur un objet à chercher et de visualiser en retour des résultats obtenus par le procédé. Dans un exemple préféré, le terminal utilisateur est un terminal présentant une interface H/M de type écran tactile, terminal tel qu'un smartphone, une tablette ou un écran tactile associé à une unité centrale locale (PC) ou à un serveur de programme distant.• a user terminal comprising a man / machine interface (H / M), adapted to allow a user to transmit information on an object to be searched for and to display in return the results obtained by the process. In a preferred example, the user terminal is a terminal having an H / M interface of the touch screen type, terminal such as a smartphone, a tablet or a touch screen associated with a local central unit (PC) or with a program server. distant.
• • une mémoire de programme dans laquelle est mémorisé le programme mettant en oeuvre le procédé selon l'invention et un microprocesseur adapté pour exécuter le dit programme ; la mémoire de programme et le microprocesseur peuvent être localisés dans le terminal utilisateur, ou bien sur un serveur informatique distant sur lequel le terminal utilisateur peut se connecter de manière connue via une liaison filaire ou une liaison sans fils appropriée ; le microprocesseur a bien sûr accès aux mémoires de données via une ou des liaisons filaires ou sans fil dont la réalisation est connue par ailleurs.• • a program memory in which the program implementing the method according to the invention is stored and a microprocessor adapted to execute said program; the program memory and the microprocessor can be located in the user terminal, or else on a remote computer server to which the user terminal can connect in known manner via a wired link or an appropriate wireless link; the microprocessor of course has access to the data memories via one or more wired or wireless links, the embodiment of which is known elsewhere.
• une mémoire de données mémorisant l'ensemble des données nécessaires à l'exécution du procédé, ou mémorisant des liens vers d'autres mémoires de données externes mémorisant les dites données.• a data memory storing all the data necessary for the execution of the method, or storing links to other external data memories storing said data.
Les données nécessaires à l'exécution du procédé comprennent notamment :The data necessary for the execution of the process include in particular:
• une base de données relative à la zone géographique prédéfinie, base de données dans laquelle sont mémorisées des informations permettant d'afficher sur l'interface H/M une cartographie en trois dimension de ladite zone géographique, une liste des caméras situées dans ladite zone géographique et susceptibles d'enregistrer des flux vidéos sur ladite zone géographique, • une base de données relative aux moyens de transport sur ladite zone géographique : transports en commun ou en libre service, disponibilité, horaires, charge (densité du trafic), ...• a database relating to the predefined geographic area, database in which information is stored making it possible to display on the H / M interface a three-dimensional cartography of said geographic area, a list of cameras located in said area geographic and likely to record video streams in said geographic area, • a database relating to the means of transport in said geographic area: public or self-service transport, availability, timetables, load (traffic density), etc. .
• une base de données mémorisant des obstacles ponctuels ou mobiles : travaux, personnels de sécurité positionnés sur la zone, etc.• a database memorizing specific or mobile obstacles: works, security personnel positioned in the area, etc.
• une base de données de flux vidéos dans laquelle sont mémorisés, pour chaque caméra, les flux vidéos enregistrés.• a video stream database in which the recorded video streams are stored for each camera.
Les principales étapes du procédé sont représentées sur la figure 1.The main process steps are shown in Figure 1.
Le procédé selon l'invention comprend une première étape ET1 consistant à construire un avatar en trois dimensions de l'objet réel cherché. L'avatar 3D est construit à partir d'informations fournies par un utilisateur, transmises par l'intermédiaire de l'interface H/M par tout moyen approprié : chargement d'un fichier numérique contenant une photo, saisie manuelle ou orale d'un texte descriptif, sélection d'un champ dans une base de données recensant des objets (personne ou bien matériel) ....The method according to the invention comprises a first step ET1 consisting in building an avatar in three dimensions of the real object sought. The 3D avatar is constructed from information supplied by a user, transmitted via the H / M interface by any appropriate means: loading a digital file containing a photo, manual or oral entry of a descriptive text, selection of a field in a database listing objects (person or material) ...
Les informations fournies par l'utilisateur peuvent être de qualité et de précision très diverses. Les dites informations peuvent ainsi comprendre une représentation 2D de l'objet réel cherché, par exemple une photo ou un dessin et il peut ensuite transmettre la représentation 2D dont il dispose au microprocesseur exécutant le procédé, transmission de préférence sous format numérique ; par exemple, selon la situation et en fonction de l'information disponible, l'utilisateur peut prendre une photo de l'objet à rechercher avec son terminal, scanner un dessin, extraire une photo d'un flux vidéo sur lequel il a identifié l'objet à chercher, extraire une image d'une base de données mémorisant des informationsThe information provided by the user can be of very diverse quality and precision. Said information can thus include a 2D representation of the real object sought, for example a photo or a drawing and it can then transmit the 2D representation which it has to the microprocessor executing the process, transmission preferably in digital format; for example, depending on the situation and depending on the information available, the user can take a photo of the object to be searched for with his terminal, scan a drawing, extract a photo from a video stream on which he has identified the to search, extract an image from a database storing information
Ί relatives à des objets recherchés ou cherchés par le passé. La base de données peut être publique ou privée, à accès libre ou restreint : réseau social, site Internet, ... mais aussi base de données d'entreprise (fichiers du personnel, fichiers clients, fiches produits, ...), fichiers de personnes recherchées, ...Ί relating to objects sought or sought in the past. The database can be public or private, with free or restricted access: social network, website, ... but also corporate database (staff files, customer files, product sheets, ...), files people wanted, ...
Les dites informations peuvent également comprendre un descriptif des attributs de l'objet réel cherché, par exemple une forme de l'objet réel cherché, une forme d'un détail de l'objet réel cherché, un aspect (couleur, motif, texture, matériau, ...) de l'objet réel cherché ou un aspect d'un détail de l'objet réel cherché. Le descriptif peut être oral, textuel, sous forme d'un dessin.... Les informations relatives aux attributs de l'objet cherché peuvent venir en complément d'une représentation 2D du dit objet, ou bien être les seules informations disponibles sur l'objet cherché.Said information can also include a description of the attributes of the real object sought, for example a form of the real object sought, a form of a detail of the real object sought, an aspect (color, pattern, texture, material, ...) of the real object sought or an aspect of a detail of the real object sought. The description can be oral, text, in the form of a drawing .... The information relating to the attributes of the object sought may supplement a 2D representation of the said object, or else be the only information available on the object. object sought.
Dans des exemples très concrets et assurément non limitatifs, l'utilisateur peut ainsi souhaiter chercher :In very concrete and certainly non-limiting examples, the user may thus wish to seek:
• une personne dont l'identité est connue et dont une photo est mémorisée dans une base de données de personnes, base de données disponible par ailleurs, • une personne pour laquelle une photo a été prise fortuitement par un témoin sur une scène de crise, • une personne pour laquelle aucune photo n'est disponible mais pour laquelle un témoin a noté une moustache noire et une chemise rouge, • une personne pour laquelle aucune photo n'est disponible mais pour laquelle un témoin a noté sur une scène de crise que la dite personne tire une valise à roulettes de couleur verte, ....• a person whose identity is known and whose photo is stored in a database of people, a database available elsewhere, • a person for whom a photo was taken fortuitously by a witness at a scene of a crisis, • a person for whom no photo is available but for whom a witness noted a black mustache and a red shirt, • a person for whom no photo is available but for whom a witness noted on a crisis scene that said person pulls a green suitcase on wheels, ....
L'avatar 3D est construit en assemblant le plus grand nombre des informations fournies par l'utilisateur. II s'agit ici de construire une image en trois dimensions la plus précise et la plus cohérente possible, et la plus proche possible de l'objet réel recherché incluant l'ensemble de ses attributs.The 3D avatar is constructed by assembling as much of the information provided by the user as possible. It is a question here of constructing a three-dimensional image as precise and as coherent as possible, and as close as possible to the real object sought including all of its attributes.
Ensuite, au cours d'une étape ET2, l'avatar 3D construit est décomposé en une pluralité de critères d'identification caractéristiques dudit avatar 3D. Ces critères d'identification correspondent notamment à une forme, un aspect et / ou, plus spécifiquement dans le cadre de l'invention, un volume d'un détail de réalisation de l'avatar. A titre d'exemples concrets mais non limitatifs, on peut citer comme critères d'identification :Then, during a step ET2, the 3D avatar constructed is broken down into a plurality of identification criteria characteristic of said 3D avatar. These identification criteria correspond in particular to a shape, an aspect and / or, more specifically in the context of the invention, a volume of a detail of production of the avatar. As concrete but non-limiting examples, the following can be cited as identification criteria:
• la forme et le volume en trois dimensions d'un visage avec une couleur de peau particulière, • un détail du visage par exemple une barbe présentant une forme en trois dimensions ou une épaisseur particulières, • la forme et le volume en trois dimensions d'un bagage à main,...• the shape and volume in three dimensions of a face with a particular skin color, • a detail of the face for example a beard having a shape in three dimensions or a particular thickness, • the shape and volume in three dimensions d 'a handbag,...
Les critères d'identification peuvent reprendre tout ou partie des attributs de l'objet réel fournis initialement par l'utilisateur, mais pas uniquement. Ainsi, par exemple, à partir d'une taille donnée pour une personne cherchée, le procédé peut déterminer un critère d'identification basé sur un volume occupé dans l'espace par ladite personne. Le nombre de critères d'identification déterminés n'est pas limité. On optimisera le nombre de critères d'identification en fonction de la précision de ces critères par rapport à l'objet réel cherché. Bien sûr, plus les critères d'identification cohérents entre eux sont nombreux et plus la probabilité de localiser l'objet cherché est élevée.The identification criteria can take all or part of the attributes of the real object initially supplied by the user, but not only. Thus, for example, from a given size for a wanted person, the method can determine an identification criterion based on a volume occupied in space by said person. There is no limit to the number of identification criteria determined. The number of identification criteria will be optimized as a function of the precision of these criteria with respect to the real object sought. Of course, the more numerous the identification criteria that are consistent with each other, the higher the probability of locating the object sought.
Au cours d'une étape ET3, pour chaque critère d'identification, les sous-étapes suivantes sont réalisées, consistant à :During an ET3 step, for each identification criterion, the following sub-steps are carried out, consisting of:
- ET31 : rechercher une image dudit critère d'identification dans les flux vidéos de la pluralité de caméras,- ET31: search for an image of said identification criterion in the video streams of the plurality of cameras,
- ET32 : créer une liste d'extraits vidéos montrant une image du critère d'identification avec, pour chaque extrait vidéo de la liste, l'image du critère d'identification associée, un identifiant d'une caméra ayant enregistré le dit extrait vidéo, une plage horaire à laquelle le dit extrait vidéo a été enregistré, et un indice élémentaire de correspondance de l'image du critère d'identification avec le critère d'identification cherché.- ET32: create a list of video extracts showing an image of the identification criterion with, for each video extract of the list, the image of the associated identification criterion, an identifier of a camera having recorded said video extract , a time slot during which the said video extract was recorded, and an elementary index of correspondence of the image of the identification criterion with the sought identification criterion.
Les étapes ET31, ET32 sont répétées pour chaque critère d'identification.The steps ET31, ET32 are repeated for each identification criterion.
D'un point de vue pratique, l'étape ET3 consiste à commander un moteur de recherche connu pour chercher une image d'un critère d'identification cherché dans les flux vidéos de l'ensemble des caméras. De préférence, plusieurs étapes ET3 peuvent être réalisées en parallèle. De préférence également, plusieurs moteurs de recherche connus peuvent être utilisés pour réaliser les étapes ET3 et, pour chaque étape ET3, le moteur de recherche utilisé est choisi en fonction de ses performances dans la recherche d'un type de critère d'identification particulier. Ainsi, à titre d'exemple, pour rechercher un visage présentant une couleur de peau particulière, on utilisera un moteur de recherche spécialisé dans la recherche de visage, pour rechercher une chemise rouge, on utilisera un moteur de recherche spécialisé dans la recherche d'une forme et / ou un aspect particulier, etc.From a practical point of view, step ET3 consists in commanding a known search engine to search for an image of an identification criterion sought in the video streams of all the cameras. Preferably, several steps ET3 can be carried out in parallel. Preferably also, several known search engines can be used to carry out the steps ET3 and, for each step ET3, the search engine used is chosen according to its performance in the search for a particular type of identification criterion. So, for example, to search for a face with a particular skin color, we will use a search engine specializing in the face search, to search for a red shirt, we will use a search engine specialized in the search for a particular shape and / or appearance, etc.
Pour chaque recherche, le moteur de recherche utilisé va retourner une liste d'extraits vidéos montrant une image du critère d'identification cherché avec, pour chaque extrait vidéo de la liste, l'image du critère d'identification associée, un identifiant d'une caméra ayant enregistré le dit extrait vidéo, une plage horaire à laquelle le dit extrait vidéo a été enregistré, et un indice élémentaire de correspondance de l'image trouvée du critère d'identification avec le critère d'identification cherché.For each search, the search engine used will return a list of video extracts showing an image of the identification criterion sought with, for each video extract of the list, the image of the associated identification criterion, an identifier of a camera having recorded said video extract, a time slot at which said video extract has been recorded, and an elementary index of correspondence of the found image of the identification criterion with the sought identification criterion.
Selon une variante, la liste peut être limitée aux extraits vidéos pour lesquels l'indice élémentaire de correspondance est supérieur à une valeur minimale qui peut être mémorisée dans la mémoire de programme ou fournie par l'utilisateur. Ceci permet d'éliminer les extraits vidéos ayant une probabilité faible de montrer un objet image correspondant à l'objet cherché.According to a variant, the list can be limited to video extracts for which the elementary correspondence index is greater than a minimum value which can be stored in the program memory or supplied by the user. This eliminates video extracts having a low probability of showing an image object corresponding to the object sought.
A chaque réalisation d'une étape ET3, plusieurs images du même critère d'identification peuvent être trouvées dans les flux vidéos. En effet, sur la zone géographique et dans l'espace temps cherchés, il est tout à fait possible que deux personnes portent par exemple un vêtement ressemblant ou aient des cheveux de même forme et de même couleur. Le cas échéant, deux images du même critère d'identification relatif au vêtement ou aux cheveux peuvent se retrouver par exemple dans les flux vidéos de deux caméras distinctes, sur la même plage horaire ou dans des plages horaires distinctes. Aussi, de manière générale, dans la liste fournie par le moteur de recherche, les images du même critère d'identification se distinguent en ce qu'elles sont associées à des extrait vidéo différents et / ou des identifiants de caméra différents et / ou des plage d'enregistrement distinctes et / ou des indices élémentaires de correspondance différents.Each time an ET3 step is carried out, several images of the same identification criterion can be found in the video streams. Indeed, on the geographic area and in the space sought time, it is quite possible that two people wear for example a garment resembling or have hair of the same shape and the same color. Where appropriate, two images of the same identification criterion relating to the garment or to the hair may be found for example in the video streams of two separate cameras, on the same time slot or in separate time slots. Also, in general, in the list provided by the search engine, the images of the same identification criterion are distinguished in that they are associated with different video extracts and / or different camera identifiers and / or separate record ranges and / or different match indices.
Après collecte des images des critères d'identification dans les flux vidéos par le ou les moteurs de recherche, une étape de recombinaison ET4 est réalisée, consistant à, à partir des listes d'extraits vidéos créées au cours des étapes ET3, former des groupes d'extraits vidéos montrant tous un même objet image de l'avatar cherché puis, à chaque groupe d'extraits vidéos, associer l'objet image commun et un indice global de correspondance fonction des indices élémentaires de correspondance de chaque extrait vidéo dudit groupe d'extraits vidéos. Dans un même groupe, les extraits vidéos montrent un même objet image, mais ils ont été sélectionnés par le ou les moteurs de recherche sur la base de critères d'identification qui peuvent être distincts. A chaque groupe d'extraits vidéos est associé l'objet image commun et un indice global de correspondance fonction des indices élémentaires de correspondance de chaque extrait vidéo du groupe. Dans un exemple volontairement très simple, pour un avatar 3D correspondant à une personne portant des lunettes, une chemise rouge et un sac à dos noir sur ses épaules :After collecting images of the identification criteria in the video streams by the search engine (s), an ET4 recombination step is carried out, consisting of, from the lists of video extracts created during the ET3 steps, forming groups of video extracts all showing the same image object of the avatar sought then, with each group of video extracts, associating the common image object and a global index of correspondence as a function of the elementary indices of correspondence of each video extract of said group of 'video clips. In the same group, the video extracts show the same image object, but they have been selected by the search engine (s) on the basis of identification criteria which may be distinct. Each group of video extracts is associated with the common image object and a global index of correspondence based on the elementary indices of correspondence of each video extract of the group. In a deliberately very simple example, for a 3D avatar corresponding to a person wearing glasses, a red shirt and a black backpack on his shoulders:
• certains extraits vidéos sont sélectionnés au cours d'une première étape ET3 parce qu'ils montrent une personne avec des lunettes, avec un indice de correspondance égal à pl • d'autres extraits vidéos sont sélectionnés au cours d'une deuxième étape ET3 parce qu'ils montrent une personne portant une chemise rouge, avec un indice de correspondance égal à p2, et ίο • d'autres extraits vidéos encore sont sélectionnés au cours d'une troisième étape ET3 parce qu'ils montrent une personne présentant dans son dos un élément de couleur noire et de volume correspondant à celui d'un sac à dos, avec un indice de correspondance égal à p3.• certain video extracts are selected during a first stage ET3 because they show a person with glasses, with a correspondence index equal to pl • other video extracts are selected during a second stage ET3 because that they show a person wearing a red shirt, with a correspondence index equal to p2, and ίο • still other video extracts are selected during a third step ET3 because they show a person presenting on his back an element of black color and volume corresponding to that of a backpack, with a correspondence index equal to p3.
Puis, au cours de l'étape ET4 :Then, during step ET4:
• un premier groupe est formé avec les extraits vidéos montrant tous des images d'une première personne portant simultanément des lunettes, une chemise rouge et un sac à dos noir ; l'indice global de correspondance gl associé à ladite deuxième personne est fonction de pl, p2 et p3, • un deuxième groupe est formé avec des extraits vidéos montrant tous des images d'une deuxième personne portant des lunettes et une chemise rouge, mais pas de sac à dos noir ; l'indice global de correspondance g2 associé à ladite deuxième personne est fonction de pl, p2 seulement, avec g2 supérieur à gl.• a first group is formed with video extracts all showing images of a first person simultaneously wearing glasses, a red shirt and a black backpack; the global correspondence index gl associated with said second person is a function of pl, p2 and p3, • a second group is formed with video extracts all showing images of a second person wearing glasses and a red shirt, but not black backpack; the global correspondence index g2 associated with said second person is a function of pl, p2 only, with g2 greater than gl.
Dans la mesure où trois critères d'identification cherchés ont été trouvés sur les images de la première personne et seulement deux critères d'identification ont été trouvés sur l'image de la deuxième personne, la probabilité pour que la première personne soit la personne réelle cherchée est logiquement plus grande que la probabilité pour que la deuxième personne soit la personne réelle cherchée.Since three sought identification criteria were found on the images of the first person and only two identification criteria were found on the image of the second person, the probability that the first person is the real person sought is logically greater than the probability that the second person is the real person sought.
La fiabilité du procédé selon l'invention est améliorée par la prise en compte de la fiabilité des informations fournies par l'utilisateur. Dans un exemple, une personne cherchée ressemble plus à son image sur une photo récente qu'à son image sur une photo ancienne. Dans un autre exemple, les dimensions d'une valise fournies par un témoin oculaire sont plus fiables si la valise a été vue à côté d'une personne ou d'un objet tel qu'une porte dont au moins un ordre de grandeur de la hauteur est connu du témoin. Pour prendre en compte la fiabilité de l'information fournie par l'utilisateur, • au cours de l'étape ET2, à chaque critère d'identification issu de la décomposition de l'avatar 3D, est associé un indice de fiabilité représentatif de la fiabilité d'une information fournie par l'utilisateur utilisée pour la construction d'une partie de l'avatar 3D associée au dit critère d'identification, • au cours de l'étape ET3, l'indice de correspondance de chaque critère d'identification trouvé est pondéré avec l'indice de confiance associé au critère d'identification recherché.The reliability of the method according to the invention is improved by taking into account the reliability of the information supplied by the user. In one example, a wanted person looks more like their image on a recent photo than their image on an old photo. In another example, the dimensions of a suitcase provided by an eyewitness are more reliable if the suitcase has been seen next to a person or an object such as a door of which at least an order of magnitude of the height is known to witness. To take into account the reliability of the information provided by the user, • during step ET2, each identification criterion resulting from the decomposition of the 3D avatar is associated with a reliability index representative of the reliability of information supplied by the user used for the construction of part of the 3D avatar associated with said identification criterion, • during step ET3, the correspondence index of each criterion of Identification found is weighted with the confidence index associated with the identification criterion sought.
• Au cours de l'étape ET4 : à chaque regroupement d'extraits vidéos sont associés l'objet image localisé et un indice global de correspondance fonction des indices de correspondance pondérés de chaque extrait vidéo dudit regroupement.• During step ET4: each grouping of video extracts is associated with the localized image object and a global correspondence index based on the weighted correspondence indices of each video extract of said grouping.
Ainsi, dans l'exemple précédent d'un avatar 3D correspondant à une personne portant des lunettes, une chemise rouge et un sac à dos noir sur ses épaules, si l'avatar est construit à partir d'informations fournies par un témoin oculaire ayant vu la personne cherchée de face, il est possible d'avoir une estimation plus fine de l'indice global de correspondance de la manière suivante :Thus, in the previous example of a 3D avatar corresponding to a person wearing glasses, a red shirt and a black backpack on his shoulders, if the avatar is constructed from information provided by an eyewitness having given the person sought from the front, it is possible to have a more precise estimate of the global index of correspondence as follows:
• les indices élémentaires de correspondance pl, p2 peuvent être pondérés par un indice de fiabilité fort, par exemple égal à 1, • l'indice élémentaire de correspondance p3 peut être pondéré par un indice de fiabilité faible, par exemple égal à 0,1 (le sac porté dans le dos est nécessairement moins visible lorsque la personne est vue de face de sorte que l'information sur la couleur du sac est moins fiable).• the elementary correspondence indices pl, p2 can be weighted by a strong reliability index, for example equal to 1, • the elementary correspondence index p3 can be weighted by a low reliability index, for example equal to 0.1 (the bag carried in the back is necessarily less visible when the person is seen from the front so that the information on the color of the bag is less reliable).
Dans un mode de mise en œuvre de l'invention, le procédé peut également comprendre une étape ET6 consistant à déterminer, pour au moins un objet image localisé, un chemin parcouru par ledit objet image localisé en classant selon une échelle de temps les extraits vidéos du groupe d'extraits vidéos associé au dit objet image. A chaque extrait vidéo est associé une caméra dont la position géographique est connue et une plage horaire sur laquelle l'extrait a été enregistré. Classer les extraits vidéos selon une échelle de temps permet donc d'identifier un ensemble de positions géographiques associées chacune à une heure, par exemple l'heure de début d'enregistrement de l'extrait vidéo correspondant pour reconstruire le chemin parcouru par un objet image localisé. Le chemin parcouru est interrompu lorsque l'objet image identifié sort du champ des caméras localisées dans la zone géographique définie par l'utilisateur.In one embodiment of the invention, the method can also include a step ET6 consisting in determining, for at least one localized image object, a path traveled by said localized image object by classifying the video extracts according to a time scale of the group of video extracts associated with said image object. Each video clip is associated with a camera whose geographic position is known and a time range on which the clip has been recorded. Classifying the video extracts according to a time scale therefore makes it possible to identify a set of geographic positions each associated with an hour, for example the start time of recording of the corresponding video extract to reconstruct the path traveled by an image object. located. The path traveled is interrupted when the identified image object leaves the field of cameras located in the geographic area defined by the user.
Un chemin parcouru peut être déterminé pour chacun des objets images localisés. Toutefois, les objets images localisés ayant un faible indice global de correspondance présentent généralement peu d'intérêt pour l'utilisateur de sorte qu'il n'est pas nécessaire de déterminer les chemins parcourus associés à ces objets images. Selon une variante, les chemins parcourus sont déterminés uniquement pour un nombre prédéfini d'objets images localisés, par exemple les N premiers objets images classés par ordre décroissant d'indice global de correspondante, N étant un entier supérieur ou égal à 1. Selon une autre variante, l'étape ET6 peut être précédée d'une étape de sélection ET5 consistant à :A path traveled can be determined for each of the localized image objects. However, localized image objects having a low overall index of correspondence are generally of little interest to the user, so that it is not necessary to determine the paths traveled associated with these image objects. According to a variant, the paths traveled are determined only for a predefined number of localized image objects, for example the N first image objects classified in descending order of corresponding global index, N being an integer greater than or equal to 1. According to a another variant, step ET6 can be preceded by a selection step ET5 consisting of:
• ET51 : afficher une liste des objets images localisés avec pour chacun l'indice global de correspondance associé, • ET52 : sélectionner N objets de la liste d'objets images localisés.• ET51: display a list of localized image objects with each associated global index of correspondence, • ET52: select N objects from the list of localized image objects.
La liste des objets images localisés dans les flux vidéos est affichée sur le terminal de l'utilisateur qui peut ensuite sélectionner un ou des objets de la liste d'objets images localisés en vue d'obtenir le chemin parcouru par ledit objet. Les objets images de la liste sont de préférence affichés par ordre décroissant de l'indice global associé de sorte que les objets images présentant la plus grande probabilité de correspondre à l'objet cherché sont positionnés en tête de liste.The list of image objects located in the video streams is displayed on the user's terminal, which can then select one or more objects from the list of localized image objects in order to obtain the path traveled by said object. The image objects of the list are preferably displayed in descending order of the associated global index so that the image objects having the greatest probability of corresponding to the sought object are positioned at the top of the list.
Dans un mode de mise en œuvre du procédé selon l'invention, au cours d'une étape ET3, la recherche dans les flux vidéos est limitée aux flux vidéo des caméras positionnées dans une zone géographique et dans une plage de temps définies par l'utilisateur. La zone de recherche est ainsi limitée dans l'espace et dans le temps.In an embodiment of the method according to the invention, during a step ET3, the search in the video streams is limited to the video streams of the cameras positioned in a geographical area and in a time range defined by the user. The search area is thus limited in space and time.
Dans un autre mode de mise en œuvre, le procédé est exécuté de manière itérative. Les étapes ET1-ET6 sont réalisées une première fois sur une zone de recherche fortement limitée dans l'espace et dans le temps par l'utilisateur. Lors de l'étape ET5, l'utilisateur peut limiter la recherche à certains des objets images localisés, par exemple les objets les plus probables. Les étapes ET1-ET6 sont ensuite répétées sur une zone géographique adjacente à la zone géographique cherchée à la première itération et s'étendant dans une direction de déplacement d'un ou des objets images sélectionnés à l'utilisateur lors de l'étape ET5 de l'itération précédente. Les étapes ET1-ET6 peuvent ainsi être répétées jusqu'à ce que les limites de la zone géographique surveillée par caméras soient atteintes. Une telle exécution du procédé par itération est particulièrement intéressante pour limiter le nombre de flux vidéos à chercher et donc limiter les temps nécessaires à la réalisation des étapes ET3. Idéalement, une telle mise en œuvre du procédé est envisagée si un l’objet à chercher a déjà été localisé en au moins un point.In another embodiment, the method is executed iteratively. The steps ET1-ET6 are carried out for the first time on a search area strongly limited in space and in time by the user. During step ET5, the user can limit the search to certain of the localized image objects, for example the most probable objects. The steps ET1-ET6 are then repeated on a geographic area adjacent to the geographic area sought at the first iteration and extending in a direction of movement of one or more image objects selected for the user during the step ET5 of the previous iteration. The steps ET1-ET6 can thus be repeated until the limits of the geographic area monitored by cameras are reached. Such an execution of the method by iteration is particularly advantageous for limiting the number of video streams to be sought and therefore limiting the times necessary for carrying out steps ET3. Ideally, such an implementation of the method is envisaged if an object to be sought has already been located at at least one point.
Le procédé selon l'invention peut encore comprendre une étape ET7 consistant à déterminer au moins un prolongement possible du chemin parcouru avec, pour chaque prolongement possible, une probabilité pour que ce prolongement soit suivi par l'objet image localisé et une estimation du temps de parcours, en fonction d'obstacles identifiés et / ou en fonction de moyens de déplacement accessibles sur une zone géographique prolongeant la zone géographique sur laquelle sont positionnées la pluralité de caméras de surveillance utilisées et / ou en fonction d'un comportement attendu de l'objet réel cherché. Les obstacle et les moyens de déplacement en chaque lieu sont référencés dans les bases de données. Le comportement attendu peut faire partie des informations fournies par l'utilisateur avant ou au cours de l'étape ET1.The method according to the invention can also comprise a step ET7 consisting in determining at least one possible extension of the path traveled with, for each possible extension, a probability that this extension is followed by the localized image object and an estimation of the time of route, depending on obstacles identified and / or depending on means of travel accessible in a geographic area extending the geographic area on which the plurality of surveillance cameras used are positioned and / or based on expected behavior of the real object sought. The obstacles and the means of movement in each place are referenced in the databases. The expected behavior can be part of the information provided by the user before or during step ET1.
Lorsqu'il se déplace, un objet image localisé se déplace nécessairement en tenant compte des obstacles qu'il rencontre et des moyens de déplacement à sa disposition ; on rappelle que l'objet localisé est une image d'une personne cherchée, ou d'un objet porté ou déplacé par une personne cherchée. En zone urbaine par exemple, une personne se déplace généralement en suivant les rues de la ville s'il est à pied, en vélo ou en voiture, elle contourne les bâtiments fermés, peut prendre un bus ou un métro entre deux stations, etc. Lorsqu'elle a le choix, à un carrefour de deux rues par exemple ou devant une entrée d'une station de métro, la personne va avoir probablement un comportement fonction de son propre profil : un pickpocket va chercher à se fondre dans une foule, une personne de tempérament solitaire va choisir une rue déserte, etc. Lorsque la personne sort du champ des caméras de surveillance, il n'est plus possible de retracer le chemin réellement parcouru, mais il est possible d'imaginer des prolongements possibles du chemin réellement parcouru sur la base des mêmes critères avec, pour chacun, une probabilité pour que ce chemin soit celui réellement suivi (en fonction du parcours et du comportement attendu de la personne notamment) et une estimation du temps de parcours (en fonction du parcours, des moyens de locomotion, du trafic local au moment du parcours notamment). Les obstacles identifiés peuvent comprendre des obstacles permanents tels que des bâtiments, des clôtures, des caméras, ... ou des obstacles temporaires et / ou mobiles tels que des personnels de sécurité mobilisés ponctuellement sur le terrain ou travaux limitant l'accès à une zone. Les moyens de déplacement accessibles peuvent comprendre les moyens de transport personnels (vélo, voiture, ...) et les moyens de transport publics (bus, métro, véhicules en libre-service, ...) ; la disponibilité des moyens de transport est également prise en compte (horaires de passage des transports en commun, disponibilité des véhicules en libre-service, ...) ainsi que la charge sur le parcours (bouchons, densité du trafic, ...).When it moves, a localized image object necessarily moves taking into account the obstacles it encounters and the means of movement at its disposal; it is recalled that the localized object is an image of a wanted person, or of an object carried or moved by a wanted person. In urban areas for example, a person generally travels following the city streets if he is on foot, by bicycle or by car, he bypasses closed buildings, can take a bus or a metro between two stations, etc. When he has the choice, at a crossroads of two streets for example or in front of an entrance to a metro station, the person will probably behave according to his own profile: a pickpocket will seek to blend in with a crowd, a lonely person will choose a deserted street, etc. When the person leaves the field of surveillance cameras, it is no longer possible to retrace the path actually traveled, but it is possible to imagine possible extensions of the path actually traveled on the basis of the same criteria with, for each, a probability that this route is the one actually followed (depending on the route and the expected behavior of the person in particular) and an estimate of the travel time (depending on the route, means of transport, local traffic at the time of the route in particular) . The obstacles identified may include permanent obstacles such as buildings, fences, cameras, ... or temporary and / or mobile obstacles such as security personnel mobilized punctually on the ground or works limiting access to an area . Accessible means of travel can include personal means of transport (bicycle, car, ...) and public means of transport (bus, metro, self-service vehicles, ...); the availability of means of transport is also taken into account (transit times, availability of self-service vehicles, ...) as well as the load on the route (traffic jams, traffic density, ...) .
Les résultats obtenus par le procédé selon l'invention peuvent enfin être présentés à l'utilisateur au cours d'une étape d'affichage ET8 consistant à :The results obtained by the method according to the invention can finally be presented to the user during an ET8 display step consisting of:
• ET81 : afficher le ou les chemins parcourus sur une carte de la zone géographique cherchée et • ET82 : afficher un extrait vidéo montrant l'objet image localisé ayant parcouru ledit chemin et l'indice global de correspondance associé.• ET81: display the path (s) traveled on a map of the geographic area sought and • ET82: display a video extract showing the localized image object having traveled the said path and the associated global correspondence index.
Peuvent également être affichés (ET85) le ou les prolongements possibles déterminés du chemin parcouru, avec pour chacun une probabilité pour que ce prolongement soit suivi par l'objet image localisé et / ou une estimation du temps de parcours.Can also be displayed (ET85) the determined possible extension (s) of the path traveled, with for each a probability that this extension is followed by the localized image object and / or an estimate of the travel time.
L'affichage est réalisé sur le terminal de l'utilisateur. La carte affichée est de préférence ne carte 3D de la zone géographique cherchée.The display is performed on the user's terminal. The displayed map is preferably a 3D map of the geographic area sought.
Peut également être affichée (ET83) une liste des identifiants des caméras ayant filmé les extraits vidéos montrant l'objet image localisé sur le chemin parcouru avec, pour chaque caméra, une indication relative à la plage horaire durant laquelle a été filmé l'extrait vidéo montrant l'objet image localisé. Ce dernier affichage est réalisé de préférence sous la forme d'une échelle de temps, par exemple en bas du terminal d'affichage de l'utilisateur. Les identifiants peuvent être affichés sous la forme de liens cliquables renvoyant vers l'extrait vidéo correspondant mémorisé dans la mémoire de données d'extraits vidéos.Can also be displayed (ET83) a list of identifiers of the cameras having filmed the video extracts showing the image object located on the path traveled with, for each camera, an indication relating to the time slot during which the video extract was filmed showing the localized image object. This latter display is preferably performed in the form of a time scale, for example at the bottom of the user's display terminal. The identifiers can be displayed in the form of clickable links referring to the corresponding video extract stored in the video extract data memory.
L'affichage peut être réalisé pour un unique objet image, par exemple l'objet image ayant le plus grand indice global de correspondance ou bien un objet image sélectionné par l'utilisateur au cours de l'étape ET5.The display can be carried out for a single image object, for example the image object having the largest overall index of correspondence or else an image object selected by the user during step ET5.
Le procédé de recherche selon l'invention est bien sûr d'autant plus efficace que la surface couverte par la pluralité de caméra de surveillance utilisée par le procédé est grande sur la zone géographique surveillée. Il est possible que, sur la zone géographique surveillée, des caméras de surveillance appartiennent à des entités juridiques distinctes telles que des entreprises, des particuliers et une ou des collectivités locales. Le cas échéant, pour améliorer l'efficacité du procédé, on s'efforcera d'obtenir auprès des propriétaires de caméras un accès aux flux de données d'un plus grande nombre de caméras positionnées sur la zone.The search method according to the invention is of course all the more effective as the area covered by the plurality of surveillance cameras used by the method is large over the geographic area monitored. It is possible that, in the geographic area monitored, surveillance cameras belong to separate legal entities such as businesses, individuals and one or more local authorities. If necessary, in order to improve the efficiency of the process, efforts will be made to obtain access to the data streams of a greater number of cameras positioned in the area from the camera owners.
Claims (13)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1770177A FR3063368A1 (en) | 2017-02-24 | 2017-02-24 | METHOD FOR SEARCHING A POSTERIORI OBJECT IN VIDEO STREAMS |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1770177A FR3063368A1 (en) | 2017-02-24 | 2017-02-24 | METHOD FOR SEARCHING A POSTERIORI OBJECT IN VIDEO STREAMS |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3063368A1 true FR3063368A1 (en) | 2018-08-31 |
Family
ID=59031248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1770177A Pending FR3063368A1 (en) | 2017-02-24 | 2017-02-24 | METHOD FOR SEARCHING A POSTERIORI OBJECT IN VIDEO STREAMS |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3063368A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080204569A1 (en) * | 2007-02-28 | 2008-08-28 | Honeywell International Inc. | Method and System for Indexing and Searching Objects of Interest across a Plurality of Video Streams |
-
2017
- 2017-02-24 FR FR1770177A patent/FR3063368A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080204569A1 (en) * | 2007-02-28 | 2008-08-28 | Honeywell International Inc. | Method and System for Indexing and Searching Objects of Interest across a Plurality of Video Streams |
Non-Patent Citations (1)
| Title |
|---|
| "Person Re-Identification", January 2014, SPRINGER LONDON, London, ISBN: 978-1-4471-6296-4, article RYAN LAYNE ET AL: "Attributes-Based Re-identification", pages: 93 - 117, XP055414251, DOI: 10.1007/978-1-4471-6296-4_5 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Extracting and understanding urban areas of interest using geotagged photos | |
| García-Palomares et al. | Identification of tourist hot spots based on social networks: A comparative analysis of European metropolises using photo-sharing services and GIS | |
| AU2017289948B2 (en) | Systems and methods for utilizing property features from images | |
| US11043014B2 (en) | Presenting information on a map | |
| US9047654B2 (en) | System and method for displaying contextual supplemental content based on image content | |
| Jankowski et al. | Discovering landmark preferences and movement patterns from photo postings | |
| Hays et al. | Scene completion using millions of photographs | |
| Zheng et al. | Recommending friends and locations based on individual location history | |
| WO2017190639A1 (en) | Media information display method, client and server | |
| US9122368B2 (en) | Analysis of images located within three-dimensional environments | |
| CN101606039B (en) | Dynamic map rendering as function of user parameter | |
| US9711182B2 (en) | System and method for identifying and altering images in a digital video | |
| CN101578625A (en) | Dynamic rendering of map information | |
| CN101578626A (en) | Mode information displayed in a mapping application | |
| CN105718576A (en) | Individual position recommending system related to geographical features | |
| CN105229595A (en) | Use the location aware of local semantic score | |
| Arefieva et al. | Travel bird: A personalized destination recommender with tourbert and airbnb experiences | |
| FR3063368A1 (en) | METHOD FOR SEARCHING A POSTERIORI OBJECT IN VIDEO STREAMS | |
| CN106557489A (en) | A kind of dress ornament searching method based on mobile terminal | |
| Saadat Abadi Nasab et al. | Changing representations of fatherhood through the lens of family leisure photographs | |
| EP3770806A1 (en) | Method for video monitoring of the crossing of a line by persons, corresponding device and computer program | |
| Ceroni et al. | Mining exoticism from visual content with fusion-based deep neural networks | |
| KR101997158B1 (en) | the object information providing system using the image analysis | |
| Papadopoulos et al. | Tourism knowledge discovery in social multimedia | |
| Kasprzyk | Intégration de la continuité spatiale dans la structure multidimensionnelle d’un entrepôt de données-SOLAP raster |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLSC | Publication of the preliminary search report |
Effective date: 20180831 |