FR3038760A1 - DETECTION OF OBJECTS BY PROCESSING IMAGES - Google Patents
DETECTION OF OBJECTS BY PROCESSING IMAGES Download PDFInfo
- Publication number
- FR3038760A1 FR3038760A1 FR1556520A FR1556520A FR3038760A1 FR 3038760 A1 FR3038760 A1 FR 3038760A1 FR 1556520 A FR1556520 A FR 1556520A FR 1556520 A FR1556520 A FR 1556520A FR 3038760 A1 FR3038760 A1 FR 3038760A1
- Authority
- FR
- France
- Prior art keywords
- interest
- regions
- subset
- successive
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Abstract
L'invention concerne un procédé de détection d'objets par traitement d'images captées par une caméra, dans lequel on utilise un algorithme de reconnaissance de formes par apprentissage apte à détecter au moins un objet en effectuant, pour chaque image d'une succession d'images, le balayage d'une pluralité de régions d'intérêt par une fenêtre glissante de taille fixe prédéterminée, chaque région d'intérêt correspondant à une échelle différente de chaque image. Conformément à l'invention, on sélectionne (S1) dans un ensemble (E) prédéterminé de P régions d'intérêt, classées dans un ordre défini d'échelles successives, un premier sous-ensemble (E') de K régions d'intérêt successives sur lesquelles le balayage par la fenêtre glissante est effectué (S2) pour au moins une première image.The invention relates to a method for detecting objects by processing images captured by a camera, in which a learning pattern recognition algorithm is used able to detect at least one object by performing, for each image of a succession image, scanning a plurality of regions of interest by a sliding window of predetermined fixed size, each region of interest corresponding to a different scale of each image. According to the invention, a predetermined set of P regions of interest, classified in a defined order of successive scales, is selected (S1) by a first subset (E ') of K regions of interest. successive ones on which the scanning by the sliding window is performed (S2) for at least a first image.
Description
DETECTI ON D’OBJETS PAR TRAI TEMENT D’I MAGESDETECTION OF OBJECTS THROUGH I MAGES
La présente invention concerne de manière générale la détection d’objets par les techniques de reconnaissance de formes dans des images.The present invention generally relates to the detection of objects by pattern recognition techniques in images.
Un domaine plus particulièrement, bien que non exclusivement, concerné est celui des véhicules automobiles.One area more particularly, although not exclusively, concerned is that of motor vehicles.
Il est connu d’équiper certains véhicules automobiles avec des systèmes d’aide à la conduite utilisant des images captées par une ou plusieurs caméras embarquées sur le véhicule pour détecter notamment les lignes de marquage routier, les obstacles, les autres véhicules, ou encore les panneaux de signalisation tels que les panneaux de prescription de vitesse.It is known to equip certain motor vehicles with driving assistance systems using images captured by one or more cameras on the vehicle to detect in particular road marking lines, obstacles, other vehicles, or even road signs such as speed prescription signs.
La détection de piétons est une autre application importante dans les systèmes d'aide à la conduite automobile puisqu’il s’agit de concevoir des systèmes intelligents capables d'avertir ou de prévenir les accidents, en surveillant les alentours du véhicule par l’intermédiaire d’une ou plusieurs caméras. Un tel système de détection peut ainsi soit prévenir le conducteur de la présence d'un piéton à une distance jugée dangereuse, soit directement agir sur le système de freinage du véhicule automobile. Les systèmes de détection de piétons sont en outre cruciaux pour les systèmes de conduite automatisés.Pedestrian Detection is another important application in automotive driving assistance systems as it involves the design of intelligent systems capable of warning or preventing accidents by monitoring the vehicle's surroundings through one or more cameras. Such a detection system can thus either warn the driver of the presence of a pedestrian at a distance deemed dangerous, or directly act on the braking system of the motor vehicle. Pedestrian detection systems are also crucial for automated driving systems.
Que l’objet à détecter soit fixe ou mobile, on comprend ainsi qu’un tel système de détection doit pouvoir fournir une information suffisamment fiable et précise pour pouvoir dériver, en temps réel, une estimation de la distance à laquelle se situe l’objet détecté par rapport au véhicule.Whether the object to be detected is fixed or mobile, it is thus understood that such a detection system must be able to provide sufficiently reliable and accurate information to be able to derive, in real time, an estimate of the distance to which the object is located. detected relative to the vehicle.
On rappelle que la détection de piétons consiste à déterminer le plus précisément possible, la présence et la localisation de toutes les personnes susceptibles d’être présentes dans une image ou une succession d’images. Elle est généralement basée sur des techniques de reconnaissance de formes dont le but est d’apprendre puis de retrouver dans l’image, l’allure générale d’une personne.It is recalled that the detection of pedestrians consists in determining as precisely as possible, the presence and location of all persons likely to be present in an image or a succession of images. It is generally based on pattern recognition techniques whose purpose is to learn and then to find in the image, the general look of a person.
Les algorithmes mis en œuvre dans une détection de piétons par reconnaissance de formes sont généralement très complexes compte tenu notamment de la très grande diversité entre les personnes (taille, poids, vêtements, postures...)· Ces algorithmes de reconnaissance de formes sont souvent basés sur l'utilisation combinée de descripteurs et d’une méthode de classification binaire permettant de déterminer si une zone d’une image captée par une caméra correspond à un piéton ou à du fond. Une méthode classique, connue sous le nom de la méthode de Viola et Jones, consiste à tester la présence d’un piéton dans une fenêtre ou imagette de taille fixe, par exemple de 24 sur 48 pixels, à toutes les positions possibles dans l’image et pour plusieurs échelles de l’image. Le test consiste à générer un vecteur de descripteurs de l’imagette et à les comparer avec les descripteurs appris sur une base d’apprentissage. Plus précisément, pour chaque image captée par une caméra, on définit une pluralité de régions d’intérêt à balayer par la fenêtre, chaque région d’intérêt correspondant à une échelle donnée de l’image. A titre d’exemple, une vingtaine de régions d’intérêt, encore appelées zones de balayage relatives à chaque échelle (« scan zone » en terminologie anglo-saxonne), doivent être traitées correspondant à des échelles de l’image variant de 0,025 (zoom avant) à 1 (taille réelle) par pas de 1,22.The algorithms used in pedestrian detection by pattern recognition are generally very complex, especially given the great diversity of people (size, weight, clothing, postures, etc.). These pattern recognition algorithms are often based on the combined use of descriptors and a binary classification method for determining whether an area of an image captured by a camera corresponds to a pedestrian or to the background. A classic method, known as the Viola and Jones method, is to test the presence of a pedestrian in a fixed-size window or thumbnail, for example 24 by 48 pixels, at all possible positions in the image and for several scales of the image. The test consists in generating a vector of descriptors of the thumbnail and comparing them with the descriptors learned on a learning base. More precisely, for each image captured by a camera, a plurality of regions of interest to be scanned by the window are defined, each region of interest corresponding to a given scale of the image. By way of example, about twenty regions of interest, also called scanning zones relating to each scale ("scan zone" in English terminology), must be processed corresponding to scales of the image varying from 0.025 ( zoom in) to 1 (actual size) in increments of 1.22.
La méthode consiste typiquement à balayer chaque région d’intérêt, de même taille que l’image de base, en déplaçant la fenêtre de taille fixe d’un certain nombre de pixels à la fois. Un classifieur combiné à une base d’apprentissage comportant des échantillons de piétons et des échantillons de fond va traiter les différents vecteurs de descripteurs obtenus par la fenêtre glissante pour identifier les zones correspondant effectivement à un piéton par rapport à un modèle appris. Le résultat est délivré par le détecteur de piéton sous forme d’une boîte englobante, généralement de forme rectangulaire, par piéton détecté. Les dimensions et/ou la position verticale de la boîte englobante relative à un piéton détecté sont alors utilisées pour estimer la distance à laquelle se situe le piéton par rapport au véhicule. Une telle méthode est par exemple implémentée par des détecteurs rapides de type Adaboost. Les résultats de la détection rapide sont ensuite généralement affinés et validés par des classifieur plus performants.The method typically involves scanning each region of interest, of the same size as the base image, by moving the fixed size window a certain number of pixels at a time. A classifier combined with a learning base comprising pedestrian samples and background samples will process the different descriptor vectors obtained by the sliding window to identify the areas actually corresponding to a pedestrian compared to a learned model. The result is delivered by the pedestrian detector in the form of a bounding box, generally of rectangular shape, by pedestrian detected. The dimensions and / or the vertical position of the bounding box relating to a detected pedestrian are then used to estimate the distance to which the pedestrian is in relation to the vehicle. Such a method is for example implemented by Adaboost type rapid detectors. The results of rapid detection are then generally refined and validated by more efficient classifiers.
On conçoit aisément qu’une telle méthode est très consommatrice en calcul et en temps, et de ce fait, incompatible avec la nécessité d’un traitement en temps réel primordial pour les systèmes d’aide à la conduite.It is easy to understand that such a method is very computationally and time consuming, and therefore incompatible with the need for a real-time processing that is essential for driver assistance systems.
La présente invention a pour but de pallier les inconvénients des solutions connues basées sur l’algorithme de reconnaissance de formes de type Adaboost en proposant une stratégie de traitement des images qui soit moins consommatrice en temps de calcul.The object of the present invention is to overcome the drawbacks of known solutions based on the Adaboost type recognition algorithm by proposing an image processing strategy that consumes less computing time.
Pour ce faire, l’invention a pour objet un procédé de détection d’objets par traitement d’images captées par une caméra, dans lequel on utilise un algorithme de détection et/ou de reconnaissance de formes apte à détecter au moins un objet en effectuant, pour chaque image d’une succession d’images, le balayage d’une pluralité de régions d’intérêt par une fenêtre glissante, chaque région d’intérêt correspondant à une échelle différente de chaque image, le procédé étant caractérisé en ce qu’il comprend une étape de sélection, dans un ensemble prédéterminé de P régions d’intérêt classées dans un ordre défini d’échelles successives, d’un premier sous-ensemble de K régions d’intérêt successives sur lesquelles le balayage par la fenêtre glissante est effectué pour au moins une première image.To do this, the subject of the invention is a method for detecting objects by processing images captured by a camera, in which a detection and / or pattern recognition algorithm is used which is capable of detecting at least one object in performing, for each image of a succession of images, scanning a plurality of regions of interest by a sliding window, each region of interest corresponding to a different scale of each image, the method being characterized in that it comprises a step of selecting, in a predetermined set of P regions of interest classified in a defined order of successive scales, a first subset of K successive regions of interest on which the scanning by the sliding window is performed for at least a first image.
Outre les caractéristiques principales qui viennent d'être mentionnées dans le paragraphe précédent, le procédé selon l'invention peut présenter une ou plusieurs caractéristiques complémentaires parmi les suivantes : - on mémorise chaque région d’intérêt du premier sous-ensemble ayant donné lieu à une détection d’un objet ; et on réitère le balayage pour les images suivantes sur un deuxième sous-ensemble de régions d’intérêt successives limité d’une part, aux régions d’intérêt mémorisées et aux régions contiguës aux régions d’intérêt mémorisées, et d’autre part, aux K régions d’intérêt du premier sous-ensemble, en déplaçant, à chaque itération, ledit premier sous-ensemble de K régions d’intérêt successives d’au moins une région d’intérêt dans l’ordre défini d’échelles successives ; - ledit premier sous-ensemble de K régions d’intérêt successives est déplacé par exemple au plus de K régions d’intérêt ; - le balayage peut être réitéré jusqu’à ce que le premier sous-ensemble de K régions d’intérêt successives inclue la région d’intérêt dudit ensemble prédéterminé correspondant à la plus grande échelle ; - la plus grande échelle correspond par exemple à la taille réelle de l’image captée par la caméra ; - ledit premier sous-ensemble de K régions d’intérêt successives inclut dans un mode de réalisation possible la région d’intérêt dudit ensemble prédéterminé correspondant à la plus petite échelle ; - ledit premier sous-ensemble comprend de préférence deux régions d’intérêts successives ; - chaque région d’intérêt peut être en outre avantageusement segmentée dans le sens de la largeur en une pluralité de zones d’intérêt, et le procédé comporte alors une étape de recadrage des régions d’intérêt mémorisées, voire des régions contigües aux régions d’intérêt, le recadrage s’effectuant dans la zone d’intérêt ayant donné lieu à une détection d’objet. L’invention a également pour objet un système de détection d’objets par traitement d’images captées par une caméra, le système comprenant un détecteur utilisant un algorithme de détection et/ou de reconnaissance de formes apte à détecter au moins un objet en effectuant, pour chaque image d’une succession d’images, le balayage d’une pluralité de régions d’intérêt par une fenêtre glissante, chaque région d’intérêt correspondant à une échelle différente de chaque image, caractérisé en ce que ledit détecteur est programmé pour sélectionner dans un ensemble prédéterminé de P régions d’intérêt, classées dans un ordre défini d’échelles successives, un premier sous-ensemble de K régions d’intérêt successives sur lesquelles le balayage par la fenêtre glissante est effectué pour une première image. L'invention sera mieux comprise à la lecture de la description qui suit, faite en référence aux figures annexées, dans lesquelles : - la figure 1 représente schématiquement une situation rencontrée sur une route par un véhicule automobile équipé d’un système selon l’invention ; - la figure 2 donne un synoptique simplifié illustrant le fonctionnement d’un détecteur de piéton de type Adaboost ; - la figure 3 donne un synoptique simplifié illustrant certaines étapes susceptibles d’être mise en œuvre dans un procédé conforme à l’invention ; - la figure 4 illustre un principe de segmentation des régions d’intérêt.In addition to the main features that have just been mentioned in the preceding paragraph, the method according to the invention may have one or more additional characteristics among the following: - each region of interest of the first subset which has given rise to detection of an object; and re-scanning for the following images on a second subset of successive regions of interest limited on the one hand, to the stored regions of interest and the regions contiguous to the stored regions of interest, and on the other hand, to the K regions of interest of the first subset, by moving, at each iteration, said first subset of K successive regions of interest of at least one region of interest in the defined order of successive scales; said first subset of K successive regions of interest is displaced for example in at most K regions of interest; the scanning can be reiterated until the first subset of K successive regions of interest includes the region of interest of said predetermined set corresponding to the largest scale; the largest scale corresponds, for example, to the actual size of the image captured by the camera; said first subset of K successive regions of interest includes in a possible embodiment the region of interest of said predetermined set corresponding to the smallest scale; said first subset preferably comprises two successive regions of interest; each region of interest can moreover advantageously be segmented in the width direction into a plurality of zones of interest, and the method then comprises a step of reframing the stored regions of interest, or even regions contiguous to the regions of interest. interest, the reframing taking place in the area of interest that gave rise to an object detection. The invention also relates to a system for detecting objects by processing images captured by a camera, the system comprising a detector using a detection and / or pattern recognition algorithm capable of detecting at least one object by performing for each image of a succession of images, scanning a plurality of regions of interest by a sliding window, each region of interest corresponding to a different scale of each image, characterized in that said detector is programmed to select in a predetermined set of P regions of interest, classified in a defined order of successive scales, a first subset of K successive regions of interest on which the scanning by the sliding window is performed for a first image. The invention will be better understood on reading the description which follows, made with reference to the appended figures, in which: FIG. 1 schematically represents a situation encountered on a road by a motor vehicle equipped with a system according to the invention; ; FIG. 2 gives a simplified block diagram illustrating the operation of an Adaboost type pedestrian detector; FIG. 3 gives a simplified block diagram illustrating certain steps that can be implemented in a method according to the invention; FIG. 4 illustrates a principle of segmentation of the regions of interest.
Dans la suite et en référence à la figure 1, on suppose à titre d’exemple qu’un véhicule automobile 1 équipé d’une caméra , de paramètres de calibration connus et apte à capter des images successives de paysages, se déplace sur une route 3. La caméra est, dans cet exemple, localisée à un endroit du véhicule qui correspond le mieux à ce que le conducteur voit, par exemple centrée au niveau du pare-brise à l’intérieur de l’habitacle. D’autres positionnements peuvent néanmoins être envisagés sans départir du cadre de l’invention, par exemple sur le pare-choc arrière pour une caméra de recul, ou plus généralement à n’importe quel endroit du véhicule selon la zone que l’on souhaite observer. Le véhicule automobile 1 comporte en outre un module de traitement (non représenté) formant, avec la caméra 2, un système permettant de détecter la présence d’un piéton 4, et d’agir sur un système d’aide à la conduite en fonction d’une estimation de la distance séparant le piéton 4 du véhicule automobile 1. La détection de piétons est prise ici à titre d’exemple non limitatif, le système pouvant être prévu pour la détection d’autres objets. Ainsi, la caméra 2 capture les images de la scène routière située à l’avant du véhicule 1 et fournit ces images au module de traitement d’images du système.In the following and with reference to Figure 1, it is assumed by way of example that a motor vehicle 1 equipped with a camera, known calibration parameters and able to capture successive images of landscapes, moves on a road 3. The camera is, in this example, located at a location of the vehicle that best corresponds to what the driver sees, for example centered at the level of the windshield inside the cockpit. Other positions can nevertheless be envisaged without departing from the scope of the invention, for example on the rear bumper for a rear view camera, or more generally at any location of the vehicle depending on the area that is desired observe. The motor vehicle 1 further comprises a processing module (not shown) forming, with the camera 2, a system for detecting the presence of a pedestrian 4, and to act on a driving assistance system according to an estimate of the distance separating the pedestrian 4 from the motor vehicle 1. The detection of pedestrians is taken here as a non-limiting example, the system being able to be provided for the detection of other objects. Thus, the camera 2 captures the images of the road scene located at the front of the vehicle 1 and supplies these images to the image processing module of the system.
Comme représenté très schématiquement sur la figure 2, chaque image I, captée par la caméra est délivrée à un détecteur 5, dans cet exemple non limitatif, un détecteur de piétons, comportant une base d’apprentissage 50 avec des exemples de piétons d’une part, et de fonds d’autre part, et son classifieur associé 51. Le classifieur 51 est apte à implémenter l’algorithme de type Viola et Jones décrit ci-avant, avec les modifications liées à l’invention. On rappelle que cet algorithme consiste en général à balayer chaque région d’intérêt Ri,p d’un ensemble E de P régions d’intérêt correspondant à P échelles possibles de l’image d’origine I,, par une imagette de taille prédéterminée. Lorsqu’un piéton est détecté par ce traitement, le détecteur 5 de piéton délivre en sortie une boîte englobante 52 qui délimite une zone d’image représentative du piéton 4 détecté. Le traitement ci-dessus est réitéré pour chaque image reçue.As shown very schematically in FIG. 2, each image I, captured by the camera, is delivered to a detector 5, in this non-limiting example, a pedestrian detector, comprising a learning base 50 with examples of pedestrians of a on the other hand, and its associated classifier 51. The classifier 51 is able to implement the Viola and Jones type algorithm described above, with the modifications related to the invention. It will be recalled that this algorithm generally consists in scanning each region of interest Ri, p of a set E of P regions of interest corresponding to P possible scales of the original image I ,, by a thumbnail of predetermined size. . When a pedestrian is detected by this treatment, the pedestrian detector 5 outputs a bounding box 52 which delimits an image area representative of the pedestrian 4 detected. The above processing is reiterated for each image received.
Afin de limiter le temps de traitement précédent, le procédé conforme à l’invention propose de ne balayer, pour chaque image reçue I,, qu’un sous-ensemble de régions d’intérêt comprenant au maximum un nombre limité de K régions d’intérêt successives (entier K inférieur à P), ainsi que des régions d’intérêt ayant donné lieu à une détection pour l’image précédente 1,-1 (appelées dans la suite régions d’intérêt validées ou mémorisées) ou contiguës à ces régions d’intérêt validées. A chaque itération, c’est-à-dire lors du traitement d’une nouvelle image captée, on change de préférence en outre les K régions d’intérêt successives qui vont être balayées.In order to limit the previous processing time, the method according to the invention proposes to scan, for each received image I ,, only a subset of regions of interest comprising at most a limited number of K regions of successive interest (integer K less than P), as well as regions of interest having given rise to a detection for the preceding image 1, -1 (hereinafter referred to as validated or stored regions of interest) or contiguous to these regions validated interest. At each iteration, that is to say during the processing of a new captured image, the K successive regions of interest that will be scanned are preferably furthermore changed.
Un exemple d’étapes susceptibles d’être effectuées conformément au procédé selon l’invention va être décrit en référence à la figure 3.An example of steps that can be performed according to the method according to the invention will be described with reference to FIG.
Sur cette figure 3, I, est représentative d’une image captée à l’instant i par la caméra (étape S0). L’ensemble E de régions d’intérêts qui devraient être balayées si l’on devait appliquer la méthode classique de Viola et Jones par un détecteur à reconnaissance de formes de type Adaboost comprend normalement P régions d’intérêts notées par commodité Ri,p, correspondant à P échelles différentes de l’image l,, classées par ordre croissant d’échelles successives. Ainsi, pour chaque image I, : E = { Ri,i ; Ri,2 ; ...Ri,p} avec Rj,p la région d’intérêt correspondant à l’image I, de la taille réelle (en d’autres termes, Rj P= I j), et R,,i la région d’intérêt correspondant à cette même image à la plus petite échelle, par exemple une échelle de 0,025 correspondant à un un sous échantillonnage, c’est-à-dire une diminution de la résolution de l’image l,.In this figure 3, I, is representative of an image captured at time i by the camera (step S0). The set E of regions of interest that would have to be scanned if the conventional Viola and Jones method were to be applied by an Adaboost-type pattern recognition detector normally comprises P regions of interest denoted by convenience Ri, p, corresponding to P different scales of the image l ,, sorted in ascending order of successive scales. Thus, for each image I,: E = {Ri, i; Ri, 2; ... Ri, p} with Rj, p the region of interest corresponding to image I, the real size (in other words, Rj P = I j), and R ,, i the region of interest corresponding to the same image at the smallest scale, for example a scale of 0.025 corresponding to a sub-sampling, that is to say a decrease in the resolution of the image 1 ,.
On supposera dans la suite, pour simplifier, que la valeur P est égale à 8. En pratique, la valeur de P dépend de nombreux critères, tels que l’orientation de la caméra, la portée de détection que l’on cherche.In the following, it will be assumed for the sake of simplicity that the value P is equal to 8. In practice, the value of P depends on numerous criteria, such as the orientation of the camera, the range of detection that is sought.
Ici, conformément à l’invention, on prévoit de sélectionner dans un premier temps (étape S^) un premier sous-ensemble E’ comportant seulement K régions d’intérêt successives parmi les P possibles. A titre d’exemple non limitatif, l’entier K est fixé égal à 2. Le premier sous-ensemble E’ peut donc s’écrire sous la forme mathématique suivante : E = { Ri,m ! Ri,m +1} avec m un entier quelconque compris entre 1 et P-1.Here, according to the invention, it is provided to select in a first step (step S 1) a first subset E 'having only K successive regions of interest among the possible P's. By way of nonlimiting example, the integer K is set equal to 2. The first subset E 'can therefore be written in the following mathematical form: E = {Ri, m! Ri, m +1} with m any integer between 1 and P-1.
On effectue alors, sur chacune des régions d’intérêt successives du premier sous-ensemble E’, ici au nombre de 2, un balayage classique par la fenêtre glissante, de manière à détecter la présence éventuelle d’un ou plusieurs piétons dans ces régions d’intérêt (étape S2). Chaque région d’intérêt ayant effectivement donné lieu à une détection de piéton est alors mémorisée.Then, on each of the successive regions of interest of the first subset E ', here two in number, a conventional scanning by the sliding window is carried out so as to detect the possible presence of one or more pedestrians in these regions. of interest (step S2). Each region of interest having actually given rise to a pedestrian detection is then stored.
Pour l’image suivante (i = i+1), on réitère le balayage sur un deuxième sous-ensemble E” dont le nombre de régions d’intérêt dépend des détections réalisées à l’étape précédente.For the next image (i = i + 1), the scanning is reiterated on a second subset E "whose number of regions of interest depends on the detections made in the previous step.
Plus précisément, dans le cas où le balayage précédent n’a permis aucune détection (branche de gauche du test référencé S3 sur la figure 3), le deuxième sous-ensemble E” correspond au contenu de premier sous-ensemble E’ réactualisé en déplaçant ledit premier sous-ensemble d’au moins une région d’intérêt dans l’ordre croissant d’échelles successives. Dans l’exemple représenté sur la figure 3, ceci correspond à l’étape S4, dans laquelle le déplacement correspond à exactement une région d’intérêt. Il convient de noter, de façon plus générale, que le déplacement ne peut être supérieur à l’entier K. Ainsi, le deuxième sous-ensemble E” peut s’écrire dans ce cas sous la forme mathématique suivante : E” = E’ = {Ri,m+1 ; Ri,m+2 } ce qui signifie que, pour l’image suivante, le balayage par l’imagette ne s’effectuera là encore que sur deux régions d’intérêt successives.More precisely, in the case where the preceding scan did not allow any detection (left branch of the test referenced S3 in FIG. 3), the second subset E "corresponds to the content of the first subset E 'updated by moving said first subset of at least one region of interest in ascending order of successive scales. In the example shown in FIG. 3, this corresponds to step S4, in which the displacement corresponds to exactly one region of interest. It should be noted, more generally, that the displacement can not be greater than the integer K. Thus, the second subset E "can be written in this case in the following mathematical form: E" = E ' = {R1, m + 1; Ri, m + 2} which means that, for the next image, the image scan will again be performed on only two successive regions of interest.
Dans le cas contraire (branche de droite du test S3 sur la figure 3), le deuxième sous-ensemble E” de régions d’intérêt successives comprend d’une part, les régions d’intérêt mémorisées, voire celles contiguës aux régions d’intérêt mémorisées, et d’autre part, le contenu du premier ensemble E’ réactualisé comme expliqué précédemment, par déplacement d’au moins une région d’intérêt. Dans l’exemple représenté sur la figure 3, ceci correspond à l’étape S5, à l’issue de laquelle le deuxième sous-ensemble E” peut s’écrire sous la forme mathématique suivante, en supposant que l’étape S2 a permis la détection d’un objet dans la région d’intérêt Rj,m : E = Ri,m U E = Ri,m U { R^m+1 ! Ri,m+2 } ce qui signifie que, pour l’image suivante, le balayage par l’imagette ne s’effectuera que sur trois régions d’intérêt successives.In the opposite case (right branch of the test S3 in FIG. 3), the second subset E "of successive regions of interest comprises, on the one hand, the regions of interest that are stored, or even those contiguous to the regions of interest. stored interest, and secondly, the content of the first set E 'updated as explained above, by moving at least one region of interest. In the example shown in FIG. 3, this corresponds to step S5, after which the second subset E "can be written in the following mathematical form, assuming that step S2 has enabled detecting an object in the region of interest Rj, m: E = Ri, m UE = Ri, m U {R ^ m + 1! Ri, m + 2}, which means that, for the next image, the scanning by the image will only take place on three successive regions of interest.
Le balayage est réitéré pour chaque image reçue selon le même principe, et ce, jusqu’à ce que le contenu réactualisé du premier sous-ensemble E’ inclue la région d’intérêt R,,p correspondant à la plus grande échelle.The scanning is reiterated for each image received according to the same principle, until the updated content of the first subset E 'includes the region of interest R ,, p corresponding to the largest scale.
Pour fixer les idées, le tableau 1 ci-après montre les régions d’intérêt qui sont examinées à chaque itération sur 7 images successives, en fonction des détections réalisées. Dans cet exemple : P=8, K= 2 et m=1, de sorte que le premier sous-ensemble utilisé pour la première image reçue est E’ = { R-1,1 ; Ri ,2} et inclut donc ici la région d’intérêt de l’ensemble E prédéterminé correspondant à la plus petite échelle.To fix the ideas, Table 1 below shows the regions of interest which are examined at each iteration over 7 successive images, as a function of the detections made. In this example: P = 8, K = 2 and m = 1, so that the first subset used for the first received image is E '= {R-1,1; Ri, 2} and thus includes here the region of interest of the predetermined set E corresponding to the smallest scale.
tableau 1table 1
Dans le tableau précédent, on remarque que, tant qu’il n’y a pas de détection (deux première lignes du tableau), le premier ensemble E’ est déplacé d’une région d’intérêt, et le balayage par l’imagette ne s’effectue que sur les deux régions d’intérêt de cet ensemble E’. A la première détection effectuée (ligne 3 du tableau), le premier ensemble est réactualisé par déplacement d’une région d’intérêt, mais on conserve également pour l’examen de l’image d’après la région d’intérêt R^, laquelle correspond à une région contigüe et immédiatement inférieure (dans le sens des échelles croissantes) de celle ayant donné lieu à une détection sur la troisième image. L’avantage est ici d’éviter de perdre le suivi d’un objet qui se déplacerait en direction de la voiture. Certaines régions d’intérêt peuvent être abandonnées à Γ itérât ion suivante si elles n’ont pas donné lieu à des détections. Enfin, la totalité des huit régions d’intérêt ayant été balayées entre la première image et la septième image de balayage, la dernière ligne montre que l’on recommence par l’examen des deux premières régions d’intérêt pour la huitième image.In the previous table, it is noted that, as long as there is no detection (first two rows of the table), the first set E 'is moved from a region of interest, and the scan by the thumbnail only on the two regions of interest of this set E '. At the first detection performed (row 3 of the table), the first set is updated by displacement of a region of interest, but it is also retained for the examination of the image according to the region of interest R ^, which corresponds to a contiguous and immediately inferior region (in the direction of increasing scales) of that which has given rise to a detection on the third image. The advantage here is to avoid losing the tracking of an object that would move towards the car. Some regions of interest may be dropped at the next iteration if they have not been detected. Finally, all eight regions of interest having been scanned between the first image and the seventh scan image, the last line shows that we start again by examining the first two regions of interest for the eighth image.
Il convient d’ailleurs de noter que la plage de balayage pour l’ensemble E’ ne correspond pas forcément à la totalité de l’ensemble E d’origine, comprenant ici huit régions d’intérêt. On pourrait par exemple se limiter à un déplacement de l’ensemble E’ sur les régions d’intérêt correspondant aux plus grandes échelles de l’ensemble E. L’exemple précédent illustre le gain de traitement que l’on peut atteindre par l’examen d’un nombre limité de régions d’intérêts.It should also be noted that the scanning range for the set E 'does not necessarily correspond to the whole of the set E of origin, here comprising eight regions of interest. One could for example be limited to a displacement of the set E 'on the regions of interest corresponding to the largest scales of the set E. The preceding example illustrates the gain of treatment that can be achieved by the review of a limited number of regions of interest.
Ce gain de traitement peut encore être amélioré en combinant le procédé de traitement précédent à un traitement de recadrage (« cropping » en terminologie anglo-saxonne) des régions d’intérêt ayant données lieu à une détection. Pour ce faire, on considère que chaque région d’intérêt Rj,m peut être segmentée, dans le sens de la largeur, en une pluralité de zones, par exemple trois zones comme cela est illustré sur la figure 4 par des hachures d’orientation différentes. On note RLi,m la zone de gauche, RCi,m , la zone centrale, et RRj,m la zone de droite. Lorsque le traitement d’une image I, a donné le lieu à une détection dans une zone spécifique d’une région d’intérêt donnée, on recadre, à l’itération d’après, cette région d’intérêt uniquement sur cette zone spécifique. Les zones spécifiques se recouvrent de préférence dans une large mesure de manière à éviter de perdre le suivi d’un objet qui se déplacerait rapidement en latéral dans les images. Le tableau 2 suivant montre en gras les modifications apportées au tableau 1 lorsque l’on fait intervenir le recadrage.This processing gain can be further improved by combining the previous processing method with a cropping treatment ("cropping" in English terminology) regions of interest that have given rise to a detection. To do this, it is considered that each region of interest Rj, m can be segmented, in the width direction, into a plurality of zones, for example three zones as illustrated in FIG. 4 by orientation hatching. different. We write RLi, m the left-hand zone, RCi, m, the central zone, and RRj, m the right zone. When the processing of an image I has given rise to detection in a specific zone of a given region of interest, this region of interest is reframed to the specific zone at the iteration afterwards. . The specific areas preferably overlap to a large extent so as to avoid losing track of an object that would move rapidly laterally in the images. The following Table 2 shows in bold the changes made in Table 1 when cropping is used.
tableau 2table 2
Les simulations effectuées par la Demanderesse ont pu montrer que la solution décrite ci-dessus peut réduire d’un facteur 10 le temps de traitement nécessaire à l’examen d’une scène (succession d’images) lorsqu’aucun objet n’a été détecté. Bien sûr, ce facteur est moins élevé en cas de détection d’objets, mais le temps de traitement reste tout de même globalement amélioré par rapport à un algorithme classique de Viola et Jones.The simulations carried out by the Applicant have shown that the solution described above can reduce by a factor of 10 the processing time necessary for the examination of a scene (succession of images) when no object has been detected. Of course, this factor is lower in case of object detection, but the processing time still remains globally improved compared to a conventional Viola and Jones algorithm.
Par ailleurs, le procédé de l’invention permet un niveau de précision de détection variable en fonction de la distance à laquelle se situent les objets, avec une précision plus élevée pour les objets proches, ce qui est tout à fait souhaitable lorsque l’on doit appliquer rapidement une stratégie d’évitement.Furthermore, the method of the invention allows a level of detection precision variable depending on the distance to which objects are located, with a higher accuracy for nearby objects, which is quite desirable when one must quickly implement an avoidance strategy.
Claims (10)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1556520A FR3038760B1 (en) | 2015-07-09 | 2015-07-09 | DETECTION OF OBJECTS BY PROCESSING IMAGES |
| PCT/EP2016/066381 WO2017005930A1 (en) | 2015-07-09 | 2016-07-11 | Detection of objects by image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1556520A FR3038760B1 (en) | 2015-07-09 | 2015-07-09 | DETECTION OF OBJECTS BY PROCESSING IMAGES |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3038760A1 true FR3038760A1 (en) | 2017-01-13 |
| FR3038760B1 FR3038760B1 (en) | 2018-08-17 |
Family
ID=54707876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1556520A Active FR3038760B1 (en) | 2015-07-09 | 2015-07-09 | DETECTION OF OBJECTS BY PROCESSING IMAGES |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3038760B1 (en) |
| WO (1) | WO2017005930A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476157A (en) * | 2020-04-07 | 2020-07-31 | 南京慧视领航信息技术有限公司 | Lane guide arrow recognition method under intersection monitoring environment |
| CN112215219A (en) * | 2020-09-14 | 2021-01-12 | 北京百度网讯科技有限公司 | Region-of-interest acquisition method and device for roadside shooting equipment and medium |
-
2015
- 2015-07-09 FR FR1556520A patent/FR3038760B1/en active Active
-
2016
- 2016-07-11 WO PCT/EP2016/066381 patent/WO2017005930A1/en active Application Filing
Non-Patent Citations (3)
| Title |
|---|
| "Correct System Design", vol. 9117, 9 June 2015, SPRINGER INTERNATIONAL PUBLISHING, Cham, ISBN: 978-3-642-28871-5, ISSN: 0302-9743, article ALEJANDRO GONZÁLEZ ET AL: "3D-Guided Multiscale Sliding Window for Pedestrian Detection", pages: 560 - 568, XP055255297, 032548, DOI: 10.1007/978-3-319-19390-8_63 * |
| FEIDIE LIANG ET AL: "Fast Pedestrian Detection Based on Sliding Window Filtering", 4 December 2012, ADVANCES IN MULTIMEDIA INFORMATION PROCESSING PCM 2012, SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 811 - 822, ISBN: 978-3-642-34777-1, XP047014270 * |
| SHAOQING REN ET AL: "Object Detection Networks on Convolutional Feature Maps", CORR, 23 April 2015 (2015-04-23), XP055255038, Retrieved from the Internet <URL:http://arxiv.org/pdf/1504.06066v1.pdf> [retrieved on 20160303] * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476157A (en) * | 2020-04-07 | 2020-07-31 | 南京慧视领航信息技术有限公司 | Lane guide arrow recognition method under intersection monitoring environment |
| CN111476157B (en) * | 2020-04-07 | 2020-11-03 | 南京慧视领航信息技术有限公司 | Lane guide arrow recognition method under intersection monitoring environment |
| CN112215219A (en) * | 2020-09-14 | 2021-01-12 | 北京百度网讯科技有限公司 | Region-of-interest acquisition method and device for roadside shooting equipment and medium |
| CN112215219B (en) * | 2020-09-14 | 2023-11-24 | 阿波罗智联(北京)科技有限公司 | Method, device and medium for acquiring region of interest for road side shooting equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3038760B1 (en) | 2018-08-17 |
| WO2017005930A1 (en) | 2017-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2275971B1 (en) | Method of obstacle detection for a vehicle | |
| EP3572976A1 (en) | Method for processing a video image stream | |
| Creusot et al. | Real-time small obstacle detection on highways using compressive RBM road reconstruction | |
| EP2930659B1 (en) | Method for detecting points of interest in a digital image | |
| BE1026095B1 (en) | Image processing device | |
| EP3271869B1 (en) | Method for processing an asynchronous signal | |
| US20130265424A1 (en) | Reconfigurable clear path detection system | |
| EP2275970A1 (en) | Method of obstacle detection for a vehicle | |
| EP3707676A1 (en) | Method for estimating the installation of a camera in the reference frame of a three-dimensional scene, device, augmented reality system and associated computer program | |
| EP3200153B1 (en) | Method for detecting targets on the ground and in motion, in a video stream acquired with an airborne camera | |
| WO2009141378A1 (en) | Method and system for indexing and searching for video documents | |
| FR3085219A1 (en) | MOVING OBJECT DETECTION APPARATUS AND MOVING OBJECT DETECTION METHOD | |
| FR3086434A1 (en) | METHOD AND SYSTEM FOR NON-DESTRUCTIVE INSPECTION OF AN AERONAUTICAL PART BY CONTOUR ADJUSTMENT | |
| WO2018138064A1 (en) | Detection of obstacles in the environment of a motor vehicle by image processing | |
| EP3311333B1 (en) | Pairing of images of postal articles with descriptors of singularities of the gradient field | |
| FR3027432A1 (en) | DISTANCE ESTIMATION OF A PIETON BY AN IMAGING SYSTEM ON A MOTOR VEHICLE | |
| WO2017005930A1 (en) | Detection of objects by image processing | |
| EP0769760B1 (en) | Method of automatically detecting evaluation zones in images of mechanical parts | |
| FR3083352A1 (en) | METHOD AND DEVICE FOR FAST DETECTION OF REPETITIVE STRUCTURES IN THE IMAGE OF A ROAD SCENE | |
| EP1522951A1 (en) | Determination of text-discriminating characteristics in digital images | |
| CN112465735A (en) | Pedestrian detection method, device and computer-readable storage medium | |
| EP2769360B1 (en) | Method for locating objects by resolution in the three-dimensional space of the scene | |
| WO2018185398A1 (en) | Method and device for processing images acquired by a camera of a motor vehicle | |
| FR3058247B1 (en) | DETECTION OF OBSTACLES AROUND A MOTOR VEHICLE | |
| Kou et al. | A lane boundary detection method based on high dynamic range image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20170113 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |
|
| PLFP | Fee payment |
Year of fee payment: 9 |