FR3062943A1 - METHOD OF PROCESSING IMAGES FOR DETECTION OF AN OBJECT ALONG A ROAD - Google Patents
METHOD OF PROCESSING IMAGES FOR DETECTION OF AN OBJECT ALONG A ROAD Download PDFInfo
- Publication number
- FR3062943A1 FR3062943A1 FR1751123A FR1751123A FR3062943A1 FR 3062943 A1 FR3062943 A1 FR 3062943A1 FR 1751123 A FR1751123 A FR 1751123A FR 1751123 A FR1751123 A FR 1751123A FR 3062943 A1 FR3062943 A1 FR 3062943A1
- Authority
- FR
- France
- Prior art keywords
- image
- vehicle
- distance
- kalman filter
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 title description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000005259 measurement Methods 0.000 claims description 43
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000011664 signaling Effects 0.000 abstract description 19
- 230000033001 locomotion Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
La présente invention a pour objet un procédé de traitement d'un flux vidéo d'images capturées par une caméra embarquée dans un véhicule automobile et exploité par un calculateur embarqué dans ledit véhicule pour détecter un feu de signalisation et estimer la distance séparant le véhicule dudit feu de signalisation en appliquant un filtre de Kalman. Le procédé comprend une étape (E2) de sélection d'une première image et d'une deuxième image, une étape (E3) de détermination d'un indicateur de qualité de la distance estimée par le filtre de Kalman à partir de grandeurs relatives au feu de signalisation calculées à partir de la première image et de la deuxième image, une étape (E4) de détection d'une erreur de calcul de la distance par le filtre de Kalman à partir dudit indicateur de qualité et une étape (E5) de réinitialisation du filtre de Kalman lorsqu'une erreur a été détectée.The subject of the present invention is a method for processing a video stream of images captured by a camera embedded in a motor vehicle and operated by a computer embedded in said vehicle for detecting a signaling light and for estimating the distance separating the vehicle from said vehicle. traffic light by applying a Kalman filter. The method comprises a step (E2) for selecting a first image and a second image, a step (E3) for determining a quality indicator of the distance estimated by the Kalman filter from quantities relative to the traffic light calculated from the first image and the second image, a step (E4) for detecting a calculation error of the distance by the Kalman filter from said quality indicator and a step (E5) of reset the Kalman filter when an error has been detected.
Description
Titulaire(s) : CONTINENTAL AUTOMOTIVE FRANCE Société par actions simplifiée, CONTINENTAL AUTOMOTIVE GMBH.Holder (s): CONTINENTAL AUTOMOTIVE FRANCE Simplified joint-stock company, CONTINENTAL AUTOMOTIVE GMBH.
Demande(s) d’extensionExtension request (s)
Mandataire(s) : CONTINENTAL AUTOMOTIVE FRANCE Société par actions simplifiée.Agent (s): CONTINENTAL AUTOMOTIVE FRANCE Simplified joint-stock company.
PROCEDE DE TRAITEMENT D'IMAGES POUR LA DETECTION D'UN OBJET LE LONG D'UNE ROUTE.IMAGE PROCESSING METHOD FOR DETECTION OF AN OBJECT ALONG A ROAD.
FR 3 062 943 - A1 _ La présente invention a pour objet un procédé de traitement d'un flux vidéo d'images capturées par une caméra embarquée dans un véhicule automobile et exploité par un calculateur embarqué dans ledit véhicule pour détecter un feu de signalisation et estimer la distance séparant le véhicule dudit feu de signalisation en appliquant un filtre de Kalman. Le procédé comprend une étape (E2) de sélection d'une première image et d'une deuxième image, une étape (E3) de détermination d'un indicateur de qualité de la distance estimée par le filtre de Kalman à partir de grandeurs relatives au feu de signalisation calculées à partir de la première image et de la deuxième image, une étape (E4) de détection d'une erreur de calcul de la distance par le filtre de Kalman à partir dudit indicateur de qualité et une étape (E5) de réinitialisation du filtre de Kalman lorsqu'une erreur a été détectée.FR 3,062,943 - A1 _ The subject of the present invention is a method of processing a video stream of images captured by a camera on board a motor vehicle and used by a computer on board said vehicle to detect a signaling light and estimate the distance between the vehicle and said traffic light by applying a Kalman filter. The method comprises a step (E2) of selecting a first image and a second image, a step (E3) of determining a quality indicator of the distance estimated by the Kalman filter from quantities relative to the signaling light calculated from the first image and from the second image, a step (E4) of detection of a distance calculation error by the Kalman filter from said quality indicator and a step (E5) of resetting the Kalman filter when an error has been detected.
ElEl
E2E2
E3E3
E4E4
E5E5
L’invention se rapporte au domaine de l’assistance à la conduite automobile et concerne plus précisément un procédé de traitement d’images pour la détection d’un objet à partir d’images capturées par une caméra embarquée dans un véhicule automobile.The invention relates to the field of driving assistance and more specifically relates to an image processing method for the detection of an object from images captured by an on-board camera in a motor vehicle.
L’invention permet notamment d’améliorer l’estimation de la distance séparant le véhicule de l’objet afin de permettre une meilleure assistance au conducteur. L’invention trouve en particulier son application dans la détection d’un feu de signalisation placé le long d’une route sur laquelle circule le véhicule.The invention notably makes it possible to improve the estimation of the distance separating the vehicle from the object in order to allow better assistance to the driver. The invention finds its application in particular in the detection of a traffic light placed along a road on which the vehicle is traveling.
De nos jours, les véhicules automobiles utilisent de manière connue des systèmes d’aide à la conduite afin d’assister le conducteur dans ses manœuvres, rendant ainsi la conduite plus aisée et sécurisée.Motor vehicles today use driver assistance systems in a known manner to assist the driver in his maneuvers, thereby making driving easier and safer.
Un tel système d’aide à la conduite utilise une caméra, par exemple montée dans la partie haute du pare-brise avant, qui filme l’avant du véhicule et fournit les images à un calculateur embarqué qui les exploite.Such a driving assistance system uses a camera, for example mounted in the upper part of the front windshield, which films the front of the vehicle and provides the images to an on-board computer which uses them.
Une fonction connue d’un tel système d’aide à la conduite consiste à détecter les feux de signalisation, notamment pour informer le conducteur lorsqu’un feu de signalisation est rouge et lui permettre ainsi de stopper le véhicule.A known function of such a driving assistance system consists in detecting the traffic lights, in particular to inform the driver when a traffic light is red and thus allow him to stop the vehicle.
En pratique, pour réaliser cette détection, le calculateur réalise un suivi des zones lumineuses apparaissant sur les images acquises par la caméra.In practice, to carry out this detection, the computer tracks the light areas appearing on the images acquired by the camera.
Une telle détection doit être réalisée suffisamment tôt pour permettre au conducteur de stopper le véhicule et il est donc nécessaire de déterminer avec précision la distance à parcourir par le véhicule avant de se trouver en regard du feu.Such a detection must be carried out early enough to allow the driver to stop the vehicle and it is therefore necessary to determine with precision the distance to be traveled by the vehicle before being in front of the fire.
Dans une solution connue, cette distance est calculée en utilisant un filtre de Kalman basé sur un vecteur de flux de mouvement et une estimation du modèle de mouvement de la caméra.In a known solution, this distance is calculated using a Kalman filter based on a motion flow vector and an estimate of the motion model of the camera.
Lorsque le feu de signalisation est détecté à grande distance, par exemple plus de 80 mètres, le filtre de Kalman peut atteindre un minimum local du fait de la faible précision du vecteur de flux de mouvement. Dans ce cas, l’imprécision du modèle de mouvement de la caméra impacte davantage l’estimation de la distance par le filtre de Kalman dont l’erreur se trouve alors difficile à dé-corréler.When the traffic light is detected at a long distance, for example more than 80 meters, the Kalman filter can reach a local minimum due to the low precision of the motion flow vector. In this case, the imprecision of the camera's motion model has a greater impact on the estimation of the distance by the Kalman filter, the error of which is then difficult to decorrelate.
La présente invention a pour but de remédier à ces inconvénients en détectant une erreur introduite par le filtre de Kalman sur l’estimation de la distance afin de l’éliminer.The present invention aims to remedy these drawbacks by detecting an error introduced by the Kalman filter on the estimation of the distance in order to eliminate it.
A cette fin, l’invention a tout d’abord pour objet un procédé de traitement d’un flux vidéo d’images capturées par une caméra embarquée dans un véhicule automobile, ledit flux vidéo d’images étant exploité par un calculateur embarqué dans ledit véhicule pour détecter un objet situé dans l’environnement du véhicule et estimer la distance séparant le véhicule dudit objet en appliquant un filtre de Kalman, préalablement initialisé, à la région de l’image représentant l’objet détecté.To this end, the invention firstly relates to a method for processing a video stream of images captured by an on-board camera in a motor vehicle, said video stream of images being used by a computer embedded in said vehicle to detect an object located in the environment of the vehicle and estimate the distance separating the vehicle from said object by applying a Kalman filter, previously initialized, to the region of the image representing the detected object.
Le procédé, mis en oeuvre par le calculateur, est remarquable en ce qu’il comprend une étape de sélection, dans le flux vidéo d’images, d’une première image et d’une deuxième image, postérieure à la première image, une étape de détermination d’un indicateur de qualité de la distance estimée par le filtre de Kalman à partir de grandeurs relatives à l’objet, calculées à partir de la première image et de la deuxième image, une étape de détection d’une erreur de calcul de la distance par le filtre de Kalman à partir dudit indicateur de qualité et une étape de réinitialisation du filtre de Kalman lorsqu’une erreur a été détectée.The method, implemented by the computer, is remarkable in that it comprises a step of selecting, in the video stream of images, a first image and a second image, after the first image, a step of determining a quality indicator of the distance estimated by the Kalman filter from quantities relative to the object, calculated from the first image and the second image, a step of detecting an error of calculation of the distance by the Kalman filter from said quality indicator and a step of resetting the Kalman filter when an error has been detected.
Par les termes « distance séparant le véhicule dudit objet », on entend ici la distance restant à parcourir par le véhicule en ligne droite afin qu’il arrive à la hauteur de l’objet.By the terms "distance separating the vehicle from said object" is meant here the distance remaining to be traveled by the vehicle in a straight line so that it arrives at the height of the object.
L’utilisation d’un indicateur de qualité sur l’estimation de la distance faite par le filtre de Kalman à partir de grandeurs relatives à l’objet permet de déterminer de manière aisée et efficace l’existence d’une erreur dans les calculs du filtre. Une fois cette erreur détectée, la réinitialisation du filtre permet de supprimer cette erreur afin de permettre une assistance à la conduite fiable et sécurisée.The use of a quality indicator on the estimation of the distance made by the Kalman filter from quantities relative to the object makes it possible to easily and efficiently determine the existence of an error in the calculations of the filtered. Once this error has been detected, resetting the filter will remove this error to allow safe and reliable driving assistance.
De préférence, l’objet est statique. A titre d’exemple, l’objet peut être un feu de signalisation ou un panneau disposé le long d’une route sur laquelle roule le véhicule.Preferably, the object is static. For example, the object may be a traffic light or a sign placed along a road on which the vehicle is traveling.
Dans un premier mode de réalisation, l’indicateur de qualité comprend une mesure de la qualité du filtre de Kalman et une mesure des dimensions de l’objet détecté à partir de la première image et de la deuxième image afin de s’assurer qu’il correspond à l’objet attendu.In a first embodiment, the quality indicator comprises a measurement of the quality of the Kalman filter and a measurement of the dimensions of the object detected from the first image and from the second image in order to ensure that it corresponds to the expected object.
De préférence, la mesure de qualité est déterminée à partir de la distance entre la caméra et l’objet calculée à partir de la première image, de la distance entre la caméra et l’objet calculée à partir de la deuxième image et de la distance parcourue par le véhicule entre l’instant d’acquisition de la première image et l’instant d’acquisition de la deuxième image.Preferably, the quality measure is determined from the distance between the camera and the object calculated from the first image, from the distance between the camera and the object calculated from the second image and from the distance traveled by the vehicle between the time of acquisition of the first image and the time of acquisition of the second image.
Avantageusement, la mesure de qualité IF1 est déterminée selon l’équation suivante :Advantageously, the quality measure IF1 is determined according to the following equation:
IF1 = ( 1 - Δα2 x f---—- + — H x 100IF1 = (1 - Δα 2 x f ---—- + - H x 100
V \|αι-α2Ι où |ai-a2| est la norme du vecteur de déplacement de l’objet entre les deux images, a2 est la distance entre l’épipôle et l’objet calculée à partir de la deuxième image et Aa2 est la précision sur la mesure de a2 (où l’épipôle correspond au point d’intersection entre la droite qui passe par les centres optiques des deux images et le plan image).V \ | αι-α 2 Ι where | ai-a2 | is the norm of the displacement vector of the object between the two images, a2 is the distance between the epipole and the object calculated from the second image and Aa2 is the precision on the measurement of a2 (where the epipole corresponds to the point of intersection between the line which passes through the optical centers of the two images and the image plane).
Avantageusement, le filtre de Kalman est réinitialisé lorsque la mesure de qualité IF1 atteint un seuil prédéterminé, par exemple 45%, et que les dimensions de l’objet ne sont pas comprises dans au moins un intervalle de dimensions prédéterminées. Par exemple, dans le cas d’un feu de signalisation, on peut s’assurer que la taille du ou des disques lumineux détecté sur les images est comprise entre 10 et 50 cm (taille standard d’un disque lumineux d’un feu de signalisation tel qu’il apparaît sur les images) et que la hauteur du feu depuis le sol est inférieure à un seuil, par exemple 10 mètres.Advantageously, the Kalman filter is reset when the quality measure IF1 reaches a predetermined threshold, for example 45%, and the dimensions of the object are not included in at least one interval of predetermined dimensions. For example, in the case of a traffic light, it can be ensured that the size of the light disc (s) detected on the images is between 10 and 50 cm (standard size of a light disc of a traffic light signaling as it appears in the images) and that the height of the light from the ground is less than a threshold, for example 10 meters.
Dans un deuxième mode de réalisation, l’indicateur de qualité comprend une mesure d’erreur sur les dimensions de l’objet détecté.In a second embodiment, the quality indicator includes an error measurement on the dimensions of the object detected.
De préférence, la mesure d’erreur est déterminée à partir d’au moins une dimension de l’objet mesurée à partir de la première image, à partir d’au moins ladite dimension de l’objet mesurée à partir de la deuxième image et de la distance parcourue par le véhicule entre l’instant d’acquisition de la première image et l’instant d’acquisition de la deuxième image.Preferably, the error measurement is determined from at least one dimension of the object measured from the first image, from at least said dimension of the object measured from the second image and the distance traveled by the vehicle between the instant of acquisition of the first image and the instant of acquisition of the second image.
De manière avantageuse, la mesure d’erreur est déterminée à partir de dimensions (dites 3D) estimées à partir du filtre de Kalman et de dimensions (dites 2D) estimées à partir de la première image et de la deuxième image.Advantageously, the error measurement is determined from dimensions (called 3D) estimated from the Kalman filter and dimensions (called 2D) estimated from the first image and the second image.
Avantageusement, la mesure d’erreur IF2 est déterminée selon l’équation suivante :Advantageously, the error measurement IF2 is determined according to the following equation:
scalcible^ii^f^ kcilmcinwidtfo\ ^qq scalablewidth / où kalmanwidth correspond à une dimension de l’objet estimée par le filtre de Kalman (par exemple le rayon d’un disque lumineux du feu de signalisation) et est obtenu en utilisant la dimension (2D) de l’objet mesurée dans la deuxième image et la distance (3D) restant à parcourir par le véhicule pour atteindre l’objet, estimés à partir du filtre de Kalman, et scalablewidth où rt-i est la dimension considérée sur l’objet (par exemple le rayon d’un disque lumineux allumé sur le feu de signalisation) dans la première image, rt est la dimension considérée sur l’objet dans la deuxième image et T est la distance parcourue par le véhicule entre l’instant d’acquisition de la première image et l’instant d’acquisition de la deuxième image. La taille estimée à partir du filtre de Kalman s’obtient à partir de rt et de la distance estimée par ledit filtre.scalcible ^ ii ^ f ^ kcilmcin w i d tfo \ ^ qq scalable width / where kalman width corresponds to a dimension of the object estimated by the Kalman filter (for example the radius of a luminous disc of the traffic light) and is obtained by using the dimension (2D) of the object measured in the second image and the distance (3D) remaining to be traveled by the vehicle to reach the object, estimated from the Kalman filter, and scalable width where r t -i is the dimension considered on the object (for example the radius of a light disc lit on the traffic light) in the first image, r t is the dimension considered on the object in the second image and T is the distance traveled by the vehicle between the time of acquisition of the first image and the time of acquisition of the second image. The size estimated from the Kalman filter is obtained from r t and the distance estimated by said filter.
L’invention concerne également un véhicule automobile comprenant une caméra, configurée pour capturer un flux vidéo d’images représentant l’environnement du véhicule, et un calculateur configuré pour exploiter ledit flux vidéo d’images afin de détecter un objet situé dans l’environnement du véhicule et d’estimer la distance séparant le véhicule dudit objet en appliquant un filtre de Kalman, préalablement initialisé, à la région de l’image représentant l’objet détecté.The invention also relates to a motor vehicle comprising a camera, configured to capture a video stream of images representing the environment of the vehicle, and a computer configured to use said video stream of images to detect an object located in the environment. of the vehicle and to estimate the distance separating the vehicle from said object by applying a Kalman filter, previously initialized, to the region of the image representing the detected object.
Le véhicule est remarquable en ce que le calculateur est configuré pour sélectionner, dans le flux vidéo d’images, une première image et une deuxième image, postérieure à la première image, pour déterminer un indicateur de qualité de la distance estimée par le filtre de Kalman à partir de grandeurs relatives à l’objet, calculées à partir de la première image et de la deuxième image, pour détecter une erreur de calcul de la distance par le filtre de Kalman à partir dudit indicateur de qualité et pour réinitialiser le filtre de Kalman lorsqu’une erreur a été détectée.The vehicle is remarkable in that the computer is configured to select, in the video image stream, a first image and a second image, after the first image, to determine an indicator of the quality of the distance estimated by the filter. Kalman from quantities relating to the object, calculated from the first image and from the second image, in order to detect an error in calculating the distance by the Kalman filter from said quality indicator and to reset the filter Kalman when an error has been detected.
Dans une première forme de réalisation, l’indicateur de qualité comprend une mesure de la qualité du filtre de Kalman et une mesure des dimensions de l’objet détecté à partir de la première image et de la deuxième image afin de s’assurer qu’il correspond à l’objet attendu.In a first embodiment, the quality indicator comprises a measurement of the quality of the Kalman filter and a measurement of the dimensions of the object detected from the first image and from the second image in order to ensure that it corresponds to the expected object.
De préférence, le calculateur est configuré pour déterminer la mesure de qualité à partir de la distance entre la caméra et l’objet calculée à partir de la première image, de la distance entre la caméra et l’objet calculée à partir de la deuxième image et de la distance parcourue par le véhicule entre l’instant d’acquisition de la première image et l’instant d’acquisition de la deuxième image.Preferably, the computer is configured to determine the quality measure from the distance between the camera and the object calculated from the first image, from the distance between the camera and the object calculated from the second image and the distance traveled by the vehicle between the instant of acquisition of the first image and the instant of acquisition of the second image.
Avantageusement, le calculateur est configuré pour déterminer la mesure de qualité IF1 selon l’équation suivante :Advantageously, the computer is configured to determine the quality measure IF1 according to the following equation:
IF1 = ( 1 - Δα2 X f---—r + — Π X 100IF1 = (1 - Δα 2 X f ---— r + - Π X 100
V \|αι-α2Ι a/) où |ai-a2| est la norme du vecteur de déplacement de l’objet entre les deux images, a2 est la distance entre l’épipôle et l’objet calculée à partir de la deuxième image et Aa2 est la précision sur la mesure de a2 (où l’épipôle correspond au point d’intersection entre la droite qui passe par les centres optiques des deux images et le plan image).V \ | αι-α 2 Ι a /) where | ai-a 2 | is the norm of the object displacement vector between the two images, a 2 is the distance between the epipole and the object calculated from the second image and Aa 2 is the precision on the measurement of a 2 (where the epipole corresponds to the point of intersection between the straight line which passes through the optical centers of the two images and the image plane).
Avantageusement, le calculateur est configuré pour réinitialiser le filtre de Kalman lorsque la mesure de qualité IF1 atteint un seuil prédéterminé, par exemple 45%, et que les dimensions de l’objet ne sont pas comprises dans au moins un intervalle de dimensions prédéterminées. Par exemple, dans le cas d’un feu de signalisation, on peut s’assurer que la taille du ou des disques lumineux détecté sur les images est comprise entre 10 et 50 cm (taille standard d’un disque lumineux d’un feu de signalisation tel qu’ilAdvantageously, the computer is configured to reset the Kalman filter when the quality measurement IF1 reaches a predetermined threshold, for example 45%, and the dimensions of the object are not included in at least one interval of predetermined dimensions. For example, in the case of a traffic light, it can be ensured that the size of the light disc (s) detected on the images is between 10 and 50 cm (standard size of a light disc of a traffic light signage as it stands
apparaît sur les images) et que la hauteur du feu depuis le sol est inférieure à un seuil, par exemple 10 mètres.appears on the images) and that the height of the fire from the ground is below a threshold, for example 10 meters.
Dans une deuxième forme de réalisation, l’indicateur de qualité comprend une mesure d’erreur sur les dimensions de l’objet détecté.In a second embodiment, the quality indicator includes an error measurement on the dimensions of the object detected.
De préférence, le calculateur est configuré pour déterminer la mesure d’erreur à partir d’au moins une dimension de l’objet mesurée à partir de la première image, à partir d’au moins ladite dimension de l’objet mesurée à partir de la deuxième image et de la distance parcourue par le véhicule entre l’instant d’acquisition de la première image et l’instant d’acquisition de la deuxième image.Preferably, the computer is configured to determine the error measurement from at least one dimension of the object measured from the first image, from at least said dimension of the object measured from the second image and the distance traveled by the vehicle between the time of acquisition of the first image and the time of acquisition of the second image.
De manière avantageuse, le calculateur est configuré pour déterminer la mesure d’erreur à partir de dimensions (3D) estimées à partir du filtre de Kalman et de dimensions (2D) estimées à partir de la première image et de la deuxième image.Advantageously, the computer is configured to determine the error measurement from dimensions (3D) estimated from the Kalman filter and dimensions (2D) estimated from the first image and the second image.
Avantageusement, le calculateur est configuré pour déterminer la mesure d’erreur IF2 selon l’équation suivante :Advantageously, the computer is configured to determine the error measurement IF2 according to the following equation:
sccilable,^^^-^ — kalmanWÎdth\ * sccdcibleWidth / où kalmanwidth correspond à une dimension de l’objet estimée par le filtre de Kalman (par exemple le rayon d’un disque lumineux du feu de signalisation) et est obtenu en utilisant la dimension (2D) de l’objet mesurée dans la deuxième image et la distance (3D) restant à parcourir par le véhicule pour atteindre l’objet, estimés à partir du filtre de Kalman, , , , , rt_1xrtxr et scalablewidth où rt-i est la dimension considérée sur l’objet (par exemple le rayon d’un disque lumineux allumé sur le feu de signalisation) dans la première image, rt est la dimension considérée sur l’objet dans la deuxième image et T est la distance parcourue par le véhicule entre l’instant d’acquisition de la première image et l’instant d’acquisition de la deuxième image. La taille estimée à partir du filtre de Kalman s’obtient à partir de rt et de la distance estimée par ledit filtre.sccilable, ^^^ - ^ - kalman W Îdth \ * sccdcible W i d th / where kalman width corresponds to a dimension of the object estimated by the Kalman filter (for example the radius of a luminous disc of the traffic light ) and is obtained by using the dimension (2D) of the object measured in the second image and the distance (3D) remaining to be traveled by the vehicle to reach the object, estimated from the Kalman filter,,,,,, r t _ 1 xr t xr and scalable width where r t -i is the dimension considered on the object (for example the radius of a luminous disc lit on the traffic light) in the first image, r t is the dimension considered on the object in the second image and T is the distance traveled by the vehicle between the instant of acquisition of the first image and the instant of acquisition of the second image. The size estimated from the Kalman filter is obtained from r t and the distance estimated by said filter.
D’autres caractéristiques et avantages de l’invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d’exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables.Other characteristics and advantages of the invention will become apparent from the following description given with reference to the appended figures given by way of nonlimiting examples and in which identical references are given to similar objects.
- La figure 1 illustre schématiquement une forme de réalisation d’un véhicule automobile selon l’invention.- Figure 1 schematically illustrates an embodiment of a motor vehicle according to the invention.
- La figure 2 illustre un mode de réalisation du procédé selon l’invention.- Figure 2 illustrates an embodiment of the method according to the invention.
- La figure 3 illustre un premier mode de mise en œuvre du procédé selon l’invention.- Figure 3 illustrates a first mode of implementation of the method according to the invention.
- La figure 4 illustre un deuxième mode de mise en œuvre du procédé selon l’invention.- Figure 4 illustrates a second mode of implementation of the method according to the invention.
On a représenté schématiquement à la figure 1 un véhicule automobile selon l’invention. Le véhicule 1 comprend une caméra 10 vidéo et un calculateur 20 relié par un lien de communication L1 à ladite caméra 10.There is shown schematically in Figure 1 a motor vehicle according to the invention. The vehicle 1 comprises a video camera 10 and a computer 20 connected by a communication link L1 to said camera 10.
La caméra 10 est de préférence montée sur la partie supérieure du pare-brise avant 1A du véhicule 1. La caméra 10 est configurée pour capturer un flux vidéo d’images représentant l’environnement 2 du véhicule 1 et le fournir au calculateur 20.The camera 10 is preferably mounted on the upper part of the front windshield 1A of the vehicle 1. The camera 10 is configured to capture a video stream of images representing the environment 2 of the vehicle 1 and supply it to the computer 20.
Le calculateur 20 est configuré pour exploiter le flux vidéo d’images délivré par la caméra 10 afin de détecter un objet situé dans le champ de la caméra 10 et d’estimer la distance D à parcourir par le véhicule 1 pour atteindre ledit objet en appliquant un filtre de Kalman, préalablement initialisé, à la région de l’image représentant l’objet détecté. De préférence, l’objet est un objet statique, par exemple disposé le long de la route 2A sur laquelle circule le véhicule 1. Dans l’exemple non limitatif ci-après, l’objet est un feu de signalisation 3 mais il va de soi que l’objet pourrait être différent, par exemple un panneau ou autre.The computer 20 is configured to use the video stream of images delivered by the camera 10 in order to detect an object located in the field of the camera 10 and to estimate the distance D to be traveled by the vehicle 1 to reach said object by applying a Kalman filter, previously initialized, to the region of the image representing the detected object. Preferably, the object is a static object, for example arranged along the road 2A on which the vehicle 1 travels. In the nonlimiting example below, the object is a signaling light 3 but it goes from so that the object could be different, for example a sign or the like.
Comme illustré à la figure 3, on notera que la distance D correspond à la projection sur l’axe de déplacement du véhicule (parallèle à la route) de la distance réelle séparant la caméra 10 du feu de signalisation 3. Autrement dit, la distance D correspond à la distance restant à parcourir par le véhicule 1 pour arriver au niveau du feu de signalisation 3.As illustrated in FIG. 3, it will be noted that the distance D corresponds to the projection on the axis of movement of the vehicle (parallel to the road) of the real distance separating the camera 10 from the traffic light 3. In other words, the distance D corresponds to the distance remaining to be traveled by the vehicle 1 to arrive at the signaling light 3.
La détection du feu de signalisation 3 et l’estimation de la distance D séparant le véhicule 1 dudit feu de signalisation 3 à partir d’un filtre de Kalman étant connues en soi, elles ne seront pas davantage détaillées ici.The detection of the traffic light 3 and the estimation of the distance D separating the vehicle 1 from the said traffic light 3 from a Kalman filter being known per se, they will not be further detailed here.
Le filtre de Kalman donne les mesures 3D qui séparent le feu de signalisation 3 de la caméra 10. On notera que le calculateur 20 est de préférence apte à calculer d’autres valeurs 3D comme la longueur ou la largeur du feu de signalisation 3 (données par exemple en mètres ou en centimètres).The Kalman filter gives the 3D measurements which separate the traffic light 3 from the camera 10. It will be noted that the computer 20 is preferably able to calculate other 3D values such as the length or the width of the traffic light 3 (data for example in meters or centimeters).
Selon l’invention, le calculateur 20 est configuré pour sélectionner, dans le flux vidéo d’images capturé par la caméra 10, en référence à la figure 3, une première image 11 et une deuxième image I2, postérieure à la première image 11, afin de déterminer un indicateur de qualité de la distance D estimée par le filtre de Kalman à partir de grandeurs relatives au feu de signalisation 3 calculées à partir de la première image 11 et de la deuxième image I2. On notera sur la figure 3 quef correspond à la focale de la caméra 10.According to the invention, the computer 20 is configured to select, in the video stream of images captured by the camera 10, with reference to FIG. 3, a first image 11 and a second image I2, posterior to the first image 11, in order to determine a quality indicator of the distance D estimated by the Kalman filter from quantities relating to the traffic light 3 calculated from the first image 11 and the second image I2. It will be noted in FIG. 3 that quef corresponds to the focal length of the camera 10.
Dans une première forme de réalisation, en référence à la figure 3, l’indicateur de qualité comprend une mesure de la qualité du filtre de Kalman et une mesure des dimensions du feu de signalisation 3 dans la première image 11 et dans la deuxième image I2 afin de s’assurer que l’objet détecté est bien un feu de signalisation 3.In a first embodiment, with reference to FIG. 3, the quality indicator comprises a measurement of the quality of the Kalman filter and a measurement of the dimensions of the traffic light 3 in the first image 11 and in the second image I2 to ensure that the object detected is a traffic light 3.
Les mesures 2D sont réalisées dans les images 11,12 et sont en pixel (elles peuvent varier en fonction de la position de la caméra 10 par rapport au feu de signalisation 3). En pratique, ces mesures varient peu car le feu de signalisation 3 ne change pas de forme.The 2D measurements are made in the images 11, 12 and are in pixels (they can vary depending on the position of the camera 10 relative to the traffic light 3). In practice, these measures vary little because the signaling light 3 does not change shape.
De manière préférée, le calculateur 20 est configuré pour déterminer la mesure de qualité IF1 à partir de la distance a1 entre l’épipôle du mouvement de la caméra 10 et le feu de signalisation 3 calculée à partir de la première image 11, de la distance a2 entre l’épipôle du mouvement de la caméra 10 et le feu de signalisation 3 calculée à partir de la deuxième image I2 et de la distance T parcourue par le véhicule 1 entre l’instant d’acquisition de la première image 11 et l’instant d’acquisition de la deuxième image I2.Preferably, the computer 20 is configured to determine the quality measure IF1 from the distance a1 between the epipole of the movement of the camera 10 and the signal light 3 calculated from the first image 11, from the distance a 2 between the epipole of the movement of the camera 10 and the signaling light 3 calculated from the second image I2 and the distance T traveled by the vehicle 1 between the instant of acquisition of the first image 11 and l instant of acquisition of the second image I2.
Plus précisément, dans cet exemple, le calculateur est configuré pour déterminer la mesure de qualité IF1 selon l’équation suivante :More specifically, in this example, the computer is configured to determine the quality measure IF1 according to the following equation:
IFl = (l- Δα2 x f---—- + — Π x 100IFl = (l- Δα 2 x f ---—- + - Π x 100
V \|αι-α2Ι a2J/ où |ai-a2| est la norme du vecteur de déplacement de l’objet entre les deux images, a2 est la distance entre l’épipôle et l’objet calculée à partir de la deuxième image et Aa2 est la précision sur la mesure de a2 (où l’épipôle correspond au point d’intersection entre la droite qui passe par les centres optiques des deux images et le plan image).V \ | αι-α 2 Ι a 2 J / where | ai-a 2 | is the norm of the object displacement vector between the two images, a 2 is the distance between the epipole and the object calculated from the second image and Aa 2 is the precision on the measurement of a 2 (where the epipole corresponds to the point of intersection between the straight line which passes through the optical centers of the two images and the image plane).
De manière connue, l’épipôle est défini comme étant le point d’intersection entre la droite qui passe par les centres optiques de la première image 11 et de la deuxième image I2 et le plan image (cette définition étant par exemple donnée dans le document « Multiple View Geometry », Hartley).In known manner, the epipole is defined as being the point of intersection between the straight line which passes through the optical centers of the first image 11 and of the second image I2 and the image plane (this definition being for example given in the document "Multiple View Geometry", Hartley).
De préférence, le calculateur 20 est configuré pour réinitialiser le filtre de Kalman lorsque la mesure de qualité IF1 atteint un seuil prédéterminé, par exemple 45%, et que les dimensions de l’objet ne sont pas comprises dans au moins un intervalle de dimensions prédéterminées. Par exemple, dans le cas d’un feu de signalisation 3, on peut s’assurer que la taille du ou des disques lumineux détecté sur les images est comprise entre 10 et 50 cm (taille standard d’un disque lumineux d’un feu de signalisation tel qu’il apparaît sur les images) et que la hauteur du feu depuis le sol est inférieure à un seuil, par exemple 10 mètres.Preferably, the computer 20 is configured to reset the Kalman filter when the quality measurement IF1 reaches a predetermined threshold, for example 45%, and the dimensions of the object are not included in at least one interval of predetermined dimensions . For example, in the case of a traffic light 3, it can be ensured that the size of the light disc (s) detected on the images is between 10 and 50 cm (standard size of a light disc of a light signaling as it appears in the images) and that the height of the light from the ground is less than a threshold, for example 10 meters.
x 100x 100
Dans une deuxième forme de réalisation, en référence à la figure 4, l’indicateur de qualité comprend une mesure d’erreur IF2 sur les dimensions de l’objet détecté.In a second embodiment, with reference to FIG. 4, the quality indicator comprises an error measurement IF2 on the dimensions of the object detected.
Dans cet exemple préféré, le calculateur 20 est configuré pour déterminer la mesure d’erreur IF2 à partir d’une dimension du feu de signalisation 3, mesurée à la fois dans la première image 11 et dans la deuxième image I2, et de la distance T parcourue par le véhicule 1 entre l’instant d’acquisition de la première image 11 et l’instant d’acquisition de la deuxième image I2.In this preferred example, the computer 20 is configured to determine the error measurement IF2 from a dimension of the traffic light 3, measured both in the first image 11 and in the second image I2, and the distance T traveled by the vehicle 1 between the time of acquisition of the first image 11 and the time of acquisition of the second image I2.
Plus précisément, le calculateur 20 est configuré pour déterminer la mesure d’erreur IF2 à partir de dimensions (3D) estimées à partir du filtre de Kalman et de dimensions (2D) estimées à partir de la première image 11 et de la deuxième image I2.More specifically, the computer 20 is configured to determine the error measure IF2 from dimensions (3D) estimated from the Kalman filter and dimensions (2D) estimated from the first image 11 and the second image I2 .
Dans cet exemple préféré, le calculateur 20 est configuré pour déterminer la mesure d’erreur IF2 selon l’équation suivante :In this preferred example, the computer 20 is configured to determine the error measurement IF2 according to the following equation:
sccdcible^^a^ ka.hna.nwiddfi sccdciblewldtll où kalmanwidth correspond à une dimension de l’objet estimée par le filtre de Kalman (par exemple le rayon d’un disque lumineux du feu de signalisation) et est obtenu en utilisant la dimension (en 2D) de l’objet mesurée dans la deuxième image I2 et la distance D (en 3D) restant à parcourir par le véhicule pour atteindre l’objet, estimés à partir du filtre de Kalman, . , , , η^χτγχΤ et scalablewidtK où rt-i est la dimension considérée sur l’objet (par exemple le rayon d’un disque lumineux allumé sur le feu de signalisation) dans la première image 11, rt est la dimension considérée sur l’objet dans la deuxième image I2 et T est la distance parcourue par le véhicule 1 entre l’instant d’acquisition de la première image 11 et l’instant d’acquisition de la deuxième image I2. La taille estimée à partir du filtre de Kalman s’obtient à partir de rtet de la distance D estimée par ledit filtre.sccdcible ^^ a ^ ka.hna.n w i dd f i sccdcible wldtll where kalman width corresponds to a dimension of the object estimated by the Kalman filter (for example the radius of a luminous disc of the traffic light) and is obtained by using the dimension (in 2D) of the object measured in the second image I2 and the distance D (in 3D) remaining to be traveled by the vehicle to reach the object, estimated from the Kalman filter,. ,,, η ^ χτγχΤ and scalable widtK where r t -i is the dimension considered on the object (for example the radius of a luminous disc lit on the traffic light) in the first image 11, r t is the dimension considered on the object in the second image I2 and T is the distance traveled by the vehicle 1 between the instant of acquisition of the first image 11 and the instant of acquisition of the second image I2. The size estimated from the Kalman filter is obtained from r t and the distance D estimated by said filter.
L’invention va maintenant être présentée dans deux modes de mise en œuvre en référence aux figures 2 à 4.The invention will now be presented in two modes of implementation with reference to Figures 2 to 4.
Tout d’abord, lorsque le réseau électrique du véhicule 1 est mis sous tension, la caméra 10 et le calculateur 20 sont activés. En particulier, le calculateur 20 initialise le filtre de Kalman de manière connue, puis le véhicule 1 se met à rouler et la caméra 10 filme l’environnement 2 du véhicule 1 et notamment la route 2A sur laquelle se déplace le véhicule 1.First, when the electrical network of vehicle 1 is turned on, the camera 10 and the computer 20 are activated. In particular, the computer 20 initializes the Kalman filter in a known manner, then the vehicle 1 starts to roll and the camera 10 films the environment 2 of the vehicle 1 and in particular the road 2A on which the vehicle 1 travels.
Les images acquises par la caméra 10 sont transmises dans une étape E1 au calculateur 20 qui les exploite en temps réel, afin notamment de détecter les feux de signalisation 3 pouvant se trouver le long de la route 2A empruntée par le véhicule 1.The images acquired by the camera 10 are transmitted in a step E1 to the computer 20 which uses them in real time, in particular in order to detect the signaling lights 3 which may be along the road 2A taken by the vehicle 1.
Cette détection est réalisée de manière connue par le calculateur 20 à partir d’un filtre de Kalman. Pour cela, le filtre de Kalman estime la distance D séparant le véhicule 1 du feu de signalisation 3 sur la route 2A comme illustré à la figure 3. Dans l’exemple décrit ici, on considère que cette estimation de la distance D est réalisée en ligne droite et correspond à la distance que doit parcourir le véhicule pour arriver au niveau du feu de signalisation 3.This detection is carried out in a known manner by the computer 20 from a Kalman filter. For this, the Kalman filter estimates the distance D separating the vehicle 1 from the signaling light 3 on the road 2A as illustrated in FIG. 3. In the example described here, it is considered that this estimation of the distance D is carried out in straight line and corresponds to the distance the vehicle must travel to reach the level of the traffic light 3.
Lorsqu’un feu de signalisation 3 est détecté, le calculateur 20 sélectionne dans le flux vidéo d’images une première image 11 et une deuxième image I2 dans une étape E2, la deuxième image I2 étant acquise postérieurement à la première image 11 par la caméra 10.When a signaling light 3 is detected, the computer 20 selects in the video stream of images a first image 11 and a second image I2 in a step E2, the second image I2 being acquired after the first image 11 by the camera 10.
A partir de ces deux images 11,12, le calculateur 20 détermine ensuite, dans une étape E3, un indicateur de qualité de la distance D estimée par le filtre de Kalman à partir de grandeurs réelles relatives au feu de signalisation 3 calculées à partir de la première image 11 et de la deuxième image I2.From these two images 11, 12, the computer 20 then determines, in a step E3, an indicator of the quality of the distance D estimated by the Kalman filter from real quantities relating to the traffic light 3 calculated from the first image 11 and the second image I2.
Dans une première forme de réalisation, l’indicateur de qualité comprend une mesure de la qualité du filtre de Kalman et une mesure des dimensions du feu de signalisation 3 réalisée respectivement dans la première image 11 et dans la deuxième image I2 afin de s’assurer que l’objet détecté correspond bien au feu de signalisation 3.In a first embodiment, the quality indicator comprises a measurement of the quality of the Kalman filter and a measurement of the dimensions of the traffic light 3 carried out respectively in the first image 11 and in the second image I2 in order to ensure the detected object corresponds to the traffic light 3.
Dans cette première forme de réalisation, la première image 11 et la deuxième image I2 sont de préférence deux images consécutives ou séparées de moins de 60 ms.In this first embodiment, the first image 11 and the second image I2 are preferably two consecutive or separated images of less than 60 ms.
De manière préférée, en référence à la figure 3, la mesure de qualité IF1 est déterminée de la façon suivante.Preferably, with reference to FIG. 3, the quality measure IF1 is determined as follows.
Tout d’abord, on définit la distance D selon l’équation suivante :First, we define the distance D according to the following equation:
où |ai-a2| est la norme du vecteur de déplacement du feu de signalisation 3 entre les deux images, a2 est la distance entre l’épipôle et le feu de signalisation 3 calculée à partir de la deuxième image et T est la distance parcourue par le véhicule 1 entre l’instant d’acquisition de la première image 11 et l’instant d’acquisition de la deuxième image I2.where | ai-a2 | is the standard of the vector of the traffic light 3 displacement between the two images, a2 is the distance between the epipole and the traffic light 3 calculated from the second image and T is the distance traveled by the vehicle 1 between l acquisition time of the first image 11 and the acquisition time of the second image I2.
Puis, on calcule la différence AD de distance entre la première image 11 et la deuxième image I2 en dérivant de cette équation :Then, the difference AD of distance between the first image 11 and the second image I2 is calculated by deriving from this equation:
« r, 3D « . dD „ , dD"R, 3D". dD „, dD
AD = — x Δα2 + 77-7 x Δ( - a2 ) + 7- x ΔΓ da2 2 9(|α!-α2|) 1 1 217 dTAD = - x Δα 2 + 77-7 x Δ (- a 2 ) + 7- x ΔΓ da 2 2 9 (| α! -Α 2 |) 1 1 217 dT
En supposant que l’erreur sur T est nulle (AT = 0), on obtient :Assuming that the error on T is zero (AT = 0), we get:
(2) Δϋ = ^χΔ^ + (^χΔ^-^ (3) où Aa2 représente la précision sur la mesure de a2.(2) Δϋ = ^ χΔ ^ + (^ χΔ ^ - ^ (3) where Aa 2 represents the precision on the measurement of a 2 .
En divisant la différence AD par la distance D et en supposant que l’erreur sur la norme du vecteur est égale à l’erreur sur a2 (A(|ai-a2|) = Aa2), on obtient :By dividing the difference AD by the distance D and assuming that the error on the norm of the vector is equal to the error on a 2 (A (| ai-a 2 |) = Aa 2 ), we obtain:
On définit alors la mesure de qualité IF1 comme étant :We then define the quality measure IF1 as:
/Fl = (l-y)xl00 (5)/ Fl = (l-y) xl00 (5)
Cette mesure de qualité IF1 représente ici la qualité de la triangulation réalisée à partir de la première image 11 et de la deuxième image I2 pour calculer la distance D, les distances ai, a2 et T étant aisées à déterminer à partir de la première image et de la deuxième image ainsi que la vitesse du véhicule 1, dont la valeur est mesurée en permanence et qui est aisément accessible au calculateur 20.This quality measure IF1 here represents the quality of the triangulation carried out from the first image 11 and from the second image I2 to calculate the distance D, the distances ai, a 2 and T being easy to determine from the first image and of the second image as well as the speed of the vehicle 1, the value of which is continuously measured and which is easily accessible to the computer 20.
On considère dans cet exemple préféré que le filtre de Kalman fonctionne suffisamment bien lorsque la mesure de qualité IF1 atteint un seuil prédéterminé de 45%.In this preferred example, it is considered that the Kalman filter works well enough when the quality measurement IF1 reaches a predetermined threshold of 45%.
Toutefois, dans certaines situations où le filtre de Kalman tombe dans des minimums locaux, la mesure de qualité IF1 peut indiquer une qualité de mesure élevée alors que le filtre de Kalman fonctionne de manière erronée.However, in certain situations where the Kalman filter falls into local minima, the quality measurement IF1 may indicate a high measurement quality while the Kalman filter is operating erroneously.
Dans ce cas, le calculateur 20 analyse les dimensions 3D de l’objet détecté mesurées grâce au filtre de Kalman afin de déterminer la probabilité que ledit objet corresponde à l’objet souhaité, en l’occurrence au feu de signalisation 3. Plus précisément, on vérifie que les dimensions du feu de signalisation 3 mesurées dans les images soient cohérentes avec des valeurs prédéterminées pour s’assurer que l’objet détecté correspond bien à un feu de signalisation 3 réel.In this case, the computer 20 analyzes the 3D dimensions of the detected object measured using the Kalman filter in order to determine the probability that said object corresponds to the desired object, in this case at the traffic light 3. More precisely, it is checked that the dimensions of the signaling light 3 measured in the images are consistent with predetermined values to ensure that the detected object corresponds to a real signaling light 3.
De préférence, dans le cas d’un feu de signalisation 3, on peut s’assurer que la taille du ou des disques lumineux détecté sur les images est comprise entre 10 et 50 cm (taille standard d’un disque lumineux d’un feu de signalisation tel qu’il apparaît sur les images) et que la hauteur du feu de signalisation 3 depuis le sol est inférieure à un seuil, par exemple 10 mètres.Preferably, in the case of a signaling light 3, it can be ensured that the size of the light disc (s) detected on the images is between 10 and 50 cm (standard size of a light disc of a light signaling as it appears on the images) and that the height of the signaling light 3 from the ground is less than a threshold, for example 10 meters.
Lorsque la mesure de qualité IF1 est supérieure au seul prédéterminée mais que les dimensions 3D de l’objet détecté mesurées grâce au filtre de Kalman ne correspondent pas à celles de l’objet attendu (i.e. du feu de signalisation 3 dans cet exemple), le calculateur 20 détecte cette erreur (étape E4) et provoque alors la réinitialisation du filtre (étape E5) afin de le redémarrer sans l’erreur en question.When the quality measure IF1 is greater than the predetermined one alone but the 3D dimensions of the detected object measured using the Kalman filter do not correspond to those of the expected object (ie of the traffic light 3 in this example), the computer 20 detects this error (step E4) and then causes the filter to be reset (step E5) in order to restart it without the error in question.
Dans une deuxième forme de réalisation, l’indicateur de qualité comprend une mesure d’erreur IF2 sur les dimensions de l’objet détecté dans les images 11,12. Dans cette deuxième forme de réalisation, le temps qui sépare la première image 11 et la deuxième image I2 est de préférence important, par exemple supérieur à 1800 ms pour que le procédé soit moins sensible à l’erreur.In a second embodiment, the quality indicator comprises an error measurement IF2 on the dimensions of the object detected in the images 11,12. In this second embodiment, the time which separates the first image 11 and the second image I2 is preferably long, for example greater than 1800 ms so that the method is less sensitive to error.
De préférence, on considère le rayon r d’un disque lumineux considéré comme étant émis par le feu de signalisation 3, que l’on définit selon l’équation suivante :Preferably, we consider the radius r of a light disc considered to be emitted by the signaling light 3, which is defined according to the following equation:
scalablewidth = (6)scalable width = (6)
Où T est une donnée 3D mesurée grâce aux données de mouvement du véhicule et rt-i et rt sont des données 2D mesurées respectivement dans la première image 11 et dans la deuxième image I2.Where T is a 3D data measured thanks to the vehicle movement data and r t -i and r t are 2D data measured respectively in the first image 11 and in the second image I2.
La mesure d’erreur IF2 est alors déterminée selon l’équation suivante :The IF2 error measurement is then determined according to the following equation:
/sca1a-bleWÎdth — kcihnanw θ θ /y \ \ scalablewidth ) ' '/ sca 1a-ble W Îdth - kcihnan w θ θ / y \ \ scalable w i dth ) ''
Dans cet exemple, on calcule le diamètre kalmanwidth du feu de signalisation 3 estimé par le filtre de Kalman comme étant le produit du rayon rt du disque lumineux allumé sur le feu de signalisation 3 dans la deuxième image I2 par la distance zk estimés à partir du filtre de Kalman (où zk correspond ici à la distance restant à parcourir par le véhicule 1 pour atteindre le feu de signalisation 3 dans le repère caméra) :In this example, we calculate the diameter kalman width of the traffic light 3 estimated by the Kalman filter as being the product of the radius r t of the light disc lit on the traffic light 3 in the second image I2 by the distance z k estimated from the Kalman filter (where z k here corresponds to the distance remaining to be traveled by vehicle 1 to reach the traffic light 3 in the camera frame):
kalmanwidth = rtXzk (8)kalman width = r t Xz k (8)
Pour ce faire, on détermine tout d’abord Zk en posant :To do this, we first determine Zk by posing:
/*k\ Pw\/ * k \ Pw \
7k = Rk x l-G' + Vk (9) \zkJ \zwJ qui correspond au passage du repère monde au repère caméra où :7k = Rk x lG '+ V k (9) \ z kJ \ z wJ which corresponds to the transition from the world coordinate system to the camera coordinate system where:
• xw, yw, zw sont les positions 3D estimées par le filtre de Kalman dans le repère monde, et • Rk, et Vk sont respectivement la matrice de rotation et le vecteur de mouvement du repère monde au repère caméra.• x w , y w , z w are the 3D positions estimated by the Kalman filter in the world coordinate system, and • Rk, and V k are respectively the rotation matrix and the motion vector from the world coordinate system to the camera coordinate system.
Cette mesure d’erreur IF2 permet d’estimer la qualité de la détermination des dimensions du feu de signalisation par le filtre de Kalman réalisée à partir de la première image 11 et de la deuxième image I2.This error measurement IF2 makes it possible to estimate the quality of the determination of the dimensions of the signaling light by the Kalman filter carried out from the first image 11 and from the second image I2.
De manière préférée, on considère que lorsque la mesure d’erreur IF2 dépasse 25%, la distance estimée par le filtre de Kalman est erronée du fait d’une erreur non compensée sur laquelle se base le filtre.Preferably, it is considered that when the error measurement IF2 exceeds 25%, the distance estimated by the Kalman filter is erroneous due to an uncompensated error on which the filter is based.
Dans ce cas, le calculateur détecte cette erreur (étape E4) et provoque alors la réinitialisation du filtre (étape E5) afin de redémarrer l’algorithme sans l’erreur en question.In this case, the computer detects this error (step E4) and then causes the filter to be reset (step E5) in order to restart the algorithm without the error in question.
Dans cette deuxième forme de réalisation, la détermination de la mesure d’erreur IF2 est possible avec n'importe quel objet statique sans avoir connaissance des dimensions de l'objet.In this second embodiment, the determination of the error measure IF2 is possible with any static object without knowing the dimensions of the object.
La présente invention permet donc avantageusement de déterminer une 5 erreur dans le fonctionnement du filtre de Kalman afin de le réinitialiser pour annuler cette erreur, permettant alors un fonctionnement fiable et efficace du système d’assistance à la conduite du véhicule.The present invention therefore advantageously makes it possible to determine an error in the operation of the Kalman filter in order to reset it to cancel this error, then allowing reliable and efficient operation of the vehicle driving assistance system.
Claims (10)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1751123A FR3062943B1 (en) | 2017-02-10 | 2017-02-10 | METHOD OF PROCESSING IMAGES FOR DETECTION OF AN OBJECT ALONG A ROAD |
| PCT/FR2018/050239 WO2018146399A1 (en) | 2017-02-10 | 2018-02-01 | Method for processing images for the detection of an object along a route |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1751123 | 2017-02-10 | ||
| FR1751123A FR3062943B1 (en) | 2017-02-10 | 2017-02-10 | METHOD OF PROCESSING IMAGES FOR DETECTION OF AN OBJECT ALONG A ROAD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3062943A1 true FR3062943A1 (en) | 2018-08-17 |
| FR3062943B1 FR3062943B1 (en) | 2019-03-15 |
Family
ID=58501709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1751123A Active FR3062943B1 (en) | 2017-02-10 | 2017-02-10 | METHOD OF PROCESSING IMAGES FOR DETECTION OF AN OBJECT ALONG A ROAD |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3062943B1 (en) |
| WO (1) | WO2018146399A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0820040A2 (en) * | 1996-07-17 | 1998-01-21 | Raytheon TI Systems, Inc. | Passive range estimation using image size measurements |
-
2017
- 2017-02-10 FR FR1751123A patent/FR3062943B1/en active Active
-
2018
- 2018-02-01 WO PCT/FR2018/050239 patent/WO2018146399A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0820040A2 (en) * | 1996-07-17 | 1998-01-21 | Raytheon TI Systems, Inc. | Passive range estimation using image size measurements |
Non-Patent Citations (4)
| Title |
|---|
| AMIR SALARPOUR ET AL: "Vehicle Tracking Using Kalman Filter and Features", SIGNAL AND IMAGE PROCESSING: AN INTERNATIONAL JOURNAL, vol. 2, no. 2, 30 June 2011 (2011-06-30), IN, pages 1 - 8, XP055393058 * |
| ANONYMOUS: "Kalman filter for object tracking - MATLAB - MathWorks Deutschland", 11 April 2016 (2016-04-11), XP055393069, Retrieved from the Internet <URL:https://web.archive.org/web/20160411052715/https://de.mathworks.com/help/vision/ref/vision.kalmanfilter-class.html> [retrieved on 20170721] * |
| FRANK DELLAERT ET AL: "Robust car tracking using Kalman filtering and Bayesian templates", SPIE VOL. 3207, 27 January 1998 (1998-01-27), pages 72 - 84, XP055299181, Retrieved from the Internet <URL:http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=932074> [retrieved on 20160901] * |
| WALTER LUCETTI: "[Tutorial OpenCV] "Ball Tracker" using Kalman filter", 3 April 2015 (2015-04-03), www.robot-home.it, XP055393052, Retrieved from the Internet <URL:http://www.robot-home.it/blog/en/software/ball-tracker-con-filtro-di-kalman/> [retrieved on 20170721] * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018146399A1 (en) | 2018-08-16 |
| FR3062943B1 (en) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR3049560B1 (en) | METHOD AND SYSTEM FOR ASSISTING THE CHANGE OF THE TRACK TRACK FOR A MOTOR VEHICLE | |
| EP3755593B1 (en) | Motor vehicle driving assistance device and method | |
| EP3749561A1 (en) | System and method for detecting a risk of collision between a motor vehicle and a secondary object located in the traffic lanes adjacent to said vehicle when changing lanes | |
| FR3046769A1 (en) | METHOD AND SYSTEM FOR ASSISTING THE CHANGE OF THE TRACK TRACK FOR A MOTOR VEHICLE | |
| EP2043044B1 (en) | Method and device for automobile parking assistance | |
| FR3054673B1 (en) | MERGING DETECTION DATA AND FOLLOWING OBJECTS FOR MOTOR VEHICLE | |
| EP2050644B1 (en) | Methods for measuring the visibility of an automobile driver and calculating speed instructions for the vehicle, and method for implementing same | |
| FR3062943A1 (en) | METHOD OF PROCESSING IMAGES FOR DETECTION OF AN OBJECT ALONG A ROAD | |
| EP3417398B1 (en) | Device and method for estimating the attention level of a driver of a vehicle | |
| FR3051056B1 (en) | DEVICE AND METHOD FOR DETERMINING THE POSITION OF A VEHICLE, AND DEVICE FOR DRIVING ASSISTANCE COMPRISING SUCH A POSITION DETERMINING DEVICE | |
| FR2938228A1 (en) | Method for measuring distance between obstacle and motor vehicle, involves calculating pitch of camera by coinciding two of images and by retaining position parameters of camera, and determining distance from calculated pitch | |
| FR3034555A1 (en) | METHOD FOR DETERMINING THE DIRECTION OF THE MOVEMENT OF A MOTOR VEHICLE | |
| FR3106553A1 (en) | Method and device for processing vehicle environment data | |
| FR3069689B1 (en) | METHOD FOR ESTIMATING THE MOVEMENT OF A POINT IN AN IMAGE SEQUENCE | |
| FR3043978A1 (en) | METHOD AND SYSTEM FOR ASSISTANCE IN MAINTAINING A TRACK OF A MOTOR VEHICLE DURING EXCEEDING | |
| EP3167406B1 (en) | Estimation of the meteorological visibility distance | |
| WO2017216465A1 (en) | Method and device for processing images acquired by a camera of a motor vehicle | |
| WO2022195182A1 (en) | Method and device for determining the reliability of a low-definition map | |
| FR3078183A1 (en) | METHOD FOR DETECTING AN OBJECT FROM AN INBOARD CAMERA IN A MOTOR VEHICLE | |
| EP3008664B1 (en) | Method and system for monitoring objects in motion | |
| FR3129238A1 (en) | Methods and systems for verifying the number of traffic lanes | |
| EP4251485A1 (en) | Method and device for determining a virtual boundary line between two traffic lanes | |
| FR3143517A1 (en) | Method and device for controlling an adaptive cruise control system of an autonomous vehicle using a corridor mode. | |
| WO2024013437A1 (en) | Method and device for managing the stopping of an autonomous vehicle travelling along a traffic lane | |
| FR3139227A1 (en) | Method and device for detecting a nearby object to control driving assistance for an autonomous vehicle. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20180817 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| TQ | Partial transmission of property |
Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE Effective date: 20230424 Owner name: CONTINENTAL AUTOMOTIVE FRANCE, FR Effective date: 20230424 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |