FR3034555A1 - Procede de determination du sens du mouvement d'un vehicule automobile - Google Patents

Procede de determination du sens du mouvement d'un vehicule automobile Download PDF

Info

Publication number
FR3034555A1
FR3034555A1 FR1552881A FR1552881A FR3034555A1 FR 3034555 A1 FR3034555 A1 FR 3034555A1 FR 1552881 A FR1552881 A FR 1552881A FR 1552881 A FR1552881 A FR 1552881A FR 3034555 A1 FR3034555 A1 FR 3034555A1
Authority
FR
France
Prior art keywords
image
vehicle
pixel
marker
real point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1552881A
Other languages
English (en)
Other versions
FR3034555B1 (fr
Inventor
Boris Lugez
Bertrand Godreau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Continental Automotive France SAS
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Priority to FR1552881A priority Critical patent/FR3034555B1/fr
Publication of FR3034555A1 publication Critical patent/FR3034555A1/fr
Application granted granted Critical
Publication of FR3034555B1 publication Critical patent/FR3034555B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

La présente invention a pour objet un procédé de détermination du sens du mouvement d'un véhicule (1) automobile, ledit véhicule (1) comprenant une caméra (2) d'assistance à la conduite du véhicule (1) configurée pour acquérir des images de l'environnement (6) du véhicule (1). Un mouvement du véhicule (1) est détecté en utilisant le flot optique entre deux images successives acquises par la caméra (2). Le sens du mouvement du véhicule (1) est déterminé en calculant la profondeur d'un point réel représenté par des pixels apparaissant sur les deux images successives.

Description

1 L'invention se rapporte au domaine automobile et concerne plus particulièrement un procédé de détermination du sens du mouvement d'un véhicule automobile. Le procédé selon l'invention peut être utilisé pour assister le conducteur du véhicule dans sa conduite en permettant l'activation de fonctions telles que, par exemple, un freinage d'urgence ou bien une calibration d'une caméra d'assistance à la conduite montée dans le véhicule. De nos jours, les véhicules automobiles comprennent ordinairement un système d'aide à la conduite connu de l'homme du métier sous le nom d'ADAS (« Advanced Driver Assistance System" en langue anglaise).
Un tel système comprend de manière connue une caméra vidéo montée, par exemple, sur la face interne du pare-brise du véhicule. Dans une application connue, ce système peut être configuré pour détecter un mouvement du véhicule et le sens dudit mouvement afin, par exemple, de désactiver la fonction de freinage d'urgence lorsque le véhicule recule ou est à l'arrêt ou bien de permettre la calibration de la caméra lorsque le véhicule avance à une vitesse dépassant un seuil prédéterminé, par exemple 3 km/h. Plusieurs méthodes sont connues afin de procéder à une telle détection de mouvement et déterminer son sens. Une première méthode consiste à mesurer la vitesse des roues et leur sens de rotation. Cette méthode présente toutefois des inconvénients dans la mesure où les roues du véhicule peuvent avoir une vitesse non nulle alors que le véhicule ne se déplace pas, par exemple lors d'une accélération sur chaussée glissante ou en usine sur un banc à rouleaux. Une deuxième méthode consiste à exploiter les informations données par la boîte de vitesse et le pédalier du véhicule. Cette méthode présente également des inconvénients dans la mesure où le véhicule peut être en mouvement alors même que la boîte de vitesse indique qu'aucun rapport de vitesse n'est enclenché et que le pédalier n'est pas actionné, par exemple lorsque le véhicule est sur une chaussée pentue. Enfin, une troisième méthode consiste à utiliser un dispositif de localisation, par exemple de type Global Positioning System (GPS), qui indique un déplacement du véhicule. Un tel dispositif peut toutefois être imprécis à faible vitesse du véhicule, présenter une forte latence dans la fourniture des informations sur le déplacement du véhicule et ne pas être opérationnel dans certaines zones dépourvues de couverture satellite, par exemple dans un tunnel ou en haute montagne, ce qui peut présenter des problèmes de sécurité et de fiabilité du système d'aide à la conduite.
3034555 2 L'invention a pour but de résoudre au moins en partie ces inconvénients en proposant une solution simple, fiable et efficace pour détecter un mouvement d'un véhicule et en déterminer le sens. A cette fin, l'invention a pour objet un procédé de détermination du sens du 5 mouvement d'un véhicule automobile, ledit véhicule comprenant une caméra d'assistance à la conduite du véhicule configurée pour acquérir des images de l'environnement du véhicule, ledit procédé comprenant : - une première étape d'acquisition d'une première image par la caméra à un premier instant, la caméra définissant à ce premier instant un premier repère, 10 - une deuxième étape d'acquisition d'une deuxième image par la caméra à un deuxième instant, consécutif au premier instant, la caméra définissant à ce deuxième instant un deuxième repère, - une troisième étape d'estimation du flot optique entre la première image et la deuxième image afin de détecter un mouvement du véhicule, 15 - lorsqu'un mouvement du véhicule a été détecté, une quatrième étape de détermination d'une matrice de rotation et d'un vecteur de translation permettant le passage du premier repère au deuxième repère, et - une cinquième étape de calcul, dans le premier repère, de la profondeur d'un point réel de l'environnement du véhicule à partir des coordonnées d'au moins un 20 premier pixel représentant le point réel dans la première image, des coordonnées d'au moins un deuxième pixel correspondant au premier pixel dans la deuxième image, de la matrice de rotation déterminée et du vecteur de translation déterminée, - une sixième étape de détermination du sens du mouvement du véhicule à partir de 25 la profondeur calculée du point réel. Par le terme « mouvement », on entend que le véhicule se déplace en marche avant ou en marche arrière. Par le terme « repère », on entend un repère géométrique en trois dimensions, par exemple orthogonal ou orthonormé.
30 Par les termes « flot optique », on entend le déplacement, entre la première image et la deuxième image, des objets représentés. Le flot optique peut être caractérisé par un vecteur de mouvement entre la première image et la deuxième image. Par le terme « profondeur » (par rapport au premier repère), on entend la valeur de la distance, positive ou négative, entre l'origine du premier repère et le point réel 35 selon un axe perpendiculaire au plan de la caméra. Le procédé selon l'invention permet avantageusement de détecter un mouvement du véhicule ainsi que le sens dudit mouvement en observant directement 3034555 3 l'environnement extérieur du véhicule, limitant ainsi les risques de fausse détection tout en garantissant une détection permanente. Un mouvement du véhicule est détecté en utilisant le flot optique entre deux images successives acquises par la caméra tandis que le sens du mouvement du véhicule est déterminé en calculant la profondeur d'un point 5 réel représenté par des pixels apparaissant sur les deux images successives. En outre, un indice de confiance peut être attribué à la valeur de la profondeur calculée du point réel afin de rendre le système plus fiable. L'information sur le sens de mouvement du véhicule peut avantageusement être utilisée par des fonctions du système d'aide à la conduite, notamment les fonctions 10 nécessitant une redondance d'information pour des raisons de sécurité. On notera que le vecteur de translation déterminé correspond au vecteur de translation réel permettant le passage du premier repère au deuxième repère pondéré d'un facteur ou coefficient. Plus précisément, le vecteur de translation déterminé indique la direction de la translation mais pas la norme, ni le sens de ladite translation.
15 De préférence, l'étape de calcul de la profondeur du point réel est réalisée par triangulation afin de rendre les calculs aisés et peu consommateurs en ressource de traitement. Selon un aspect de l'invention, la cinquième étape de calcul de la profondeur du point réel comprend une sous-étape de sélection du deuxième pixel de la deuxième 20 image et une sous-étape de détermination dans la première image, à partir d'un flot optique estimé entre la première image et la deuxième image, du premier pixel représentant ledit point réel dans la première image. Selon un autre aspect de l'invention, l'estimation du flot optique entre la première image et la deuxième image est réalisée en utilisant un algorithme de Lucas- 25 Kanade, un algorithme de type « semi-global matching » ou un algorithme de type « power flow » de manière connue de l'homme du métier, ces algorithmes étant avantageusement robustes aux changements d'intensité des pixels entre la première image et la deuxième image. Avantageusement, la sixième étape de détermination de la matrice de rotation 30 et du vecteur de translation permettant le passage du premier repère au deuxième repère comprend une sous-étape d'estimation du déplacement de la caméra qui maximise le nombre de pixels respectant les contraintes géométriques de déplacement des pixels associées à un tel déplacement de la caméra. De telles contraintes sont connues de l'homme du métier sous le nom de lois épipolaires.
35 De préférence, la sous-étape d'estimation du déplacement de la caméra est réalisée en utilisant un algorithme de Levenberg-Marquardt connue de l'homme du métier.
3034555 4 L'algorithme de Levenberg-Marquardt peut être combiné à un algorithme de type Ransac, également connu de l'homme du métier, afin de rendre l'estimation du déplacement de la caméra à la fois robuste et fiable. Selon une caractéristique de l'invention, la profondeur Zk(t - 1) dans le 5 premier repère du point réel de coordonnées [Xk; Yk; 4] est donnée par l'une des équations suivantes : x b Tx-Tzx (t)f Zk(t - 1) = x b (t) a3 x-7---a1 Zk(t - 1) = T -T xyb(t) Y z a3 x-yb(t)-a2 où : [Tx; Ty; TA sont les composantes de la translation permettant de passer 10 du premier repère au deuxième repère, [xb(t); yb(t);11 sont les coordonnées dans le deuxième repère du deuxième pixel, projection dans la deuxième image du point réel, xb(t-1) Yb(t1) = rn r12 X + r13 xb(t-t) Yb(t1) a2 = r21 r22 X + r23 15 a3 = r31 x xb(t-t) + r32 x Yb(t1) r33 (r11 r12 r13 permettant de passer du premier R est la matrice de rotation r21 r22 r32 r23 r33 r31 repère (R-1) au deuxième repère (R2), et [xb(t - 1); yb(t - 1); fl sont les coordonnées dans le premier repère du premier pixel, projection dans la première image du point réel.
20 Avantageusement, le sens du mouvement du véhicule est déterminé en x b (t) y b (t) utilisant la moyenne de ( xbf(t) ) et de ( f y b (t) ' ) En effet, ces deux valeurs pouvant a3x-f a3 x-7---a2 être différentes à cause des bruits de mesures, il est avantageux d'utiliser leur moyenne pour déterminer le sens du mouvement du véhicule. De préférence, le procédé est mis en oeuvre sur une pluralité de deuxièmes 25 pixels dans la deuxième image afin de rendre la méthode plus robuste. De manière avantageuse, le deuxième pixel ou la pluralité de deuxièmes pixels est sélectionné de manière aléatoire. L'invention concerne aussi un véhicule automobile comprenant une caméra d'assistance à la conduite du véhicule, configurée pour acquérir des images de 30 l'environnement du véhicule, et une unité de traitement desdites images, ladite caméra étant configurée pour acquérir une première image à un premier instant et acquérir une 3034555 5 deuxième image à un deuxième instant, consécutif au premier instant, ladite unité de traitement étant configurée pour : - estimer le flot optique entre la première image et la deuxième image afin de détecter un mouvement du véhicule, 5 - déterminer la matrice de rotation et un vecteur de translation permettant le passage du premier repère au deuxième repère, - calculer, dans le premier repère, la profondeur d'un point réel de l'environnement du véhicule à partir des coordonnées d'au moins un premier pixel représentant ledit point réel dans la première image, des coordonnées d'au moins un deuxième 10 pixel correspondant au premier pixel dans la deuxième image, de la matrice de rotation déterminée et du vecteur de translation déterminé, et - déterminer le sens du mouvement du véhicule à partir de la profondeur calculée du point réel. De préférence, l'unité de traitement est en outre configurée pour sélectionner 15 le deuxième pixel de la deuxième image et pour déterminer, dans la première image, à partir d'un flot optique estimé entre la première image et la deuxième image, le premier pixel représentant ledit point réel dans la première image. D'autres caractéristiques et avantages de l'invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d'exemples non 20 limitatifs et dans lesquelles des références identiques sont données à des objets semblables. La figure 1 illustre schématiquement une forme de réalisation d'un véhicule selon l'invention. La figure 2 illustre schématiquement une première image et une 25 deuxième image acquises par la caméra du véhicule de la figure 1 respectivement à un premier instant et à un deuxième instant. La figure 3 représente schématiquement un repère géométrique lié à la caméra permettant de définir les coordonnées d'un point réel de l'espace et les coordonnées de la projection dudit point réel dans une image 30 capturée par la caméra. La figure 4 représente schématiquement le déplacement de la caméra lorsque le véhicule avance. La figure 5 illustre un mode de réalisation du procédé selon l'invention. On a représenté schématiquement à la figure 1 un véhicule automobile 1 35 selon l'invention.
3034555 6 Le véhicule 1 comprend une caméra 2 d'assistance à la conduite, montée sur le pare-brise 3 du véhicule 1, et une unité de traitement 4 reliée à la caméra 2 par un lien de communication 5, par exemple de type bus, de manière connue de l'homme du métier. La caméra 2 est configurée pour acquérir des images de l'environnement 6 du 5 véhicule 1 tandis que l'unité de traitement 4 est configurée pour traiter lesdites images. En particulier, en référence à la figure 2, la caméra 2 est configurée pour acquérir une première image 11 à un premier instant t-1 et une deuxième image 12 à un deuxième instant t, consécutif au premier instant t-1. On notera que, de manière connue, la camera 2 est configurée pour acquérir une pluralité d'images successives, par 10 exemple 25 ou 30 images par secondes. En référence à la figure 4, la première image 11 est associée à un premier repère géométrique R-1 et la deuxième image 12 est associée à un deuxième repère géométrique R2. L'unité de traitement 4 est tout d'abord configurée pour estimer le flot optique 15 entre la première image 11 et la deuxième image 12 afin de détecter un mouvement du véhicule 1. Ensuite, l'unité de traitement 4 est configurée pour déterminer la matrice de rotation et le vecteur de translation permettant le passage du premier repère R-1 au deuxième repère R2.
20 En outre, l'unité de traitement 4 est configurée pour sélectionner au moins un deuxième pixel de la deuxième image 12, ledit deuxième pixel représentant un point réel M de l'environnement du véhicule 1 (en référence à la figure 3). De plus, l'unité de traitement 4 est configurée pour déterminer, dans la première image 11, à partir d'un flot optique estimé, un premier pixel représentant ledit 25 point réel M. L'unité de traitement 4 est également configurée pour calculer, dans le premier repère, de préférence par triangulation, la profondeur du point réel à partir des coordonnées du premier pixel, des coordonnées du deuxième pixel, de la matrice de rotation déterminée et du vecteur de translation déterminé.
30 Enfin, l'unité de traitement 4 est configurée pour déterminer le sens du mouvement du véhicule 1 à partir de la profondeur calculée du point réel M. L'invention va maintenant être décrite dans sa mise en oeuvre en référence aux figures 1 à 5. Tout d'abord, en référence aux figures 2, 3 et 5, la caméra 2 acquiert, dans 35 une première étape El, une première image 11 à un premier instant t-1 puis, dans une deuxième étape E2, une deuxième image 12 à un deuxième instant t, consécutif au premier instant t-1.
3034555 7 Dans une troisième étape E3, on détermine si le véhicule 1 est en mouvement ou non. Pour ce faire, on estime le flot optique de la caméra 2. Le flot optique (ou défilement visuel) est le mouvement apparent des objets, surfaces et contours d'une scène visuelle, causé par le mouvement relatif entre un observateur (dans le cas présent, 5 la caméra) et la scène observée. Ainsi, lorsque la première image 11 et la deuxième image 12 sont identiques, c'est-à-dire que les pixels représentant un même objet ne se sont pas déplacés entre la première image 11 et la deuxième image 12, on en déduit que le véhicule 1 est à l'arrêt (i.e. n'est pas en mouvement).
10 Le flot optique de la caméra 2 peut être estimé de manière connue de l'homme du métier, par exemple en utilisant un algorithme de type « semi-global matching », « Lucas-Kanade » ou « power flow », ces algorithmes étant avantageusement robustes aux changements d'intensité des pixels entre la première image 11 et la deuxième image 12.
15 Une fois que la détection du mouvement du véhicule 1 a été réalisée, on r11 r12 r13 détermine, dans une quatrième étape E4, la matrice de rotation R = r21 r22 r23 et un ( r31 r32 r33 vecteur de translation T' = [T'y; T'y;T' A représentant respectivement la rotation et la translation subies par la caméra 2 entre la première image acquise 11 et la deuxième image acquise 12. En d'autres termes, on détermine la rotation et la translation 20 nécessaires pour passer du premier repère R-1 au deuxième repère R2. On notera que, dans cette quatrième étape E4, on détermine le vecteur de translation réel T = [Tx; T; T] permettant de passer du premier repère R-1 au deuxième repère R2 à un facteur k près, c'est-à-dire que seule la direction du vecteur de translation T = [Tx; T; T] est déterminée, mais pas sa norme, ni son sens. On détermine donc TT 25 T' = ' - -' . k kk La détermination de la matrice de rotation R peut être réalisée en estimant tout d'abord le déplacement de la caméra 2 qui maximise le nombre de pixels respectant les contraintes géométriques de déplacement des pixels associées à un tel déplacement de la caméra 2. Ces contraintes sont connues de l'homme du métier sous le nom de lois 30 épipolaires et ne seront pas davantage détaillées ici. Dans un mode de réalisation préféré, cette estimation du déplacement de la caméra 2 est réalisée en utilisant un algorithme de Levenberg-Marquardt de manière connue de l'homme du métier.
3034555 8 L'algorithme de Levenberg-Marquardt peut être combiné à un algorithme de type Ransac, également connu de l'homme du métier, afin de rendre l'estimation du déplacement de la caméra 2 à la fois robuste et fiable. On notera que cette estimation du déplacement de la caméra 2 entre le 5 premier instant t-1 et le deuxième instant t permet de déterminer la matrice de rotation R ainsi que la direction de la translation opérées pour passer du premier repère R1 au deuxième repère R2 mais pas la norme ni le sens de ladite translation. Le vecteur de translation T de composantes [Tx; T; T] n'est ainsi pas défini exhaustivement. On est capable d'estimer une translation T' de composantes [T'y; T'y; T'z] qui est égale à 71 x T 10 avec k qui est un facteur inconnu. Par définition, on passe d'un point réel M(t - 1) de l'espace définit dans le premier repère R1 au même point réel M(t) de l'espace définit dans le deuxième repère R2 selon l'équation suivante : M(t) = R x M(t - 1) + T [1] 15 où M est un point de coordonnées [Xk; Yk;Zk], Zk étant appelée la profondeur, le vecteur de translation T a pour composantes [Ty; Ty; TA et la matrice de rotation R a . Ensuite, dans une cinquième étape E5, on détermine le sens de la translation à partir des coordonnées d'au moins un premier pixel représentant ledit point réel M dans 20 la première image 11, des coordonnées d'au moins un deuxième pixel correspondant au premier pixel dans la deuxième image 12 et de la matrice de rotation R déterminée préalablement et du vecteur T'. Déterminer le sens de la translation consiste en fait à déterminer le signe de T. Ainsi, lorsque 7; est positif, on en déduit que le véhicule avance, lorsque 7; est 25 négatif, on en déduit que le véhicule recule et lorsque T, est nul, on en déduit que le véhicule est à l'arrêt. Le signe de 7; étant connu (7; ayant été déterminé à la quatrième étape E4) et sachant que T, = k x , on connaitra le signe de T, si on détermine le signe de k. A cette fin, on utilise un modèle caméra connu de l'homme du métier sous le 30 nom de « modèle sténopé ». Dans ce modèle, en référence à la figure 3, on considère un premier pixel P(t - 1), de coordonnées [xb(t - 1); yb(t -1); fl dans le premier repère R1 qui est la projection dans la première image 11 d'un point réel M de l'environnement 6 du véhicule 1 de coordonnées [Xk; Yk; 4]. r11 r12 r13 pour composantes r21 r22 r23 r31 r32 r33 3034555 9 De même, on considère un deuxième pixel P(t), de coordonnées [xb(t); yb(t);11 dans le deuxième repère R2 qui est la projection dans la deuxième image 12 dudit point réel M en trois dimensions de coordonnées [X k ; Yk; Z k] En résumé, le premier pixel P(t - 1) et le deuxième pixel P(t) représentent 5 donc le même point réel M de l'espace respectivement dans la première image acquise 11 et dans la deuxième image acquise 12. Ce deuxième pixel P(t) de coordonnées [xb(t); yb(t);11 vérifie les équations suivantes : Xk (t)x f X b (t) = Z k (t) Y ka) X f Yb"') Zk(t) où f, qui représente la distance [OP], le point 0 et le point F sont des paramètres intrinsèques de la caméra 2 appelés respectivement distance focal, centre optique et point principal de manière connue. Dans la cinquième étape E5, on sélectionne tout d'abord, par exemple 15 aléatoirement, un deuxième pixel P(t) dans la deuxième image 12 puis on détermine les coordonnées [xb(t - 1); yb(t -1); fl du premier pixel P(t -1) correspondant dans la première image 11 en utilisant le flot optique estimé préalablement à la troisième étape E3. En développant l'équation [1], on obtient : 20 X k (t) = rn x X k (t - 1) + 2 x Y k (t - 1) + ri3 x Z k (t - 1) + T x lik(t) = rzix Xk(t - 1) + r22 x Yk (t - 1) + r23 x Zk (t - 1) + Ty Z k (t) = r3i x Xk(t - 1) + r32 x Yk(t - 1) + r33 x Zk(t - 1) + Tz En utilisant les équations [2] et [3] et en factorisant Zk(t - 1), on obtient : xb(t) x Zk(t) = xb(t-i) , r 1 2 X Yb(t1) , Lr 11 x f 3] X Zk(t - 1) + Tx [4] 25 Yb(t) xzk(t) = rs,.2 xb(t-i) + r22 x Yb(t1) + r23] x Zk(t - 1) + T y [5] f L' 1 -"- = [r31 xb(t-1) Z k (t) + r32 yb(t-i) +1-33] x Zk(t - 1) + T z [6] En injectant l'équation [6] dans les équations [4] et [5], on obtient : x [a3x Z k(t-1)+Tz] X b (t) = x Zk(t - 1) + Tx Yb(t) [a3xZk(t-1)+Tz] = a2 x Zk(t - 1) + Ty 30 avec : al = r11x xb(t-1)+ r12 x yb(t-t) f f + r13 xb(t-t) yb(t-i) , a2 = r21 x + r22 x -1- r23 f f 10 [2] [3] [7] [8 [9] [10] 3034555 10 xb(t-1) r32 X Yb(t1) a3 = r31 x r33 On obtient deux solutions pour Zk(t - 1) ,xb(t) x TxTzr b(t) T'x-T'zx Zk(t -1) = k x xb(t) a3x-f-a1 a3xxb(t)-al [12] Zk(t -1) = T -T xYb(t) Y z =k x ) [13] Y(t) D xYb(t a3x-b-a2 Y z f 5 La profondeur Zk(t - 1) du point réel M(t - 1) de l'espace défini dans le premier repère R1 est ainsi obtenue, au facteur k près, par triangulation notamment à partir de la matrice de rotation R et du vecteur de translation T' = -T déterminée à l'étape E4, des coordonnées [xb(t - 1); yb(t -1); fl dans la première image 11 d'un premier pixel P (t - 1) et des coordonnées [xb(t); yb(t);11 dans la deuxième image 12 d'un 10 deuxième pixel P (t) correspondant au premier pixel de la première image 11. Enfin, dans une sixième étape E6, on détermine le sens du mouvement du véhicule à partir du signe du facteur k et du vecteur de translation T'. Ainsi, étant donné que la profondeur Zk(t - 1) est toujours positive (le point réel M étant placé devant la caméra 1), on en déduit que le signe du facteur k doit être Trx-Trzxx D xYb(t) Y z f 15 identique au signe du terme xb(t) f ou du terme yb(t) (ou de leur moyenne). a3x -a1 a3x - az b (t b T'x-T'zx ) Try-TrzxY(t) Ainsi, si le terme xb(t) ' ou le terme yb (t) j (ou leur moyenne) est positif, le signe a3x -a1 a3x -az Trx-Trzxxb(t) D -D xYb(t) Y z f b±-al du facteur k est positif et si le terme x (t) f ou le terme a3xyb(o (ou leur moyenne) a3x f -a2 est négatif, le signe du facteur k est négatif. Connaissant alors le signe du facteur k et le signe de T', (déterminé à la 20 quatrième étape E4), on peut alors déterminer le signe de T. Ainsi, si 7', est positif, le véhicule avance et si 7', est négatif, le véhicule recule. On notera que la quatrième étape E4, cinquième étape E5 et sixième étape E6 ne sont réalisées que lorsqu'il a été établi à la troisième étape E3 que le véhicule 1 1 0 0 était en mouvement. En effet, lorsque le véhicule est à l'arrêt, on a R = 0 1 0 et ( 0 0 1 25 T = [0; 0; 0] et xb(t - 1) = xb(t). Ceci impliquerait donc que le dénominateur soit nul dans les deux équations [12] et [13] donnant la profondeur Zk(t - 1), d'où la nécessité de la troisième étape E3. En théorie, les deux équations [12] et [13] donnent le même résultat. Toutefois, en pratique, à cause des bruits de mesures, il est possible d'avoir deux 3034555 11 résultats sensiblement différents. On peut alors avantageusement prendre la moyenne xb(t) y b (t) des deux résultats ( x::(t) ) et ( 37:(t) )- a3 x-f a3 x--a2 De préférence, le procédé est mis en oeuvre en utilisant une pluralité de points dans la deuxième image 12, par exemple sélectionnés au hasard, afin de rendre la 5 méthode plus robuste. Le procédé selon l'invention peut être utilisé pour permettre à un système d'aide à la conduite de commander un freinage d'urgence lorsque le véhicule se déplace alors que son levier de vitesse est en position neutre ou bien pour commander la calibration de la caméra lorsque le véhicule avance à une vitesse minimale, par exemple 10 3 km/h. On notera que le procédé selon l'invention peut être utilisé, mutatis mutandis, avec une caméra qui est orientée vers l'arrière du véhicule. De même, on notera que le procédé selon l'invention peut s'appliquer aussi bien à une caméra monoscopique qu'a une pluralité de caméras stéréoscopiques.
15 De nombreuses fonctionnalités d'aide à la conduite embarquées dans un véhicule, telles que par exemple la détection d'obstacle, l'aide au freinage d'urgence, le détection de franchissement de ligne ou la détection de panneaux de signalisation, utilisent des modèles de trajectoire du véhicule pour prédire les risques de collision, la position des panneaux de signalisation ou des lignes sur la chaussée. Pour améliorer la 20 qualité de la prédiction, il est nécessaire de savoir si le véhicule est en mouvement ainsi que le sens dudit mouvement. Pour ces fonctionnalités qui nécessitent un niveau de sécurité élevé, il est important d'utiliser aussi de la redondance dans les informations qui leur parviennent. Le procédé selon l'invention permet donc de fournir des informations sur le sens du mouvement d'un véhicule qui peuvent être utilisées par le système d'aide à la 25 conduite pour d'autres fonctions du véhicule. Il est à noter enfin que la présente invention n'est pas limitée aux exemples décrits ci-dessus et est susceptible de nombreuses variantes accessibles à l'homme de l'art.

Claims (10)

  1. REVENDICATIONS1. Procédé de détermination du sens du mouvement d'un véhicule (1) automobile, ledit véhicule (1) comprenant une caméra (2) d'assistance à la conduite du véhicule (1) configurée pour acquérir des images de l'environnement (6) du véhicule (1), ledit procédé étant caractérisé en ce qu'il comprend : - une première étape (El) d'acquisition d'une première image (11) par la caméra (2) à un premier instant (t-1), la caméra (2) définissant à ce premier instant (t-1) un premier repère (R-1), - une deuxième étape (E2) d'acquisition d'une deuxième image (12) par la caméra (2) à un deuxième instant (t), consécutif au premier instant (t-1), la caméra (2) définissant à ce deuxième instant (t) un deuxième repère (R2), - une troisième étape (E3) d'estimation du flot optique entre la première image (11) et la deuxième image (12) afin de détecter un mouvement du véhicule (1), - lorsqu'un mouvement du véhicule (1) a été détecté, une quatrième étape (E4) de détermination de la matrice de rotation (R) et d'un vecteur de translation (T') permettant le passage du premier repère (R-1) au deuxième repère (R2), et - une cinquième étape (E5) de calcul, dans le premier repère (R1), de la profondeur (Zk(t - 1)) d'un point réel (M) de l'environnement (6) du véhicule (1) à partir des coordonnées [xb(t - 1); yb(t - 1); fl d'au moins un premier pixel représentant ledit point réel (M) dans la première image (11), des coordonnées [xb(t); yb(t);11 d'au moins un deuxième pixel correspondant au premier pixel dans la deuxième image (12) et de la matrice de rotation (R) déterminée et du vecteur de translation (T') déterminé, - une sixième étape (E6) de détermination du sens du mouvement du véhicule (1) à partir de la profondeur calculée du point réel (M).
  2. 2. Procédé selon la revendication 1, caractérisé en ce que la cinquième étape (E5) de calcul de la profondeur du point réel (M) est réalisée par triangulation.
  3. 3. Procédé selon la revendication 2, caractérisé en ce que la cinquième étape (E5) de calcul de la profondeur du point réel (M) comprend une sous-étape de sélection du deuxième pixel de la deuxième image (12) et une sous-étape de détermination dans la première image (11), à partir d'un flot optique estimé entre la première image (11) et la deuxième image (12), du premier pixel représentant ledit point réel (M) dans la première image.
  4. 4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que la profondeur Zk(t - 1) dans le premier repère du point réel (M) de coordonnées 35 [Xk; Yk; Zk] est donnée par l'une des équations suivantes : 3034555 13 Tx _Tz xxb (t) Zk (t - 1) = f xb(t) a3 x-7---a1 T -T xyb(t) Y z Z k(t - 1) = a 3 x Yb (t) où : [Tx; Ty; Tz] sont les composantes de la translation permettant de passer du premier repère (R1) au deuxième repère (R2), 5 [xb(t); yb(t);11 sont les coordonnées dans le deuxième repère (R2) du deuxième pixel (P(t)), projection dans la deuxième image (12) du point réel (M), Yb(t1) = r11xb(t-1)+ r12 X + r13 Yb(t1) a2 = xb(t r21 -1)+ r22 X + r23 xb(t-t) Yb(t1) a3 = r31 x + r32 x + r33 10 R est la matrice de rotation r r 12 r13 permettant de passer du premier 10 r21 r31 r22 r32 13 r23 r33 repère (R1) au deuxième repère (R2), et [xb(t - 1); yb(t - 1); fl sont les coordonnées dans le premier repère (R1) du premier pixel (P (t - 1)), projection dans la première image (11) du point réel (M).
  5. 5. Procédé selon la revendication 4, caractérisé en ce que le sens du 15 mouvement du véhicule (1) est déterminé en utilisant la moyenne de (zk(t-1) = x b (t) y b (t) f t d (zk(t-1) x b (0 ) e e k 3 yb ) - a 3 X-f-a1 a3 x--a2
  6. 6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que ledit procédé est mis en oeuvre sur une pluralité de deuxièmes pixels dans la deuxième image (12). 20
  7. 7. Procédé selon l'une quelconque des revendications 1 à 6, caractérisé en ce que le deuxième pixel ou la pluralité de deuxièmes pixels est sélectionné de manière aléatoire.
  8. 8. Procédé selon l'une quelconque des revendications 1 à 7, caractérisé en ce que l'estimation du flot optique entre la première image (11) et la deuxième image (12) est 25 réalisée en utilisant un algorithme de Lucas-Kanade, un algorithme de type « semi-global matching » ou un algorithme de type « power flow ».
  9. 9. Véhicule (1) automobile comprenant une caméra (2) d'assistance à la conduite du véhicule (1), configurée pour acquérir des images de l'environnement (6) du véhicule (1), et une unité de traitement (4) desdites images, ladite caméra (2) étant 3034555 14 configurée pour acquérir une première image (11) à un premier instant (t-1) et acquérir une deuxième image (12) à un deuxième instant (t), consécutif au premier instant (t-1), le véhicule étant caractérisé en ce que l'unité de traitement (4) est configurée pour : - estimer le flot optique entre la première image (11) et la deuxième image (12) afin 5 de détecter un mouvement du véhicule (1), - déterminer la matrice de rotation (R) et un vecteur de translation (T') permettant le passage du premier repère (R-1) au deuxième repère (R2), - calculer, dans le premier repère (R-1), la profondeur d'un point réel (M) de l'environnement (6) du véhicule (1) à partir des coordonnées d'au moins un 10 premier pixel représentant le point réel (M) dans la première image (11), des coordonnées d'au moins un deuxième pixel correspondant au premier pixel dans la deuxième image (12), de la matrice de rotation (R) déterminée et du vecteur de translation (T') déterminé, et - déterminer le sens du mouvement du véhicule (1) à partir de la profondeur 15 calculée du point réel (M).
  10. 10. Véhicule selon la revendication 9, caractérisé en ce que l'unité de traitement (4) est en outre configurée pour sélectionner le deuxième pixel de la deuxième image (12) et pour déterminer, dans la première image (11), à partir d'un flot optique estimé entre la première image (11) et la deuxième image (12), le premier pixel représentant ledit point 20 réel (M) dans la première image (11).
FR1552881A 2015-04-03 2015-04-03 Procede de determination du sens du mouvement d'un vehicule automobile Active FR3034555B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1552881A FR3034555B1 (fr) 2015-04-03 2015-04-03 Procede de determination du sens du mouvement d'un vehicule automobile

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1552881A FR3034555B1 (fr) 2015-04-03 2015-04-03 Procede de determination du sens du mouvement d'un vehicule automobile

Publications (2)

Publication Number Publication Date
FR3034555A1 true FR3034555A1 (fr) 2016-10-07
FR3034555B1 FR3034555B1 (fr) 2017-04-21

Family

ID=54140542

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1552881A Active FR3034555B1 (fr) 2015-04-03 2015-04-03 Procede de determination du sens du mouvement d'un vehicule automobile

Country Status (1)

Country Link
FR (1) FR3034555B1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797442A (zh) * 2022-12-01 2023-03-14 昆易电子科技(上海)有限公司 目标位置的仿真图像回注方法及其相关设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDREA GIACHETTI ET AL: "The Use of Optical Flow for Road Navigation", IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION, IEEE INC, NEW YORK, US, vol. 14, no. 1, 1 February 1998 (1998-02-01), XP011053264, ISSN: 1042-296X *
GILAD ADIV: "Determining Three-Dimensional Motion and Structure from Optical Flow Generated by Several Moving Objects", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE COMPUTER SOCIETY, USA, vol. 30, no. 4, 1 July 1985 (1985-07-01), pages 384 - 401, XP011242853, ISSN: 0162-8828 *
HILDRETH ET AL: "Recovering heading for visually-guided navigation", VISION RESEARCH, PERGAMON PRESS, OXFORD, GB, vol. 32, no. 6, 1 June 1992 (1992-06-01), pages 1177 - 1192, XP024309087, ISSN: 0042-6989, [retrieved on 19920601], DOI: 10.1016/0042-6989(92)90020-J *
PRAZDNY K: "EGOMOTION AND RELATIVE DEPTH MAP FROM OPTICAL FLOW", BIOLOGICAL CYBERNETICS, SPRINGER VERLAG. HEIDELBERG, DE, vol. 36, no. 2, 1 January 1980 (1980-01-01), pages 87 - 102, XP008057296, ISSN: 0340-1200, DOI: 10.1007/BF00361077 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797442A (zh) * 2022-12-01 2023-03-14 昆易电子科技(上海)有限公司 目标位置的仿真图像回注方法及其相关设备
CN115797442B (zh) * 2022-12-01 2024-06-07 昆易电子科技(上海)有限公司 目标位置的仿真图像回注方法及其相关设备

Also Published As

Publication number Publication date
FR3034555B1 (fr) 2017-04-21

Similar Documents

Publication Publication Date Title
US10466714B2 (en) Depth map estimation with stereo images
FR3049560B1 (fr) Procede et systeme d'assistance au changement de voie de roulage pour vehicule automobile
US11431958B2 (en) Vision system and method for a motor vehicle
FR3014553A1 (fr) Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
FR3001686A1 (fr) Procede pour etablir un couloir de circulation d'un vehicule et systeme d'assistance de conduite
EP3364336B1 (fr) Procédé et appareil permettant d'estimer la distance jusqu'à un objet mobile
EP2043044B1 (fr) Procédé et dispositif d'assistance au parcage d'un véhicule automobile
FR3054673B1 (fr) Fusion de donnees de detection et de suivi d'objets pour vehicule automobile
FR3034555A1 (fr) Procede de determination du sens du mouvement d'un vehicule automobile
EP2729328B1 (fr) Dispositif d'aide pour mettre à la disposition d'un conducteur, de façon anticipée, une image de synthèse représentative d'une zone choisie entourant son véhicule
FR3052581B1 (fr) Procede de realisation d'une carte de profondeurs a partir d'images successives d'une camera unique (mono) embarquee dans un vehicule automobile
WO2019162238A1 (fr) Dispositif et procédé d'aide à la conduite d'un véhicule automobile
FR2938228A1 (fr) Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile
FR3043974A1 (fr) Procede et systeme d'assistance au changement de voie de roulage pour vehicule automobile
FR3082936A1 (fr) Traitement stereoscopique de donnees de vehicules connectes
FR3062943A1 (fr) Procede de traitement d'images pour la detection d'un objet le long d'une route
FR3087732A1 (fr) Procede et dispositif de determination d’un changement de voie d’un vehicule
WO2018069060A1 (fr) Dispositif de localisation et dispositif de production de données d'intégrité
FR3036498A1 (fr) Procede et systeme de localisation en ligne d'un vehicule automobile
EP3008664B1 (fr) Procédé et système de suivi d'objets en mouvement
FR3069689B1 (fr) Procede d'estimation du mouvement d'un point dans une sequence d'images
FR3139227A1 (fr) Procédé et dispositif de détection d’un objet proche pour piloter une aide à la conduite d’un véhicule autonome.
EP4165601A1 (fr) Procede de calibration d'une camera et dispositif associe
WO2018197775A1 (fr) Procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet
FR3078183A1 (fr) Procede de detection d'un objet a partir d'une camera embarquee dans un vehicule automobile

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20161007

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

TQ Partial transmission of property

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Effective date: 20230424

Owner name: CONTINENTAL AUTOMOTIVE FRANCE, FR

Effective date: 20230424

PLFP Fee payment

Year of fee payment: 10