FR3032820A1 - Procede de calibration d'une camera montee sur le pare-brise d'un vehicule - Google Patents

Procede de calibration d'une camera montee sur le pare-brise d'un vehicule Download PDF

Info

Publication number
FR3032820A1
FR3032820A1 FR1551350A FR1551350A FR3032820A1 FR 3032820 A1 FR3032820 A1 FR 3032820A1 FR 1551350 A FR1551350 A FR 1551350A FR 1551350 A FR1551350 A FR 1551350A FR 3032820 A1 FR3032820 A1 FR 3032820A1
Authority
FR
France
Prior art keywords
camera
coordinates
image
instant
windshield
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1551350A
Other languages
English (en)
Other versions
FR3032820B1 (fr
Inventor
Lucien Garcia
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Continental Automotive France SAS
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Priority to FR1551350A priority Critical patent/FR3032820B1/fr
Publication of FR3032820A1 publication Critical patent/FR3032820A1/fr
Application granted granted Critical
Publication of FR3032820B1 publication Critical patent/FR3032820B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

La présente invention a pour objet un procédé de calibration d'une caméra montée sur le pare-brise d'un véhicule automobile. Le procédé permet de compenser la distorsion générée par l'acquisition d'images à travers le pare-brise en déterminant notamment l'erreur entre des points stationnaires réels et prédits pour un même instant.

Description

1 La présente invention se rapporte au domaine de la calibration d'une caméra vidéo et concerne plus particulièrement un procédé et un dispositif de calibration d'une caméra montée sur le pare-brise d'un véhicule, ainsi qu'un véhicule, notamment automobile, comprenant un tel dispositif.
De nos jours, il est connu d'équiper un véhicule automobile avec un système d'assistance à la conduite appelé communément ADAS (« Advanced Driver Assistance System » en langue anglaise). Un tel système comprend de manière connue une caméra, montée sur le pare-brise du véhicule, qui permet de générer un flux d'images représentant l'environnement dudit véhicule. Ces images sont exploitées par une unité de traitement du système afin d'assister le conducteur, par exemple en détectant un obstacle ou bien le franchissement d'une ligne blanche. Les informations données par les images capturées par la caméra doivent donc être suffisamment fiables et pertinentes pour permettre au système d'assister efficacement le conducteur du véhicule. A cette fin, il est connu de procéder à une calibration de la caméra.
La calibration correspond à la détermination d'une pluralité de valeurs de compensation de paramètres de la caméra. Parmi ces paramètres, on distingue les paramètres intrinsèques et les paramètres extrinsèques. Les paramètres extrinsèques correspondent au positionnement de la caméra par rapport à la route sur laquelle il circule et comprennent les trois translations et les trois rotations nécessaires pour passer d'un repère lié à la route, appelé « repère monde » à un repère lié à la caméra, appelé « repère caméra », c'est-à-dire six paramètres. La calibration des paramètres extrinsèques de la caméra permet donc de compenser les défauts de positionnement de la caméra par rapport à la route. Or, la position du véhicule changeant constamment par rapport à la route du fait, par exemple, de secousses ou de la charge du véhicule, il est alors nécessaire d'ajuster en permanence les valeurs de ces paramètres extrinsèques. Les paramètres intrinsèques sont liés aux caractéristiques techniques propres de la caméra et comprennent, par exemple, la focale de la caméra, sa distorsion, la position de la lentille par rapport au capteur de la caméra, etc. La calibration de ces paramètres intrinsèques permet de compenser au moins en partie les défauts de fabrication de la caméra. Cette calibration est en général réalisée au moins une première fois en usine puis dès lors qu'il est nécessaire de calibrer à nouveau ces paramètres intrinsèques, par exemple suite à l'intervention d'un garagiste sur le pare-brise. 3032820 2 La calibration des paramètres intrinsèques de la caméra est réalisée avant de monter la caméra sur le pare-brise du véhicule. Il en résulte que cette calibration ne prend pas en compte la distorsion de la lumière par le pare-brise qui a pour effet de dégrader la qualité des images capturées par la caméra en les distordant à leur tour, ce qui diminue 5 l'efficacité et la fiabilité du système d'assistance à la conduite et présente donc un inconvénient majeur. L'invention vise donc à résoudre cet inconvénient en proposant une solution simple, fiable et efficace pour calibrer une caméra d'un véhicule en tenant compte de la distorsion de la lumière par le pare-brise. 10 A cette fin, l'invention a pour objet un procédé de calibration d'une caméra montée sur le pare-brise d'un véhicule automobile, ladite caméra étant configurée pour acquérir une pluralité d'images de l'environnement dudit véhicule à travers ledit pare-brise, ledit procédé étant remarquable en ce qu'il comprend : - une étape de détermination de premières coordonnées d'une pluralité de points 15 stationnaires dans une première image acquise par la caméra à un premier instant, - une étape de détermination, dans une deuxième image successive acquise par la caméra à un deuxième instant consécutif au premier instant, de deuxièmes coordonnées de ladite pluralité de points stationnaires, 20 - une étape de prédiction de troisièmes coordonnées de la pluralité de points stationnaires au deuxième instant à partir des premières coordonnées, - une étape de calcul d'une erreur entre les deuxièmes coordonnées et les troisièmes coordonnées, - une étape de correction d'au moins la deuxième image à partir de l'erreur calculée 25 afin de compenser la distorsion générée par l'acquisition de la deuxième image à travers le pare-brise et calibrer ainsi la caméra. Par le terme « stationnaire », on entend un objet fixe dans l'environnement du véhicule tel que, par exemple un panneau, une maison, un lampadaire etc... Le procédé permet avantageusement de compenser la distorsion générée par 30 l'acquisition d'images à travers le pare-brise en déterminant notamment l'erreur entre des points stationnaires réels et prédits pour un même instant, cette erreur étant représentative de ladite distorsion. De préférence, la prédiction est réalisée par l'application d'un filtre de Kalman aux premières coordonnées de la pluralité de points stationnaires dans la première image.
Avantageusement encore, l'étape de détermination d'une erreur est réalisée pour une pluralité d'images consécutives, par exemple plusieurs milliers.
3032820 3 Selon un aspect de l'invention, le procédé comprend une étape de détermination, à partir d'une pluralité d'erreurs déterminées pour une pluralité d'images successives, d'une erreur moyenne représentative de la distorsion générée par le pare-brise sur ladite pluralité d'images acquises par la caméra. Une telle erreur moyenne, 5 calculée de préférence à partir de plusieurs milliers d'images successives permet d'obtenir une correction très précise et donc un calibrage très fiable de la caméra par rapport à la distorsion générée par le pare-brise du véhicule. L'invention concerne aussi un dispositif de calibration d'une caméra montée sur le pare-brise d'un véhicule automobile, ladite caméra étant configurée pour acquérir 10 une pluralité d'images de l'environnement dudit véhicule à travers ledit pare-brise, ledit dispositif étant remarquable en ce qu'il comprend : - une première unité de détermination, dans une première image acquise par la caméra à un premier instant, de premières coordonnées d'une pluralité de points stationnaires, 15 - une deuxième unité de détermination, dans une deuxième image successive acquise par la caméra à un deuxième instant consécutif au premier instant, de deuxièmes coordonnées de ladite pluralité de points stationnaires, - une unité de prédiction de troisièmes coordonnées de la pluralité de points stationnaires au deuxième instant à partir des premières coordonnées, 20 - une unité de calcul d'une erreur entre les deuxièmes coordonnées et les troisièmes coordonnées, - une unité de correction d'au moins la deuxième image à partir de l'erreur calculée afin de compenser la distorsion générée par l'acquisition de la deuxième image à travers le pare-brise et calibrer ainsi la caméra.
25 De préférence, l'unité de prédiction est configurée pour appliquer un filtre de Kalman aux coordonnées de la pluralité de points stationnaires dans la première image. De préférence encore, l'unité de calcul est en outre configurée pour calculer, à partir d'une pluralité de milliers d'erreurs déterminées pour une pluralité de milliers d'images successives, une erreur moyenne représentative de la distorsion générée par le 30 pare-brise sur les images acquises par la caméra. L'invention concerne aussi un véhicule comprenant un dispositif tel que présenté précédemment. D'autres caractéristiques et avantages de l'invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d'exemples non 35 limitatifs et dans lesquelles des références identiques sont données à des objets semblables.
3032820 4 La figure 1 illustre schématiquement un véhicule selon l'invention. La figure 2 illustre une forme de réalisation du dispositif selon l'invention. La figure 3 illustre schématiquement l'utilisation des différentes images acquises par la caméra ou prédites dans le procédé selon l'invention.
5 La figure 4 illustre un mode de mise en oeuvre du procédé selon l'invention. En référence à la figure 1, le dispositif 1 selon l'invention est destiné à être monté dans un véhicule automobile 2 et permet de calibrer une caméra 3 montée sur le pare-brise 4 à l'intérieur INT dudit véhicule 2. Une telle caméra 3 est configurée de 10 manière connue pour acquérir une pluralité d'images de l'environnement du véhicule 2 à travers son pare-brise 4. Les images acquises sont transmises au dispositif selon l'invention par un lien de communication 5, par exemple de type bus CAN (« Controller Area Network » an anglais ou réseau de communication) connu de l'homme du métier. En référence à la figure 2, le dispositif 1 comprend une première unité de 15 détermination 10, une deuxième unité de détermination 20, une unité de prédiction 30, une unité de calcul 40 et une unité de correction 50. La première unité de détermination 10 est configurée pour déterminer les coordonnées d'une pluralité de N points stationnaires dans une première image 11 acquise par la caméra 3 à un premier instant t.
20 La deuxième unité de détermination 20 est configurée pour déterminer les coordonnées de la pluralité de N points stationnaires dans une deuxième image 12 successive acquise par la caméra 3 à un deuxième instant t+1, consécutif au premier instant t. L'unité de prédiction 30 est configurée pour prédire des coordonnées de la 25 pluralité de N points stationnaires au deuxième instant t+1 à partir des coordonnées de la pluralité de N points stationnaires dans la première image 11. L'unité de calcul 40 est configurée pour calculer une erreur entre les coordonnées de la pluralité de N points stationnaires déterminées dans la deuxième image 12 et les coordonnées prédites de la pluralité de N points stationnaires au deuxième 30 instant t+1 par l'unité de prédiction 30. L'unité de correction 50 est configurée pour corriger la deuxième image 12 à partir de l'erreur déterminée par l'unité de calcul 40 afin de compenser la distorsion générée par l'acquisition de la deuxième image 12 à travers le pare-brise 4 et calibrer ainsi la caméra 3.
35 L'invention va maintenant être décrite dans sa mise en oeuvre.
3032820 5 Tout d'abord, la caméra 3 du véhicule 2 acquière une première image 11 à un premier instant t dans une étape El et une deuxième image 12 successive à un deuxième instant t+1, consécutif au premier instant t, dans une étape E2. Dans une étape E3, la première unité de détermination 10 détermine dans la 5 première image 11 des premières coordonnées, réelles, d'une pluralité de N points stationnaires, N étant supérieur ou égal à deux. Ces N points stationnaires sont des points fixes du paysage dont la position de la première image 11 à la deuxième image 12 varie selon une trajectoire prédictible. Il va de soi que l'ordre des étapes E2 et E3 pourrait être inversé, ces étapes n'étant pas directement liées entre elles.
10 La deuxième unité de détermination 20 détermine ensuite des deuxièmes coordonnées, réelles, de la pluralité de N points stationnaires dans la deuxième image 12 dans une étape E4. Dans une étape E5, l'unité de prédiction 30 prédit, pour le deuxième instant t+1, des troisièmes coordonnées de la pluralité de N points stationnaires à partir 15 des premières coordonnées de la pluralité de N points stationnaires dans la première image 11 déterminées à l'étape E3. Cette prédiction permet de générer une troisième image 13, virtuelle, au deuxième instant t+1 comprenant la pluralité de points stationnaires prédits à partir de la première image 11. Il va de soi que l'ordre des étapes E4 et E5 pourrait être inversé, ces étapes n'étant pas directement liées entre elles.
20 Dans cet exemple préféré, la prédiction effectuée à l'étape E5 est réalisée en appliquant un filtre de Kalman à la pluralité de N points stationnaires déterminés dans la première image 11. Afin d'illustrer l'application de ce filtre, il est nécessaire de définir des repères et des transformations.
25 Tout d'abord, en référence à la figure 1, on définit un repère monde W, lié au sol S et dont la composante xw est parallèle sol S, et un repère caméra K, lié à la caméra dont la composante zK est orientée selon la focale de la caméra 10. L'application du filtre de Kalman selon l'invention nécessite l'estimation d'un vecteur d'état Xi, l'indice j indiquant l'étape du vecteur d'état dans l'application du filtre de 30 Kalman. Ce vecteur d'état Xi est un vecteur colonne définit selon l'équation suivante : - Xi = [1] 3032820 6 où )q est un vecteur de mouvement du véhicule, Xj est un vecteur de position de la caméra et (Xi, ...,X1\1) sont les composantes d'un vecteur de la position 3D des N points stationnaires. Le vecteur de mouvement e du véhicule est définit selon l'équation suivante : 1 tex tey tez yawe pitche roue _ où tex, tey et tez sont les trois composantes de translations du véhicule et yawe, pitche et roule sont les trois composantes de rotation du véhicule. Le mouvement du véhicule entre la première image 11 et la deuxième image 12 dans le repère monde W est donné par l'équation suivante : 10 Xw(t + 1) = RE. (Xw(t) - TE) [3] tex où TE = [tey [4] tez OÙ tex, tey et tez sont les trois composantes de translations du véhicule et RE yawe est la matrice de rotation définie par les angles pitche [5] où yawe, pitche et roule sont les trois composantes de rotation du véhicule.
15 Le vecteur de position )( de la caméra définit les deux rotations « yaw » (tangage) et « pitch » (lacet) permettant de passer du repère monde W au repère caméra K, la troisième rotation (roll ou roulis) étant prédéterminée et connue de même que le vecteur TK représentant les translations selon les trois dimensions spatiales permettant de passer du repère monde W au repère caméra K.
20 Ainsi, on passe d'un point de coordonnées Xw dans le repère monde W à un point de coordonnées Xk dans le repère caméra K selon l'équation suivante : Xk = RK. (Xw - TK) [6] où RK correspond au vecteur Xc = (pitch) yaw [7], Xw correspond au mouvement du véhicule dans le repère monde W et 25 TK représente les translations selon les trois dimensions spatiales permettant de passer du repère monde W au repère caméra K. 5 1 = [2] 3032820 7 Un point xr (n étant compris entre 1 et N), du vecteur de la position 3D des N un [ points stationnaires de composantes (Xi, ...,X1\1), définit par ses coordonnées xr = vn a dn 1= un et c7.1 I Yn ,. ,., /1 = vn [8]. dn Xk 5 Un point Xk défini par ses coordonnées Yk dans le repère caméra K peut Zk être projeté de manière connue dans le repère caméra K - en coordonnées normalisées : xn = n et yb = Yk Zk Zk puis - en pixels : xp = Fx. xb + X0 et yp = Fy. yb + Yo [10] 10 où xp et yb sont les coordonnées normalisées définies à l'équation [9], (Fx, Fy) correspondent aux valeurs de la focale de l'image (connues) et (X0,Y0) correspondent au point principal de l'image (connu). Dans une étape préliminaire, il est nécessaire d'initialiser le filtre de Kalman. A cette fin, on détermine un vecteur d'état initial X0 en choisissant par exemple : 15 - Xô = 0, - les dernières valeurs de calibration connue pour 4 ou des valeurs arbitraires, et - des positions 3D arbitraires de N points stationnaires de composantes (Xi, ..., 41).
20 L'application du filtre de Kalman comprend quatre étapes successives, le but étant d'estimer un vecteur d'état Xi final au deuxième instant t+1. Ce vecteur d'état final Xi comprend un vecteur de mouvement )q final du véhicule, un vecteur de position XF final de la caméra 2 et un vecteur de la position 3D des N points stationnaires de composantes (XI__ XN).
25 La détermination des composantes du vecteur d'état final Xi au deuxième instant t+1 comprend une sous-étape de prédiction d'un premier vecteur d'état intermédiaire Xi_3 au premier instant t, une sous-étape de mise à jour dudit premier vecteur d'état intermédiaire Xi_3 en une deuxième vecteur d'état intermédiaire Xi_2 au premier instant t, une sous-étape de mise à jour dudit deuxième vecteur d'état 30 intermédiaire Xi_2 en un troisième vecteur d'état au deuxième instant t+1 et une sous-étape de remplacement de points au deuxième instant t+1 afin d'obtenir le vecteur d'état final Xi. pour position 3D cartésienne (xn,yn,zn) dans le repère monde W où xn = [9] 3032820 8 La sous-étape de prédiction du premier vecteur d'état intermédiaire Xi_3 au premier instant t est réalisée selon l'équation suivante à partir du dernier vecteur d'état final Xi_4 connu résultant d'une application antérieure du filtre de Kalman (ou du vecteur d'état initial X0 le cas échéant) : Xi 3 = fere(X4) WE XF 3 = XF_4 Wc 5 Xi-3 = fpre (Xi-4) = )q- 3 = 4 - Xi-3 3 = 4 où XE 4 est le vecteur de mouvement final du véhicule obtenu pour la première image 11 au premier instant t, XE 3 est le premier vecteur de mouvement intermédiaire du véhicule obtenu au premier instant t, XF 4 est le vecteur de position final de la caméra pour la première image 11 au premier instant t, Xf 3 est le premier vecteur de position 10 intermédiaire de la caméra au premier instant t, 3, 3) = 4, 4) sont les composantes du vecteur de position 3D de la pluralité de N points stationnaires dans la première image 11 au premier instant t, wE, wc correspondent aux bruits de traitement (encore appelé bruits « de process »), fere represente un modèle de déplacement du véhicule (par exemple à vitesse constante).
15 On note que la position 3D des N points stationnaires est ainsi fixée au premier instant t. Par ailleurs, lors de la première réalisation de la détermination du vecteur d'état final, celle-ci est effectuée à partir des composantes du vecteur d'état initial Xo. La matrice de covariance Pi_3 associée au premier vecteur d'état Xi_3 est 20 estimée selon l'équation suivante : Pi-3 = Hpre- Pi-4Hrprre + Q [12] où Hpre est la matrice jacobienne de la fonction fpre, Pi_4 est la matrice de covariance au premier instant t associée à Xi_4, Xi_4 est le vecteur d'état final obtenu pour la première image 11 au premier instant t, HIT,re est la transposée de la matrice jacobienne 25 de la fonction fpre et Q est la matrice de covariance des bruits de traitement wE, wc. La sous-étape de mise à jour du premier vecteur d'état intermédiaire Xi_3 en un deuxième vecteur d'état intermédiaire Xi_2 au premier instant t est réalisée en utilisant les points xlee' ayant une mesure de position (xbn, ybn) disponible dans la deuxième image 12 au deuxième instant t+1. Chaque point Xbn est fonction du vecteur de 30 mouvement XE 3 du véhicule entre le premier instant t et le deuxième instant t+1, du vecteur de position Xf 3 de la caméra au deuxième instant t+1 et du vecteur de 3032820 9 position 3D des N points stationnaires de composantes (X-3, ...,e3) exprimés au premier instant t. La prédiction de la mesure de ces points peut ainsi s'écrire selon l'équation de mesure suivante : , rv bn E yç )(ri "pred Imeas "1-3,"1-3) où f'eas est la fonction de prédiction, XE 3 est le premier vecteur de mouvement intermédiaire du véhicule au premier instant t, 3 est le premier vecteur de position intermédiaire de la caméra au premier instant t et (X- 3, 3) sont les composantes du vecteur de position 3D des N points stationnaires exprimées au premier 10 instant t, n étant supérieur ou égale à 1 et inférieur ou égal à N. L'équation [8] permet d'obtenir la position en 3D cartésienne d'un point Xr_3 dans le repère monde W au premier instant t. Les équations [2], [3], [4] et [5], ainsi que le premier vecteur de mouvement intermédiaire XE 3, permettent ensuite d'obtenir la position en 3D cartésienne de )(fi 3 dans le repère monde W au deuxième instant t+1.
15 Cette position en 3D cartésienne de Xr_3 dans le repère monde W au deuxième instant t+1, ainsi que XF 3, permettent d'obtenir la position du point Xp brned dans le repère caméra K en utilisant l'équation [6]. Enfin, l'équation [9] permet d'obtenir ses coordonnées normalisées dans le repère caméra (K). Pour chaque mesure de position d'un point stationnaire xleeas de coordonnées 20 (xbn,ybn) disponible dans la deuxième image 12 au deuxième instant t+1, le vecteur d'état est mis à jour selon l'équation : Xi_2 = Xi_3 K(Xl`T:ieas xprned) [14] où xleeas est la mesure de position d'un point stationnaire de coordonnées brned (xbn, Ybn) 5 xp est la position du point dans le repère caméra K disponible dans la 25 deuxième image 12 au deuxième instant t+1, K est le gain de Kalman donné par : K = Hrrrneas - S-1 [15] où neas est la transposée de la matrice jacobienne de la fonction f'eas de prédiction, Pi_3 est la matrice de covariance de Xi_3 et S étant la matrice d'innovation donnée par : 30 S = Hmeas - Pi-3. Hrrineas R [16] où Hmeas est la matrice jacobienne de la fonction f'eas de prédiction, Pi_3 est la matrice de covariance de Xi_3, HI- rneas est la transposée de la matrice jacobienne de la fonction f -meas de prédiction et R est la matrice représentant le bruit de la mesure. 5 [13] 3032820 10 La matrice Pi_2 de covariance de Xi_2 est mis à jour par : Pi -2 = (I - K. H meas)- - P i-3 [17] où I est la matrice identité, K est le gain de Kalman donné à l'équation [15], Hmeas est la matrice jacobienne de la fonction f -meas de prédiction et P1_3 est la matrice de 5 covariance de Xi_3. Les N points stationnaires (X-_2, ...,X;' 2) ainsi mis à jour étant toujours exprimés au premier instant t, il est nécessaire de les mettre à jour au deuxième instant t+1. La sous-étape de mise à jour du vecteur d'état Xi_1 au deuxième instant t+1 10 est réalisée dans le repère monde W au deuxième instant t+1 selon l'équation suivante : )0 1 = 2 XF = 2 Xi-1 = fposei-2) = )q_1 = feost( [18] N Xr 1 = feost( Xr-21 où XE 1 = XE 2 est le vecteur de mouvement du véhicule entre le premier instant t et le deuxième instant t+1, XF 1 = 2 est le vecteur de position de la caméra au deuxième instant t+1, la fonction feost permet ainsi de transformer un point X" (n étant 15 compris entre 1 et N) du premier instant t au deuxième instant t+1 en utilisant le mouvement du véhicule estimé à l'aide du vecteur de mouvement du véhicule XE 2 entre ces deux instants, (X-2, ...,e2) sont les composantes du vecteur de position 3D des N points stationnaires exprimées au premier instant t et sont les composantes du vecteur de position 3D des N points stationnaires exprimées au deuxième instant t+1.
20 Pour ce faire, l'équation [8] permet d'obtenir la position en 3D cartésienne d'un point Xr_2 dans le repère monde W au premier instant t. Les équations [2], [3], [4] et [5], ainsi que le vecteur de mouvement XE 2, permettent ensuite d'obtenir la position en 3D cartésienne du point Xr_2 dans le repère monde W au deuxième instant t+1. Enfin, la position du point Xr_1 est obtenue à partir de la position en 3D cartésienne de Xr_2 dans le 25 repère monde W au deuxième instant t+1 et de l'équation [8] à nouveau. La matrice de covariance de du troisième vecteur d'état Xi_i est elle aussi mise à jour de la façon suivante : Pi-1 - Hpost- Pi-2 - HiLst [19] 3032820 11 où Hp't est la matrice jacobienne de la fonction fp't, Pi_2 est la matrice de covariance du vecteur d'état Xi_2, HiT,'t est la transposée de la matrice jacobienne de la fonction fp't. Lorsqu'un ou plusieurs points stationnaires n'ont plus de mesure de position 5 dans la deuxième image 12 au deuxième instant t+1, ces points sont remplacés dans le vecteur d'état final Xi par de nouveaux points stationnaires x1,3_,ew = (xliVe-w,...,x1,3_,renw), dont la mesure dans la deuxième image 12 est disponible selon l'équation Xi - faugm(Xi-1,xinew) = Xi = XF 1 = fLgm( XF_1,x1:,'-w) si point 1 remplacé par nouveau point b1 XN = faCugm(xF iixbnemw^ ) si point N remplacé par nouveau point bm 10 La fonction fLg' permet de transformer un point xb dans la deuxième image 12 dans le repère monde W en utilisant la calibration extrinsèque estimée XF_1. A cette fin, chaque point (x1,3-2e-w,..., xliew) est tout d'abord projeté dans le Xk I à l'aide de l'équation le repère caméra K repère caméra (K) afin d'obtenir un point Xk de coordonnées Yk ( Zk [9] en considérant que le point est à sensiblement à l'infini dans 15 avec - = c, c étant une valeur proche de zéro. ZK L'équation [6] et le vecteur de position connu XF 1 permettent ensuite d'obtenir la position XI{ du point dans le repère monde W au deuxième instant t+1. Enfin, l'équation [8] permet d'obtenir le nouveau point stationnaire )(fi dans le repère monde (W) en 3D au deuxième instant t+1.
20 La matrice de covariance Pi du vecteur d'état final Xi est elle aussi mise à jour de la façon suivante : Pi - Haugm- Pi 1 0 T [21] [ Rbnew -H augm où Haugm est la matrice jacobienne de la fonction faug' et Rbnewest le bruit de mesure sur les points stationnaires x1,3_,ew.
25 Dans une étape E6, l'unité de calcul 40 calcule une erreur, c'est-à-dire une différence, entre les deuxièmes coordonnées de la pluralité de N points stationnaires, déterminées dans la deuxième image 12 à l'étape E4, et les troisièmes coordonnées, prédites à l'étape E5. Cette erreur entre les deuxièmes coordonnées, réelles, et les 30 troisièmes coordonnées, prédites, représente la distorsion générée par le pare-brise 4 sur les images acquises par la caméra 2. [20] 3032820 12 Par exemple, pour un point de premières coordonnées (u0,v0) dans la première image 11 au premier instant t, de deuxièmes coordonnées (u1,v1) dans la deuxième image 12 au deuxième instant t+1 et de troisièmes coordonnées (u2,v2), prédites, au deuxième instant t+1, l'erreur peut être quantifiée selon la formule : (u2- 5 u1,v2-v1). Ensuite, dans une étape E7, l'unité de correction 50 corrige la deuxième image 12 à partir de l'erreur calculée à l'étape E6 afin de compenser la distorsion générée par l'acquisition de la deuxième image 12 à travers le pare-brise 4 et calibrer ainsi la caméra 3.
10 Le procédé selon l'invention permet donc avantageusement de compenser la distorsion générée par le pare-brise 4 sur les images capturées par la caméra 3 du véhicule afin de fournir des images de qualité à une unité électronique de contrôle et d'assistance à la conduite du véhicule. De manière avantageuse, le procédé est mis en oeuvre sur une pluralité 15 d'images successives acquises par la caméra 2, par exemple plusieurs milliers d'images, afin d'établir une carte d'erreurs ou une erreur moyenne permettant d'affiner dans le temps la correction de la distorsion générée par le pare-brise 4 sur les images. Par exemple, on peut tout d'abord collecter des erreurs entre un même point (ou plusieurs) de plusieurs milliers d'images successives. On détermine ensuite l'erreur 20 moyenne entre des points correspondants à des pixels voisins sur ces milliers d'images puis on intègre l'erreur à partir du centre optique de l'image. Pour ce faire, on somme les erreurs en partant du centre optique. Par exemple, si n est le pixel correspondant au centre optique, e(n) est l'erreur entre le pixel n et le pixel voisin n+1 et e(n+1) est l'erreur entre le pixel n+1 et le pixel voisin n+2 alors l'erreur au pixel n+2 est égale à e(n) + 25 e(n+1). On lisse ensuite cette somme en appliquant un polynôme de manière connue de l'homme du métier, les données manipulées étant bruitées puis on corrige les images acquises par la suite par la caméra 3 avec ledit polynôme, ce dernier étant linéaire, ce qui permet de gommer les irrégularités rencontrées dans la pratique. L'invention permet donc de calibrer la caméra 3 du véhicule 2 de manière 30 simple, fiable et efficace en tenant compte de la distorsion de la lumière par le pare-brise 4. Il est à noter enfin que la présente invention n'est pas limitée aux exemples décrits ci-dessus et est susceptible de nombreuses variantes accessibles à l'homme de l'art. 35

Claims (8)

  1. REVENDICATIONS1. Procédé de calibration d'une caméra (3) montée sur le pare-brise (4) d'un véhicule automobile (2), ladite caméra (3) étant configurée pour acquérir une pluralité d'images de l'environnement dudit véhicule (2) à travers ledit pare-brise (4), ledit procédé étant 5 caractérisé en ce qu'il comprend : - une étape (E3) de détermination de premières coordonnées d'une pluralité (N) de points stationnaires dans une première image (11) acquise (El ) par la caméra (3) à un premier instant (t), - une étape (E4) de détermination, dans une deuxième image (12) successive 10 acquise (E2) par la caméra (3) à un deuxième instant (t+1) consécutif au premier instant (t), de deuxièmes coordonnées de ladite pluralité (N) de points stationnaires, - une étape (E5) de prédiction de troisièmes coordonnées de la pluralité (N) de points stationnaires au deuxième instant (t+1) à partir des premières coordonnées, 15 - une étape (E6) de calcul d'une erreur entre les deuxièmes coordonnées et les troisièmes coordonnées, - une étape (E7) de correction d'au moins la deuxième image (12) à partir de l'erreur calculée afin de compenser la distorsion générée par l'acquisition de la deuxième image (12) à travers le pare-brise (4) et calibrer ainsi la caméra (3). 20
  2. 2. Procédé selon la revendication 1, caractérisé en ce que la prédiction (E5) est réalisée par l'application d'un filtre de Kalman aux premières coordonnées de la pluralité (N) de points stationnaires dans la première image (11).
  3. 3. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il est mis en oeuvre sur une pluralité de milliers d'images successives acquises par 25 la caméra (2).
  4. 4. Procédé selon la revendication précédente, caractérisé en ce qu'il comprend une étape de calcul, à partir d'une pluralité de milliers d'erreurs déterminées pour une pluralité de milliers d'images successives, d'une erreur moyenne représentative de la distorsion générée par le pare-brise (4) sur les images acquises par la caméra (3). 30
  5. 5. Dispositif (1) de calibration d'une caméra (3) montée sur le pare-brise (4) d'un véhicule automobile (2), ladite caméra (3) étant configurée pour acquérir une pluralité d'images de l'environnement dudit véhicule (2) à travers ledit pare-brise (4), ledit dispositif étant caractérisé en ce qu'il comprend : - une première unité (10) de détermination, dans une première image (11) acquise 35 (El ) par la caméra (3) à un premier instant (t), de premières coordonnées d'une pluralité (N) de points stationnaires, 3032820 14 - une deuxième unité (20) de détermination, dans une deuxième image (12) successive acquise (E2) par la caméra (3) à un deuxième instant (t+1) consécutif au premier instant (t), de deuxièmes coordonnées de ladite pluralité (N) de points stationnaires, - une unité (30) de prédiction de troisièmes coordonnées de la pluralité (N) de points stationnaires au deuxième instant (t+1) à partir des premières coordonnées, - une unité (40) de calcul d'une erreur entre les deuxièmes coordonnées et les troisièmes coordonnées, - une unité (50) de correction d'au moins la deuxième image (12) à partir de l'erreur calculée afin de compenser la distorsion générée par l'acquisition de la deuxième image (12) à travers le pare-brise (4) et calibrer ainsi la caméra (3).
  6. 6. Dispositif selon la revendication 5, caractérisé en ce que l'unité de prédiction (30) est configurée pour appliquer un filtre de Kalman aux premières coordonnées de la pluralité (N) de points stationnaires dans la première image (11).
  7. 7. Dispositif selon l'une des revendications 5 et 6, caractérisé en ce que l'unité de calcul (40) est en outre configurée pour calculer, à partir d'une pluralité de milliers d'erreurs déterminées pour une pluralité de milliers d'images successives, une erreur moyenne représentative de la distorsion générée par le pare-brise (4) sur les images acquises par la caméra (3).
  8. 8. Véhicule (2) comprenant un dispositif (1) selon l'une quelconque des revendications précédentes 5 à 7.
FR1551350A 2015-02-18 2015-02-18 Procede de calibration d'une camera montee sur le pare-brise d'un vehicule Active FR3032820B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1551350A FR3032820B1 (fr) 2015-02-18 2015-02-18 Procede de calibration d'une camera montee sur le pare-brise d'un vehicule

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1551350A FR3032820B1 (fr) 2015-02-18 2015-02-18 Procede de calibration d'une camera montee sur le pare-brise d'un vehicule

Publications (2)

Publication Number Publication Date
FR3032820A1 true FR3032820A1 (fr) 2016-08-19
FR3032820B1 FR3032820B1 (fr) 2017-02-10

Family

ID=52779962

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1551350A Active FR3032820B1 (fr) 2015-02-18 2015-02-18 Procede de calibration d'une camera montee sur le pare-brise d'un vehicule

Country Status (1)

Country Link
FR (1) FR3032820B1 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293701A1 (fr) * 2016-09-07 2018-03-14 Conti Temic microelectronic GmbH Procédé et appareil pour la compensation de distorsions d'images statiques introduites par un parebrise sur une caméra d'aide à la conduite automobile
EP3982328A1 (fr) 2020-10-08 2022-04-13 Saint-Gobain Glass France Procédé de simulation des effets des distorsions optiques d'un pare-brise sur la qualité d'enregistrement des images d'un dispositif d'enregistrement d'images numériques
EP4016444A1 (fr) * 2020-12-15 2022-06-22 Conti Temic microelectronic GmbH Procédé de rectification d'images et/ou de points d'image, système par caméra et véhicule

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000034803A2 (fr) * 1998-11-20 2000-06-15 Geometrix, Inc. Determination de la pose d'une camera a assistance visuelle
EP2434256A2 (fr) * 2010-09-24 2012-03-28 Honeywell International Inc. Intégration de caméra et d'unité de mesure d'inertie avec feedback de données de navigation pour le suivi de fonctions
US20120206601A1 (en) * 2009-07-08 2012-08-16 Ulrich Seger Distortion correction of video systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000034803A2 (fr) * 1998-11-20 2000-06-15 Geometrix, Inc. Determination de la pose d'une camera a assistance visuelle
US20120206601A1 (en) * 2009-07-08 2012-08-16 Ulrich Seger Distortion correction of video systems
EP2434256A2 (fr) * 2010-09-24 2012-03-28 Honeywell International Inc. Intégration de caméra et d'unité de mesure d'inertie avec feedback de données de navigation pour le suivi de fonctions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Extended Kalman filter - Wikipedia, the free encyclopedia", 10 November 2014 (2014-11-10), XP055194715, Retrieved from the Internet <URL:http://en.wikipedia.org/w/index.php?title=Extended_Kalman_filter&oldid=633185081> [retrieved on 20150610] *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293701A1 (fr) * 2016-09-07 2018-03-14 Conti Temic microelectronic GmbH Procédé et appareil pour la compensation de distorsions d'images statiques introduites par un parebrise sur une caméra d'aide à la conduite automobile
EP3982328A1 (fr) 2020-10-08 2022-04-13 Saint-Gobain Glass France Procédé de simulation des effets des distorsions optiques d'un pare-brise sur la qualité d'enregistrement des images d'un dispositif d'enregistrement d'images numériques
WO2022073808A1 (fr) 2020-10-08 2022-04-14 Saint-Gobain Glass France Procédé de simulation des effets produits par la qualité optique d'un pare-brise
WO2022073807A1 (fr) 2020-10-08 2022-04-14 Saint-Gobain Glass France Procédé de simulation des effets des distorsions optiques d'un pare-brise sur la qualité d'enregistrement d'image d'un dispositif d'enregistrement d'image numérique
WO2022073809A1 (fr) 2020-10-08 2022-04-14 Saint-Gobain Glass France Procédé de simulation des effets de la qualité optique d'un pare-brise
EP4016444A1 (fr) * 2020-12-15 2022-06-22 Conti Temic microelectronic GmbH Procédé de rectification d'images et/ou de points d'image, système par caméra et véhicule
WO2022128463A1 (fr) * 2020-12-15 2022-06-23 Conti Temic Microelectronic Gmbh Procédé de rectification d'images et/ou de points d'image, système basé sur une caméra et véhicule

Also Published As

Publication number Publication date
FR3032820B1 (fr) 2017-02-10

Similar Documents

Publication Publication Date Title
US8471915B2 (en) Self-correcting adaptive long-stare electro-optical system
US8395672B2 (en) Imaging device that detects inclination of image and apparatus in a rolling direction
CA2851750C (fr) Procede d&#39;etalonnage d&#39;un systeme de vision par ordinateur embarque sur un mobile
FR2836215A1 (fr) Systeme et procede de modelisation et de restitution tridimensionnelle d&#39;un objet
FR2983799A1 (fr) Procede et dispositif de commande de l&#39;emission lumineuse d&#39;un projecteur de vehicule
FR3032820A1 (fr) Procede de calibration d&#39;une camera montee sur le pare-brise d&#39;un vehicule
EP1298592A1 (fr) Stabilisation des images d&#39;une scène, correction des offsets de niveaux de gris, détection d&#39;objets mobiles et harmonisation de deux appareils de prise de vues fondés sur la stabilisation des images
EP1168831B1 (fr) Procédé de calibration de caméra
FR3028989A1 (fr) Procede de calibration des parametres extrinseques d&#39;une camera d&#39;un vehicule automobile et systeme d&#39;assistance a la conduite associe
JP7169075B2 (ja) 撮像制御装置および撮像制御方法
FR3053554A1 (fr) Procede de calibration rapide d&#39;une camera de vehicule automobile
EP2375724B1 (fr) Stabilisation d&#39;images captées
EP2476094A1 (fr) Procédé d&#39;installation d&#39;un appareil de côntrole de véhicules
WO2021156026A1 (fr) Procédé de calibration des caractéristiques extrinsèques d&#39;un lidar
FR2871426A1 (fr) Procede d&#39;estimation de l&#39;ecart evalue entre la position d&#39;un vehicule et une trajectoire theorique
EP4212825B1 (fr) Procédé d alignement d&#39;une caméra sur une route
WO2024209137A1 (fr) Procédé et dispositif de détermination d&#39;une profondeur par un système de vision stéréoscopique non parallèle
WO2023243656A1 (fr) Système d&#39;imagerie et corps mobile le comprenant
WO2024209139A1 (fr) Procédé et dispositif de détermination d&#39;un masque de visibilité par un système de vision embarqué dans un véhicule
FR3147650A1 (fr) Procédé et dispositif de détermination d’une profondeur par un système de vision auto-supervisé.
FR3145322A1 (fr) Procédé et dispositif de contrôle d’un système d’éclairage embarqué dans un véhicule.
FR3145323A1 (fr) Procédé et dispositif de contrôle d’un système d’éclairage embarqué dans un véhicule à partir d’accélération de limites d’un objet détecté.
WO2024170838A1 (fr) Procédé et dispositif de détection d&#39;un défaut d&#39;étalonnage d&#39;un système de vision stéréoscopique non parallèle embarqué dans un véhicule
FR3106402A1 (fr) Procédé de calibration d’un support rotatif de dispositif d’imagerie de véhicule automobile
WO2022229295A1 (fr) Procede pour estimer la geometrie d&#39;une surface reflechissante d&#39;un objet

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20160819

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

TQ Partial transmission of property

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Effective date: 20230424

Owner name: CONTINENTAL AUTOMOTIVE FRANCE, FR

Effective date: 20230424

PLFP Fee payment

Year of fee payment: 10