FR3111464A1

FR3111464A1 - Procédé de calibration d’une caméra et dispositif associé

Info

Publication number: FR3111464A1
Application number: FR2006169A
Authority: FR
Inventors: Jean-Luc Adam; Soukaina MABROUK
Original assignee: Renault SAS
Current assignee: Renault SAS
Priority date: 2020-06-12
Filing date: 2020-06-12
Publication date: 2021-12-17
Anticipated expiration: 2040-06-12
Also published as: WO2021249809A1; EP4165601A1; US20230306638A1; KR20230023763A; FR3111464B1

Abstract

L’invention concerne un procédé de calibration d’une caméra embarquée dans un véhicule automobile à partir d’un capteur de référence embarqué dans ledit véhicule, au moyen des étapes suivantes : a) acquisition (E1), par le capteur de référence, de positions réelles d’au moins un objet dans l’environnement du véhicule, b) acquisition (E2), par la caméra, d’une prise de vue à chaque instant auquel une des positions réelles est acquise par le capteur de référence, c) détermination (E4) de la position de l’image de chaque objet dans les prises de vue acquises par la caméra, d) formation (E5) de couples de position en appariant chaque position réelle de chaque objet avec la position de l’image dudit objet dans la prise de vue acquise par la caméra à l’instant de l’acquisition de ladite position réelle de cet objet, e) détermination (E6), par une unité de calcul, des paramètres de calibration de la caméra, à partir de l’ensemble des couples de position formés. Figure pour l’abrégé : Fig.1

Description

Procédé de calibration d’une caméra et dispositif associé

Domaine technique de l'invention

La présente invention concerne de manière générale la calibration d’une caméra embarquée dans un véhicule.

Elle concerne plus particulièrement un procédé de calibration d’une caméra embarquée dans un véhicule automobile.

L’invention trouve une application particulièrement avantageuse dans la calibration des caméras dites « de contexte » utilisées pour visualiser l’environnement et ainsi valider le comportement des véhicules munis de systèmes d’aide à la conduite, par exemple de systèmes d’aide au freinage d’urgence.

L’invention concerne également un dispositif de calibration d’une caméra embarquée dans un véhicule automobile.

Etat de la technique

Il est nécessaire de calibrer une caméra embarquée dans un véhicule pour, d’une part, être en mesure de positionner, dans une prise de vue (ou photographie) acquise par la caméra, une représentation d’un objet détecté dans l’environnement du véhicule par la caméra, et, d’autre part, connaître la position réelle d’un objet dans l’environnement de ce véhicule, à partir de la prise de vue acquise par la caméra.

En pratique, calibrer une caméra revient donc à être capable de passer d’un référentiel associé au véhicule, à un référentiel associé à une prise de vue acquise par la caméra. Plus précisément, la calibration d’une caméra repose sur la détermination de deux types de paramètres de calibration : d’une part, des paramètres extrinsèques de calibration qui permettent de modéliser le passage d’un point dans le référentiel associé au véhicule en un point dans un référentiel associé à la caméra, et, d’autre part, des paramètres intrinsèques qui dépendent de la nature de la caméra et permettent de modéliser le passage du point dans le référentiel associé à la caméra à une image de ce point, aussi appelée pixel, dans le référentiel associé à la prise de vue acquise par la caméra.

Les procédures existantes de détermination de ces paramètres de calibration, en particulier celles des paramètres extrinsèques, reposent sur des mesures d’angles faibles et des mesures de décalages entre les origines des différents référentiels. Or, il est difficile d’établir l’origine du référentiel associé à la caméra car celui-ci est lié à l’orientation du capteur optique de la caméra. En outre, de telles mesures reposent sur une instrumentation de précision. Ces procédures existantes sont donc fastidieuses, longues à réaliser et requièrent une immobilisation du véhicule sur banc d’essai.

Présentation de l'invention

Afin de remédier aux inconvénients précités de l’état de la technique, la présente invention propose un procédé de calibration simplifié pouvant être réalisé sans nécessiter l’immobilisation du véhicule sur banc d’essai.

Plus particulièrement, on propose selon l’invention un procédé de calibration d’une caméra embarquée dans un véhicule automobile à partir d’un capteur de référence embarqué dans ledit véhicule, selon lequel il est prévu de déterminer des paramètres de calibration de la caméra au moyen des étapes suivantes :
a) acquisition, par le capteur de référence, d’une pluralité de positions réelles d’au moins un objet dans l’environnement du véhicule,
b) acquisition, par la caméra, d’une prise de vue à chaque instant auquel une des positions réelles est acquise par le capteur de référence,
c) détermination de la position de l’image de chaque objet dans les prises de vue acquises par la caméra,
d) formation de couples de position en appariant chaque position réelle de chaque objet avec la position de l’image dudit objet dans la prise de vue acquise par la caméra à l’instant de l’acquisition de ladite position réelle de cet objet,
e) détermination, par une unité de calcul, des paramètres de calibration de la caméra, à partir de l’ensemble des couples de position formés.

Ainsi, grâce à l’invention, les positions réelles d’objets sont déterminées avec précision par le capteur de référence, qui est déjà calibré. Les positions réelles peuvent être capturées lors du roulage du véhicule. La caméra peut donc être calibrée sans nécessiter la mise au banc d’essai du véhicule. Cela confère une souplesse appréciable, notamment lorsqu’on sait qu’il peut être nécessaire de calibrer plusieurs fois la caméra au cours du temps, par exemple suite à un choc ayant entraîné une modification de la position de la caméra.

Le procédé est rapide et facile à mettre en œuvre.

En outre, ce procédé de calibration est applicable à tout type de caméras, y compris aux caméras grand angle (aussi appelée caméras de type « fish eye »).

Par ailleurs, le procédé est applicable quel que soit le capteur de référence embarqué dans le véhicule, qu’il s’agisse d’une caméra ou d’autres capteurs tels qu’un système de détection par onde électromagnétique de type onde radio ou onde lumineuse (radar ou lidar).

Ce procédé permet de s’affranchir des mesures d’angles faibles et des mesures de décalages entre les origines des différents référentiels.

D’autres caractéristiques avantageuses et non limitatives du procédé conforme à l’invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes :
- à l’étape e), lesdits paramètres de calibration de la caméra sont des paramètres extrinsèques formés par les coefficients d’une matrice de rotation et/ou de translation décrivant le passage d’un référentiel associé au véhicule à un référentiel associé à la caméra ;
- à l’étape e), la détermination desdits paramètres extrinsèques de calibration comporte les sous-étapes suivantes :
e1) pour chaque couple de positions formé, une position théorique de l’image de l’objet est calculée à partir de la position réelle dudit objet déterminée à l’étape a) et des coefficients de la matrice, puis, l’écart entre, d’une part, la position théorique ainsi calculée, et, d’autre part, la position déterminée à l’étape c) de l’image dudit objet dans la prise de vue, est évalué ;
e2) la moyenne de tous les écarts évalués à l’étape e1) est calculée ;
e3) les coefficients de la matrice sont modifiés ; et,
e4) les sous-étapes e1) à e3) sont itérées jusqu’à ce que la moyenne des écarts calculée à la sous-étape e2) soit minimisée ;
- avant la sous-étape e1), les coefficients de la matrice de rotation et/ou de translation sont tous initialisés à une valeur prédéterminée, de préférence égale à 1 ;
- les étapes a) et b) d’acquisition sont effectuées en condition de roulage du véhicule en ligne droite et sur une chaussée sensiblement horizontale et plane ;
- à l’étape a), le capteur de référence acquiert au moins 5 positions réelles différentes d’objets, dispersées dans l’ensemble du champ de vision dudit capteur de référence recouvrant le champ de vision de la caméra ;
- l’étape c) de détermination de la position de l’image de chaque objet dans chaque prise de vue acquise par la caméra est effectuée manuellement par un opérateur ;
- l’étape c) de détermination de la position de l’image de chaque objet dans chaque prise de vue acquise par la caméra est effectuée par une unité de traitement d’images comportant un réseau de neurones.

L’invention propose également un dispositif de calibration d’une caméra embarquée dans un véhicule automobile, adapté à communiquer avec ladite caméra ainsi qu’avec un capteur de référence embarqué dans le véhicule, ledit capteur de référence étant prévu pour acquérir une pluralité de positions réelles d’au moins un objet dans l’environnement du véhicule, ledit dispositif comportant :
- une unité de mémoire dans laquelle sont enregistrées la position réelle de chaque objet dans le référentiel associé au véhicule à un instant donné et une prise de vue acquise par la caméra à cet instant donné,
- une unité de traitement d’images adaptée à déterminer la position de l’image de chaque objet dans les prises de vue acquises par la caméra et à former des couples de positions en appariant ladite position de l’image de l’objet dans la prise de vue avec la position réelle dudit objet à l’instant de l’acquisition de la prise de vue, et,
- une unité de calcul adaptée à calculer des paramètres de calibration de la caméra, à partir de l’ensemble des couples de position formés par l’unité de traitement d’images.

Grâce au dispositif selon l’invention, la calibration peut être effectuée sans avoir à immobiliser le véhicule sur banc d’essai, lors du roulage du véhicule. En outre, le dispositif utilise astucieusement le capteur de référence déjà présent dans le véhicule.

Selon une caractéristique avantageuse du dispositif selon l’invention, le capteur de référence est choisi parmi la liste de capteurs suivante : une caméra, une caméra stéréoscopique, ou un système de détection par onde électromagnétique.

Selon une autre caractéristique avantageuse du dispositif selon l’invention, la caméra est une caméra de validation des systèmes d’aide à la conduite.

Les caractéristiques avantageuses listées pour le procédé selon l’invention sont aussi applicables au dispositif selon l’invention.

Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.

Description détaillée de l'invention

La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.

Sur les dessins annexés :

est une représentation schématique des étapes principales d’un procédé de calibration conforme à l’invention ;

est une représentation schématique d’un dispositif de calibration conforme à l’invention ;

est une représentation schématique du principe de passage d’un référentiel associé au véhicule à un référentiel associé à une prise de vue ;

est une prise de vue prise par la caméra traitée pour déterminer la position de l’image d’un objet figurant sur ladite prise de vue ;

est un premier exemple de prise de vue prise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales ;

est un deuxième exemple de prise de vue acquise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales ;

est un troisième exemple de prise de vue acquise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales ;

est un quatrième exemple de prise de vue acquise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales ;

est un cinquième exemple de prise de vue acquise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales ; et,

est un sixième exemple de prise de vue acquise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales.

Sur la figure 2, on a représenté un dispositif 1 de calibration conforme à l’invention, adapté à mettre en œuvre un procédé de calibration selon l’invention dont les étapes principales sont représentées sur la figure 1.

Ce dispositif 1 et ce procédé de calibration visent chacun à calibrer une caméra 10 embarquée dans un véhicule automobile (non représenté).

La caméra 10 est capable de prendre des prises de vue de l’extérieur du véhicule. Ici, la caméra 10 prend des prises de vue à intervalles de temps suffisamment rapprochés pour qu’un œil humain ait l’impression que les prises de vue se succèdent de manière continue, sans saut perceptible à l’œil nu. On entend par « embarquée dans le véhicule » le fait que la caméra 10 soit présente sur ou dans le véhicule, que ce soit parce qu’elle fait structurellement partie du véhicule, parce qu’elle est disposée provisoirement sur la carrosserie extérieure du véhicule, ou encore parce qu’elle est présente dans l’habitacle du véhicule. Ainsi, la caméra 10 peut par exemple aussi bien être une caméra de téléphone portable posée sur le tableau de bord et orientée vers l’extérieur du véhicule qu’une caméra de contexte, disposée sur la carrosserie du véhicule. De telles caméras de contexte sont notamment utilisées pour visualiser l’environnement du véhicule et permettre de valider le comportement des véhicules munis de systèmes d’aide à la conduite, par exemple de systèmes d’aide au freinage d’urgence. Les caméras de contexte sont aussi appelées caméra de validation des systèmes d’aide à la conduite. La caméra 10 peut être tout type de caméra monoculaire, y compris une caméra à très grand angle, de type « fish eye ». Des exemples de prises de vue 15 acquises par la caméra 10 sont donnés dans les figures 4 à 10.

Comme expliqué en introduction, et comme l’illustre la figure 3, la calibration de la caméra 10 permet, d’une part, de connaître la position réelle d’un objet O dans l’environnement du véhicule, à partir d’une prise de vue 15 acquise par la caméra 10, et, d’autre part, de positionner, dans une prise de vue 15 acquise par la caméra 10 ou dans toute autre image fictive, une représentation d’un objet Im(O) détecté par la caméra 10 ou tout autre capteur dans l’environnement du véhicule.

Comme le montre le schéma de principe de la figure 3, la calibration de la caméra 10 revient donc à être capable de passer d’un référentiel Rv associé au véhicule, à un référentiel Ri associé à une prise de vue 15 acquise par la caméra.

Pour calibrer la caméra 10, il est nécessaire de déterminer deux types de paramètres de calibration de la caméra : d’une part, des paramètres extrinsèques Pe qui permettent de modéliser le passage d’un point de coordonnées (X, Y, Z) dans le référentiel Rv associé au véhicule en un point de coordonnées (x ’ , y ’ , z ’) dans un référentiel Rc associé à la caméra, et, d’autre part, des paramètres intrinsèques Pi qui dépendent de la nature de la caméra 10 et permettent de modéliser le passage du point de coordonnées (x ’ , y ’ , z ’) dans le référentiel Rc associé à la caméra en un point de coordonnées (u, v) dans le référentiel Ri associé à la prise de vue 15 acquise par la caméra 10.

L’invention vise principalement à déterminer les paramètres extrinsèques Pe de la caméra 10. Ici, on considère que les paramètres intrinsèques Pi ont été préétablis, par une méthode connue. En variante, il est aussi possible de considérer que les paramètres intrinsèques Pi de calibration sont inconnus et qu’ils seront déterminés grâce au dispositif de calibration 1 et au procédé selon l’invention, en supplément desdits paramètres extrinsèques Pe.

De manière singulière, la calibration de la caméra 10 est réalisée au moyen d’un capteur 20 du véhicule déjà calibré, appelé dans la suite « capteur de référence 20 ». Un tel capteur de référence 20 permet de détecter au moins un objet O dans l’environnement du véhicule, dans un certain champ de vision et de déterminer sa position par rapport au véhicule, à savoir sa position dans un référentiel Rv associé au véhicule, c’est-à-dire un référentiel fixe par rapport au déplacement du véhicule. Ce capteur de référence 20 est déjà calibré dans la mesure où la position de l’objet O qu’il détermine dans le référentiel Rv associé au véhicule est exacte.

Dans un souci de simplification, la position d’un objet O dans le référentiel Rv associé au véhicule est appelée dans la suite « position réelle » de l’objet O. La position réelle de l’objet O, acquise par le capteur de référence 20, est donnée par les coordonnées (X, Y, Z) d’un point précis de cet objet O dans le référentiel associé au véhicule Rv (voir figure 3). Par convention, on choisit ici que le point précis donnant la position de l’objet est le point situé au niveau du sol, donc à une hauteur Z=0, et au milieu d’une droite reliant deux points extrêmes de l’objet O, à cette hauteur Z=0. La coordonnée X donne alors la distance latérale séparant le point précis de l’objet et l’origine du référentiel Rv associé au véhicule. La coordonnée Y donne quant à elle la distance longitudinale séparant le point précis de l’objet et l’origine du référentiel Rv associé au véhicule. Ici, on choisit que l’origine du référentiel Rv associé au véhicule est le point situé au milieu du bouclier avant du véhicule, à une hauteur correspondant à celle du sol, c’est-à-dire à une hauteur Z=0.

Les objets que le capteur de référence 20 peut détecter sont par exemple de nature suivante : des véhicules automobiles tels que les voitures, les camions et les autobus ; des piétons ; ou encore des véhicules à deux-roues type vélo, scooter ou moto.

Ici, le capteur de référence 20 est monté sur le véhicule, par exemple positionné à l’intérieur de l’habitacle, au niveau du rétroviseur avant, orienté en direction du parebrise avant. En variante, le capteur de référence pourrait être structurellement présent à l’extérieur du véhicule, par exemple intégré à la carrosserie. Quelle que soit la variante envisagée, le capteur de référence est donc lui aussi toujours embarqué dans le véhicule.

Le capteur de référence 20 est choisi parmi la liste de capteurs suivante : une caméra, une caméra stéréoscopique, un système de détection par ondes électromagnétiques ou un système de détection par ondes ultrasonores. Les systèmes de détection par ondes électromagnétiques sont capables de détecter des objets par envoi d’ondes électromagnétiques et par analyse des ondes électromagnétiques réfléchies par les objets. Ces systèmes de détection sont, par exemple, les radars qui utilisent les ondes radio, ou les Lidars qui utilisent les ondes lumineuses, en particulier les lasers, par exemple de longueur d’ondes dans les domaines visible, ultra-violet ou infrarouge. Les systèmes de détection par ondes ultrasonores fonctionnent selon le même principe que les systèmes de détection par ondes électromagnétiques, mais avec envoi d’ondes sonores. Un tel système de détection par ondes ultrasonores est par exemple le sonar.

On considère que le capteur de référence 20 est prévu pour acquérir une pluralité de positions réelles d’au moins un objet dans l’environnement du véhicule, étant entendu que chaque position réelle est acquise dans le référentiel Rv associé au véhicule, à un instant donné.

Ainsi, le capteur de référence 20 acquiert, au cours du temps, la position de tout ce qu’il détecte comme un objet dans son champ de vision.

Autrement dit, le capteur de référence 20 détecte, d’une part, les positions successives au cours du temps d’un même objet présent dans son champ de vision, à savoir les positions d’un même objet à différents instants, et, d’autre part, les positions à un même instant, de plusieurs objets distincts présents dans son champ de vision.

En pratique, le capteur de référence 20 est capable de détecter plusieurs objets distincts à un même instant, pour peu que lesdits objets soient bien séparés les uns des autres dans son champ de vision. En effet, lorsque les objets sont trop proches les uns des autres du point de vue du capteur de référence 20, il les voit comme s’ils étaient accolés et formaient un seul objet fictif, auquel cas le capteur de référence 20 détermine alors une seule position réelle pour cet objet fictif au lieu de deux positions réelles distinctes (une pour chaque objet). La sensibilité de détection du capteur de référence 20, c’est-à-dire sa capacité à distinguer deux objets proches est considérée comme connue pour la présente invention.

Il est en outre préférable que les champs de vision de la caméra 10 et du capteur de référence 20 se recoupent, de manière qu’ils puissent tous deux voir un même objet au même instant, quitte à ce que la caméra 10 et le capteur de référence 20 aient chacun un point de vue différent sur cet objet. Ici, le champ de vision de la caméra 10 recouvre entre 20% et 100% du champ de vision du capteur de référence 20. Bien entendu, il importe que les positions d’objets acquises par le capteur de référence 20 soient situées dans la partie du champ de vision du capteur de référence 20 qui recoupe le champ de vision de la caméra 10, faute de quoi la position ne pourra pas être utilisée pour la calibration de la caméra 10.

Ainsi, chaque prise de vue 15 acquise par la caméra 10 à un instant donné comporte une image au moins partielle de chaque objet dont la position réelle est acquise par le capteur de référence 20 audit instant donné.

Idéalement, les positions réelles détectées par le capteur de référence 20 s’étendent dans une partie du champ de vision du capteur de référence 20 située entre -5 mètres et +5 mètres latéralement par rapport à l’origine du référentiel Rv associé au véhicule, et entre 3 mètres et 30 mètres longitudinalement par rapport à cette origine, lorsque le capteur a un champ de vision orienté vers l’avant du véhicule, ou entre -3 mètres et -30 mètres longitudinalement par rapport à l’origine, lorsque le capteur de référence 20 a un champ de vision qui est orienté vers l’arrière du véhicule.

Par ailleurs, le capteur de référence 20 et la caméra 10 sont synchronisés, c’est-à-dire qu’ils ont la même origine des temps, de sorte qu’il est possible d’associer une prise de vue 15 acquise par la caméra 10 à un instant donné avec la ou les positions réelles d’objets acquises par le capteur de référence 20 à ce même instant donné. Il est autorisé de tolérer une erreur de synchronisation inférieure ou égale à quelques dizaines de millisecondes, par exemple inférieure ou égale à 30 millisecondes.

Le capteur de référence 20 est adapté à détecter les positions réelles d’objets aussi bien lorsque le véhicule est à l’arrêt que lorsqu’il est en roulage.

Ici, on considère que les acquisitions des prises de vue par la caméra 10 et des positions réelles d’objets par le capteur de référence 20, sont effectuées en condition de roulage du véhicule.

Pour que la position réelle de l’objet détecté soit la plus exacte possible, il importe que les conditions d’acquisition par le capteur de référence 20 soient optimales. En particulier, les conditions d’acquisition optimales nécessitent que le véhicule roule en ligne droite, c’est-à-dire sur une route sans virage, et sur une chaussée sensiblement horizontale et plane, c’est-à-dire sans pente ascendante ou descendante. Le roulage en ligne droite favorise une détermination précise des coordonnées (X, Y) dans le référentiel Rv associé au véhicule. Le roulage sur une chaussée horizontale garantit que la coordonnée Z=0 du point représentant l’objet détecté est respectée. Les deux conditions sont ici cumulatives. Par exemple, un roulage sur une portion d’autoroute ou une piste d’essai répondant à ces critères convient parfaitement pour la calibration.

A ces conditions d’acquisition optimales peuvent éventuellement s’ajouter une condition météorologique, à savoir que le véhicule roule avec une bonne visibilité pour le capteur de référence 20. Par exemple, si le capteur de référence 20 est une caméra, il va de soi qu’il est préférable de réaliser les acquisitions de positions réelles sous un temps ensoleillé plutôt que dans le brouillard. Cela favorise la précision d’acquisition du capteur de référence 20.

Les figures 5 à 10 illustrent des prises de vue 15 acquises par la caméra 10, dans des conditions d’acquisition optimales, en ligne droite, avec une chaussée sensiblement horizontale. On note que dans chacune des prises de vue 15 représentées sur les figures 5 à 10, lorsque plusieurs objets (camion, voiture) sont présents, ils sont suffisamment éloignés les uns des autres pour être distingués dans ladite prise de vue 15 acquise par la caméra 10. Ici, tous les exemples représentés sont des situations dans lesquelles la caméra 10 a un champ de vision orienté vers l’avant du véhicule dans lequel elle est embarquée.

Comme le montre la figure 2, la caméra 10 et le capteur de référence 20 sont chacun adaptés à communiquer avec le dispositif 1 de calibration.

Notamment, le dispositif 1 de calibration comprend une unité de mémoire 11, laquelle est adaptée à communiquer avec la caméra 10 et le capteur de référence 20. La caméra 10 est plus précisément adaptée à communiquer avec l’unité de mémoire 11 du dispositif 1 pour y enregistrer chaque prise de vue 15 acquise, et à quel instant cette prise de vue a été acquise. Le capteur de référence 20 est quant à lui adapté à communiquer avec l’unité de mémoire 11 du dispositif 1 pour y enregistrer les positions réelles qu’il a détectées, et à quel instant il a détecté chacune de ces positions réelles. En sus de ces informations, le capteur de référence 20 peut communiquer avec l’unité de mémoire 11 pour y enregistrer la nature de l’objet dont il a détecté la position réelle. La communication entre l’unité de mémoire 11 et la caméra 10 ou le capteur de référence 20 est effectuée au moyen d’un bus de communication, ou via une interface sans fil.

Tel que représenté sur la figure 2, le dispositif 1 de calibration comporte, outre l’unité de mémoire 11 dans laquelle sont enregistrées, la position réelle de chaque objet dans le référentiel Rv associé au véhicule à un instant donné et une prise de vue 15 acquise par la caméra 10 à cet instant donné :
- une unité de traitement d’images 12 adaptée à traiter les prises de vue 15 acquises par la caméra 10 pour déterminer la position, dans le référentiel Ri associé à chaque prise de vue 15, des images des objets présentes dans ces prises de vue 15, et,
- une unité de calcul 13 adaptée à déterminer les paramètres de calibration de la caméra 10, notamment les paramètres extrinsèques Pe de calibration.

En général, l’unité de traitement d’images 12 et l’unité de calcul 13 sont déportées du véhicule, tandis que l’unité de mémoire 11 peut être embarquée dans le véhicule, ou déportée partiellement voire totalement dudit véhicule. Dans le cas où l’unité de mémoire 11 du dispositif 1 de calibration est déportée (partiellement ou totalement) du véhicule, elle est adaptée à communiquer avec les autres unités 12, 13 du dispositif 1 par un système de communication sans fil (aussi appelé interface sans fil).

L’unité de mémoire 11 peut par exemple être une mémoire flash intégrée au véhicule, ou une mémoire flash rapportée dans le véhicule, par exemple au moyen d’une clé USB.

L’unité de traitement 12 et l’unité de calcul 13 peuvent être intégrées à un ordinateur, auquel cas l’unité de mémoire 11 peut communiquer avec lesdites unités de traitement et de calcul 12, 13 en étant insérée directement sur un port USB de l’ordinateur.

L’unité de traitement d’image 12 peut par exemple comprendre un logiciel de visionnage d’image implémenté sur ordinateur et un opérateur chargé de visionner, sélectionner, et traiter les prises de vue 15.

Plus précisément, l’unité de traitement d’images 12 communique avec l’unité de mémoire 11 pour récupérer les prises de vue 15 acquises par la caméra 10. L’opérateur de l’unité de traitement d’images 12 sélectionne ensuite, parmi les prises de vue 15 récupérées dans l’unité de mémoire 11, celles qui doivent être traitées. L’opérateur traite ensuite manuellement chacune des prises de vue 15 sélectionnées afin de déterminer quelles sont les images d’objets Im(O1), Im(O2), Im(O3) dans ces prises de vue 15, et quelle est la position de chacune de ces images d’objet dans le référentiel Ri associé à la prise de vue 15.

La sélection et le traitement des prises de vue pour déterminer la position de l’image de chaque objet sera décrite plus en détails ci-après, en référence au procédé selon l’invention.

L’unité de traitement d’images 12 est enfin adaptée à former des couples de positions en appariant chaque position de l’image d’un objet dans le référentiel Ri associé à la prise de vue 15 à la position réelle objet dans le référentiel Rv associé au véhicule, à l’instant d’acquisition de la prise de vue 15.

L’unité de traitement d’images 12 communique à nouveau avec l’unité de mémoire 11 pour enregistrer les paires de positions ainsi formées.

L’unité de calcul 13 calcule ensuite les paramètres extrinsèques Pe de calibration de la caméra 10, à partir de l’ensemble des couples de position formés par l’unité de traitement d’images 12.

L’unité de calcul 13 du dispositif 1 de calibration est donc aussi adaptée à communiquer avec, d’une part l’unité de mémoire 11 pour récupérer les paires de positions formées par l’unité de traitement d’images 12, et, d’autre part, avec la caméra 10 pour lui envoyer les paramètres extrinsèques Pe.

En variante, l’unité de calcul 13 peut être conçue pour communiquer seulement avec l’unité de mémoire 11 où sont alors enregistrés les paramètres extrinsèques Pe après leur calcul. Dans ce cas, l’unité de mémoire 11 est la seule unité adaptée à communiquer avec la caméra 10.

L’unité de calcul 13 met en œuvre les calculs qui sont explicités plus en détails en référence au procédé selon l’invention décrit ci-après. Elle comporte à cet effet un calculateur adapté à mettre en œuvre des calculs d’optimisation.

Sur la figure 1, on a représenté les étapes principales du procédé de calibration de la caméra 10, conforme à l’invention.

Selon ce procédé, il est prévu de déterminer les paramètres de calibration de la caméra, notamment les paramètres extrinsèques, au moyen des étapes suivantes :
a) acquisition par le capteur de référence 20 d’une pluralité de positions réelles d’au moins un objet dans l’environnement du véhicule (représentée par la case E1 dans la figure 1),
b) acquisition par la caméra 10 d’une prise de vue 15 à chaque instant d’acquisition d’une des positions réelles par le capteur de référence 20 (représentée par la case E2 dans la figure 1),
c) détermination de la position de l’image de chaque objet dans les prises de vue 15 acquises par la caméra (représentée par la case E4 dans la figure 1),
d) formation de couples de position en appariant chaque position réelle de chaque objet avec la position de l’image dudit objet dans la prise de vue 15 acquise par la caméra 10 à l’instant de l’acquisition de ladite position réelle de cet objet (représentée par la case E5 dans la figure 1),
e) détermination par une unité de calcul 13 des paramètres de calibration de la caméra, à partir de l’ensemble des couples de position formés (représentée par la case E6 dans la figure 1).

On comprend bien que le dispositif 1 de calibration selon l’invention est adapté à mettre en œuvre les étapes du procédé selon l’invention.

Les étapes a) et b) du procédé, représentées par les cases E1 et E2 de la figure 1, ont déjà été largement détaillées en référence à la description du dispositif 1.

Pour que la calibration de la caméra 10 soit optimale, il importe que le capteur de référence 20 acquiert à l’étape a) une pluralité de positions réelles différentes dans son champ de vision, c’est-à-dire les positions d’une pluralité d’objets distincts. Autrement dit, les coordonnées du point précis représentant un des objets détectés par le capteur de référence 20 doivent être différentes des coordonnées du point précis représentant un autre des objets qu’il détecte, dans le référentiel Rv associé au véhicule.

Ici, le capteur de référence 20 acquiert au moins 5 positions réelles différentes d’objets, réparties dans l’ensemble de la partie du champ de vision dudit capteur de référence 20 qui recoupe le champ de vision de la caméra 10. Le capteur de référence 20 acquiert par exemple entre 5 et 20 positions réelles différentes, préférentiellement 10 positions réelles différentes. Plus le nombre de positions réelles différentes acquises est élevé, plus la calibration de la caméra 10 sera précise. Idéalement, les positions réelles des objets détectés sont dispersées dans le champ de vision du capteur de référence 20 qui recoupe le champ de vision de la caméra 10. Autrement dit, les positions réelles sont situées dans le champ de vision qui est commun à la caméra 10 et au capteur de référence 20, mais idéalement, elles ne sont pas concentrées toutes au même endroit dans ce champ de vision commun. Encore plus préférentiellement, les positions sont réparties de manière homogène dans le champ de vision du capteur de référence 20 qui recoupe celui de la caméra 10.

Pour permettre au capteur de référence 20 d’acquérir assez de positions réelles différentes d’objets, le temps de roulage du véhicule doit être suffisant à l’étape a).

Comme le montre la figure 1, il est prévu une étape additionnelle aux étapes a) et b), représentée par la case E3, qui est une étape de synchronisation des acquisitions du capteur de référence 20 et de la caméra 10. Lors de cette étape additionnelle, l’unité de mémoire 11 apparie la prise de vue 15 prise par la caméra 10 à l’instant t avec toutes les positions réelles d’objets acquises par le capteur de référence 20 à cet instant t. Ainsi, lorsque l’unité de traitement 12 traite les prises de vue 15 lors de l’étape c) (représentée par la case E4), elle sait combien d’images d’objets doivent être détectées dans chaque prise de vue 15 traitée : il y a autant d’images à détecter que de positions réelles acquises par le capteur de référence 20 à l’instant t.

L’étape c) du procédé, représentée par la case E4 de la figure 1, est une étape de traitement d’images qui comprend, la sélection éventuelle des prises de vue 15 à traiter, la détection des images d’objet dans chaque prise de vue 15 sélectionnée, et la détection de la position de chacune de ces images d’objet dans le référentiel Ri associé à ladite prise de vue 15.

Cette étape de traitement d’images est mise en œuvre par l’opérateur assisté du logiciel implémenté dans l’ordinateur de l’unité de traitement d’images 12.

Plus précisément, l’unité de traitement d’images 12 communique avec l’unité de mémoire 11 pour récupérer les prises de vue 15 acquises. L’opérateur de l’unité de traitement d’images 12 sélectionne ensuite, parmi les prises de vue 15 récupérées dans l’unité de mémoire 11, celles qui doivent être traitées. Les prises de vue 15 sélectionnées par l’opérateur pour le traitement sont celles dans lesquelles, l’image de la route est en ligne droite et plane, dans lesquelles les conditions météorologiques semblent idéales pour le capteur de référence 20, et dans lesquelles les images d’objets sont bien séparées les unes des autres. De préférence, ces critères de sélection par l’opérateur sont cumulatifs.

Comme le montre la figure 4, l’opérateur traite ensuite manuellement chacune des prises de vue 15 sélectionnées afin de déterminer quelles sont les images d’objets Im(O1), Im(O2), Im(O3) dans ces prises de vue 15.

Par convention, on choisit ici que l’image de l’objet est une forme géométrique, par exemple un carré, un rectangle ou un trapèze. Ici, comme le montre la figure 4, la forme géométrique représentant l’image de l’objet suit le contour de la vue arrière d’une voiture. Ainsi, pour matérialiser les images des objets dans les prises de vue 15, l’opérateur entoure à l’aide du contour géométrique adapté, une zone prédéterminée (ici la vue arrière) de l’image de chaque objet. Dans la figure 4, l’opérateur entoure à l’aide de trois carrés Im(O1), Im(O2), Im(O3), la face arrière de trois voitures. Le logicielVGG Image Annotator®est par exemple utilisé par l’opérateur pour réaliser cette opération de détourage des images d’objets avec une forme géométrique.

A l’étape c), l’unité de traitement d’images 12 détermine ensuite la position de chaque image d’objet Im(O1), Im(O2), Im(O3) ainsi matérialisée dans les prises de vue 15 sélectionnées. Pour ce faire, l’unité de traitement d’images 12 détermine les coordonnées (u1, v1), (u2, v2), (u3, v3) d’un point précis M1, M2, M3 de chaque image d’objet Im(O1), Im(O2), Im(O3) dans le référentiel Ri associé à la prise de vue 15. En général, c’est l’opérateur qui détermine manuellement la position du point précis de l’image de l’objet dans la prise de vue 15, en repérant les coordonnées d’un point précis de la forme géométrique matérialisant ladite image de l’objet, dans le référentiel Ri associé à la prise de vue 15. En variante, on peut envisager que la position de l’image de chaque objet dans ladite prise de vue soit déterminée automatiquement par un logiciel capable de repérer un point précis dans une forme géométrique représentant l’image de l’objet.

Par convention, on choisit que le point précis fournissant la position de l’image de l’objet Im(O1), Im(O2), Im(O3) est le point M1, M2, M3 situé au niveau du sol, au milieu d’une droite au sol reliant deux points extrêmes de l’image de l’objet Im(O1), Im(O2), Im(O3).

Par exemple, dans la figure 4, le point précis M1, M2, M3 donnant la position d’un des carrés Im(O1), Im(O2), Im(O3), est le milieu du côté de ce carré reposant au sol. Il suffit ensuite de déterminer les coordonnées (u1, v1), (u2, v2), (u3, v3) de ce point précis dans le référentiel Ri associé à la prise de vue 15 traitée. Pour cela, on choisit ici que l’origine du référentiel Ri associé à la prise de vue 15 est le point situé en haut à gauche de la prise de vue 15 (voir figures 3 et 4).

L’étape d) du procédé, représentée par la case E5 de la figure 1, revient à former des paires de positions en associant la position réelle d’un objet détecté par le capteur de référence 20 à un instant t à la position de l’image de cet objet dans le référentiel Ri associé à la prise de vue 15 acquise au même instant t.

Pour ce faire, l’unité de traitement d’images 12 apparie la position (u1, v1), (u2, v2), (u3, v3) de l’image de l’objet Im(O1), Im(O2), Im(O3) dans le référentiel Ri associé à la prise de vue 15 à la position réelle (X1, Y1, Z1=0), (X2, Y2, Z2=0), (X3, Y3, Z3=0) dudit objet O1, O2, O3 dans le référentiel Rv associé au véhicule, à l’instant d’acquisition de la prise de vue 15.

Plus précisément, l’unité de traitement 12 récupère dans l’unité de mémoire 11 chaque position réelle d’objet détecté par le capteur de référence 20 à l’instant d’acquisition de la prise de vue 15 traitée.

Lorsqu’un seul objet a été détecté à cet instant par le capteur de référence 20, la position réelle de l’objet dans le référentiel Rv associé au véhicule est directement appariée à la position de la seule image d’objet identifiée dans la prise de vue 15.

Lorsque plusieurs objets ont été détectés par le capteur de référence 20 à cet instant, l’unité de traitement 12 retrouve quelle position réelle acquise correspond à quelle position d’image d’objet identifiée dans la prise de vue 15. En pratique, l’opérateur de l’unité de traitement d’images 12 reconnaît dans la prise de vue 15 la nature des objets photographiés, et la compare avec la nature des objets détectés par le capteur de référence 20 qui est enregistrée dans l’unité de mémoire 11 avec la position réelle de chacun de ces objets. En variante, ou lorsque cela ne suffit pas à distinguer les objets dans la prises de vue 15, l’opérateur peut scinder l’environnement du véhicule en différentes zones, par exemple en zones latérales (zones à gauche, à droite ou en face du véhicule), et/ou en zones longitudinales (zone proche, médiane ou éloignée du véhicule). Avec cet environnement scindé, l’opérateur retrouve, à partir de sa position réelle, dans quelle zone est situé un objet détecté par le capteur de référence 20, et il en déduit dans quelle zone de la prise de vue se trouve l’image de cet objet, de sorte que l’opérateur peut alors apparier la position réelle acquise à l’instant d’acquisition de la prise de vue 15 avec la position de l’image de cet objet dans la prise de vue 15.

Par exemple, dans la prise de vue 15 de la figure 4, l’unité de traitement d’images 12 identifie trois positions d’images d’objets (u1, v1), (u2, v2), (u3, v3). L’unité de traitement d’images 12 récupère ensuite les trois positions réelles acquises par le capteur de référence 20 pour ces trois objets à l’instant d’acquisition de la prise de vue 15. A partir des positions réelles de ces trois objets, l’opérateur déduit qu’un des objets est situé dans une zone à gauche du véhicule et éloignée du véhicule, un autre est situé dans une zone à gauche du véhicule et proche du véhicule et un troisième est situé dans une zone en face du véhicule. L’opérateur déduit alors que l’objet situé dans la zone à gauche du véhicule et proche du véhicule a pour image Im(O1) de position (u1, v1), que l’objet situé dans la zone à gauche du véhicule et éloignée du véhicule a pour image Im(O3) de position (u3, v3), et enfin que l’objet situé en face du véhicule a pour image Im(O2) de position (u2, v2).

L’étape e) du procédé, représentée par la case E6 de la figure 1, est une étape de calcul visant à déterminer les paramètres de calibration de la caméra 10. Elle est ici mise en œuvre par le calculateur de l’unité de calcul 13.

Parmi les paramètres de calibration de la caméra 10, on retrouve les paramètres extrinsèques Pe qui sont toujours déterminés par le procédé selon l’invention, et les paramètres intrinsèques Pi qui sont soit connus, soit déterminés, au moins en partie, par le procédé selon l’invention.

Les paramètres extrinsèques Pe de la caméra 10 sont formés par les coefficients d’une matrice de rotation et/ou de translation décrivant le passage du référentiel Rv associé au véhicule à un référentiel Rc associé à la caméra 10.

Cette matrice de rotation et/ou de translation, appelée matrice de paramètres extrinsèques Pe, s’écrit sous la forme générale suivante.

Dans cette matrice de paramètres extrinsèques Pe, les coefficients r_ijreprésentent les coefficients de rotation entre les deux référentiels Rv et Rc tandis que les coefficients t_kreprésentent les coefficients de translation entre lesdits deux référentiels Rv et Rc.

Les paramètres intrinsèques Pi de la caméra 10 comprennent, d’une part, des coefficients de distorsion liés à la lentille de la caméra 10, en particulier des coefficients de distorsion radiale (majoritaires) et des coefficients de distorsion tangentielle (minoritaires), et, d’autre part, des coefficients physiques liés au centre optique de la lentille et aux distances focales de cette lentille. On considère généralement que lesdits coefficients physiques peuvent être regroupés sous forme d’une matrice, dite matrice de coefficients intrinsèques Pi, qui s’écrit sous la forme générale suivante.

Dans cette matrice de paramètres intrinsèques Pi, les coefficients fx, fy sont associés aux distances focales de la lentille de la caméra 10, et les coefficients cx et cy sont associés au centre optique de la lentille de la caméra 10.

Dans l’hypothèse où on connaît les paramètres intrinsèques Pi de calibration, le procédé selon l’invention vise uniquement à déterminer les paramètres extrinsèques. Pour ce faire, initialement, les coefficients de la matrice de paramètres extrinsèques sont tous initialisés à une valeur prédéterminée. De préférence, lorsque les coefficients de cette matrice sont inconnus, on choisit que lesdits coefficients soient initialisés à une valeur constante, par exemple égale à 1. Ainsi, lorsque tous les coefficients de la matrice sont inconnus, on choisit que r_ij=t_k= 1.

Les coefficients de cette matrice de paramètres extrinsèques Pe sont ensuite modifiés progressivement par l’unité de calcul 13, à l’aide d’un procédé d’optimisation.

Plus précisément, l’étape e) de détermination desdits paramètres extrinsèques Pe comporte les sous-étapes suivantes :
e1) pour chaque couple de positions formé à l’étape d), une position théorique de l’image de l’objet est calculée à partir de la position réelle dudit objet et des coefficients de la matrice de paramètre extrinsèques, puis, l’écart entre, d’une part, la position théorique ainsi calculée, et, d’autre part, la position de l’image dudit objet dans la prise de vue 15, est évalué ;
e2) la moyenne de tous les écarts évalués à l’étape e1) est calculée ;
e3) les coefficients de la matrice sont modifiés ; et,
e4) les sous-étapes e1) à e3) sont itérées jusqu’à ce que la moyenne des écarts calculée à la sous-étape e2) soit minimisée.

A la sous-étape e1), la position théorique de l’image d’un objet, donnée par les coordonnées (u_th, v_th), est calculée à partir de la position réelle dudit objet, donnée par les coordonnées (X, Y, Z=0). Plus précisément, la position théorique de l’image (u_th, v_th) est calculée en effectuant la succession d’opérations suivantes :
- transformation, à l’aide de la matrice de paramètres extrinsèques, de la position réelle (X, Y, Z) de l’objet dans le référentiel Rv associé au véhicule en une position (x’, y’, z’) de cet objet dans le référentiel Rc associé à la caméra 10,
- correction, à l’aide d’une équation de distorsion connue faisant intervenir les coefficients de distorsion décrits précédemment, de ladite position (x’, y’, z’) de l’objet dans le référentiel Rc associé à la caméra 10 en une position corrigée (x’’, y’’, z’’) rattrapant le phénomène de distorsion de la lentille de la caméra 10, et
- transformation, à l’aide de la matrice de paramètres intrinsèques, de la position corrigée (x’’, y’’, z’’) de l’objet dans le référentiel Rc associé à la caméra 10 en la position théorique (u_th, v_th) de l’image dans le référentiel associé à la prise de vue 15.

La transformation de la position réelle (X, Y, Z) de l’objet dans le référentiel Rv associé au véhicule en une position (x’, y’, z’) de cet objet dans le référentiel Rc associé à la caméra 10 est calculée à l’aide de l’équation suivante.

La correction de la position (x’, y’, z’) de l’objet dans le référentiel Rc associé à la caméra 10 en une position corrigée (x’’, y’’, z’’) pour rattraper le phénomène de distorsion de la lentille de la caméra 10 est calculée à l’aide des coefficients de distorsion décrits précédemment, selon l’équation de distorsion connue, reproduite ci-après.

Dans cette équation, k₁, k₂, k₃, k₄, k₅et k₆sont les coefficients de distorsion radiale p₁et p₂sont les coefficients de distorsion tangentielle, et on considère que r remplit les conditions de l’équation suivante.

Il faut noter que, comme la position réelle (X, Y, Z) de l’objet est choisi de manière à remplir la condition Z=0, la position (x’, y’, z’) dudit objet dans le référentiel Rc associé à la caméra 10 et la position corrigée (x’’, y’’, z’’) de cet objet sont également telles que z’=z’’=0, raison pour laquelle l’équation de distorsion pour z’’ n’est pas décrite ici.

La transformation de la position corrigée (x’’, y’’, z’’) de l’objet dans le référentiel Rc associé à la caméra 10 en la position théorique (u_th, v_th) de l’image dans le référentiel associé à la prise de vue 15 est calculée selon l’équation suivante.

Dans une variante simplifiée, selon laquelle on ne tient pas compte du phénomène de distorsion de la lentille, c’est-à-dire selon laquelle les coefficients de distorsion sont tous nuls, la position théorique de l’image (u_th, v_th) est calculée à l’aide de l’équation simplifiée suivante :

Dans cette équation, les coefficients fx, fy, cx et cy représentent alors les seuls paramètres intrinsèques Pi de calibration de la caméra 10 (puisqu’on considère qu’il n’y a aucune distorsion). On considère ici que ces coefficients fx, fy, cx et cy sont connus. Lors du calcul de la position théorique (u_th, v_th), les coefficients fx, fy, cx et cy sont remplacés par leurs valeurs connues, et les coefficients r_ij, t_kde la matrice de paramètres extrinsèques Pe sont pris égaux à leur valeur initiale, par exemple égaux à 1.

Quelle que soit la variante envisagée pour calculer la position théorique de l’image de l’objet, une fois ladite position théorique (u_th, v_th) calculée, l’unité de calcul 13 évalue, à la sous-étape e1), l’écart entre cette position théorique (u_th, v_th) et la position (u, v) de l’image dudit objet dans la prise de vue 15, déterminée par l’unité de traitement d’images 12 à l’étape c). La position (u, v) de l’image de l’objet dans la prise de vue 15 n’est autre que celle appariée, lors de l’étape d), à la position réelle (X, Y, Z=0) de l’objet utilisée pour le calcul de la position théorique (u_th, v_th).

En pratique, l’écart entre ces positions est évalué comme la distance « L » séparant les points de coordonnées respectives (u_th, v_th) et (u, v). Ainsi, l’écart est obtenu par la formule suivante :

L’unité de calcul 13 procède ainsi pour tous les couples de positions établis à l’étape d), à savoir pour au moins 5 couples de position.

A la sous-étape e2), l’unité de calcul 13 calcule la moyenne arithmétique des écarts L ainsi obtenus.

A la sous-étape e3), les coefficients r_ij, t_kde la matrice de paramètres extrinsèques Pe sont progressivement modifiés par un procédé d’optimisation.

Après chaque modification de la matrice de paramètres extrinsèques Pe, les sous-étapes e1) à e3) sont itérées.

A la sous-étape e4), l’itération des sous-étapes e1 à e3) s’arrête lorsque la moyenne des écarts L, calculée à la sous-étape e2), est minimisée. Ainsi, lorsque l’itération s’arrête, pour chaque image d’objet, la position théorique (u_th, v_th) calculée s’approche au plus près de la position (u, v) déterminée à l’étape c) du procédé par l’unité de traitement d’images 12. Les coefficients de la matrice de paramètres extrinsèques Pe retenus sont donc ceux qui correspondent à l’obtention de la moyenne minimale calculée pour les écarts entre positions théoriques et positions des images des objets déterminées par l’unité de traitement d’images 12 à l’étape c).

Le procédé d’optimisation mis en œuvre lors des sous-étapes e1 à e4) est ici un procédé classique dit à descente de gradient.

La présente invention n’est nullement limitée aux modes de réalisation décrits et représentés, mais l’homme du métier saura y apporter toute variante conforme à l’invention. Le modèle de distorsion et le modèle des paramètres intrinsèques précédemment décrits sont des exemples de modèles. Ce sont les plus courants mais il y en a d’autres tels que ceux utilisés par les caméras grand angle (aussi appelée caméras de type « fish eye ») pour la distorsion. Cela ne change pas la validité de la méthode.

En pratique, il est envisageable que les coefficients de translation t_kde la matrice de paramètres extrinsèques Pe soient connus, auquel cas, on utilise les valeurs connues de ces coefficients t_kdans la matrice Pe dès l’initialisation et tout au long du procédé d’optimisation mis en œuvre dans les sous-étapes e1) à e4). Seuls les coefficients de rotation r_ijinconnus sont initialisés à la valeur de 1 puis modifiés progressivement lors du procédé d’optimisation des sous-étapes e1) à e4).

Comme il a été dit précédemment, il est également envisageable que la matrice de coefficients intrinsèques Pi soit inconnue, auquel cas les coefficients fx, fy, cx et cy de la matrice de paramètres intrinsèques Pi sont déterminées par le procédé d’optimisation des sous-étapes e1) à e4). On procède comme décrit ci-avant, en initialisant la valeur des coefficients fx, fy, cx et cy de la matrice de paramètres intrinsèques Pi à une valeur prédéterminée, puis on modifie ces coefficients, au même titre que les coefficients r_ij, t_kde la matrice de paramètres extrinsèques Pe, jusqu’à ce que la moyenne des écarts entre la position théorique et la position déterminée de chaque image d’objet, dans chaque prise de vue 15 soit la plus faible possible. En pratique, les valeurs initiales prédéterminées des coefficients fx, fy, cx, cy de la matrice de paramètres intrinsèques Pi ne seront pas choisies égales à 1, comme c’est le cas pour les coefficients de la matrice de paramètres extrinsèques Pe, mais choisies égales à des valeurs plus réalistes. Ainsi, en considérant par exemple que l’image du centre optique de la caméra 10 est généralement proche du milieu de la prise de vue 15, il est possible d’initialiser les coefficients cx et cy en les choisissant égaux aux coordonnées du point central de la prise de vue 15. Les coefficients fx et fy peuvent quant à eux être initialisés en prenant les valeurs moyennes des distances focales données par le fabriquant de la caméra 10.

Plus le nombre de coefficients inconnus qu’il convient de déterminer à l’aide du dispositif 1 et/ou du procédé selon l’invention est important, plus le nombre de couples de positions formés lors des étapes a) à d) du procédé devra être élevé.

Par ailleurs, pour s’affranchir de l’étape de sélection des prises de vue par l’unité de traitement d’images 12, il est envisageable de choisir l’environnement dans lequel roule le véhicule pour acquérir les positions réelles et les prises de vue 15. Cela garantit que le capteur de référence 20 acquiert la position réelle d’un seul objet à chaque instant, de sorte que la prise de vue acquise par la caméra au même instant comporte une seule image d’objet.

En pratique, il est possible de faire rouler le véhicule dans lequel sont embarqués le capteur de référence 20 et la caméra 10, en ligne droite, à une vitesse prédéterminée, sur une route plane et dégagée de tout objet, à l’exception de l’unique objet que l’on veut détecter, par exemple d’une voiture. Cet objet évolue autour dudit véhicule pour se placer en des endroits déterminés du champ de vision du capteur de référence 20, à des instants choisis. La voiture objet peut par exemple être pilotée par un conducteur qui sait à quels endroits il doit se positionner à des instants précis au cours du temps.

L’unité de traitement d’images 12 récupère les prises de vue 15 enregistrées dans l’unité de mémoire 11 auxdits instants précis auxquels le conducteur de l’objet a positionné ledit objet à la position réelle voulue.

L’unité de traitement d’images 12 forme alors directement les couples de positions en associant la position réelle de l’objet à l’instant t avec la position de l’image de cet objet dans la prise de vue 15 prise à cet instant t.

Le reste du procédé est inchangé.

D’autre part, il est envisageable que le dispositif 1 et le procédé selon l’invention soient entièrement automatisés, c’est-à-dire que l’on puisse se passer de l’opérateur de l’unité de traitement d’images 12.

Dans ce cas, l’unité de traitement d’images 12 est automatisée. En sus de l’ordinateur, elle comporte alors un processeur capable d’analyser automatiquement des images, tel qu’un réseau de neurones, notamment un réseau de neurones à convolution (ou réseau de neurones convolutifs). Le réseau de neurones YOLO® est un exemple de réseau qui peut être utilisé à cet effet. Dans ce cas, l’unité de traitement 12 détecte automatiquement les images des objets Im(O1), Im(O2), Im(O3) dans les prises de vue 15 acquises par la caméra et les associe à une forme géométrique (carré, rectangle ou trapèze généralement). Le réseau de neurones est entraîné à reconnaître lesdites formes géométriques à partir d’images d’objet de référence telles que des images de voitures, de camions ou de piétons. L’unité de traitement d’images 12 détermine ensuite les coordonnées (u1, v1), (u2, v2), (u3, v3) du point précis donnant la position desdites formes géométriques représentant les images d’objets Im(O1), Im(O2), Im(O3) dans le référentiel Ri associé à la prise de vue 15. Le point précis étant par exemple ici choisi comme milieu du côté reposant au sol de la forme géométrique.

Pour faciliter la détection des images d’objet par l’unité de traitement d’images automatisé, il est préférable que l’acquisition des positions réelles et des prises de vue 15 soit mises en œuvre dans le même type d’environnement que celui décrit ci-dessus et permettant de s’affranchir de l’étape de sélection des prises de vue 15. Le reste du dispositif 1 et du procédé sont inchangés.

Claims

Procédé de calibration d’une caméra (10) embarquée dans un véhicule automobile à partir d’un capteur de référence (20) embarqué dans ledit véhicule, selon lequel il est prévu de déterminer des paramètres de calibration (Pe, Pi) de la caméra au moyen des étapes suivantes :
a) acquisition, par le capteur de référence (20), d’une pluralité de positions réelles ((X, Y, Z)) d’au moins un objet dans l’environnement du véhicule,
b) acquisition, par la caméra (10), d’une prise de vue (15) à chaque instant auquel une des positions réelles est acquise par le capteur de référence (20),
c) détermination de la position ((u, v)) de l’image de chaque objet dans les prises de vue (15) acquises par la caméra (10),
d) formation de couples de position en appariant chaque position réelle ((X, Y, Z)) de chaque objet avec la position ((u, v)) de l’image dudit objet dans la prise de vue (15) acquise par la caméra (10) à l’instant de l’acquisition de ladite position réelle de cet objet,
e) détermination, par une unité de calcul (13), des paramètres de calibration (Pe, Pi) de la caméra (10), à partir de l’ensemble des couples de position formés.
Procédé selon la revendication 1, selon lequel, à l’étape e), lesdits paramètres de calibration de la caméra sont des paramètres extrinsèques (Pe) formés par les coefficients (r_ij, t_k) d’une matrice de rotation et/ou de translation décrivant le passage d’un référentiel (Rv) associé au véhicule à un référentiel (Ri) associé à la caméra.
Procédé selon la revendication 2, selon lequel, à l’étape e), la détermination desdits paramètres extrinsèques (Pe) de calibration comporte les sous-étapes suivantes :
e1) pour chaque couple de positions formé, une position théorique ((u_th, v_th)) de l’image de l’objet est calculée à partir de la position réelle ((X, Y, Z)) dudit objet déterminée à l’étape a) et des coefficients (r_ij, t_k) de la matrice, puis, l’écart (L) entre, d’une part, la position théorique ((u_th, v_th)) ainsi calculée, et, d’autre part, la position ((u, v)) déterminée à l’étape c) de l’image dudit objet dans la prise de vue (15), est évalué ;
e2) la moyenne de tous les écarts (L) évalués à l’étape e1) est calculée ;
e3) les coefficients (r_ij, t_k) de la matrice sont modifiés ; et,
e4) les sous-étapes e1) à e3) sont itérées jusqu’à ce que la moyenne des écarts (L) calculée à la sous-étape e2) soit minimisée.
Procédé selon l’une des revendications 2 et 3, selon lequel, avant la sous-étape e1), les coefficients (r_ij, t_k) de la matrice de rotation et/ou de translation sont tous initialisés à une valeur prédéterminée, de préférence égale à 1.
Procédé selon l’une des revendications 1 à 4, selon lequel, les étapes a) et b) d’acquisition sont effectuées en condition de roulage du véhicule en ligne droite et sur une chaussée sensiblement horizontale et plane.
Procédé selon l’une des revendications 1 à 5, selon lequel à l’étape a), le capteur de référence (20) acquiert au moins 5 positions réelles différentes d’objets, dispersées dans l’ensemble du champ de vision dudit capteur de référence (20) recouvrant le champ de vision de la caméra (10).
Procédé selon l’une des revendications 1 à 6, selon lequel, l’étape c) de détermination de la position ((u,v)) de l’image de chaque objet dans chaque prise de vue (15) acquise par la caméra (10) est effectuée manuellement par un opérateur.
Procédé selon l’une des revendications 1 à 6, selon lequel, l’étape c) de détermination de la position ((u, v)) de l’image de chaque objet dans chaque prise de vue (15) acquise par la caméra (10) est effectuée par une unité de traitement d’images (12) comportant un réseau de neurones.
Dispositif (1) de calibration d’une caméra (10) embarquée dans un véhicule automobile, adapté à communiquer avec ladite caméra (10) ainsi qu’avec un capteur de référence (20) embarqué dans le véhicule, ledit capteur de référence (20) étant prévu pour acquérir une pluralité de positions réelles ((X, Y, Z)) d’au moins un objet dans l’environnement du véhicule, ledit dispositif (1) comportant :
- une unité de mémoire (11) dans laquelle sont enregistrées la position réelle ((X, Y, Z)) de chaque objet dans un référentiel (Rv) associé au véhicule à un instant donné et une prise de vue (15) acquise par la caméra (10) à cet instant donné,
- une unité de traitement d’images (12) adaptée à déterminer la position ((u, v)) de l’image de chaque objet dans les prises de vue (15) acquises par la caméra (10) et à former des couples de positions en appariant ladite position (u, v)) de l’image de l’objet dans la prise de vue avec la position réelle ((X, Y, Z)) dudit objet à l’instant de l’acquisition de la prise de vue (15), et,
- une unité de calcul (13) adaptée à calculer des paramètres de calibration (Pe, Pi) de la caméra (10), à partir de l’ensemble des couples de position formés par l’unité de traitement d’images (12).
Dispositif (1) selon la revendication 9, dans lequel le capteur de référence (20) est choisi parmi la liste de capteurs suivante : une caméra, une caméra stéréoscopique, un système de détection par ondes électromagnétiques, notamment un radar ou un Lidar, ou encore un système de détection par ondes ultrasonores.