FR3100914A1

FR3100914A1 - Procédé d’élaboration d’une image distordue

Info

Publication number: FR3100914A1
Application number: FR1910067A
Authority: FR
Inventors: Stephanie Ambroise
Original assignee: Renault SAS
Current assignee: Renault SAS
Priority date: 2019-09-12
Filing date: 2019-09-12
Publication date: 2021-03-19
Anticipated expiration: 2039-09-12
Also published as: FR3100914B1

Abstract

L’invention concerne un procédé d’élaboration d’une image globale (Img5) de l’environnement d’un véhicule automobile, comprenant : - une étape d’acquisition d’au moins deux images élémentaires d’une même scène de l’environnement vue sous des angles et/ou depuis des positions différentes, et - une étape d’élaboration de ladite image globale en combinant lesdites au moins deux images élémentaires. Selon l’invention, l’image globale est élaborée en distordant les images élémentaires de telle sorte que l’image globale présente un taux de distorsion strictement supérieure à celui desdites au moins deux images élémentaires. Figure pour l’abrégé : Fig.12

Description

Procédé d’élaboration d’une image distordue

Domaine technique de l'invention

La présente invention concerne de manière générale le domaine du traitement d’images.

Elle concerne plus particulièrement un procédé d’élaboration d’une image globale représentant une vue grand angle de type fisheye de l’environnement d’un véhicule automobile, comprenant :
- une étape d’acquisition d’au moins trois images élémentaires de type non distordu d’une même scène de l’environnement vue sous des angles et/ou depuis des positions différentes, et
- une étape d’élaboration de ladite image globale en combinant lesdites au moins trois images élémentaires.

L’invention trouve une application particulièrement avantageuse dans la conception de véhicules automobiles et dans le calibrage de capteurs d’images équipant des véhicules automobiles.

Etat de la technique

Il est connu d’équiper un véhicule automobile d’une ou de plusieurs caméras à grand angle, dont les objectifs sont qualifiés de « fish-eye ». Ces caméras permettent de capturer des images de l’environnement avec un très grand champ de vision.

Un inconvénient de ces objectifs est qu’ils génèrent une forte distorsion des images qu’ils acquièrent. Ce phénomène de distorsion est en pratique une aberration qui déforme les images acquises, l’amplitude de la déformation étant fonction de la position de la zone de l'image considérée.

Il est alors connu et courant de chercher à corriger ce phénomène, en appliquant des algorithmes de correction de la distorsion.

Lors de la conception d’un véhicule automobile équipé d’une caméra grand angle, il s’avère nécessaire de faire des essais de positionnement de cette caméra de façon à ce que cette dernière capture une vue adéquate de l’environnement du véhicule.

Ces essais sont généralement réalisés sur des véhicules de tests et s’avèrent onéreux à réaliser.

Présentation de l'invention

Afin de remédier à l’inconvénient précité de l’état de la technique, la présente invention propose un procédé d’élaboration tel que défini en introduction, dans lequel l’image globale est élaborée en distordant les images élémentaires, de telle sorte que l’image globale présente une distorsion définie selon un modèle de distorsion d’une caméra de type fisheye prédéterminée.

Ainsi, l’invention va à l’encontre du processus couramment utilisé, en ce sens qu’elle propose de distordre des images plutôt que de corriger la distorsion.

L’invention présente plusieurs applications pratiques, qui seront bien décrites ci-après. Elle permet ainsi de réduire le coût de conception d’un véhicule et de faciliter le calibrage de caméras sur un véhicule.

D’autres caractéristiques avantageuses et non limitatives du procédé conforme à l’invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes :
- l’image globale est élaborée de telle sorte qu’elle représente ladite scène vue depuis une position et une orientation prédéterminées,
- une première des images élémentaires est acquise de façon à représenter ladite scène vue depuis lesdites position et orientation prédéterminées,
- une partie centrale de l’image globale est obtenue en appliquant uniquement un algorithme de distorsion à la première image élémentaire,
- les autres des images élémentaires sont acquises de façon à représenter ladite scène vue depuis des positions et/ou des orientations distinctes desdites position et/ou orientation prédéterminées,
- une partie périphérique de l’image globale est obtenue en appliquant une matrice de changement de repère et un algorithme de distorsion aux autres des images élémentaires ;
- les autres des images élémentaires sont acquises par des capteurs d’images, la partie périphérique de l’image globale étant obtenue en tenant compte des distances entre lesdits capteurs d’images et la scène qui est mesurée par un capteur télémétrique ;
- lesdites au moins trois images élémentaires sont générées virtuellement, dans un environnement virtuel dans lequel le véhicule automobile est modélisé ;
- lesdites au moins trois images élémentaires sont acquises par des capteurs d’images équipant le véhicule automobile ;
- les capteurs d’images sont positionnés sur le véhicule automobile de façon à ce qu’un premier des capteurs d’images présente un axe optique orienté de façon sensiblement parallèle à l’axe longitudinal du véhicule automobile, et que des deuxième et troisième capteurs d’images présentent des axes optiques qui s’étendent de part et d’autre de l’axe longitudinal, ces deuxième et troisième capteurs d’images étant situés par exemple au niveau des rétroviseurs extérieurs ou au niveau des poignées de portes arrière du véhicule automobile ;
- les capteurs d’images sont positionnés sur le véhicule automobile de façon à ce qu’un premier des capteurs d’images, adapté à acquérir ladite première des images élémentaires, présente un axe optique orienté de façon sensiblement parallèle à l’axe longitudinal du véhicule automobile, et que des deuxième et troisième capteurs d’images présentent des axes optiques orientés sensiblement à angle droit par rapport à l’axe longitudinal.

L’invention propose aussi une méthode de détermination de la position et de l’orientation d’une caméra de vue grand angle de type fisheye sur un véhicule automobile, dans laquelle :
- on considère un modèle virtuel du véhicule automobile équipé d’au moins quatre capteurs d’images positionnés et/ou orientés différemment de façon à acquérir au moins quatre images élémentaires,
- on applique aux images élémentaires un procédé d’élaboration d’une image globale tel que précité, et
- on en déduit une position et une orientation idéales pour l’implantation d’un capteur d’images à grand angle sur le modèle virtuel.

Avantageusement, les au moins quatre capteurs d’images sont localisés en la même position (i.e. ils partagent le même centre).

L’invention propose également une méthode de calibration de capteurs d’images positionnés et/ou orientés différemment sur un véhicule automobile, selon laquelle :
- on applique à des images élémentaires acquises par les capteurs d’images un procédé d’élaboration d’une image globale tel que précité, ladite image globale étant formée de différentes parties issues des différentes images élémentaires,
- on affiche l’image globale sur un écran de visualisation, et
- on corrige la position et ou l’orientation d’au moins un des capteurs d’images de façon à aligner les différentes parties de l’image globale.

Préférentiellement, avant d’appliquer le procédé d’élaboration, le véhicule automobile est positionné de telle manière qu’un objet allongé selon une direction verticale entre dans le champ de vision de deux des capteurs d’images.

Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.

Description détaillée de l'invention

La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.

Sur les dessins annexés :

est une vue schématique en perspective d’une modélisation d’un véhicule automobile ;

représente les champs de vision de quatre caméras virtuelles équipant le modèle de véhicule automobile de la figure 1 ;

est une image globale acquise par une caméra grand angle ;

est une image élémentaire acquise par une première caméra équipant le modèle de véhicule automobile de la figure 1 ;

est une image élémentaire acquise par une deuxième caméra équipant le modèle de véhicule automobile de la figure 1 ;

est une image élémentaire acquise par une troisième caméra équipant le modèle de véhicule automobile de la figure 1 ;

est une image élémentaire acquise par une quatrième caméra équipant le modèle de véhicule automobile de la figure 1 ;

représente le plan d’un capteur d’images de la caméra grand angle de la figure 3 ;

représente la déviation du faisceau lumineux induite par l’objectif de la caméra grand angle de la figure 3 ;

est un tableau de valeurs fournissant les corrections à apporter pour corriger la distorsion des images acquises par la caméra grand angle de la figure 3 ;

est une représentation schématique de deux capteurs d’images ; et

est une vue d’une image globale distordue obtenue à partir de deux capteurs d’images mal orientés l’un par rapport à l’autre.

Dans la suite de la description, on s’intéressera à trois applications particulières et non limitatives de l’invention. On décrira donc trois modes de réalisation de l’invention.

Le premier mode de réalisation de l’invention s’applique lors de la conception d’une gamme de véhicules automobiles.

Sur la figure 1, on a représenté un modèle virtuel d’un véhicule 10 automobile de ladite gamme.

Ce véhicule 10 est donc ici considéré comme étant modélisé en trois dimensions sous une interface informatique permettant la conception de véhicules automobiles. On considère en outre que ce modèle est placé dans un environnement virtuel dans lequel sont ici représentés une route et un immeuble.

Ce véhicule 10 est prévu pour être équipé à l’avant d’une caméra grand angle 11 de type « fish eye » (Aussi nommée « œil de poisson » en français).

Une telle caméra grand angle 11 comporte un objectif à grand angle (l’angle de son champ de vision est supérieur à 160 degrés) et un capteur d’images situés dans le plan focal image de cet objectif.

Comme on le sait, un tel objectif déforme les images acquises par le capteur d’images : on parle de distorsion. La figure 3 représente ainsi une image globale Img0 distordue de l’environnement virtuel du véhicule 10, telle qu’elle serait acquise par la caméra grand angle 11. On y observe une vue déformée de la route 30 et de l’immeuble 31. Il s’agit d’une vue avec distorsion en forme de globe. Les déformations des lignes sont identiques à celles qu’on pourrait observer sur un miroir convexe.

A ce stade de conception, on souhaite déterminer la position et l’orientation selon lesquelles il faudra placer cette caméra grand angle 11 de façon à ce que son champ de vision corresponde au champ de vision souhaité.

Pour cela, l’invention propose d’équiper, de façon virtuelle, le modèle informatique de véhicule 10 de caméras à focales plus longues, lesquelles acquièrent des images de type non distordu (voir figures 4 à 7).

Par « non distordu », on entend que les images acquises présentent une vue standard, telle que celle qu’on peut observer à l’œil nue. Il peut ainsi d’agir d’une « vue en perspective axonométrique ». Bien entendu, le caractère « non distordu » des images n’exclut pas des défauts minimes de distorsion sur l’image, notamment sur les bords, dus à des défauts liés au dispositif de prise de vue ou au dispositif générateur d’images virtuelles.

A ce stade, on peut définir le « coefficient de distorsion » d’une image acquise par une caméra comme le taux, exprimé en pourcentage, qui permet de quantifier l’aberration géométrique générée par la caméra.

Pour déterminer ce taux, on peut par exemple capturer une image d'une ligne droite horizontale de telle manière que l’image de cette ligne droite soit une courbe. On peut ensuite calculer la proportion entre la hauteur de la courbe sur l’image et la largeur de l’image.

A ce stade, on peut également définir, par rapport au véhicule automobile 10, un repère véhicule orthonormé caractérisé par une origine O située au milieu de l’essieu avant, un axe X orienté de l’avant vers l’arrière du véhicule, un axe Y, et un axe Z vertical orienté vers le haut (le véhicule étant considéré à l’horizontal).

On peut noter dans ce repère attaché au véhicule 10 les coordonnées du centre de la caméra grand angle 11 : Xcam, Ycam et Zcam.

On notera que le centre d’une caméra sera ici défini comme étant le point situé au centre optique de l’objectif de cette caméra.

Lors de la conception du véhicule 10, on sait que la caméra grand angle 11 ne sera pas nécessairement dirigée horizontalement, vers l’avant du véhicule. On peut alors définir l’inclinaison de la caméra 11 par des angles d’orientation notés Pitch_cam(orientation autour de l’axe Y), Yaw_cam (orientation autour de l’axe Z) et Roll_cam(orientation autour de l’axe X). On notera ainsi le vecteur d’angle de la caméra grand angle (Pitch_cam, Yaw_cam, Roll_cam).

A ce stade de la conception, on pourra toutefois choisir, comme ce sera le cas ici, que l’axe optique de la caméra grand angle 11 soit orienté dans le plan (X, Z), vers le bas, si bien que l’angle d’orientation Pitch_camsera le seul non nul.

On peut enfin définir les caractéristiques de la caméra grand angle 11 de la façon suivante. La distance focale de la caméra grand angle 11 est notée f. La largeur de son capteur d’images est notée cx. Sa hauteur est notée cy. Sa résolution horizontale est notée Resh. Sa résolution verticale est notée Resv.

Ici, on cherche donc à déterminer la vue finale qu’aura la caméra grand angle 11 lorsqu’elle sera installée sur le véhicule 10. Cette vue finale est ici appelée image globale Img0 (voir figure 3).

On utilise à cet effet un calculateur permettant d’appliquer un procédé de traitement d’images sur la base des données stockées dans le modèle informatique du véhicule 10.

Pour construire l’image globale Img0, on équipe alors virtuellement le véhicule 10 d’au moins trois caméras à focales plus longues que la focale de la caméra grand angle 11, dont les champs de vision présentent donc des angles d’ouvertures très inférieurs à 160 degrés.

Dans le mode de réalisation ici considéré, on équipe le véhicule automobile 10 de quatre caméras 21, 22, 23, 24.

Comme le montre la figure 2, on considérera ici, par simplification, que ces quatre caméras 21, 22, 23, 24 ont le même centre que la caméra grand angle 11 (de coordonnées Xcam, Ycam, Zcam) et la même distance focale notée f. La largeur du capteur d’images de chaque caméra 21, 22, 23, 24 est égale à deux fois la largeur cx de celui de la caméra grand angle 11. Sa hauteur est aussi égale à deux fois la hauteur cy de celui de la caméra grand angle 11. Sa résolution horizontale est égale à celle de la caméra grand angle 11. Sa résolution verticale est elle aussi égale à celle de la caméra grand angle 11.

Dans l’exemple ici considéré, une première des quatre caméras 21 est orientée de la même façon que la caméra grand angle 11. Son vecteur d’angle est noté (Pitch_cam, Yaw_cam, Roll_cam).

Une deuxième des quatre caméras 22 est tournée par rapport à la première caméra à angle droit vers la gauche. Son vecteur d’angle est noté (Pitch_cam, Yaw_cam + 90°, Roll_cam).

Une troisième des quatre caméras 23 est tournée par rapport à la première caméra à angle droit vers la droite. Son vecteur d’angle est noté (Pitch_cam, Yaw_cam - 90°, Roll_cam).

Une quatrième des quatre caméras 24 est tournée par rapport à la première caméra à angle droit vers le haut. Son vecteur d’angle est noté (Pitch_cam+ 90°, Yaw_cam, Roll_cam).

Les champs de vision de ces quatre caméras sont notés C21, C22, C23, C24 (voir figure 2). A partir de ces données, il est donc possible de tirer du modèle informatique du véhicule 10 et de son environnement quatre images dites élémentaires Img1, Img2, Img3, Img4 représentées sur les figures 4 à 7. On observe que ces images ne sont pas distordues (leur coefficient de distorsion est nul).

L’objectif selon la présente invention va donc consister à distordre les images élémentaires acquises par ces quatre caméras et à les assembler de façon à aboutir à l’image globale représentée sur la figure 3.

Ainsi pourra-t-on vérifier si la position et l’orientation prévues pour la caméra grand angle 11 permettront d’acquérir les images souhaitées, ou s’il sera nécessaire d’apporter une correction à cette position et/ou à cette orientation.

On va pour cela plus précisément distordre les images élémentaires de telle sorte que l’image globale présente une distorsion définie selon un modèle de distorsion de la caméra grand angle 11.

L’image élémentaire Img1 acquise par la seule première caméra 21 ne suffit pas pour construire l’image globale Img0, du fait de son angle d’ouverture trop restreint.

Cette image élémentaire Img1 permet en revanche de construire la partie centrale de l’image finale.

Pour cela, il est prévu d’utiliser une cartographie fournie par le fabricant de la caméra grand angle 11 et qui est initialement prévue pour corriger la distorsion des images qui seront acquises par cette caméra. Bien entendu, en variante, on pourrait utiliser un modèle mathématique pour réaliser cette opération.

Ici, cette cartographie permet d’associer chaque pixel de l’image acquise par la caméra grand angle 11 à un pixel d’une image corrigée.

Ici, l’invention va consister à utiliser cette cartographie à l’envers, de façon à pouvoir distordre l’image élémentaire Img1 acquise par la première caméra 21 de façon à aboutir à la partie centrale de l’image globale Img0 telle qu’elle serait acquise par la caméra grand angle 11.

Cette cartographie est illustrée sur la figure 8.

On y observe un rectangle R11 représentant le capteur d’images de la caméra grand angle 11.

Un repère (I, J) orthonormé et bidimensionnel est également représenté. Il comporte un axe I horizontal et un axe J. Il est centré sur un coin du capteur d’images.

On a également représenté un repère (U, V) identique au repère (I, J), à ceci près qu’il est centré au centre du capteur d’images.

Si on se réfère à la figure 8, un pixel de coordonnées (i, j) dans le repère (I, J) pourra s’exprimer dans le repère (U, V) au moyen des coordonnées (x_pd, y_pd) calculées de la façon suivante :

[Math. 1]
x_pd= i - Resh/2
y_pd= Resv/2 – j

L’angle phi2 entre l’abscisse U de ce repère (U, V) et le pixel considéré pourra être calculé au moyen de la formule mathématique suivante :

phi2=arctan[(y_pd.cy/Resv)/(x_pd.cx/Resh)]

Le rayon entre le centre de ce repère (U, V) et le pixel considéré pourra être calculé au moyen de la formule mathématique suivante :

[Math. 3]
distRadius=[(xpd.cx/Resh)2+[(ypd.cy/Resv)2]1/2

Sur la figure 9, on a représenté la façon dont un rayon de lumière est dévié par l’objectif grand angle de la caméra grand angle 11. On observe ainsi qu’un rayon de lumière arrivant sur la caméra avec un angle d’incidence THETA et qui devrait impacter le capteur d’images à une hauteur Y’0 est dévié et impacte le capteur d’images à une hauteur Y’.

En pratique, pour corriger les images distordues de façon simple, le fabricant de la caméra grand angle fournit alors un tableau de correspondance tel que celui représenté sur la figure 10.

Connaissant la valeur de la hauteur Y’0 et donc de l’angle THETA, ce tableau de correspondance permet d’identifier la hauteur correspondante Y’ du pixel dévié du fait des effets de distorsion.

On peut lire ce tableau dans les deux sens, pour corriger les effets de distorsion ou pour distordre une image sans distorsion.

Pour lire ce tableau, on peut utiliser la valeur la plus proche de la hauteur y_pddu pixel considéré ou, pour plus de précision, on peut travailler par interpolation linéaire.

Grâce à ce tableau (qui est utilisable en hauteur selon l’axe V mais également dans toutes les directions du plan du capteur d’images R11), on peut déduire la valeur du rayon correspondant au pixel de l’image sans distorsion de l’équation suivante :

[Math. 4]
undistRadius = tan (THETA) . f

On peut alors calculer les coordonnées du pixel considéré après distorsion au moyen de la formule mathématique suivante :

[Math. 5]
X_u= cos(phi2). undistRadius
Y_u= sin(phi2). undistRadius

On peut alors poser, dans le plan du capteur d’images, les équations suivantes :

[Math. 6]
x_u= X_u. Resh / (2.cx)
y_u= Y_u. Resv / (2.cy)

En pixels et non plus en millimètres, on peut alors écrire :

[Math. 7]
x_uf= int (x_u+ Resh / 2)
y_uf= int (y_u+ Resv / 2)

Alors, pour reconstruire l’image finale, il suffit d’affecter les caractéristiques de couleurs (RGB) du pixel (x_uf, y_uf) au pixel (i, j).

En reproduisant ces calculs sur l’ensemble des pixels de l’image élémentaire Img1, il est alors possible de construire le centre de l’image globale Img0.

Pour déterminer, sur la base de l’image acquise par la deuxième caméra 22, la partie gauche de l’image globale Img0, on procède d’une façon homologue, en tenant en outre compte du fait que l’orientation de la deuxième caméra 22 est différente de l’orientation selon laquelle la caméra grande angle 11 sera installée.

Pour cela, on peut appliquer une matrice de changement de repère.

Pour bien comprendre comment les résultats sont obtenus, on va ici décrire pas à pas les différents repères considérés.

Sur la figure 11, on a notamment représenté le plan focal image F21 de la première caméra 21 (dont on rappelle qu’il est confondu avec celui de la caméra grand angle) et le plan focal image F22 de la deuxième caméra 22.

On a également représenté un point P1 qui est dans le plan focal image F21 mais qui est situé en dehors du cadre du capteur de la première caméra 21, si bien qu’il n’est pas visible par cette dernière (alors qu’il sera visible par la caméra grand angle 11).

Ce point P1 présente des coordonnées Xu, Yu (avec Xu et Yu respectivement strictement supérieurs aux valeurs cx et cy).

L’axe A22 qui passe par ce point P1 et par le centre O_camdes caméras coupe le plan focal image F22 de la deuxième caméra 22 en un point P2 de coordonnées notées (x3, y3).

Ce point P2 est ici situé dans le cadre du capteur de la deuxième caméra 22, si bien qu’il est visible par cette caméra. Ainsi peut-on écrire x3<cx et y3<cy. On cherche donc à déterminer les coordonnées de ce point P2.

Pour cela, on peut tout d’abord considérer un premier repère R1 orthonormé caractérisé par :
- un centre situé au centre O_camdes caméras,
- un axe X1 orienté suivant l’axe optique de la première caméra 21,
- un axe Y1, et
- un axe Z1 vertical.

Dans ce repère R1, les coordonnées du point P1 sont :

[Math. 8]
Xp = f
Yp = Xu
Zp = Yu

On peut ensuite considérer un deuxième repère R5 orthonormé caractérisé par :
- un centre situé au centre O_camdes caméras,
- un axe X5 orienté suivant l’axe longitudinal du véhicule (horizontal),
- un axe Y5, et
- un axe Z5 vertical.

Dans ce repère R5, les coordonnées du point P1 sont :

[Math. 9]
X5 = Xp . cos Pitch_cam+ Zp . sin Pitch_cam
Y5 = Yp
Z5 = - Xp . sin Pitch_cam+ Zp . cos Pitch_cam

On peut ensuite considérer un troisième repère R6 orthonormé caractérisé par :
- un centre situé au centre O_camdes caméras,
- un axe X6,
- un axe Y6 orienté suivant l’axe longitudinal du véhicule (horizontal), et
- un axe Z6 vertical.

Dans ce repère R6, les coordonnées du point P1 sont :

[Math. 10]
X6 = Y5
Y6 = X5
Z6 = Z5

Enfin, on peut alors considérer un quatrième repère R3 orthonormé caractérisé par :
- un centre situé au centre O_camdes caméras,
- un axe X3 orienté suivant l’axe optique A22 de la deuxième caméra 22,
- un axe Y3, et
- un axe Z3 vertical.

Dans ce repère R3, les coordonnées du point P1 sont :

[Math. 11]
X3 = X6 . cos Pitch_cam– Z6 . sin Pitch_cam
Y3 = Y6
Z3 = X6 . sin Pitch_cam+ Z6 . cos Pitch_cam

Les coordonnées du point P2 dans ce repère sont notés Xp1, Yp1, Zp1.

L’abscisse Xp1 est connue puisque égale à la distance focale f.

Le centre O_camdes caméras, le point P1 et le point P2 étant alignés, on peut déterminer les coordonnées Yp1, Zp1 en utilisant le théorème de Thalès, ce qui donne :

[Math. 13]
Yp1 = Y3 . Xp1 / X3
Zp1 = Z3 . Xp1 / X3

Les coordonnées du point P2 dans le révérenciel du plan focal image F22 de la deuxième caméra sont alors notées :

[Math. 14]
Xul = -Yp1
Yul = -Zp1

On peut alors poser :

[Math. 15]
xul = Xul . Resh / (2.cx)
yul = Yul . Resv / (2.cy)

Exprimés en pixels, on obtient ainsi :

[Math. 16]
xufl = int (xul + Resh / 2)
yufl = int (yul + Resv / 2)

Alors, pour reconstruire la partie gauche de l’image globale Img0, il suffit d’affecter les caractéristiques de couleurs (RGB) du pixel (x_ufl, y_ufl) au pixel (i, j).

On procède ensuite de même pour les pixels issus des images de la troisième et de la quatrième caméras.

Ensuite, on combine les différentes parties issues des images des quatre caméras, on coupe cet assemblage à la dimension souhaitée, et on obtient l’image globale Img0 illustrée sur la figure 3.

Ainsi, en équipant virtuellement le véhicule 10 de quatre caméras, il est possible d’obtenir la vue qu’on obtiendra avec la caméra grand angle 11. Il est ainsi possible d’ajuster les réglages de façon à déterminer la position et l’angle qui seront les meilleurs pour installer la caméra grand angle 11.

On peut maintenant décrire un second mode de réalisation de l’invention, correspondant à une seconde application de l’invention.

Cette seconde application consiste à utiliser le procédé décrit supra sur un véhicule réel, à combiner et déformer les images acquises par les caméras équipant ce véhicule, et à les afficher sur un écran placé dans le véhicule de manière à simuler l’utilisation d’une caméra grand angle.

En effet, les caméras grand angle sont plus onéreuses que les caméras à angles plus restreints. On peut ainsi simuler l’utilisation d’une caméra grand angle en installant plusieurs caméras à angles restreints sur le véhicule.

On pourra par exemple placer une caméra avant située à l’avant du véhicule et deux caméras latérales installées respectivement sous les deux rétroviseurs extérieurs (pour créer une vue de l’environnement avant du véhicule). En variante, on pourrait placer la première caméra à l’arrière du véhicule et les deux caméras latérales respectivement dans les deux poignées de porte arrière du véhicule (pour créer une vue de l’environnement arrière du véhicule).

Dans l’exemple ici considéré, les trois caméras utilisées n’ont pas le même centre.

Le procédé décrit ci-avant devra donc être adapté en appliquant des matrices de changement de repère supplémentaires aux images élémentaires acquises par les deux caméras latérales.

On peut alors décrire comment ces matrices sont construites.

On peut tout d’abord s’intéresser à l’image élémentaire acquise par la caméra positionnée sous le rétroviseur gauche.

On souhaite déformer cette image de façon à simuler la forme qu’elle aurait si elle avait été acquise depuis le centre de la caméra avant.

Chaque pixel (i,j) de l’image élémentaire acquise par la caméra latérale gauche a pour coordonnées (x_p, y_p) par rapport au centre de l’image, avec :

[Math. 17]
x_p= (i - Resh/2) . cx / Resh
y_p= (j - height/2) . cy / Resv

On peut alors se placer dans le premier repère R1, qui est ici caractérisé par :
- un centre situé au centre de la caméra latérale gauche,
- un axe X1 orienté suivant l’axe optique de la caméra latérale gauche,
- un axe Y1, et
- un axe Z1 vertical.

Dans ce repère R1, on peut écrire les coordonnées du pixel considéré sous la forme :

[Math. 18]
Xp = -f
Yp = x_p
Zp= y_p

On peut alors se placer dans le repère R5, qui est ici caractérisé par :
- un centre situé au centre de la caméra latérale gauche,
- un axe X5 orienté suivant l’axe longitudinal du véhicule (horizontal),
- un axe Y5, et
- un axe Z5 vertical.

Dans ce repère R5, les coordonnées du pixel considéré s’écrivent sous la forme :

[Math. 19]
Xp5 = cos(Pitch_cam) . Xp + sin(Pitch_cam) . Zp
Yp5 = Yp
Zp5= -sin(Pitch_cam) . Xp + cos(Pitch_cam) . Zp

A ce stade, on observe que le nombre de valeurs inconnues est trop grand de façon à pouvoir calculer notre matrice de changement de repères. Pour résoudre ce problème, on cherche à déterminer la position tridimensionnelle d’un l’objet réel situé au niveau du pixel (i,j) de l’image acquise par la caméra latérale gauche.

On cherche plus précisément alors à déterminer la distance Yobs entre le centre de la caméra latérale gauche et cet objet réel, on utilise un capteur de télémétrie tel qu’un capteur RADAR ou un capteur SONAR ou un capteur LIDAR équipant le véhicule.

La droite passant par le centre de la caméra latérale gauche et par le pixel (i,j) coupe le plan passant par l’objet réel et qui est orthogonal à l’axe optique de la caméra latérale gauche en un point P5.

Les coordonnées de ce point P5 dans le repère R5 sont :

[Math. 20]
X5 = Yobs - Y_{cam_avant}
Y5 = - Yp5 . X5 / Xp5
Z5 = Zp5 . X5/Xp5;

Dans ces équations, la distance Y_{cam_avant}correspond à la coordonnée de la caméra avant selon l’axe Y lié au véhicule automobile.

On peut alors se placer dans un repère R61, qui est ici caractérisé par :
- un centre situé au centre des caméras latérales,
- un axe X61 parallèle à l’axe latéral du véhicule,
- un axe Y61 parallèle à l’axe longitudinal du véhicule, et
- un axe Z61 vertical.

Dans ce repère R61, les coordonnées du point P5 sont :

[Math. 21]
X61 = X5 - Y_{cam_avant}+ Y_{cam_left}
Y61 = Y5 - X_{cam_avant}+X_{cam_left}
Z61 = Z5

Dans ces équations, la distance Y_{cam_left}correspond à la coordonnée de la caméra latérale gauche selon l’axe Y du repère attaché au véhicule automobile. Les distances X_{cam_avant}et X_{cam_left}correspondent quant à elles respectivement aux coordonnées de la caméra avant et de la caméra latérale gauche selon l’axe X du repère attaché au véhicule automobile.

On peut alors se placer dans le repère R3, qui est ici caractérisé par :
- un centre situé au centre de la caméra latérale gauche,
- un axe X3 orienté suivant l’axe optique de la caméra latérale gauche,
- un axe Y3, et
- un axe Z3 vertical.

Dans ce repère, on peut écrire :

[Math. 22]
X3 = cos(Angle_cam) . X61 - sin(Angle_cam) . Z61
Y3 = Y61
Z3 = sin(Angle_cam) . X61 + cos(Angle_cam) . Z61

Dans ces équations, l’angle Angle_camcorrespond à l’angle formé entre l’axe optique de la caméra latérale gauche et le plan horizontal. Cet angle est connu.

La droite passant par le point P5 et par le centre de la caméra avant coupe le plan image de la caméra latérale gauche en un point P1.

Dans le repère de la caméra latérale gauche, les coordonnées du point P1 sont alors :

[Math. 23]
Xp1 = -f
Yp1= Y3 . Xp1 / X3
Zp1 = - Z3 . Xp1 / X3

Par rapport au centre de l’image, les coordonnées du point P1 s’écrivent :

[Math. 24]
Xul = Yp1
Yul = Zp1

Ramenées en pixels, on peut écrire :

[Math. 25]
xul = -Xul . Resh / cx
yul = -Yul . Resv / cy

On obtient ainsi l’image telle qu’elle serait vue depuis le centre de la caméra avant avec l’orientation de la caméra latérale gauche.

On réalise les mêmes opérations avec l’image acquise au moyen de la caméra latérale droite puis on combine les images distordues obtenues de façon à recréer une image globale distordue.

On notera que les calculs appliqués à l’image élémentaire acquise par la caméra latérale droite seront les mêmes que ceux présentés ci-dessus à la condition qu’un objet réel entre dans le champ de vision de cette caméra latérale droite.

Ici, on peut toutefois considérer que tel n’est pas le cas.

Alors, on va chercher l’intersection de la droite passant par le centre de la caméra et par le pixel (i,j) avec le sol. Les équations des coordonnées du point P5 dans le repère R5 seront alors :

[Math. 26]
Z5 = 0 - Z_{cam_avant}
X5 = Xp5 . Z5 / Zp5
Y5 = Yp5 . Z5 / Zp5

Dans ces équations, la distance Z_{cam_avant}correspond à la coordonnée de la caméra avant selon l’axe Z du repère attaché au véhicule automobile.

On peut maintenant décrire un troisième mode de réalisation de l’invention, correspondant à une troisième application de l’invention.

Cette troisième application consiste à utiliser le procédé décrit supra sur des véhicules réels en service après-vente, pour contrôler et/ou modifier la position et/ou l’orientation d’une caméra.

On considère dans cet exemple que le véhicule est équipé d’une caméra avant et de deux caméras latérales. Ces caméras seront utilisées par exemple pour afficher sur un écran situé dans l’habitacle trois vues non distordues de l’environnement.

Lors du remplacement de l’une de ces caméras ou après un accident, il peut arriver que l’on souhaite contrôler que les trois caméras sont bien orientées dans les directions prescrites par le constructeur.

Pour cela, le véhicule automobile est amené à proximité d’au moins un élément vertical tel qu’un poteau ou un mur (c’est-à-dire un objet réel ayant une dimension verticale non nulle).

On notera ici que les éléments verticaux qui serviront à la calibration des caméras ne seront pas nécessairement dédiés à cette calibration mais il pourra s’agir de tout objet tel qu’un élément de mobilier urbain.

On notera également qu’il ne sera pas nécessaire de placer dans une position précise le véhicule par rapport à ces éléments verticaux. Il faudra seulement s’assurer que l’un de ces éléments sera visible sur au moins deux images élémentaires acquises par deux caméras et que sa distance au véhicule pourra être mesurée par le capteur de télémétrie du véhicule.

On pourra alors prévoir que l’opérateur intervenant en après vente utilise un dispositif comportant un écran et un calculateur pouvant mettre en œuvre le procédé décrit dans le second mode de réalisation précité.

Il pourra ainsi voir s’afficher sur son écran « en temps réel » une image globale Img5 distordue telle que celle représentée sur la figure 12.

Alors, si la position ou l’orientation d’une des caméras, par exemple la caméra latérale gauche, n’est pas correcte, l’image globale Img5 que verra l’opérateur sera formée de différentes parties non alignées, c’est-à-dire présentant un décalage relatif.

L’opérateur pourra alors modifier la position ou l’orientation de la caméra latérale gauche et visualiser « en temps réel » le résultat de cette modification sous la forme de l’image globale Img5. Son but sera alors d’obtenir une image sans décalage entre ses différentes parties, ce qui lui assurera que les caméras sont bien orientées dans les directions prescrites par le constructeur.

Claims

Procédé d’élaboration d’une image globale (Img0 ; Img5) représentant une vue grand angle de type fisheye de l’environnement d’un véhicule automobile (10), comprenant :
- une étape d’acquisition d’au moins trois images élémentaires (Img1, Img2, Img3, Img4) de type non distordu d’une même scène de l’environnement vue sous des angles et/ou depuis des positions différentes, et
- une étape d’élaboration de ladite image globale (Img0 ; Img5) en combinant lesdites au moins trois images élémentaires (Img1, Img2, Img3, Img4),
caractérisé en ce que l’image globale (Img0 ; Img5) est élaborée en distordant les images élémentaires (Img1, Img2, Img3, Img4), de telle sorte que l’image globale (Img0 ; Img5) présente une distorsion définie selon un modèle de distorsion d’une caméra de type fisheye prédéterminée.
Procédé d’élaboration selon la revendication précédente, dans lequel :
- l’image globale (Img0 ; Img5) est élaborée de telle sorte qu’elle représente ladite scène vue depuis une position et une orientation prédéterminées,
- une première des images élémentaires (Img1) est acquise de façon à représenter ladite scène vue depuis lesdites position et orientation prédéterminées,
- une partie centrale de l’image globale (Img0 ; Img5) est obtenue en appliquant uniquement un algorithme de distorsion à la première image élémentaire (Img1),
- les autres des images élémentaires (Img2, Img3, Img4) sont acquises de façon à représenter ladite scène vue depuis des positions et/ou des orientations distinctes desdites position et/ou orientation prédéterminées, et
- une partie périphérique de l’image globale (Img0 ; Img5) est obtenue en appliquant une matrice de changement de repère et un algorithme de distorsion aux autres des images élémentaires (Img2, Img3, Img4).
Procédé d’élaboration selon la revendication précédente, dans lequel les autres des images élémentaires (Img2, Img3, Img4) sont acquises par des capteurs d’images (22, 23, 24), la partie périphérique de l’image globale (Img0 ; Img5) étant obtenue en tenant compte des distances entre lesdits capteurs d’images (22, 23, 24) et la scène qui est mesurée par un capteur télémétrique.
Procédé d’élaboration selon l’une des revendications 1 à 3, dans lequel lesdites au moins trois images élémentaires (Img1, Img2, Img3, Img4) sont générées virtuellement, dans un environnement virtuel dans lequel le véhicule automobile (10) est modélisé.
Procédé d’élaboration selon l’une des revendications 1 à 3, dans lequel lesdites au moins trois images élémentaires (Img1, Img2, Img3, Img4) sont acquises par des capteurs d’images équipant le véhicule automobile (10).
Procédé d’élaboration selon la revendication précédente, dans lequel les capteurs d’images (21, 22, 23) sont positionnés sur le véhicule automobile (10) de façon à ce qu’un premier des capteurs d’images (21) présente un axe optique orienté de façon sensiblement parallèle à l’axe longitudinal du véhicule automobile, et que des deuxième et troisième capteurs d’images (22, 23) présentent des axes optiques qui s’étendent de part et d’autre de l’axe longitudinal, ces deuxième et troisième capteurs d’images (22, 23) étant situés par exemple au niveau des rétroviseurs extérieurs ou au niveau des poignées de portes arrière du véhicule automobile.
Procédé d’élaboration selon l’une des deux revendications précédentes prise en combinaison avec la revendication 2, dans lequel les capteurs d’images (21, 22, 23) sont positionnés sur le véhicule automobile (10) de façon à ce qu’un premier des capteurs d’images (21), adapté à acquérir ladite première des images élémentaires (Img1), présente un axe optique orienté de façon sensiblement parallèle à l’axe longitudinal du véhicule automobile, et que des deuxième et troisième capteurs d’images (22, 23) présentent des axes optiques orientés sensiblement à angle droit par rapport à l’axe longitudinal.
Méthode de détermination de la position et de l’orientation d’une caméra de vue grand angle de type fisheye sur un véhicule automobile (10), dans laquelle :
- on considère un modèle virtuel du véhicule automobile (10) équipé d’au moins quatre capteurs d’images (21, 22, 23, 24) positionnés et/ou orientés différemment de façon à acquérir au moins quatre images élémentaires (Img1, Img2, Img3, Img4),
- on applique aux images élémentaires (Img1, Img2, Img3, Img4) un procédé d’élaboration d’une image globale (Img0) conforme à l’une des revendications 1 à 4, et
- on en déduit une position et une orientation idéales pour l’implantation d’un capteur d’images à grand angle (11) sur le modèle virtuel.
Méthode de détermination selon la revendication précédente, dans lequel les au moins quatre capteurs d’images (21, 22, 23, 24) sont localisés en la même position.
Méthode de calibration de capteurs d’images (21, 22, 23, 24) positionnés et/ou orientés différemment sur un véhicule automobile (10), selon laquelle :
- on applique à des images élémentaires (Img1, Img2, Img3, Img4) acquises par les capteurs d’images (21, 22, 23, 24) un procédé d’élaboration d’une image globale (Img5) conforme à l’une des revendications 5 à 7, ladite image globale (Img5) étant formée de différentes parties issues des différentes images élémentaires (Img1, Img2, Img3, Img4),
- on affiche l’image globale (Img5) sur un écran de visualisation, et
- on corrige la position et ou l’orientation d’au moins un des capteurs d’images (21, 22, 23, 24) de façon à aligner les différentes parties de l’image globale (Img5).