FR2794700A1

FR2794700A1 - Systeme de retrovision pour vehicule

Info

Publication number: FR2794700A1
Application number: FR9907223A
Authority: FR
Inventors: Hoang Giong Nguyen
Original assignee: Renault SAS
Current assignee: Renault SAS
Priority date: 1999-06-08
Filing date: 1999-06-08
Publication date: 2000-12-15
Anticipated expiration: 2019-06-08
Also published as: FR2794700B1

Abstract

L'invention concerne un système de rétrovision pour véhicule automobile comprenant au moins une caméra numérique, un calculateur embarqué pour le traitement des images et un écran de visualisation des images, comportant de plus au moins un miroir à surface complexe, à réflexion totale, orienté vers la scène de rétrovision arrière du véhicule en formant un angle déterminé () par rapport à la verticale du véhicule, et dont la fonction de transfert (F2 ) à deux dimensions est égale à la convolution de la fonction de transfert (F1 ) de l'objectif de la caméra avec une fonction (F3 ) de correction géométrique : F2 = F1 <T 481> F3 et tel que : - la caméra vise obliquement la surface complexe du miroir sous un angle déterminé (alpha), formé par l'axe optique (delta) de la caméra et la verticale du véhicule; - le calculateur effectue le redressement en temps réel de l'image compressée par le miroir.

Description

SYSTEME DE RETROVISION POUR VEHICULE La présente invention concerne un système de rétrovision par réflexion directe sur une surfaceà géométrie complexe, pour véhicule de tourisme, utilitaire ou industriel notamment, sans distorsion géométrique de l'image.

La rétrovision par un moyen de visualisation tel qu'une caméra de type CCD (Charges Coupled Devices) ou CMOS (Complementary Metal Oxyde Semiconductor) avec un objectif grand angle présente généralement une distorsion géométrique de l'image,à cause des aberrations géométriques de l'objectif. L'être humain interprète l'image qu'il regarde avec une mauvaise appréciation de la distance ou de la profondeur, notamment de la distance entre son véhicule et ceux qui le suivent. En particulier, les lignes de marquage au sol réalisant la séparation des voies n'apparaissent plus parallèles sur l'écran de visualisation associéà la caméra, mais elles sont courbéesà l'horizon quand on veut une vision grand angleà l'arrière du véhicule. Sinon, il faut ajuster la distance focale de l'objectif pour obtenir une juste notion de distance en dépit du champ de vision.

Il existe actuellement plusieurs solutions pour essayer d'obtenir un grand champ de vision sans distorsion géométrique.

Avec une seule caméra, une première solution consiste en une correction numérique de l'image par un système d'acquisition numérique, mis derrière la caméra, qui réalise un traitement numérique de l'image pour redresser les distorsions géométriques.

Cette solution présente trois principaux inconvénients. Premièrement,à cause de l'aspect discret des senseurs de type CCD ou CMOS, la correction de la distorsion géométrique de l'image est imparfaite. La projection géométrique de la scène routière sur la surface du senseur CCD est une transformation cartésienne des coordonnées des points dans l'espace sur une surface CCD à deux dimensions, de telle sorte que la discrétisation de l'image numérique ne corrige pas parfaitement l'aberration géométrique dueà l'objectif grand angle.

Deuxièmement, si la caméra est analogique, elle nécessite un système d'acquisition d'image numérique qui va réaliser l'inversion gauche-droite ou haut-bas de l'image obtenue, par inversion de lecture des écrans LCD ou inversion de balayage du tube cathodique selon le cas.

Enfin, si la caméra est numérique, le traitement numérique des images nécessite un processeurf un logiciel de traitement et des périphériques spécifiques.

Une deuxième solution consisteà réaliser un système de rétrovision à au moins trois caméras CMOS séparées physiquement. Un dispositif de traitement combine les différentes images issues de ces caméras par compression dans le sens vertical des images et élimination des zones de redondance des différentes caméras, afin d'afficher une image résultante en temps réel, de type 11rétrovisionl' panoramique", sur un même écran. La superposition des images issues des différentes caméras distinctes nécessite des temps de calcul assez longs. Le brevetUS 5 670 935, déposé au nom de DONNELLY CORPORATION, décrit un tel système de rétrovision avec une caméra centrale sur la porte arrière et une caméra au niveau de chacune des deux portes latérales du véhicule.

une troisième solution consisteà disposer une caméra sur un plateau tournant pour la faire tourner dans le but d'observer l'environnement sur360 degrés. Un tel système est décrit dans le brevetUS 5 530 650, déposé au nom de MAC DONNELL DOUGLAS CORPORATION. Non seulement on ne dispose toujours que d'une vision partielle de la scèneà un instant donné, mais encore un tel système ne convient pasà un véhicule automobile en raison du temps nécessaire pour scruter l'environnement.

Une quatrième solution, décrite dans le brevet WO 97/43854, déposé au nom de The Trustees of Columbia University in the city ofNEW YORK, est un système de vision omnidirectionnelle, combinant une caméra CCD et un miroir parabolique de révolution avec un algorithme de redressement d'imagesà 360 degrés en image droite. La figure1 est un schéma d'un tel système constitué par le couple miroir parabolique1 et capteur d'image 2 de type CCD dont le vecteur normalà la surface CCD se trouve sur l'axe de révolutions du miroir.

Cette solution n'est pas concevable sur le toit d'un véhicule automobile et la vision panoramique de l'environnement est inutile dans ces conditions, car une partie de l'image serait alors constituée par la carrosserie du véhicule ainsi équipé.

Le but de l'invention est de pallier ces inconvénients en proposant un système de rétrovision par caméra utilisant de plus la réflexion de la scèneà observer par l'intermédiaire d'un miroirà surface complexe, qui couvre un champ de vision compris entre180 et270 degrés, tout en redressant les distorsions géométriques duesà l'objectif grand angle de la caméra.

Pour cela, l'objet de l'invention est un système de rétrovision pour véhicule automobile comprenant au moins une caméra numérique de type CCD, CMOS ou CMOS- APS, un calculateur électronique embarqué pour le traitement des images et un écran de visualisation des images captées par la caméra puis traitées, caractérisé en ce qu'il comporte de plus: - au moins un miroirà surface complexe,à réflexion totale, orienté vers la scène de rétrovision arrière du véhicule en formant un angle déterminé(p) par rapport à la verticale du véhicule, et en ce que: - la caméra est munie d'un objectif qui vise obliquement la surface complexe du miroir sous un angle déterminéa, formé par l'axe optique5 de la caméra et la verticale du véhicule; - le calculateur électronique effectue le redressement en temps réel de l'image compressée par le miroir et permet l'affichage sur l'écran de visualisation en respectant la notion de distance.

Selon une autre caractéristique essentielle de l'invention, si la fonction du transfertà deux dimensions de l'objectif grand angle de la caméra est la fonction Fl, la fonction de transfert F2à deux dimensions du miroirà surface complexe est égaleà la convolution de la fonction de transfert F, avec une fonctionF3 de correction géométrique F2<B≥ Fl 0 F3 - D'autres caractéristiques et avantages de l'invention apparaîtrontà la lecture de la description de plusieurs exemples de réalisation du système de rétrovision, illustrée par les figures suivantes qui, outre la figure1 déjà décrite, sont: - les figures 2 et3 : deux vues en coupe verticale de la partie optique du système selon l'invention, pour deux positions différentes de la caméra; - les figures 4 et6 : deux vues en coupe horizontale d'une partie du système selon l'invention, pour deux géométries différentes du miroir; - les figures 5aà 5c: trois exemples de fonctions paramétriques de correction du miroir selon l'invention; - la figure7 : une vue d'un miroirà surface complexe obtenu par simulation; - la figure8 : le synoptique d'un procédé de traitement des images issues de la caméra selon l'invention; - la figure9 : l'emplacement de l'écran sur la planche de bord du véhicule; - la figure10: une vue en coupe verticale du système de rétrovision monté derrière une vitre verticale du véhicule; - lesf igures 11 et 12: deux vues en coupe verticale du système de rétrovision avec prisme et caméra située respectivement en dessous et au dessus du miroir selon l'invention; - la figure13 : une vue de dessus d'un véhicule équipé du système de rétrovision grand angle; - laf igure 14: 11 image de rétrovision panoramique d'un véhicule équipé de deux systèmes de rétrovision au niveau des blocs optiques arrière du véhicule; - les figures 15a et15b : deux variantes de positionnement d'un système de rétrovision selon l'invention en haut et en bas d'un véhicule.

Les éléments portant les mêmes références sur les différentes figures remplissent les mêmes fonctions en vue des mêmes résultats.

Dans la fonction de visualisation des scènes routières, le conducteur d'un véhicule automobile, de tourisme ou industriel, n'a pas besoin de voir toute la scène sur un champ de vision de3600 degrés autour du véhicule. Une vision partielle en complément de la vision directe par ses propres yeux suffità l'aider dans sa conduite ou ses manoeuvres de dépassement comme d'accostage.

Souvent la vision complémentaireà celle des yeux du conducteur est une vision oblique, du haut vers le bas de la route pour reconnaître les repères au sol ou repérer la position des autres véhicules. Cette vision complémentaire demande une vue comprise entre180 et 270 degrés derrière le véhicule, et non360 degrés autour du véhiculeà cause du non débordement du dispositif.

L'invention cons-i-ste à utiliser un miroirà surface complexe placéà l'arrière du véhicule, faceà la scène routière arrière et formant un angleP par rapportà la verticale, et destinéà être visé par une caméra selon une orientation particulière. Cette caméra numérique peut être de type CCD, CMOS ou CMOS-APS (Active Pixel Sensor).

Selon une caractéristique essentielle du système de rétrovision, si la fonction de transfertà deux dimensions de l'objectif grand angle de la caméra est une fonction Fl, alors la fonction de transfertà deux dimensions du miroirà géométrie complexe est une fonction F2 qui est la convolution de la fonction F, avec une fonctionF3 de correction géométrique F2<B≥ Fl Fl 0 F3- Dans un miroirà surface complexe, le nombre de points représentant le miroir est équivalentà une résolution d'un film photographique dont les grains élémentaires sont de l'ordre du micron. Ainsi, la résolution est au moins huit fois meilleure que celle des capteurs d'image CCD, qui est discrète et limitée.

Selon une autre caractéristique essentielle, l'objectif 3 de la caméra 4 vise obliquement la surface complexe du miroir5, sous un angle déterminé a, formé par l'axe optique5 de la caméra et l'axe vertical ZIOZ, dans un plan XOZ parallèle au côté6 du véhicule passant par le centre de gravité de la caméra,0 étant le centre du miroir.

Pour une position de la caméra 4 en dessous du miroir5 à surface complexe, comme le montre la figure 2 qui est une vue en coupe verticale de la partie optique du système de rétrovision, l'anglea est compris entre15 et35 degrés. Pour une position de la caméra 4 au-dessus du miroir5 à surface complexe, l'angle cc est compris entre65 et 75 degrés, comme le montre la figure3, qui est une vue schématique en coupe verticale du système de rétrovision complet avec un calculateur électronique7 de traitement d'images associéà un écran de visualisation8 placé dans le champ de vision périphérique du conducteur du véhicule. Le calculateur embarqué dans le véhicule peut être intégré sur le support en silicium "wafer", du capteur d'images CMOS. Sur lesf igures 2 et3, le champ de vision du système de rétrovision est l'angle solide dont la projection9 dans le plan XOZ est hachurée.

Laf igure 4 est une vue en coupe horizontale dans un plan XOY de l'ensemble constitué par le miroir5 à surface complexe et la caméra 4 dont l'objectif3 est centré sur l'axe XIOX.

Suivant les différents plans de coupe verticaux ZOX1, ZOX2 et ZOX3 par exemple du miroir, la surface du miroir est définie par une fonction paramétrique déterminée, soit pour chacun des trois plans précédemment définis, les fonctions géométriques respectivesF31, F32, F33 représentées sur les figures 5aà 5c: F31 = f(Xl, Z,k) F32 = f(X2, Z, k) F33 = f(X3, Z, k)- Selon une variante de réalisation, pour des raisons d'emplacement disponible sur le véhicule, la caméra est déportée d'un angley par rapportà l'axe XIOX orthogonal au plan vertical arrière YOZ du véhicule. La figure6 est une autre vue en coupe horizontale dans le plan XOY, sur laquelle la caméra est désaxée vers la gauche de l'axe XIOX. On remarquera que la fonction F'3 de correction du miroirà surface complexe est différente de la fonctionF3 de la figure 4.

La figure7 est une vue en trois dimensions d'un miroir à surface complexe selon l'invention.

Etant donné que la caméra CCD observe la scène routière à travers le miroirà surface complexe, l'inversion gauche/droite, ou bien haut/bas, de l'image s'est faite naturellement par l'effet miroir, ce qui n'était pas le cas des solutions antérieures. Ainsi, la formation de l'image résultante ne nécessite pas d'inversion gauche/droite, ni au niveau de la caméra, ni au niveau de l'écran d'affichageà cristaux liquides LCD ouà tube cathodique CRT (Cathod Ray Tube).

Selon une variante, il est possible de réaliser, directement sur la surface complexe du miroir, des repères indiquant les distances, par exemple deux lignes de marquage fictives correspondantà la largeur du véhicule augmentée d'une distance de sécurité de chaque côté du véhicule. La séparation des deux marquages fictifs doit correspondreà une distance voisine de3,5 mètres, soit la largeur des voies de circulation en Europe.

La figure8 est le synoptique des différentes étapes subies par l'image de la scène routière avant d'être visualisée sur un écran devant le conducteur du véhicule. La scène routière se reflète sur le miroir5 à surface complexe, sur laquelle sont réalisées deux lignes de marquage10, et est naturellement inversée quand elle entre dans le champ de vision de la caméra (étape a).

Le calculateur électronique de traitement d'images redresse1 'image issue de la caméra (étapeb) , qui apparaît alors sur l'écran8. on peuty reconnaître les repères fictifs10 représentant la largeur des voies de circulation, ainsi que des repères fictifs 12 marquant l'arrière et les deux côtés du véhicule.

Le calculateur de traitement d'images est destinéà redresser en temps réel l'image compressée par le miroirà surface complexe, ainsi qu'à permettre l'affichage, sur un écran de visualisation, de la scène routière dans un format qui respecte la notion de distance dans une imageà deux dimensions. si une image vue avec des yeux humains est en trois dimensions, soit largeur, hauteur et profondeur, l'image obtenue par une caméra doit être compressée en hauteur et en largeur pour respecter le rapport entre la largeur et la hauteur égalà 4/3 ou16/9. On obtient ainsi un champ équivalent au champ d'observation de l'oeil humain.

Un mode de réalisation particulièrement intéressant d'un miroirà surface complexe, pour son faible coût et son poids réduit, consiste en un usinage numérique d'une surfaceà géométrie complexe.

Un tel usinage permet la réalisation de moules de surface complexe en polymère ou matière plastique, revêtus ensuite d'une couche mince de matériauà coefficient de réflexion égalà 100 % . Ce type de couche mince réfléchissante est par exemple obtenue par pulvérisation sous vide d'alliageà base d'aluminium ou bien par thermo-collage d'un film d'aluminium. on peut équiper l'intérieur du miroir d'une résistance chauffante13 pour le désembuage par temps de pluie ou par temps froid, comme cela est représenté sur la figure3, sur laquelle apparaissent également les repères de distance10.

Le système de rétrovision comporte de plus un écran8 pour la visualisation de l'image issue de la caméra puis traitée par le calculateur. Cet écran doit se trouver, au niveau de la planche de bord du véhicule 80, en dehors du cône81 de visualisation du conducteur pour éviter sa fatigue visuelle. Il est préférable de l'installer dans le champ de vision périphérique82 du conducteur comme le montre la figure9, qui est une vue schématique de dessus d'une planche de bord.

Une variante du système de rétrovision selon l'invention est proposée dans le cas d'une utilisation à l'intérieur du véhicule 20. En effet, pour des raisons de protection, contre le bris, les intempéries ou la température extérieure, et de sécurité, il est préférable dans certains cas de placer le système 14 dans l'habitacle15 ou dans l'intérieur de la remorque, derrière une vitre verticale arrière16, comme le montre la vue en coupe verticale de la figure10. Etant donné que le miroir ne peut refléter l'ensemble de la scène routièreà l'arrière du véhicule, sans déporter le système 4 en dehors des dimensions hors tout du véhicule, puisque son champ est limité par la carrosserie qui entoure la vitre arrière, il est nécessaire de placer un prisme, de préférenceà angle droit, sur le chemin optique de l'ensemble caméra- miroir de façonà dévier le trajet optique de la scène routière qui entre dans la caméra et doncà agrandir son champà la partie proche de l'arrière du véhicule. La figure11 est une vue en coupe verticale de la partie optique du système de rétrovision avec un prisme 17 de déviation placé sur le chemin optique18 de la scène routière qui va entrer dans une caméra 4 placée en dessous du miroirà surface complexe5.

Laf igure 12 est une vue en coupe verticale de cette même partie du système, dans le cas d'une caméra placée au-dessus du miroir5.

Il est intéressant d'équiper un véhicule 20 par exemple utilitaire, de deux systèmes 14 de rétrovision sans distorsion, chacun étant intégré dans un bloc optique arrière latéral. La partie du bloc optique arrière dans laquelle est logé le système est transparente pour la longueur d'onde utilisée par la caméra. Chaque système couvre un champ de rétrovision de270 degrés, comme le montre la figure13, qui est une vue de dessus d'un véhicule, de sorte que le conducteur voit l'ensemble de la scène routière apparaissantà l'arrière et sur les côtés de son véhicule.

La figure 14 représente l'image de rétrovision panoramique apparaissant sur l'écran8 de visualisation, au niveau du tableau de bord du véhicule 20, soit les trois véhicules Vl, V2 et V3 dont les deux premiers roulent sur les voies latérales du véhicule et le troisième circule derrière le véhicule.

Les figures l5a et l5b illustrant deux variantes de positionnement diun système 14 de rétrovision sur les côtés du véhicule 20, respectivement en haut et en bas de la carrosserie.

Le système de rétrovision par miroirà surface complexe selon l'invention résout deux problèmes principaux. Le problème de la distorsion géométrique, dueà l'utilisation des objectifs grand angle dans une rétrovision par caméra, est résolu par la réflexion de la scène routièreà observer dans un miroirà surface complexe. La caméra vise obliquement la surface complexe qui, par transformation inverse de la géométrie du sol, respecte le parallélisme des lignes de marquage au sol notamment.

Le problème du champ de vision nécessaire au conducteur, compris entre180 et270 degrés, est résolu par le miroir qui couvre par réflexion un tel champ et qui redresse l'image de rétrovision finale par transformation inverse.

Claims

RE VEN D IC A T 10N S 1. Système de rétrovision pour véhicule automobile comprenant au moins une caméra numérique de type CCD, CMOS ou CMOS-APS, un calculateur électronique embarqué pour le traitement des images et un écran de visualisation des images captées par la caméra puis traitées, caractérisé en ce qu'il comporte de plus: - au moins un miroir(5) à surface complexe,à réflexion totale, orienté vers la scène de rétrovision arrière du véhicule en formant un angle déterminé par rapportà la verticale du véhicule, et en ce que: - la caméra (4) est munie d'un objectif(3) qui vise obliquement la surface complexe du miroir (5) sous un angle déterminé (#), formé par l'axe optique(8) de la caméra et la verticale du véhicule; - le calculateur électronique(7) effectue le redressement en temps réel de l'image compressée par le miroir et permet l'affichage sur l'écran de visualisation(8) en respectant la notion de distance en profondeur de l'image. 2. Système de rétrovision selon la revendication1, caractérisé en ce que, la fonction de transfertà deux dimensions de l'objectif grand angle(3) de la caméra (4) étant la fonction (Fl), la surface complexe du miroir(5) est définie par une fonction de transfert (F2)à deux dimensions qui est égaleà la convolution de ladite fonction de transfert (Fj) avec une fonction (F3) de correction géométrique F2<B≥ Fl (D F3 et couvre par réflexion un champ de vision de180 à 270 degrés, et redresse l'image de rétrovision finale délivrée par la caméra par transformation inverse de la géométrie de la scène routière. 3. Système de rétrovision selon la revendication1, caractérisé en ce que l'objectif(3) de la caméra (4) vise obliquement la surface complexe du miroir(5), sous un angle déterminé (a), formé par l'axe optique (5) de la caméra et un axe vertical (ZIOZ) passant par le centre(0) du miroir et dans un plan (XOZ) parallèle au côté(6) du véhicule passant par le centre de gravité de la caméra, cet angle étant compris entre85 et35 degrés quand la caméra est placée en dessous du miroir. 4. Système de rétrovision selon la revendication1, caractérisé en ce que l'objectif(3) de la caméra (4) vise obliquement la surface complexe du miroir(5), sous un angle déterminé (#), formé par l'axe optique (5) de la caméra et un axe vertical (ZIOZ) passant par le centre(0) du miroir et dans un plan (XOZ) parallèle au côté(6) du véhicule passant par le centre de gravité de la caméra, cet angle étant compris entre65 et75 degrés quand la caméra est placée au-dessus du miroir. 5. Système de rétrovision selon l'une des revendications3 ou 4, caractérisé en ce que la caméra (4) est de plus déportée d'un angle(y) par rapportà l'axe (XIOX) orthogonal au plan vertical arrière (YOZ) passant par le centre(0) du miroir(5). 6. Système de rétrovision selon la revendication1, caractérisé en ce que la surface complexe du miroir(5) comporte des repères indiquant les distances, tels que deux lignes de marquage fictives(10) correspondantà la largeur du véhicule augmentée d'une distance de sécurité de chaque côté du véhicule pour indiquer la largeur de la voie de circulation, et tels que des repères fictifs (12) correspondantà l'arrière et aux deux côtés du véhicule. 7. Système de rétrovision selon la revendication 2, caractérisé en ce que le miroir(5) à surface complexe est réalisé en matériau plastique, tel un polymère, monté sur une matrice usinée numériquement puis recouvert d'une couche mince de matériauà coefficient de réflexion égalà 100 %. 8. Système de rétrovision selon la revendication7, caractérisé en ce que la couche mince totalement réfléchissante est déposée sur la surface complexe du miroir(5) par pulvérisation sous vide d'un alliageà base d'aluminium ou par thermo-collage d'un film d'aluminium. 9. Système de rétrovision selon l'une des revendications1 à 8, caractérisé en ce qu'il comporte de plus un prisme(17) placé sur le chemin optique de l'ensemble caméra (4)-miroir (5) de façonà dévier le trajet optique de la scène routière qui entre dans la caméra. 10. Système de rétrovision selon la revendication1, caractérisé en ce que l'écran(8) de visualisation des images de rétrovision est installé dans le champ de vision périphérique(82) du conducteur du véhicule, en dehors de son cône(81) de visualisation. il. Système de rétrovision selon l'une des revendications1 à 9, caractérisé en ce qu'il comporte deux caméras numériques associées chacuneà un miroirà surface complexe et placés, en haut ou en bas de la carrosserief latéralementà l'arrière du véhicule, de façonà couvrir chacune un champ de rétrovision de225 degrés. 12. Système de rétrovision selon la revendicationil, caractérisé en ce que chaque ensemble optique constitué par une caméra numérique et son miroirà surface complexe associé est intégré dans un bloc optique latéral arrière du véhicule, en face d'une partie transparente pour la longueur d'onde utilisée par la caméra.