FR3118253A1

FR3118253A1 - Système et procédé de calcul d’une image finale d’un environnement d’un véhicule

Info

Publication number: FR3118253A1
Application number: FR2013460A
Authority: FR
Inventors: Andrea Ancora; Fabrizio TAMATIS
Original assignee: Renault SAS
Current assignee: Renault SAS
Priority date: 2020-12-17
Filing date: 2020-12-17
Publication date: 2022-06-24
Anticipated expiration: 2040-12-17
Also published as: US20240107169A1; EP4264535A1; FR3118253B1; CN116685998A; WO2022128413A1

Abstract

L’invention propose un procédé de calcul d’une image finale d’un environnement d’un véhicule, à partir d’au moins une image capturée dans une première portion angulaire de l’environnement du véhicule par au moins une caméra et une distance entre le véhicule et un point de l’environnement déterminée dans une deuxième portion angulaire située dans une des premières portions angulaires par au moins un capteur de mesure, ledit procédé comprenant : une étape (100) de capture d’une image pour générer une image capturée (I1, I2) de l’environnement situé dans la première portion angulaire associée à ladite caméra, pour chaque image capturée (I1, I2), une étape (200) de correction d’une distorsion dans l’image capturée pour générer une image corrigée (Icorr1, Icorr2) ;pour chaque image corrigée (Icorr1, Icorr2), une étape (300) de transformation de perspective de l’image corrigée (Icorr1, Icorr2) à partir d’une matrice stockant une distance pré-calculée entre la caméra et un point de l’environnement correspondant;une étape (400) d’addition des images transformées (Itrans1, Itrans2) pour obtenir l’image finale (Ifin1). Selon l’invention, l’étape (300) de transformation de perspective comprend une étape (500) de mise à jour de la distance pré-calculée par la distance déterminée par le capteur de mesure. Figure pour l’abrégé : Fig. 2

Description

Système et procédé de calcul d’une image finale d’un environnement d’un véhicule

L’invention concerne de manière générale les systèmes de surveillance visuelle et en particulier un dispositif et un procédé de calcul d’une image finale d’un environnement d’un véhicule.

Dans le contexte de la technologie d’aide à la conduite automobile (plus connue sous l’acronyme ADAS pour Advanced driver-assistance system), la vue à vol d'oiseau (aussi dénommée par le terme anglo-saxon « bird’s eye view ») est un système de surveillance visuelle qui fournit une vue à 360 degrés de haut en bas de l'environnement autour du véhicule. L'objectif principal de ce système est d'aider le conducteur à garer le véhicule en toute sécurité. Cependant, il peut également être utilisé pour le départ de voie et la détection d'obstacles. Ce système comprend normalement deux, quatre ou six caméras dites fish-eye montées autour de la voiture pour fournir des vues droite, gauche, avant et arrière de l'environnement de la voiture.

Un objectif fish-eye (qui fait référence à l'œil du poisson, fish eye en anglais) est un objectif qui a pour caractéristique d'avoir une distance focale extrêmement courte. L'impact de cette distance focale très courte se ressent directement sur l'angle de champ qui devient très large. L’utilisation d’une caméra fish eye résulte en un effet de distorsion courbant fortement toutes les lignes droites ne passant pas par le centre.

Le traitement de la vue à vol d'oiseau comprend traditionnellement les étapes suivantes:

Capture d'image: dans cette étape, les images des caméras de vision panoramique disponibles sont lues ;
Redimensionnement du cadre: les images capturées sont plus grandes que ce qui est nécessaire, elles sont donc normalement redimensionnées ;
Suppression de la distorsion de l'objectif: les caméras automobiles ont normalement un champ de vision grand angle (supérieur à 150 degrés). Ce grand angle pose des problèmes car les images peuvent être déformées en raison de la distance focale inégale de l'objectif en fonction de la région de l'image et ce phénomène peut être imputé uniquement à l'objectif. L'opération de suppression de la distorsion de l'objectif compense cette aberration ;
Transformation de perspective: il y a un effet majeur de perspective sur les caméras pour la vue panoramique. Ces effets entraînent des difficultés pour la perception humaine car ne permettent pas au conducteur de mesurer avec précision la distance ;
Création de l'image finale: Après avoir ajusté la perspective, les images de toutes les caméras sont ensuite additionnées. Pour créer une image de vue à vol d'oiseau à 360 degrés, les images doivent être assemblées en fusionnant des régions qui se chevauchent ;
Affichage des résultats: l'image finale résultant de la transformation de toutes les caméras d'entrée est alors disponible pour être affichée sur une interface homme-machine au pilote.

L'opération de transformation de perspective implique la connaissance des caractéristiques tridimensionnelles de l'environnement. Ces caractéristiques ne sont pas disponibles avec les approches basées sur des caméras de pointe et, dans l’art antérieur, l'environnement tridimensionnel est traditionnellement supposé constant. En particulier, l'environnement 3D est souvent pré-calculé pour être une surface plane sur laquelle l'image est projetée. La surface plane de référence est généralement le sol. Cette hypothèse est correcte pour les éléments de l'image dont les pixels sont au sol (par exemple les marques de ligne). Par contre, pour les éléments de l'environnement qui ne sont pas au sol, tels que les piétons ou tout autre objet haut, la projection sur le sol crée une distorsion. Cette distorsion peut être assimilée au phénomène de projection d'ombre: un objet haut est étiré comme s'il était étalé sur le sol. Cette distorsion entraîne une perception d'image inconfortable pour le conducteur, car les objets hauts déformés ne respectent pas les mêmes proportions que les éléments réellement au sol.

L’invention vise à pallier tout ou partie des problèmes cités plus haut en proposant une solution capable de mieux modéliser l’environnement 3D du véhicule et compenser la déformation d’objets hauts situés dans l’espace environnant du véhicule. Il en résulte une image finale de l’environnement, ou portion d’environnement, du véhicule de meilleure précision, ce qui permet au pilote de mieux évaluer les éléments environnants de son véhicule et ainsi naviguer en toute sécurité dans l'environnement.

Définition générale de l’invention

A cet effet, l'invention a pour objet un procédé de calcul d’une image finale d’un environnement d’un véhicule, ledit procédé étant implémenté dans le véhicule, à partir de données issues d’un système de perception embarqué dans le véhicule, le système de perception comprenant :

Au moins une caméra à vision panoramique, chacune étant positionnée sur le véhicule et configurée pour capturer au moins une image dans une première portion angulaire de l’environnement du véhicule;
au moins un capteur de mesure configuré pour déterminer une distance entre le véhicule et un point de l’environnement dans une deuxième portion angulaire située dans une des premières portions angulaires de l’environnement du véhicule;

ledit procédé comprenant :

pour chaque caméra, une étape de capture d’une image pour générer une image capturée de l’environnement situé dans la première portion angulaire associée à ladite caméra, ladite image capturée présentant une distorsion par rapport à une image de l’environnement sans distorsion ;
pour chaque image capturée, une étape de correction de la distorsion dans l’image capturée pour générer une image corrigée ;
pour chaque image corrigée, une étape de transformation de perspective de l’image corrigée à partir d’une matrice stockant, pour chaque pixel de l’image corrigée, une distance pré-calculée entre ladite caméra et un point de l’environnement correspondant audit pixel projeté sur une surface de référence pour générer une image transformée ;
une étape d’addition des images transformées de la au moins une caméra pour obtenir l’image finale ;

et l’étape de transformation de perspective comprenant en outre une étape de mise à jour, pour au moins une partie de la matrice, de la distance pré-calculée par la distance déterminée par le capteur de mesure.

Avantageusement, le système de perception comprenant une interface homme-machine apte à afficher une image, le procédé de calcul selon l’invention comprend en outre une étape d’affichage de l’image finale sur l’interface homme-machine.

Avantageusement, le procédé de calcul selon l’invention comprend en outre, après l’étape de capture d’image pour au moins une des images capturées, une étape de redimensionnement de l’image capturée.

Avantageusement, l’étape de transformation de perspective comprend en outre une étape d’extrusion d’une zone de la deuxième portion angulaire en un secteur orienté d’un angle prédéfini par rapport à la surface de référence, ladite zone étant positionnée à la distance déterminée par le au moins un capteur de mesure.

Avantageusement, la distorsion dans l’image capturée provenant de la lentille de la caméra, le procédé selon l’invention comprend, préalablement à l’étape de correction de la distorsion, une étape de caractérisation des caractéristiques de la lentille.

L’invention concerne aussi un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé de détection selon l’invention, lorsque ledit programme est exécuté sur un ordinateur.

L’invention concerne aussi un système de perception embarqué dans un véhicule pour calculer une image finale d’un environnement d’un véhicule, le système de perception comprenant :

Au moins une caméra à vision panoramique, chacune étant positionnée sur le véhicule et configurée pour capturer, pour chaque caméra, au moins une image dans une première portion angulaire de l’environnement du véhicule;
au moins un capteur de mesure configuré pour déterminer une distance entre le véhicule et un point de l’environnement dans une deuxième portion angulaire située dans une des premières portions angulaires de l’environnement du véhicule;
un calculateur apte à :
1. pour chaque image capturée, supprimer la distorsion dans l’image capturée pour générer une image corrigée ;
2. pour chaque image corrigée, transformer la perspective de l’image corrigée à partir d’une matrice pré-calculée stockant, pour chaque pixel de l’image corrigée, la distance pré-calculée entre ladite caméra et un point de l’environnement correspondant audit pixel projeté sur une surface de référence pour générer une image transformée ;
3. additionner les images transformées de la au moins une caméra pour obtenir l’image finale.

Avantageusement, le système de perception selon l’invention comprend en outre une interface homme-machine apte à afficher l’image finale.

Avantageusement, le capteur de mesure comprend un sonar, un LIDAR, un radar 2D ou 3D, et/ou un module d’estimation de distance à partir d’images par calcul, seul ou en combinaison.

L’invention concerne aussi un véhicule comprenant un tel système de perception.

Brève Description des Figures

D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et dans lesquels :

La représente schématiquement un véhicule équipé d’un système de perception selon l’invention ;

La est un organigramme représentant le procédé de calcul d’une image finale d’un environnement du véhicule selon l’invention ;

La représente les étapes du procédé de calcul d’une image finale selon l’invention ;

La illustre plus en détail l’étape de transformation de perspective du procédé de calcul d’une image finale selon l’invention.

Description détaillée

La représente schématiquement un véhicule 10 équipé d’un système de perception 20 selon l’invention. Le système de perception 20 est embarqué dans un véhicule 10 pour calculer une image finale d’un environnement d’un véhicule 10. Selon l’invention, le système de perception 20 comprend :

Au moins une caméra 21, 22 à vision panoramique, chacune étant positionnée sur le véhicule 10 et configurée pour capturer, pour chaque caméra 21, 22, au moins une image dans une première portion angulaire 31, 32 de l’environnement du véhicule 10;
au moins un capteur de mesure 41, 42 configuré pour déterminer une distance entre le véhicule 10 et un point de l’environnement dans une deuxième portion angulaire 51, 52 située dans une des premières portions angulaires 31, 32 de l’environnement du véhicule;
un calculateur 80 apte à :
1. pour chaque image capturée, supprimer la distorsion dans l’image capturée pour générer une image corrigée;
2. pour chaque image corrigée, transformer la perspective de l’image corrigée à partir d’une matrice pré-calculée stockant, pour chaque pixel de l’image corrigée, une distance pré-calculée entre ladite caméra et un point de l’environnement correspondant audit pixel projeté sur une surface de référence 60, généralement le sol sur lequel le véhicule 10 se déplace, pour générer une image transformée ;
3. additionner les images transformées de la au moins une caméra pour obtenir l’image finale.

Un tel système de perception selon l’invention permet la mise en œuvre d’une transformation de perspective plus précise des images capturées, en enrichissant la saisie des trames d'images à l'aide des informations des capteurs de mesure. Les détails du principe du procédé de calcul sont expliqués ci-après.

Grâce à l’invention, le système de perception 20 peut identifier de manière précise, tout obstacle dans l’environnement du véhicule. Les obstacles peuvent être, à titre d’exemple et de façon non-limitative :

des objets de l’environnement du véhicule 10 pouvant inclure des objets fixes ou mobiles, des objets verticaux (par exemple, feux tricolores, panneaux de signalisation, etc.),
des piétons,
des véhicules, et/ou
des infrastructures routières.

L’invention permet la génération d’une image finale représentative de l’environnement 3D du véhicule. Le pilote du véhicule peut ainsi, grâce à l’affichage de l’image finale obtenue, mieux appréhender l’environnement de son véhicule, sans distorsion. L’image finale offre une représentation fidèle de l’espace tridimensionnel du véhicule. L’invention trouve une application particulièrement avantageuse, mais sans s’y limiter, à la détection d’obstacles de type piétons ou véhicules qui pourraient générer une collision avec le véhicule. En visualisant la présence d’un obstacle dans l’environnement du véhicule 10 dans lequel l’invention est mise en œuvre, l’invention permet d’éviter la collision entre l’obstacle et le véhicule 10 en prenant les mesures nécessaires telles qu’un freinage de la part du véhicule 10, une modification de sa propre trajectoire, voire même l’émission d’un signal sonore et/ou visuel ou tout autre type de signal à destination de l’obstacle identifié.

Avantageusement, le système de perception 20 comprend en outre une interface homme-machine 70 apte à afficher l’image finale. L’interface homme-machine peut notamment être un écran positionné à proximité du poste de conduite. L’image finale s’affiche ainsi sur cet écran et le conducteur du véhicule dispose ainsi d’une image finale de l’environnement du véhicule lui permettant de prendre des décisions, de manœuvrer en toute sécurité en vérifiant, grâce à l’affichage de l’image finale, qu’il n’y a pas d’obstacle (objet ou piéton, cycliste, etc.) dans l’environnement du véhicule. Comme cela sera explicité ci-dessous, l’image finale obtenue est compensée en termes de déformation d’objets hauts situés dans l’espace environnant du véhicule 10. Il en résulte une image finale de l’environnement, ou portion d’environnement du véhicule, de meilleure précision. Le conducteur est ainsi apte à évaluer de façon pertinente les éléments environnants de son véhicule et ainsi naviguer en toute sécurité dans l'environnement.

Le capteur de mesure 41, 42 du système de perception 20 peut comprendre un sonar, un LIDAR, un radar 2D ou 3D, et/ou un module d’estimation de distance à partir d’images par calcul, seul ou en combinaison.

Le sonar (acronyme du terme anglo-saxon Sound navigation and ranging) est un appareil utilisant les propriétés particulières de la propagation du son dans son environnement pour détecter et situer les objets en indiquant leur direction et leur distance. Le sonar est un capteur à ultrasons qui émet à intervalles réguliers de courtes impulsions sonores à haute fréquence. Ces impulsions se propagent dans l’air à la vitesse du son. Lorsqu’elles rencontrent un objet, elles se réfléchissent et reviennent sous forme d’écho au capteur. Celui-ci calcule alors la distance le séparant de la cible sur la base du temps écoulé entre l’émission du signal et la réception de l’écho. Autrement dit, c’est le temps de propagation des ultrasons qui détermine la distance, indépendamment de l’intensité des ultrasons. Pratiquement tous les matériaux qui reflètent le son peuvent être détectés, ce qui rend l’utilisation d’un tel capteur particulièrement intéressant pour la détermination de distance dans un environnement de véhicule. Les capteurs à ultrasons sont disponibles pour des portées de quelques millimètres jusqu’à plusieurs mètres et donnent la valeur mesurée de manière très précise, de l’ordre du millimètre, ou moins. En outre, les capteurs à ultrasons peuvent déterminer les distances même à travers l'air chargé en poussières ou en présence de brouillard. Les véhicules sont généralement équipés d’une pluralité de capteurs de type sonar. Il est donc particulièrement avantageux d’utiliser les informations de distance qu’ils peuvent fournir pour permettre la mise en œuvre de l’invention.

Alternativement, ou en complément du sonar, le capteur de mesure peut être un LIDAR. Le LIDAR (abréviation de Light Imaging Detection and Ranging pour détection et télémétrie par imagerie lumineuse) est une technologie permettant la mesure de distance entre le LIDAR et un objet. Le LIDAR mesure la distance à un objet en l'illuminant avec une lumière laser pulsée et en mesurant les impulsions réfléchies avec un capteur. Dans le cadre de l’invention, le LIDAR envoie de l'énergie lumineuse dans son environnement, c’est-à-dire à 360°, tout autour du véhicule 10. Cette lumière émise peut être appelée faisceau ou impulsion. S’il y a un obstacle dans l’environnement du véhicule 10, la lumière émise vers l’obstacle est réfléchie vers le LIDAR et le LIDAR mesure la lumière réfléchie vers un capteur du LIDAR. Cette lumière réfléchie est dénommée écho ou retour. La distance spatiale entre le LIDAR et le point de contact sur l’obstacle est calculée en comparant le retard entre l'impulsion et le retour. En présence d’un obstacle dans l’environnement du véhicule 10, le LIDAR permet d’avoir une distance entre l’obstacle environnant et le véhicule. Par exemple, s’il y a un autre obstacle (par exemple un obstacle à gauche et un obstacle à droite du véhicule), le LIDAR permet d’avoir deux distances, une correspondant à l’obstacle de gauche et une autre correspondant à l’obstacle de droite.

De manière analogue, le capteur de mesure peut comprendre un radar 2D ou 3D. Il peut également comprendre un module d’estimation de distance à partir d’images par calcul. Un tel module met en œuvre un algorithme de détermination de distance à partir d’images, tel qu’un réseau de neurones, un flux optique ou une vision stéréo.

Comme déjà évoqué, des aberrations géométriques peuvent apparaître sur des images réalisées à partir de caméras équipées d'objectif grand angle. Ces aberrations sont généralement visibles sur les bords des images, en courbant des lignes qui sont droites dans la réalité. Cette distorsion optique est particulièrement présente avec les objectifs de caméra à vision panoramique (la distorsion est de l'ordre de 16%). Traditionnellement, cette distorsion apparait sur l’image délivrée au conducteur d’un véhicule. Elle entraîne une perception d'image inconfortable pour le conducteur. En effet, les objets hauts sont déformés, leur représentation sur l’image traditionnelle ne respecte pas les proportions réelles. Il peut en résulter une mauvaise appréciation de distance entre le véhicule et l’objet de la part du conducteur. Le procédé vise donc à apporter une solution permettant de corriger cette mauvaise perception à l’aide d’une transformation appropriée qui prend en compte le contenu tridimensionnel de l’environnement du véhicule. Les étapes du procédé sont détaillées ci-dessous dans la description du procédé de calcul selon l’invention en se basant sur la .

La est un organigramme représentant le procédé de calcul d’une image finale d’un environnement du véhicule selon l’invention. Le procédé de calcul d’une image finale Ifin1 d’un environnement d’un véhicule 10 est destiné à être implémenté dans le véhicule 10, à partir de données issues d’un système de perception 20 embarqué dans le véhicule 10. Comme présenté précédemment, le système de perception 20 comprend :

Au moins une caméra 21, 22 à vision panoramique, chacune étant positionnée sur le véhicule 10 et configurée pour capturer au moins une image I₁, I₂dans une première portion angulaire 31, 32 de l’environnement du véhicule 10;
au moins un capteur de mesure 41, 42 configuré pour déterminer une distance d₁, d₂entre le véhicule 10 et un point de l’environnement dans une deuxième portion angulaire 51, 52 située dans une des premières portions angulaires 31, 32 de l’environnement du véhicule.

Pour des raisons de facilité de compréhension, il est fait mention dans cette description d’une ou deux caméras du système de perception 20. Dans le cas d’une seule caméra, seule une portion de l’environnement peut être capturée. Avantageusement, le système de perception comprend plusieurs caméras générant chacune des images capturées et pour lesquelles le procédé de calcul selon l’invention est mis en œuvre.

De même, le procédé selon l’invention est expliqué avec deux capteurs de mesure 41, 42. L’invention peut s’appliquer à minima avec un seul capteur de mesure, et avantageusement avec plusieurs capteurs de mesure pour permettre un bon maillage de l’environnement 3D et donc une meilleure détermination des distances séparant le véhicule des obstacles autour du véhicule.

Le procédé de calcul d’une image finale d’une portion de l’environnement du véhicule 10 est décrit sur la base de la , à mettre en regard de la pour aider à la compréhension des éléments intervenant dans les étapes du procédé.

Le procédé de calcul selon l’invention comprend :

pour chaque caméra 21, 22, une étape 100 de capture d’une image pour générer une image capturée I₁, I₂de l’environnement situé dans la première portion angulaire 31, 32 associée à ladite caméra, ladite image capturée I₁, I₂présentant une distorsion par rapport à une image de l’environnement sans distorsion ;
pour chaque image capturée I₁, I₂, une étape 200 de correction de la distorsion dans l’image capturée pour générer une image corrigée Icorr₁, Icorr₂;
pour chaque image corrigée Icorr₁, Icorr₂, une étape 300 de transformation de perspective de l’image corrigée Icorr₁, Icorr₂à partir d’une matrice D stockant, pour chaque pixel de l’image corrigée Icorr₁, Icorr₂, une distance pré-calculée dcalc₁, dcalc₂entre ladite caméra 21, 22 et un point de l’environnement correspondant audit pixel projeté sur une surface de référence 60 pour générer une image transformée Itrans₁, Itrans₂;
une étape 400 d’addition des images transformées Itrans₁, Itrans₂de la au moins une caméra 21, 22 pour obtenir l’image finale Ifin₁.

Selon l’invention, l’étape 300 de transformation de perspective comprend en outre une étape 500 de mise à jour, pour au moins une partie de la matrice D, de la distance pré-calculée dcalc1, dcalc2 par la distance d1, d2 déterminée par le capteur de mesure 41 et/ou 42. L’étape 500 de mise à jour de la matrice de distance associée à chaque pixel de l’image est cruciale pour une meilleure prise en compte de l’aspect tridimensionnel de l’environnement. Elle permet de corriger le biais d’une matrice qui modélise une surface de référence 60 plane (ou même d’une surface présentant une légère courbure comme la surface 60’ représentée sur la ) et qui résulte en une forme constante et pré-calculée, indépendamment de l’environnement tridimensionnel réel dans lequel le véhicule 10 évolue. Cette étape 300 de transformation fera l’objet d’une description plus détaillée ci-après.

Avantageusement, le système de perception 20 comprend une interface homme-machine 70 apte à afficher une image, et auquel cas le procédé selon l’invention comprenant en outre une étape 600 d’affichage de l’image finale Ifin1 sur l’interface homme-machine 70. L’affichage de l’image finale représentative de l’environnement du véhicule permet au conducteur du véhicule de mieux appréhender l’environnement du véhicule. Il en résulte une meilleure sécurité pour le conducteur et ses éventuels passagers, ainsi que pour l’espace environnant.

Le procédé de calcul selon l’invention peut comprendre en outre, après l’étape 100 de capture d’image pour au moins une des images capturées I1, I2, une étape 700 de redimensionnement de l’image capturée I1, I2. Dans le cas où les images capturées sont plus grandes que ce qui est nécessaire pour leur traitement ultérieur, l’étape 700 de redimensionnement permet d’obtenir des images aux bonnes dimensions pour les étapes ultérieures du procédé.

La distorsion dans l’image capturée provient de la lentille de la caméra 21, 22. Les lentilles de caméras ne sont pas uniformes, ce qui introduit dans l’image des aberrations de type fish-eye. Ces aberrations apparaissent surtout sur les bords de l’image car l’épaisseur de la lentille est moins régulière sur les bords. La distorsion de l’image est donc liée aux caractéristiques intrinsèques de la caméra et surtout de la lentille. Il est nécessaire de compenser les paramètres intrinsèques de la caméra. Pour ce faire, le procédé selon l’invention peut comprendre, préalablement à l’étape 200 de correction de la distorsion, une étape 800 de caractérisation des caractéristiques de la lentille. Cette étape 800 de caractérisation ne peut être réalisée qu’une seule fois dans la vie d’une caméra, ou bien elle peut être effectuée à intervalles plus ou moins réguliers pour s’assurer de la bonne correction des distorsions au cours du temps. L’étape 800 de caractérisation se base généralement sur des données provenant du fournisseur de caméra. Il est aussi envisageable d’obtenir ces caractéristiques via l’utilisation d’instruments spécifiques connus de l’Homme du métier tels qu’un échiquier sur lequel on vient caler les lignes droites d’une image. L’étape 200 de correction de la distorsion consiste à compenser les paramètres intrinsèques de la caméra.

La représente les étapes du procédé de calcul d’une image finale selon l’invention. Une image I1 est capturée. A l’image I1 est appliquée l’étape 200 de correction de la distorsion dans l’image capturée pour générer une image corrigée Icorr1. Ensuite vient l’étape 300 de transformation de perspective spécifique à l’invention. La transformation de perspective 300 est plus précise qu’une transformation de perspective de l’art antérieur, grâce à l’enrichissement de la saisie des trames d'images à l'aide des informations des capteurs de mesure. En d’autres termes, le procédé selon l’invention apporte des informations supplémentaires dans le calcul de l’image finale en récupérant des données de distances entre le véhicule et les objets tridimensionnels de l’environnement, afin de prendre en compte la hauteur de ces objets et d’en permettre un rendu visuel fidèle sur l’image finale. Le procédé de calcul selon l’invention peut être résumé comme suit :

p_tet p_sétant les coordonnées homogènes d'un pixel cible et d’un pixel source respectivement, K_tet K_sétant les matrices intrinsèques de la lentille (c'est-à-dire la transformation effectuant la distorsion de la lentille), D étant la carte de profondeur, c'est-à-dire la matrice stockant la distance de la focale de la caméra à un point 3D pour chaque pixel p_s,T(s → t) étant la transformation rigide qui permet, à terme, de fournir la même référence 3D absolue aux pixels de toutes les caméras, et Σ est l'opération finale de fusion/addition qui crée une vue à vol d’oiseau d'ensemble à partir de tous les pixels de toutes les caméras disponibles.

Comme on le voit, la matrice D prend en compte les informations de distance fournies par le ou les capteurs de mesure, de type sonar ou autre. Cette mise à jour de l’information dans la matrice D apporte une meilleure prise en compte de la réalité terrain.

La illustre plus en détail l’étape 300 de transformation de perspective du procédé de calcul d’une image finale selon l’invention. La matrice D est représentée avec seulement 3 lignes et 3 colonnes. Bien évidemment, cette matrice comprend bien plus de lignes et de colonnes en accord avec le nombre de pixels de l’image considérée. La matrice D stocke pour chaque pixel une distance pré-calculée (dcalc1, dcalc2) entre ladite caméra 21, 22 et un point de l’environnement correspondant audit pixel projeté sur une surface de référence 60. Dans l’invention, au lieu d’uniquement considérer une surface constante et pré-calculée, on calcule en ligne la forme 3D à l'aide du capteur de mesure, préférentiellement les capteurs sonar qui sont déjà couramment embarqués sur le véhicule, pour mieux modéliser l'environnement 3D et compenser la déformation d'objets hauts situés dans l'espace environnant du véhicule.

En d’autres termes, tout d’abord, on considère une matrice D pré-calculée (qu’elle soit plate en référence au sol 60 ou en forme de bol en référence au bol 60’). C’est la matrice représentée sur la partie gauche de la figure. Puis on effectue une mise à jour (étape 500) de cette matrice D en fonction des données de distance fournies par le capteur de mesure. Nous obtenons alors la matrice mise à jour représentée sur la partie droite de la figure. Ainsi, en incorporant les informations provenant d’un capteur de mesure de distance, tel qu’un sonar, il est possible de calculer de nouvelles surfaces 3D.

Pour une meilleure représentation des objets tridimensionnels dans l’image finale, l’étape 300 de transformation de perspective comprend en outre une étape 510 d’extrusion d’une zone 55, 56 de la deuxième portion angulaire 51, 52 en un secteur orienté d’un angle prédéfini θ par rapport à la surface de référence 60, ladite zone 55, 56 étant positionnée à la distance d₁, d₂déterminée par le au moins un capteur de mesure 41, 42.

Tout d’abord, la surface plane représente le sol pré-calculé (surface de référence 60). Ensuite, grâce aux informations de distance du capteur de mesure, nous disposons de l’information selon laquelle dans une deuxième portion angulaire 51, un obstacle se trouve à distance d₁du véhicule. La zone 55, c’est-à-dire la portion de la deuxième portion angulaire 51 située au-delà de la distance d₁par rapport au véhicule, est extrudée d’un angle d’inclinaison θ prédéfini. L'inclinaison est contrôlée par un angle dit de confort visuel θ. L'angle d'inclinaison θ peut être ajusté en phase d'étalonnage ou par d'autres moyens (comme une fonction de la hauteur de l’objet). Cet angle est choisi entre 0° et 90°. Il peut être prédéfini ou adapté en fonction des situations. Notamment sa valeur peut varier en fonction de la distance de la zone 55 au véhicule. Cette extrusion permet la prise en compte de l’aspect tridimensionnel des objets environnants dans le calcul de l’image finale.

Les capteurs sonar sont souvent discrets et placés en nombre suffisant pour couvrir 360 degrés autour du véhicule, leur nombre et leur champ de vision azimutal spécifique déterminent le secteur angulaire α qu'ils couvrent.

À la suite de l’étape d’extrusion, une surface quasi verticale (selon l’angle d’inclinaison choisi) prend naissance sur la surface du sol en un point distant de d₁de l'origine (par exemple, le centre) de la voiture. La distance d₁correspond à la mesure de distance provenant du capteur (par exemple sonar) traitant un secteur angulaire spécifique.

Dans le cas où un capteur de mesure ne fournit aucune mesure de distance, cela signifie qu’il n’y a pas d’obstacle dans la zone environnante considérée, alors le secteur n'est pas adapté et la surface pré-calculée est utilisée.

Cette étape de mise à jour et d’extrusion est effectuée pour chaque capteur de mesure disponible sur le véhicule.

L’invention permet une reconstruction plus fidèle de la vue à vol d'oiseau lorsque de grands objets sont présents dans les environs du véhicule. Cette invention permet un meilleur confort et une meilleure fiabilité dans l'estimation des distances de ces objets pour faciliter les manœuvres.

Bien que non limités à de telles applications, les modes de réalisation de l’invention ont un avantage particulier pour une mise en œuvre dans des véhicules automobiles. Toutefois, l’invention peut être appliquée à tout système terrestre, maritime ou aérien, y compris les systèmes de surveillance.

L’invention concerne aussi un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé selon l’invention décrit précédemment, lorsque ledit programme est exécuté sur un ordinateur.

L’homme du métier comprendra que le système ou des sous-systèmes selon les modes de réalisation de l’invention peuvent être mis en œuvre de diverses manières par matériel (« hardware »), logiciel, ou une combinaison de matériel et de logiciels, notamment sous la forme de code de programme pouvant être distribué sous la forme d'un produit de programme, sous diverses formes. En particulier, le code de programme peut être distribué à l'aide de supports lisibles par ordinateur, qui peuvent inclure des supports de stockage lisibles par ordinateur et des supports de communication. Les procédés décrits dans la présente description peuvent être notamment implémentés sous la forme d’instructions de programme d’ordinateur exécutables par un ou plusieurs processeurs dans un dispositif informatique d'ordinateur. Ces instructions de programme d’ordinateur peuvent également être stockées dans un support lisible par ordinateur.

Par ailleurs, l'invention n'est pas limitée aux modes de réalisation décrits ci-avant à titre d’exemple non limitatif. Elle englobe toutes les variantes de réalisation qui pourront être envisagées par l'homme du métier. En particulier, l’homme du métier comprendra que l’invention n’est pas limitée à des types de capteurs particuliers du système de perception, ni à un type de véhicule particulier (des exemples de véhicule incluent sans limitation des voitures, des camions, des bus, etc.).

Claims

Procédé de calcul d’une image finale d’un environnement d’un véhicule (10), ledit procédé étant implémenté dans le véhicule (10), à partir de données issues d’un système de perception (20) embarqué dans le véhicule (10), le système de perception (20) comprenant :
Au moins une caméra (21, 22) à vision panoramique, chacune étant positionnée sur le véhicule (10) et configurée pour capturer au moins une image (I₁, I₂) dans une première portion angulaire (31, 32) de l’environnement du véhicule (10);

au moins un capteur de mesure (41, 42) configuré pour déterminer une distance (d₁, d₂) entre le véhicule (10) et un point de l’environnement dans une deuxième portion angulaire (51, 52) située dans une des premières portions angulaires (31, 32) de l’environnement du véhicule;
ledit procédé étant caractérisé en ce qu’il comprend :
pour chaque caméra (21, 22), une étape (100) de capture d’une image pour générer une image capturée (I₁, I₂) de l’environnement situé dans la première portion angulaire associée à ladite caméra, ladite image capturée (I₁, I₂) présentant une distorsion par rapport à une image de l’environnement sans distorsion ;

pour chaque image capturée (I₁, I₂), une étape (200) de correction de la distorsion dans l’image capturée pour générer une image corrigée (Icorr₁, Icorr₂) ;

pour chaque image corrigée (Icorr₁, Icorr₂), une étape (300) de transformation de perspective de l’image corrigée (Icorr₁, Icorr₂) à partir d’une matrice (D) stockant, pour chaque pixel de l’image corrigée (Icorr₁, Icorr₂), une distance pré-calculée (dcalc₁, dcalc₂) entre ladite caméra (21, 22) et un point de l’environnement correspondant audit pixel projeté sur une surface de référence (60) pour générer une image transformée (Itrans₁, Itrans₂) ;

une étape (400) d’addition des images transformées (Itrans₁, Itrans₂) de la au moins une caméra (21, 22) pour obtenir l’image finale (Ifin₁);
et en ce que l’étape (300) de transformation de perspective comprend en outre une étape (500) de mise à jour, pour au moins une partie de la matrice (D), de la distance pré-calculée (dcalc₁, dcalc₂) par la distance (d₁, d₂) déterminée par le capteur de mesure (41, 42).
Procédé de calcul selon la revendication 1, le système de perception (20) comprenant une interface homme-machine (70) apte à afficher une image, ledit procédé comprenant en outre une étape (600) d’affichage de l’image finale (Ifin₁) sur l’interface homme-machine (70).
Procédé de calcul selon l’une quelconque des revendications 1 ou 2, comprenant en outre, après l’étape (100) de capture d’image pour au moins une des images capturées (I₁, I₂), une étape (700) de redimensionnement de l’image capturée (I₁, I₂).
Procédé de calcul selon l’une quelconque des revendications 1 à 3, caractérisé en ce que l’étape (300) de transformation de perspective comprend en outre une étape (510) d’extrusion d’une zone (55, 56) de la deuxième portion angulaire (51, 52) en un secteur orienté d’un angle prédéfini (θ) par rapport à la surface de référence (60), ladite zone (55, 56) étant positionnée à la distance (d₁, d₂) déterminée par le au moins un capteur de mesure (41, 42).
Procédé de calcul selon l’une quelconque des revendications 1 à 4, la distorsion dans l’image capturée provenant de la lentille de la caméra (21, 22), ledit procédé comprenant, préalablement à l’étape (200) de correction de la distorsion, une étape (800) de caractérisation des caractéristiques de la lentille.
Produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé selon l'une quelconque des revendications 1 à 5, lorsque ledit programme est exécuté sur un ordinateur.
Système de perception (20) embarqué dans un véhicule (10) pour calculer une image finale (Ifin₁) d’un environnement d’un véhicule (10), le système de perception (20) étant caractérisé en ce qu’il comprend :
Au moins une caméra (21, 22) à vision panoramique, chacune étant positionnée sur le véhicule (10) et configurée pour capturer, pour chaque caméra (21, 22), au moins une image (I₁, I₂) dans une première portion angulaire (31, 32) de l’environnement du véhicule (10);

au moins un capteur de mesure (41, 42) configuré pour déterminer une distance (d₁, d₂) entre le véhicule (10) et un point de l’environnement dans une deuxième portion angulaire (51, 52) située dans une des premières portions angulaires (31, 32) de l’environnement du véhicule;

un calculateur (80) apte à :

pour chaque image capturée (I₁, I₂), supprimer la distorsion dans l’image capturée pour générer une image corrigée (Icorr₁, Icorr₂) ;

pour chaque image corrigée (Icorr₁, Icorr₂), transformer la perspective de l’image corrigée (Icorr₁, Icorr₂) à partir d’une matrice (D) pré-calculée stockant, pour chaque pixel de l’image corrigée (Icorr₁, Icorr₂), la distance pré-calculée (dcalc₁, dcalc₂) entre ladite caméra (21, 22) et un point de l’environnement correspondant audit pixel projeté sur une surface de référence (60) pour générer une image transformée (Itrans₁, Itrans₂) ;

additionner les images transformées (Itrans₁, Itrans₂) de la au moins une caméra (21, 22) pour obtenir l’image finale (Ifin₁).
Système de perception (20) selon la revendication 7, caractérisé en ce qu’il comprend en outre une interface homme-machine (70) apte à afficher l’image finale (Ifin₁).
Système de perception (20) selon la revendication 7 ou 8, dans lequel le capteur de mesure (41, 42) comprend un sonar, un LIDAR, un radar 2D ou 3D, et/ou un module d’estimation de distance à partir d’images par calcul, seul ou en combinaison.
Véhicule (10) comprenant un système de perception (20) selon l’une quelconque des revendications 7 à 9.