FR3002673A1 - Procede et dispositif d'imagerie tridimensionnelle d'une region partielle de l'environnement d'un vehicule - Google Patents

Procede et dispositif d'imagerie tridimensionnelle d'une region partielle de l'environnement d'un vehicule Download PDF

Info

Publication number
FR3002673A1
FR3002673A1 FR1451526A FR1451526A FR3002673A1 FR 3002673 A1 FR3002673 A1 FR 3002673A1 FR 1451526 A FR1451526 A FR 1451526A FR 1451526 A FR1451526 A FR 1451526A FR 3002673 A1 FR3002673 A1 FR 3002673A1
Authority
FR
France
Prior art keywords
virtual
images
camera
vehicle
partial region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1451526A
Other languages
English (en)
Other versions
FR3002673B1 (fr
Inventor
Esparza Garcia Jose Domingo
Michael Helmle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of FR3002673A1 publication Critical patent/FR3002673A1/fr
Application granted granted Critical
Publication of FR3002673B1 publication Critical patent/FR3002673B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

Procédé d'imagerie tridimensionnelle d'une région d'un champ environnant d'un véhicule à l'aide d'un système de caméras comprenant au moins deux caméras (2, 3) écartées l'une de l'autre, et dont la perspective est définie par l'axe optique (5). On définit une perspective virtuelle pour chaque caméra (2, 3) par un axe optique virtuel (16), et on calcule une image virtuelle de la région partielle (7, 8, 9, 10) pour chaque perspective virtuelle de caméra à partir des images en mémoire. Puis on effectue une analyse de correspondance pour établir une relation, notamment spatiale entre les images virtuelles générées, et on calcule une image tridimensionnelle de la région partielle en se fondant sur l'analyse de correspondance et sur les images virtuelles générées.

Description

Domaine de l'invention La présente invention se rapporte à un procédé d'imagerie tridimensionnelle d'au moins une région partielle d'un champ environnant d'un véhicule à l'aide d'un système de caméras comprenant au moins deux caméras écartées l'une de l'autre, installées sur un véhicule et dont la perspective respective est définie par la position de l'axe optique, le procédé consistant à faire une prise de vue des régions partielles avec deux caméras écartées l'une de l'autre, et enregistrer en mémoire les images fournies par la prise de vue des régions partielles. L'invention se rapporte également à un système de caméras, de préférence appliqué à un véhicule, ayant au moins deux caméras distantes l'une de l'autre et dont la position respective est définie par la position d'un axe optique et un dispositif de mémoire qui permet de stocker les images de la région partielle de l'environnement du véhi- cule, en prenant des images avec les caméras écartées. Etat de la technique Le document DE 10 2009 005 505 A 1 décrit un procédé pour générer l'image de l'environnement d'un véhicule. Une caméra ins- tallée sur le véhicule prend des images de l'environnement. Ces images de caméra sont ensuite transformées par calcul comme si elles avaient été prises à partir de la position virtuelle d'une caméra située au-dessus du véhicule automobile. En ajoutant d'autres informations par un procédé de « structure à partir d'un mouvement », on corrige les images vir- tuelles de la caméra. Pour cela, on déplace le véhicule et pendant le mouvement du véhicule, on fait plusieurs prises de vue avec la caméra. On obtient ainsi des images écartées dans l'espace et dans le temps à l'aide desquelles on peut calculer les structures spatiales de l'environnement. La représentation de l'environnement du véhicule à partir d'une troisième position d'une caméra est une vue de dessus bi- dimensionnelle avec projection d'informations d'image sur le plan routier. Le document DE 103 26 943 Al décrit entre autres un procédé pour déterminer le mouvement d'un véhicule autonome et/ou pour reconnaître des objets situés devant le véhicule autonome. Pen- dant le mouvement du véhicule, une caméra installée sur le véhicule prend des images successives. Une unité de calcul épipolaire calcule les informations géométriques épipolaires en se fondant sur des informations d'orientation du véhicule autonome. Une unité d'analyse de mou- vement, analyse le mouvement du véhicule autonome en se fondant sur les résultats de l'unité de calcul épipolaire. Une unité d'analyse d'informations 3D calcule les informations 3D en se fondant sur les informations géométriques épipolaires calculées par l'unité de calcul épi-polaire pour un objet apparaissant devant le véhicule. Ces informations 3D peuvent être par exemple la distance entre le véhicule autonome et l'objet ou encore l'information relative à la forme 3D de l'objet. La reconnaissance 3D de l'environnement du véhicule peut alors se faire avec un véhicule en mouvement. Exposé et avantages de l'invention La présente invention a pour objet un procédé du type défini ci-dessus consistant à : définir une perspective virtuelle pour chaque caméra par un axe optique virtuel et qui se distingue par sa position par rapport à l'axe optique, calculer une image virtuelle de la région partielle pour chaque perspective virtuelle de caméra à partir des images en mémoire, effectuer une analyse de correspondance pour établir une relation, notamment spatiale entre les images virtuelles générées, et calculer une image tridimensionnelle de la région partielle en se fondant sur l'analyse de correspondance et sur les images vir- tuelles générées. Le procédé selon l'invention permet de former une image tridimensionnelle d'au moins une région partielle de l'environnement du véhicule même lorsque le véhicule est immobile.
Le procédé selon l'invention est appliqué de préférence à l'aide de caméras équipant le véhicule et installées de série sur le véhicule de sorte qu'il n'est pas nécessaire d'installer à posteriori des caméras. De façon préférentielle, on utilise les caméras extérieures du véhicule, installées de série, pour générer une image de l'environnement du véhicule. Actuellement, les véhicules sont généralement équipés de trois à cinq caméras extérieures. Si le procédé selon l'invention doit donner une image tri- dimensionnelle de plusieurs régions partielles, on peut également utili- ser plus de deux et notamment plus de cinq caméras. A titre d'exemple, on pourra utiliser d'autres caméras en plus de celles déjà installées de série sur le véhicule. Le procédé peut également s'appliquer à des caméras identiques aux différentes caméras déjà installées de série à l'extérieur du véhicule. Mais il est tout aussi possible d'utiliser des caméras diffé- rentes comme par exemple une caméra intérieure combinée à des caméras extérieures du véhicule pour appliquer le procédé. On peut également envisager de combiner le procédé de l'invention au procédé connu selon le document DE 103 26 943 A 1 ou un procédé analogue. Par exemple, pendant le mouvement du véhicule, une caméra peut prendre, des vues successives, supplémentaires, à partir desquelles on calcule une image tridimensionnelle de l'environnement du véhicule. Pour cela, on peut fixer plusieurs caméras sur le véhicule.
Le procédé selon l'invention offre au conducteur la possi- bilité de se déplacer librement de façon virtuelle dans l'environnement tridimensionnel et d'avoir virtuellement différentes directions de vue. Cela permet par exemple au conducteur de mieux reconnaître les obstacles dans l'environnement du véhicule.
Le procédé de l'invention aide le conducteur du véhicule dans ses déplacements et de plus, il permet d'éviter suffisamment à temps une collision entre le véhicule et des objets. Le procédé selon l'invention ne nécessite aucune informa- tion de capteur odométrique équipant éventuellement le véhicule. Si d'origine le véhicule est équipé de capteurs odométriques, on peut con- trôler leur fonctionnement à l'aide de l'environnement 3D obtenu par le procédé. Pour cela, on suit des objets reconnus dans l'environnement 3D pendant le mouvement du véhicule et on compare alors les informations recueillies, par exemple celles liées à des distances variables par rapport à l'objet et les mesures odométriques de base.
A partir de l'environnement tridimensionnel calculé du véhicule, on peut également envisager de suivre virtuellement un objet qui se déplace dans plusieurs régions partielles de l'environnement du véhicule.
Selon un développement particulièrement avantageux de l'invention, on aligne parallèlement les axes optiques virtuels des caméras dans des perspectives virtuelles de caméra. Les caméras installées de série à l'extérieur d'un véhicule sont positionnées pour avoir une vision périphérique ou circulaire à 360° autour du véhicule. Pour garantir cette vision circulaire, les caméras sont orientées différemment les unes des autres. Par exemple la caméra frontale couvre la zone frontale du véhicule avec un axe optique dirigé dans la direction de déplacement alors qu'une caméra, du côté du véhicule, est dirigée avec un axe optique transversal à la direction de déplacement. Grâce à l'orientation différente des caméras, les images faites par deux caméras d'une région partielle identique diffèrent considérablement. L'orientation parallèle des axes virtuels permet de réduire les différences, ce qui simplifie considérablement le calcul de l'environnement tridimensionnel du véhicule. De façon préférentielle, pour chaque caméra, on passe de la perspective de la caméra à la perspective virtuelle par une rotation virtuelle autour du centre optique de la caméra. Il est possible de faire une rotation virtuelle en conservant des grandeurs fixes déterminées telles que le calibrage spécifique et la position du centre optique de la caméra respective. Le calibrage spécifique et la position du centre op- tique coïncident à la fois pour la perspective réelle de la caméra et aussi pour sa perspective virtuelle. Pour une rotation virtuelle, ce n'est pas seulement l'axe optique mais également toute la caméra, c'est-à-dire tout le plan image qui est tourné virtuellement suivant la perspective virtuelle de la caméra.
En corrigeant par un procédé d'approximation, notam- ment par un modèle virtuel de caméra, les distorsions des images réelles de la région partielle, on simplifie le traitement des données image et l'établissement d'une image 3D. Selon l'état de la technique, les caméras extérieures du véhicule ont des lentilles grand angle, encore appelées objectifs "oeil de poisson". De telles lentilles produisent de fortes distorsions des images. Par exemple, les lignes droites apparaissent comme des courbes. En utilisant des procédés d'approximation connus, par exemple en générant des modèles de caméra, on peut corriger simplement les distorsions. Les paramètres qui définissent un mo- dèle de caméra peuvent être évalués par le calibrage des caméras réelles dont on veut corriger les distorsions. On peut également corriger de manière épipolaire la dis- torsion des images virtuelles calculées. Par exemple, dans le cas d'une correction épipolaire de distorsion, les deux plans image dans lesquels se trouve un point objet sont transformés. La transformation se fait pour que les lignes épipolaires des deux images soient colinéaires. Cela signifie que les deux images prises à partir de perspectives différentes de la caméra se trouvent dans un plan commun par mise à l'échelle des tailles d'image adaptées l'une à l'autre et rotation ou correction du déca- Tage des images par les rangées de pixels des images avec mise en con- cordance. Si alors dans l'analyse de correspondance suivante pour les différents points objet dans une première image, on recherche les points objets correspondants de la seconde image, le problème est un problème à une dimension. Par la correction de distorsion épipolaire des deux images, les points objets correspondants se trouvent sur une ligne fictive horizontale. De façon avantageuse, les images virtuelles sont intégrées verticalement après correction épipolaire de distorsion. Pour la recon- naissance des objets dans le champ environnant du véhicule, les arêtes verticales des objets sont les plus importantes, c'est-à-dire qu'elles contiennent plus d'informations que les arêtes horizontales. Pour réduire la quantité de données générées pour les images virtuelles, on peut intégrer verticalement les images virtuelles. Les informations caractéris- tiques, c'est-à-dire les arêtes verticales restent disponibles pour les autres étapes du procédé. Selon un développement particulièrement préférentiel, on effectue l'analyse de correspondance avec des algorithmes qui présentent une plage de recherche étendue pour l'association des caractéris- tiques. Les caméras de la zone extérieure d'un véhicule doivent être intégrées dans la forme globale du véhicule pour des raisons esthétiques. C'est pourquoi ces caméras ne sont pas protégées contre les influences parasites extérieures telles que les variations de température, les vibrations ou autres phénomènes de ce type. Pour cette raison, on ne peut faire une correction épipolaire parfaite de la distorsion des images virtuelles, ce qui complique l'analyse de correspondance faite ensuite. Il existe des algorithmes tels que par exemple le flux optique notamment pour corriger l'analyse, et reconnaître des points objets correspondants dans une grande plage de recherche s'étendant ainsi à la fois dans la direction horizontale et dans la direction verticale. Cela permet même de reconnaître des points objets correspondants dans des images non parfaitement corrigées de façon épipolaire et de générer une image 3D fiable. L'invention a également pour objet un système de camé- ras, de préférence appliqué à un véhicule comprenant au moins deux caméras distantes l'une de l'autre et dont la position respective est définie par la position de l'axe optique et un dispositif de mémoire qui permet de stocker les images d'au moins une région partielle de l'environnement du véhicule, et selon lequel on prend des images avec les caméras écartées, Le système de caméra étant caractérisé en ce qu'il exécute les étapes suivantes consistant à : définir une perspective virtuelle pour chaque caméra par un axe optique virtuel qui diffère par sa position de celle de l'axe optique, calculer une image virtuelle de la région partielle pour chaque perspective de caméra virtuelle à partir des images enregistrées, exécuter une analyse de correspondance pour réaliser notamment une relation spatiale entre les images virtuelles générées, calculer une image tridimensionnelle de la région partielle en se fondant sur l'analyse de correspondance et générer les images vir- tuelles. Le système de caméras selon l'invention a de préférence une interface reliée au véhicule, notamment avec l'unité d'affichage optique du véhicule. Cette interface permet d'émettre des images à partir du dispositif de mémoire pour les présenter de préférence au conduc- teur. Le conducteur peut ainsi voir l'image de l'espace à l'arrière de son véhicule. Selon un développement préférentiel du système de ca- méra selon l'invention, les images du système de caméras peuvent être composées pour former une représentation au moins partiellement pa- noramique de l'environnement du véhicule. Pour le conducteur cela simplifie pour le conducteur la vue d'ensemble de l'entourage du véhicule, notamment s'il s'agit d'obstacles situés dans une plage difficilement visible à partir du véhicule.
Dessins La présente invention sera décrite ci-après de manière plus détaillée à l'aide d'un exemple de procédé d'imagerie tridimensionnelle représenté dans les dessins annexés dans lesquels : - la figure 1 est une vue de dessus d'un véhicule équipé de plusieurs caméras, la figure 2 montre un ordinogramme du procédé de l'invention, la figure 3 est une vue de dessus du véhicule à plusieurs caméras pour lesquelles un axe optique virtuel a été défini, la figure 4a montre le résultat d'une analyse de correspondance appliquée à l'exemple d'une maison, et la figure 4b montre le résultat d'une analyse de correspondance appliquée à l'exemple d'une maison pour des images virtuelles non pas complètement corrigées de façon épipolaire. Description de modes de réalisation de l'invention La figure 1 montre une vue de dessus d'un véhicule 1 équipé d'une caméra frontale 2, de deux caméras latérales 3 et d'une caméra arrière 4. Chaque caméra 2, 3, 4 regarde dans une perspective différente définie par la position de son axe optique 5 pour regarder l'environnement 6 du véhicule.
La position des caméras 2, 3, 4 sur le véhicule 1 est choi- sie en série pour permettre une vision circulaire de 360° autour du véhicule 1. Les champs de vision des caméras 2, 3, 4 se chevauchent dans une première région partielle 7, dans une seconde région partielle 8, dans une troisième région partielle 9 et dans une quatrième région partielle 10. Selon la figure 1, les régions partielles 7, 8, 9, 10 sont si- tuées selon la direction de circulation 11 du véhicule 1 à gauche et à droite, devant et derrière le véhicule 1. Ces régions partielles 7, 8, 9, 10 sont saisies respectivement par deux caméras 2, 3, 4 suivant des perspectives différentes. Deux caméras voisines 2, 3, 4 dont les angles de vue se coupent dans les régions partielles 7, 8, 9, 10 respectives, for- ment chaque fois un système de caméras 12 avec lequel on forme l'image de la région partielle respective 7, 8, 9, 10. Dans le cas de la première région partielle 7, la caméra frontale 2 et la caméra latérale 3, dans la direction de déplacement 11 sur le côté droit du véhicule 1, forment le système de caméras 12 avec lequel on saisit la première région partielle 7. Pour la seconde région partielle 8, la caméra latérale 3 dans la direction de déplacement 11 sur le côté droit du véhicule 1 et la caméra arrière 4 forment le système de caméras 12. Le comportement est analogue pour la troisième région partielle 9 et la quatrième région partielle 10. A titre d'exemple et à l'aide des figures 1-4b, on décrira ci-après de manière plus détaillée le procédé de l'invention appliqué à la région partielle 7. Le procédé selon l'invention s'applique dans les mêmes conditions et simultanément aux quatre régions partielles 7, 8, 9, 10. On peut également envisager plus de quatre caméras sur le véhi- cule 1 pour saisir un nombre de régions partielles plus grand que quatre régions partielles 7, 8, 9, 10. On peut également envisager d'augmenter le nombre des régions partielles saisies pour saisir l'ensemble de l'environnement 6 du véhicule.
Selon la figure 2, dans une première étape 13 du procédé de l'invention, on effectue une saisie d'image. Pour cela, on fait une prise de vue de la première région partielle 7 avec deux caméras 2, 3 distantes l'une de l'autre. Les images obtenues sont enregistrées dans une mémoire non représentée, sous la forme de données d'image.
Habituellement, pour reconnaître l'environnement, on équipe les caméras 2, 3 d'un véhicule 1 d'une optique grand angle également connue sous le nom d'objectif "oeil de poisson". Mais les images de la région partielle 7 obtenues ainsi dans la première étape 13 sont alors fortement déformées.
Selon l'invention, dans la seconde étape 14 du procédé, on corrige la distorsion. Cette correction se fait en appliquant des procédés d'approximation connus dans l'état de la technique. On génère par exemple des modèles de caméras dont les paramètres sont évalués à partir des calibrages des caméras 2, 3. En appliquant la seconde étape 14, on génère les images corrigées de la zone partielle 7. Dans une troisième étape 15 du procédé, on définit les perspectives virtuelles de la caméra. On calcule des images virtuelles fondées sur les images obtenues dans l'étape 14 précédente et on les corrige de façon épipolaire. L'étape de procédé 15 sera décrite ci-après à l'aide des figures 3-4b. Comme la caméra frontale 2 et les caméras latérales 3 qui prennent la région partielle 7 dans l'étape de procédé 13 sont installées dans des positions écartées sur le véhicule 1, les images prises de la région partielle 7 diffèrent significativement l'une de l'autre. Cela complique la reconnaissance des différents points objets concordants dans les deux images des caméras 2, 3 lorsqu'on génère ultérieurement un environnement 3D des différents points objets concordants. Pour le simplifier, on génère pour chacune des caméras 2, 3 une perspective virtuelle de caméra. Les perspectives de caméra sont en mesure de défi- nir un axe optique virtuel 16. La figure 3 montre les axes optiques 5 déjà connus selon la figure 1 et les axes optiques virtuels 16 de la caméra frontale 2 et de la caméra latérale 3. Les axes optiques virtuels 16 résultent de la rotation vir- tuelle des axes optiques 5 autour du centre optique des caméras 2, 3. La rotation virtuelle consiste à orienter parallèlement les axes optiques 16. Après avoir défini des perspectives virtuelles des camé- ras, on calcule pour chaque perspective virtuelle de caméra, une image virtuelle de la région partielle 7 à partir des images ou données d'images enregistrées dans l'étape 13 et des images corrigées dans l'étape 14. L'étape 15 du procédé de l'invention correspond également à une correction épipolaire des images virtuelles. Pour cela, on calcule les images virtuelles provenant de deux perspectives virtuelles différentes de caméra en formant l'image dans un plan commun et en les alignant de manière identique en taille et en orientation. Après cette correction épipolaire, les différentes rangées de pixels des deux images virtuelles sont alignées de façon identique de sorte que les points objets correspondants se trouvent sur une ligne horizontale.
Comme résultat de l'étape 15, on a des images virtuelles épipolaires corrigées qui montrent la région partielle 7 suivant deux perspectives de caméras virtuelles différentes. Dans le cadre d'une quatrième étape 17 du procédé de l'invention, on rapproche alors les images virtuelles. Cela se fait avec une analyse de correspondance.
Le principe des analyses de correspondance est connu. On appelle chaque fois deux points-image qui désignent un point de la région partielle 7 suivant deux perspectives virtuelles de caméras, dans le cadre de la présente invention, également point objet correspondant que l'on met en rapport dans les images virtuelles. La figure 4a montre le résultat d'une analyse de correspondance réussie, appliquée à l'exemple de la maison 18, vue suivant deux perspectives différentes. Dans le cadre de l'analyse de correspondance, on a par exemple mis en relation les points objets correspondants d'un dessus d'encadrement de porte 20 d'une maison 18 par la ligne horizontale 19.
Comme les caméras 2, 3 se trouvent dans la région exté- rieure du véhicule 1, elles sont exposées à des influences parasites telles que par exemple des variations de température ou des vibrations. De ce fait, les images prises par les caméras 2, 3 peuvent avoir des distorsions supplémentaires qui rendent impossibles une correction épipo- laire parfaite et compliquent significativement la correspondance polaire consécutive. La figure 4b montre l'exemple de la maison 18 avec deux images qui n'ont pas été corrigées complètement de manière épipolaire. Pour faciliter l'analyse de correspondance, on applique des algorithmes selon l'invention qui ont une plage de recherche éten- due pour les points objets correspondants. De tels algorithmes, tels que par exemple celui du flux optique, (encore appelé flot optique) permettent pour des points objets correspondants et qui ne sont pas nécessairement sur une ligne horizontale, de les trouver s'il y a un écart vertical de l'un par rapport à l'autre. La figure 4b montre cela à titre d'exemple pour le point objet du coin inférieur gauche de l'immeuble 21. Les points objets qui se correspondent du coin gauche inférieur 21 de la maison 18 ne sont pas sur une ligne horizontale mais sont décalés verticalement. Néanmoins on peut les mettre en relation par le flux optique avec la ligne 22.
Le résultat de la quatrième étape 17 du procédé de l'invention est celui des relations entre deux images virtuelles. Dans le cadre d'une cinquième étape 23, on génère seulement les images tridimensionnelles de la région partielle 7 en se fondant sur les résultats de l'analyse de correspondance et les images virtuelles générées. Cela se fait de manière connue. Les différentes étapes décrites du procédé et les étapes de procédé différentes, regroupées sous les étapes de procédé respectives, peuvent être exécutées dans l'ordre décrit. Mais on peut également envisager de modifier l'ordre des différentes étapes et/ou de certaines étapes. En option, selon la troisième étape de procédé 15, c'est-à-dire après la correction épipolaire des images virtuelles, on exécute une autre étape 24 du procédé. Dans cette étape du procédé, on intègre verticalement les images virtuelles comme résultat de la troisième étape 15. En particulier, pour la reconnaissance d'objets, les coins verticaux des objets à détecter contiennent plus d'informations que les coins horizontaux. Par l'interaction verticale des images virtuelles, on conserve les informations les plus importantes, à savoir les coins verticaux et en même temps on réduit la quantité de données.25 NOMENCLATURE DES ELEMENTS PRINCIPAUX 1 Véhicule 2 Caméra frontale 3 Caméras latérales 4 Caméra arrière 5 Axe optique 6 Champ environnant du véhicule 7, 8, 9, 10 Régions partielles 11 Direction de circulation du véhicule 12 Système de caméras 13-23 Etapes d'un procédé15

Claims (3)

  1. REVENDICATIONS1°) Procédé d'imagerie tridimensionnelle d'au moins une région partielle (7, 8, 9, 10) d'un champ environnant (6) d'un véhicule à l'aide d'un système de caméras (12) ayant au moins deux caméras (2, 3, 4) écartées l'une de l'autre, installées sur un véhicule (1) et dont la perspective res- pective de caméra est définie par la position de l'axe optique (5), procédé consistant à : faire une prise de vue des régions partielles (7, 8, 9, 10) avec deux caméras (2, 3, 4) écartées l'une de l'autre, et enregistrer en mémoire les images des prises de vue des régions partielles (7, 8, 9, 10), procédé caractérisé par les étapes suivantes consistant à : définir une perspective virtuelle pour chaque caméra (2, 3, 4) par un axe optique virtuel (16) et qui se distinguent par leur position par rapport à l'axe optique (5), calculer une image virtuelle de la région partielle (7, 8, 9, 10) pour chaque perspective virtuelle de caméra à partir des images en mémoire, effectuer une analyse de correspondance pour établir une relation, notamment spatiale entre les images virtuelles générées, et calculer une image tridimensionnelle de la région partielle (7, 8, 9, 10) en se fondant sur l'analyse de correspondance et sur les images virtuelles générées.
  2. 2°) Procédé selon la revendication 1, caractérisé en ce qu' on aligne parallèlement les axes virtuels (16) des caméras (2, 3, 4) suivant une perspective virtuelle de caméra.
  3. 3°) Procédé selon la revendication 1, caractérisé en ce qu' on fait passer chaque caméra (2, 3, 4) de la perspective de caméra à la perspective virtuelle par une rotation virtuelle autour du centre optique de la caméra (2, 3, 4) respective.354°) Procédé selon la revendication 1, caractérisé en ce qu' on corrige les distorsions des images réelles prises de la région partielle (7, 8, 9, 10) à l'aide d'un procédé par approximation, notamment par un modèle de caméra virtuelle. 5°) Procédé selon la revendication 1, caractérisé en ce qu' on corrige de façon épipolaire les images virtuelles calculées. 6°) Procédé selon la revendication 5, caractérisé en ce qu' on intègre verticalement les images virtuelles après correction épipolaire. 7°) Procédé selon la revendication 1, caractérisé en ce qu' on applique l'analyse de correspondance avec des algorithmes qui ont une plage de recherche étendue pour l'association de caractéristiques. 20 8°) Système de caméras, de préférence appliqué à un véhicule comprenant au moins deux caméras (2, 3, 4) distantes l'une de l'autre et dont la position respective est définie par la position d'un axe optique (5) et un dispositif de mémoire qui permet de stocker les images d'au moins 25 une région partielle (7, 8, 9, 10) de l'environnement (6) du véhicule, - on prend des images avec les caméras écartées (2, 3, 4), système de caméras caractérisé en ce qu'il exécute les étapes suivantes consistant à : définir une perspective virtuelle pour chaque caméra (2, 3, 4) par 30 un axe optique virtuel (16) qui diffère par sa position de celle de l'axe optique (5), calculer une image virtuelle de la région partielle (7, 8, 9, 10) pour chaque perspective de caméra virtuelle à partir des images enregistrées, 15exécuter une analyse de correspondance pour réaliser notamment une relation spatiale entre les images virtuelles générées, calculer une image tridimensionnelle de la région partielle (7, 8, 9, 10) en se fondant sur l'analyse de correspondance et générer les images virtuelles. 9°) Système de caméras selon la revendication 8, comprenant une interface reliée notamment à l'unité d'affichage optique du véhicule et installée pour émettre des images à partir du dispositif d'image. 10°) Système de caméras selon la revendication 9, caractérisé en ce qu' on compose les images suivant au moins une représentation panoramique partielle de l'environnement du véhicule (6).15
FR1451526A 2013-02-28 2014-02-26 Procede et dispositif d'imagerie tridimensionnelle d'une region partielle de l'environnement d'un vehicule Active FR3002673B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013203404.0 2013-02-28
DE102013203404.0A DE102013203404A1 (de) 2013-02-28 2013-02-28 Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds

Publications (2)

Publication Number Publication Date
FR3002673A1 true FR3002673A1 (fr) 2014-08-29
FR3002673B1 FR3002673B1 (fr) 2018-01-19

Family

ID=50482839

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1451526A Active FR3002673B1 (fr) 2013-02-28 2014-02-26 Procede et dispositif d'imagerie tridimensionnelle d'une region partielle de l'environnement d'un vehicule

Country Status (3)

Country Link
DE (1) DE102013203404A1 (fr)
FR (1) FR3002673B1 (fr)
GB (1) GB2513703B (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111699516A (zh) * 2018-01-08 2020-09-22 康诺特电子有限公司 用于通过将虚拟相机朝向机动车辆的内后视镜移位来生成环境的表示的方法;以及相机设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014213536A1 (de) * 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
CN106127115B (zh) * 2016-06-16 2020-01-31 哈尔滨工程大学 一种基于全景和常规视觉的混合视觉目标定位方法
DE102016225066A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
CN107009962B (zh) * 2017-02-23 2019-05-14 杭州电子科技大学 一种基于姿态识别的全景观测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100446636B1 (ko) 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
DE102008060684B4 (de) 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
ATE529841T1 (de) * 2008-11-28 2011-11-15 Agfa Healthcare Nv Verfahren und vorrichtung zur bestimmung einer position in einem bild, insbesondere einem medizinischen bild
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
WO2013016409A1 (fr) * 2011-07-26 2013-01-31 Magna Electronics Inc. Système de vision pour véhicule
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3d 차량 주변 영상 생성 방법 및 장치
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
EP2620917B1 (fr) * 2012-01-30 2019-08-28 Harman Becker Automotive Systems GmbH Système de visualisation et procédé d'affichage d'un environnement d'un véhicule

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111699516A (zh) * 2018-01-08 2020-09-22 康诺特电子有限公司 用于通过将虚拟相机朝向机动车辆的内后视镜移位来生成环境的表示的方法;以及相机设备
CN111699516B (zh) * 2018-01-08 2023-12-29 康诺特电子有限公司 车辆环境表示的方法、装置、计算机可读介质及相机设备

Also Published As

Publication number Publication date
GB2513703B (en) 2019-11-06
GB201403384D0 (en) 2014-04-09
GB2513703A (en) 2014-11-05
DE102013203404A1 (de) 2014-08-28
FR3002673B1 (fr) 2018-01-19

Similar Documents

Publication Publication Date Title
CA2275957C (fr) Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles
FR3002673A1 (fr) Procede et dispositif d'imagerie tridimensionnelle d'une region partielle de l'environnement d'un vehicule
KR102516326B1 (ko) 이미지 라인들로부터의 카메라 외부 파라미터들 추정
EP2924671A1 (fr) Système de classification automatique de véhicules automobiles
US11173841B2 (en) Multicamera system for autonamous driving vehicles
US20130177237A1 (en) Stereo-vision object detection system and method
CN102792333A (zh) 图像处理装置、方法、程序以及记录介质
FR2899332A1 (fr) Dispositif de mesure de champ de visibilite pour vehicule et systeme d'assistance a la conduite pour vehicule
JP2008096162A (ja) 3次元距離計測センサおよび3次元距離計測方法
WO2013053701A1 (fr) Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile
EP3152592A1 (fr) Dispositif de detection a plan horizontal d'obstacles et procede de detection mettant en oeuvre un tel dispositif
WO2005010820A2 (fr) Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications
FR2801123A1 (fr) Procede de creation automatique de maquette numerique a partir de couples d'images stereoscopiques
WO2015082293A1 (fr) Reconnaissance de formes par correction d'image
EP3410705B1 (fr) Système de vision 3d pour un véhicule automobile et procédé de commande dudit système
JP6082556B2 (ja) 撮像装置
WO2011124719A1 (fr) Procede de detection de cibles dans des images stereoscopiques
WO2010133785A1 (fr) Procede et dispositif pour etendre une zone de visibilite
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
FR2921324A1 (fr) Procede et dispositif d'assistance au parcage d'un vehicule automobile
EP4172936A1 (fr) Système et procédés d'imagerie thermique
FR3106904A1 (fr) Procédé de calibration des caractéristiques extrinsèques d’un Lidar
KR101091564B1 (ko) 전방향 카메라
FR3100914A1 (fr) Procédé d’élaboration d’une image distordue
WO2017216465A1 (fr) Procédé et dispositif de traitement d'images acquises par une caméra d'un véhicule automobile

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 3

PLSC Publication of the preliminary search report

Effective date: 20161014

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

PLFP Fee payment

Year of fee payment: 11