FR3084864A1 - Procede de densification d'une carte de profondeurs - Google Patents
Procede de densification d'une carte de profondeurs Download PDFInfo
- Publication number
- FR3084864A1 FR3084864A1 FR1857345A FR1857345A FR3084864A1 FR 3084864 A1 FR3084864 A1 FR 3084864A1 FR 1857345 A FR1857345 A FR 1857345A FR 1857345 A FR1857345 A FR 1857345A FR 3084864 A1 FR3084864 A1 FR 3084864A1
- Authority
- FR
- France
- Prior art keywords
- image
- mesh
- pixels
- depth map
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000011144 upstream manufacturing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 230000004907 flux Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
La présente invention a pour objet un procédé de génération d'une carte de profondeurs enrichie à partir d'une carte de profondeurs initiale, le procédé étant mis en à partir d'une première image et d'une deuxième image acquises successivement par une caméra embarquée dans un véhicule, et comprenant les étapes suivantes : • établissement d'un maillage points de la carte de profondeurs initiale, • pour au moins une maille, détermination d'une transformation induite par le mouvement de la caméra entre la première et de la deuxième image, sur la position d'un plan contenant les sommets de la maille entre la deuxième et la première image, • application de la transformation aux pixels de la deuxième image contenus dans la maille pour déterminer des positions de pixels correspondants dans la première image, • comparaison des valeurs de pixels de la deuxième image contenus dans la maille avec les valeurs des pixels correspondants de la première image, et • en cas de correspondance entre les valeurs des pixels, et si la portion d'image contenue dans la maille est texturée, détermination de la planéité de la surface visible dans la portion d'image contenue dans la maille, calcul de la profondeur d'au moins un point inclus dans ladite portion d'image et ajout dudit point à la carte de profondeurs.
Description
Domaine de l'invention
L’invention concerne un procédé de génération d’une carte de profondeurs enrichie à partir d’une carte de profondeurs initiale établie à partir d’images successives acquises par une caméra embarquée dans un véhicule automobile.
L’invention trouve des cas d’applications avantageux dans l’assistance à la conduite de véhicules automobiles, par exemple par l’analyse d’une scène environnant le véhicule ou la détection d’obstacles.
Etat de la technique
Il est connu d’équiper les véhicules automobiles d’une ou plusieurs caméras pointée(s) vers l’amont par rapport à la direction de déplacement du véhicule, pour acquérir des images de l’environnement dans lequel évolue le véhicule et extraire, à partir de ces images, des informations utiles pour l’assistance à la conduite.
L’analyse des images acquises par ces caméras peut par exemple permettre de détecter des obstacles (piétons, véhicule arrêtés sur le bas-côté, etc.), le franchissement d’une ligne continue par le véhicule dans lequel la ou les caméras sont embarquées, ou encore pour évaluer la distance entre le véhicule et celui qui le précède pour, le cas échéant, émettre une alerte à l’attention du conducteur, ralentir ou déclencher un freinage d’urgence, etc.
Pour mettre en œuvre cette analyse il est important de pouvoir disposer de la profondeur des objets observés, c’est-à-dire de leur distance par rapport au véhicule.
Pour ce faire, il est connu d’utiliser une caméra présentant une orientation fixe par rapport au véhicule (en général orientée vers l’avant), qui acquiert des images successivement, typiquement à une fréquence supérieure à 1 Hz, voire supérieure à 10 Hz.
Le flux optique temporel d’un ensemble de points, c’est-à-dire le mouvement relatif desdits points entre deux images successives, est ensuite déterminé. Pour ce faire, une mise en correspondance d’un ensemble de points est réalisée entre les positions de ces points sur deux images successives. Cette mise en correspondance peut être réalisée en repérant des signatures particulières de certains pixels dans l’image et en mettant en correspondance deux pixels des deux images successives présentant la même signature (la signature peut par exemple être un profil de valeurs des pixels voisins du pixel considéré).
L’analyse du flux optique permet ensuite d’estimer le mouvement de la caméra, ce qui revient à estimer le mouvement (en particulier vitesse, accélération) du véhicule, et de déterminer par triangulation la profondeur des points mis en correspondance. On obtient donc ainsi, une carte de profondeurs comprenant les coordonnées en trois dimensions de l’ensemble des points mis en correspondance.
L’inconvénient de cette approche est que les cartes de profondeurs ainsi générées sont peu denses, et peuvent en particulier comprendre des zones entières dépourvues d’informations. La mise en correspondance de points appartenant à des surfaces uniformes et uniformément éclairées, ou des surfaces présentant un motif périodique (par exemple, des glissières de sécurité ou le tablier d’un pont enjambant la route et sous lequel le véhicule s’apprête à passer) est en effet difficile faute de pouvoir trouver dans les zones correspondantes des deux images successives un couple unique de pixels présentant la même signature.
Il serait donc désirable d’enrichir la carte des profondeurs obtenue pour pouvoir extraire d’avantage d’informations utiles à l’assistance à la conduite.
Exposé de l'invention
Compte-tenu de ce qui précède, un but de l’invention est de proposer un procédé d’enrichissement d’une carte de profondeurs à partir de l’analyse du flux optique entre deux images consécutives.
Un autre but de l’invention est d’être de mise en œuvre simple et rapide pour pouvoir créer une carte de profondeurs enrichie à chaque nouvelle acquisition d’image par une caméra embarquée dans le véhicule.
A cet égard, l’invention a pour objet un procédé de génération d’une carte de profondeurs enrichie à partir d’une carte de profondeurs initiale, le procédé étant mis en œuvre par un calculateur électronique à partir de :
• une première image et d’une deuxième image acquises successivement par une caméra embarquée dans un véhicule automobile, • une information de correspondance entre un ensemble de points caractéristiques de la première image et un ensemble de points caractéristiques correspondants de la deuxième image, et • la carte de profondeurs initiale comportant un ensemble de points tridimensionnels correspondants à l’ensemble de points caractéristiques de la deuxième image, chaque point tridimensionnel comprenant en outre une coordonnée de profondeur, et comprenant les étapes suivantes :
• établissement d’un maillage triangulaire des points tridimensionnels de la carte de profondeurs initiale, • pour au moins une maille du maillage, détermination d’une transformation induite par le mouvement de la caméra entre les acquisitions de la première et de la deuxième image, sur la position d’un plan contenant les points tridimensionnels formant les sommets de la maille, dans le référentiel de la caméra, entre la deuxième et la première image, • application de la transformation aux pixels de la deuxième image contenus dans la maille pour déterminer des positions de pixels correspondants dans la première image, • comparaison des valeurs de pixels de la deuxième image contenus dans la maille avec les valeurs des pixels correspondants de la première image, et • en cas de correspondance entre les valeurs des pixels, et si la portion d’image contenue dans la maille est texturée, détermination de la planéité de la surface visible dans la portion d’image contenue dans la maille, calcul de la profondeur d’au moins un point inclus dans ladite portion d’image et ajout dudit point à la carte de profondeurs.
Dans un mode de réalisation, le maillage est tel que chaque point caractéristique de la deuxième image appartient à une maille triangulaire et les mailles du maillage sont dépourvues d’intersection. Par exemple, l’établissement du maillage est mis en œuvre par triangulation de Delaunay.
Avantageusement, des valeurs de pixels de la première image correspondant à des pixels de la deuxième image contenus dans la maille sont déterminées par interpolation à partir de valeurs de pixels voisins dans la première image.
Dans un mode de réalisation, l’étape de comparaison des valeurs de pixels est mise en œuvre par une mesure de similarité des valeurs de l’ensemble des pixels comparés. Dans ce cas, le procédé peut comprendre en outre, avant la mise en œuvre de l’étape de comparaison, une étape supplémentaire d’évaluation du nombre de pixels de la deuxième image contenus dans la maille et, si ce nombre est inférieur à un seuil, de fusion de la maille avec une maille voisine pour laquelle la transformation déterminée est similaire.
En cas d’absence de correspondance entre les valeurs des pixels, la surface visible dans la portion d’image contenue dans la maille est considérée comme non plane.
En cas de correspondance entre les valeurs des pixels, mais si la portion d’image contenue dans la maille est non texturée, la surface visible dans la portion d’image contenue dans la maille est considérée comme non plane, ou elle est considérée comme plane avec un degré de confiance plus faible qu’un degré de confiance associé à une surface visible dans une portion d’image texturée.
Le procédé peut comprendre en outre une étape préliminaire de mise en correspondance entre l’ensemble des points caractéristiques de la première image et l’ensemble des points caractéristiques de la deuxième image, et de génération, à partir caractéristiques des points mis en correspondance, de la carte des profondeurs initiale.
L’invention a également pour objet un produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre du procédé selon la description qui précède, quand il est exécuté par un calculateur électronique.
L’invention porte également sur un véhicule automobile, comprenant une caméra et un calculateur électronique embarqués, dans lequel la caméra est configurée pour acquérir des images d’une scène située en amont du véhicule par rapport à sa direction de déplacement, et le calculateur électronique est configuré pour mettre en œuvre, à partir de deux images successives acquises par la caméra, le procédé selon la description qui précède.
Le procédé selon l’invention permet d’ajouter des points supplémentaires à une carte de profondeurs obtenue par l’analyse du flux optique de points mis en correspondances entre deux images consécutives. Pour ce faire, le procédé selon l’invention prévoit de réaliser un maillage entre les points d’une image utilisés pour la réalisation d’une carte de profondeur initiale, de projeter la position des pixels de l’image contenus dans la maille vers des positions respectives dans l’image précédente en prenant l’hypothèse que la surface de l’objet correspondant à la maille est plane, puis à vérifier l’hypothèse par comparaison des valeurs des pixels projetés avec les valeurs des pixels de la maille initiale.
Si la surface est effectivement plane, la projection appliquée correspond à la variation de position effective des pixels de la maille d’une image à l’autre correspondant au mouvement du véhicule (et donc de la caméra) entre les deux images. La mise en œuvre de la comparaison permet donc d’identifier dans l’image des surfaces planes et de calculer la profondeur de points appartenant à ces surfaces planes pour les ajouter et ainsi enrichir la carte de profondeurs initiales.
Brève description des dessins
D’autres caractéristiques, buts et avantages de l’invention ressortiront de la description qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels :
• La figure 1 représente un exemple d’une image acquise par une caméra embarquée dans un véhicule et sur lequel les flux optiques d’un ensemble de points mis en correspondance avec une image précédente sont représentés, • La figure 2 représente un exemple de carte de profondeurs initiale utilisée dans un procédé selon un mode de réalisation de l’invention.
• La figure 3 représente un exemple de maillage réalisé sur une image, • La figure 4 représente les notations adoptées pour le calcul d’une homographie entre deux images successives, • Les figures 5a et 5b représentent respectivement les points d’une image appartenant à la carte de profondeurs avant et après le traitement d’une maille.
• La figure 6 représente schématiquement les principales étapes pour la mise en œuvre d’un procédé selon un mode de réalisation de l’invention.
• La figure 7 représente schématiquement un véhicule comprenant une caméra et un calculateur électronique adapté pour la mise en œuvre du procédé.
• La figure 8 représente des notations employées pour déterminer si deux facettes sont adjacentes.
Description détaillée de modes de réalisation de l'invention
En référence à la figure 7, le procédé d’enrichissement d’une carte des profondeurs initiale est mis en œuvre à partir de deux images acquises successivement par une caméra C embarquée dans un véhicule V. La caméra dispose avantageusement d’une orientation fixe vers l’avant du véhicule de manière à pouvoir acquérir des images d’une scène en amont du véhicule par rapport à son sens de déplacement.
La caméra peut acquérir des images à une fréquence fixe, par exemple au moins 1Hz, de préférence au moins 10Hz.
Le procédé est mis en œuvre par un calculateur électronique 10, par exemple un processeur, à partir d’instructions de code stockées dans une mémoire 12. Le calculateur électronique 10 et la mémoire 12 sont avantageusement embarqués dans le véhicule automobile V.
On va décrire les principales étapes du procédé en référence à la figure 6. Le procédé d’enrichissement d’une carte de profondeur est mis en œuvre à partir de deux images acquises successivement par la caméra C lors du déplacement du véhicule.
La mise en œuvre du procédé se base également sur une correspondance entre un ensemble de points caractéristiques de la deuxième image et un ensemble de points caractéristiques correspondants de la première image. Cette correspondance permet d’établir un flux optique temporel pour chaque point caractéristique de l’une des images, c’est-à-dire le mouvement du point de la scène correspondant au point caractéristique entre les deux images, lié au déplacement du véhicule. Une image où sont représentés les flux optiques pour chaque point caractéristique est représentée en figure 1.
La mise en œuvre du procédé se base enfin sur une carte de profondeurs initiale, qui comprend les coordonnées en trois dimensions des points caractéristiques de la deuxième image, les profondeurs des points caractéristiques étant déterminées par triangulation des positions des points caractéristiques mis en correspondance entre les deux images selon une technique connue de l’Homme de l’Art. Un exemple de carte de profondeur obtenue à partir de la mise en correspondance obtenue à la figure 1 est représentée en figure 2.
L’élaboration de la correspondance entre les points caractéristiques des deux images et de la carte de profondeurs initiale est avantageusement une étape préliminaire 90 du procédé, mise en œuvre par le même calculateur sur la base des deux images acquises successivement par la caméra.
Pour la recherche de correspondance, le calculateur peut mettre en œuvre la recherche, dans les deux images acquises par la caméra, de pixels présentant des signatures identiques, c’est-à-dire dont les valeurs des pixels voisins sont identiques. Selon une variante possible, la recherche d’un pixel sur une image présentant une même signature qu’un pixel sur l’autre image peut être limitée à une portion déterminée de cette autre image, car on peut considérer que les positions d’un même point objet de la scène sur deux images successives doivent être relativement proches.
A partir de la mise en correspondance de points caractéristiques entre les deux images on peut déduire la profondeur de ces points, c’est-à-dire leur distance par rapport à la caméra, à partir du mouvement de la caméra qui est connu d’après le déplacement du véhicule.
On pourra avantageusement se référer à la publication de Lionel Marce et al., « Détermination d’une carte de profondeur à partir d’une séquence d’images », onzième colloque Gretsi Nice du 1er au 5 juin 1987, pour un exemple détaillé d’implémentation de mise en correspondance entre des points de plusieurs images successives et la déduction de la profondeur de ces points.
Dans la suite on appellera respectivement première image et deuxième image deux images acquises successivement par la caméra. La carte de profondeurs initiale comporte donc un ensemble de points tridimensionnels, dans lequel chaque point tridimensionnel correspond à un point caractéristique mis en correspondance entre la deuxième image et la première image, et comporte :
• les deux coordonnées du point caractéristique correspondant dans la deuxième image, et • une troisième coordonnée de profondeur, c’est-à-dire de distance de l’objet de la scène correspondant au point caractéristique par rapport à la caméra lors de l’acquisition de la deuxième image.
De retour à la figure 6, le procédé comprend une première étape (hors étape préliminaire de génération de la carte de profondeurs initiale, le cas échéant) 100 d’établissement d’un maillage triangulaire de l’ensemble des points tridimensionnels de la carte de profondeurs initiale. Chaque maille est donc un triangle dont les trois sommets sont des points tridimensionnels de la carte de profondeurs initiale.
Comme représenté dans l’exemple de la figure 3, le maillage est réalisé de telle sorte que chaque point tridimensionnel de la carte forme le sommet d’au moins une maille du maillage, et que les mailles soient dépourvues d’intersection.
L’obtention du maillage est avantageusement réalisée par une triangulation de Delaunay.
Dans la suite du procédé, on part de l’hypothèse que chaque surface d’un objet de la scène délimitée par une maille du maillage est plane. A partir de cette hypothèse, on détermine une transformation de la maille entre la deuxième et la première image, cette transformation étant induite par le mouvement de la caméra entre les images, et on vérifie ensuite si l’hypothèse de planéité de la surface délimitée par la maille est vérifiée.
Cette hypothèse est vérifiée lorsque l’on obtient un taux de similarité suffisant entre les valeurs des pixels contenus dans la maille sur la deuxième image, et les valeurs des pixels de la première image obtenus en appliquant la transformation aux pixels contenus dans la maille sur la deuxième image. On en déduit donc que la surface délimitée par la maille est effectivement plane, ce qui permet d’en déduire les profondeurs des points de l’image contenus dans la maille et de compléter la carte de profondeurs initiale.
Pour ce faire, le procédé comprend ensuite une étape 200, mise en œuvre pour au moins une maille du maillage, et de préférence pour chaque maille, de détermination d’une transformation induite par le mouvement de la caméra sur un plan contenant les points tridimensionnels formant les sommets de la maille, dans le référentiel de la caméra, entre la deuxième et la première image.
Plus précisément, la transformation déterminée est une homographie transformant les coordonnées de points tridimensionnels appartenant au plan dans le référentiel de la caméra lors de l’acquisition de la deuxième image en leurs coordonnées dans le référentiel de la caméra lors de l’acquisition de la première image.
Cette étape comprend une première sous-étape 210, lors de laquelle le calculateur électronique définit le plan contenant la maille considérée, par le vecteur normal à ce plan et sa distance par rapport à la caméra.
Pour le vecteur normal au plan, en notant A, B et C les trois points tridimensionnels sommets de la maille et (Ax, Ay, Az), (Bx, By, Bz) et (Cx, Cy, Cz) leurs coordonnées dans le référentiel de la caméra, le vecteur normal n au plan est déterminé par le produit vectoriel entre les deux vecteurs formés par ces points :
S’agissant de la distance du plan à la caméra, celle-ci est obtenue à partir de l’équation suivante, où X,Y, et Z sont les coordonnées de l’un des trois points A, B et C appartenant au plan, Nx, Ny et Nz sont les coordonnées normalisées (c’est-à-dire unitaires) du vecteur normal au plan, et D est la distance minimale du plan à la caméra :
Nx-X + Ny-Y + Nz-Z + D = 0
Une fois le plan contenant la maille déterminé, on détermine lors d’une sousétape 220 l’homographie induite par le mouvement de la caméra entre les deux images sur ce plan.
Sur la figure 4 on a représenté schématiquement les notations adoptées pour cette étape. La caméra C est représentée aux deux positions d’acquisition respectivement de la première et de la deuxième image. On a également représenté le plan contenant la maille dont les sommets sont les trois points A, B et C, ainsi que les projections orthogonales de la caméra sur ce plan.
On note R12 la matrice de rotation de la caméra entre la position d’acquisition de la deuxième image et de la première image. On note T12 la matrice de translation de la caméra entre la position d’acquisition de la deuxième image et de la première image.
Ces matrices peuvent etre estimees de maniéré connue de l’Homme du Metier par exemple à partir de capteurs de position et de déplacement du véhicule (capteurs inertiels, odomètres...), ou à partir des positions respectives des points A, B, et C dans la deuxième image et dans la première image , ou encore à partir d’informations de géolocalisation du véhicule.
En notant respectivement par des indices 1 et 2 les coordonnées des points A, B et C dans la première et la deuxième images, on a :
Ai = R12A2 + T12
Bi = ^12^2 + 712
Q = R 12^2 + 712
L’homographie H12 permettant de transformer le plan reliant les points A, B, C de la deuxième à la première image est fournie par l’équation suivante :
7712 = K.
' T12.nT 2] 12 . ίην(Κ)
Où K est une matrice de paramètres intrinsèques à la caméra dépendant de sa focale et de la position de son centre optique ; n2 est la normale au plan dans le référentiel caméra lors de l’acquisition de la deuxième image, et D2 est la distance entre la caméra et le plan lors de l’acquisition de la deuxième image.
Une fois l’homographie déterminée à la sous-étape 220, le procédé comprend ensuite une étape 300, lors de laquelle le calculateur 10 applique l’homographie ainsi déterminée aux pixels de la deuxième image appartenant à la maille. L’application de l’homographie à un pixel de la deuxième image permet de calculer la position, sur la première image, du pixel correspondant.
La détermination des coordonnées du pixel P1 de la première image correspondant au pixel P2 de la deuxième image est mise en œuvre comme suit :
H12(P2) 1 Η12(Ρ2)(3)
Où P2 est un point de coordonnées (x, y, 1) dans le référentiel de la caméra lors de l’acquisition de la deuxième image, et contenu dans la maille à partir de laquelle l’homographie a été calculée, et P1 est le point tridimensionnel dont les deux premières coordonnées sont celles du pixel de la première image correspondant au point P2. Les coordonnées du point P1 étant normalisées de sorte que sa coordonnée de profondeur soit unitaire. Ceci est fait en divisant les trois coordonnées du résultat de l’homographie par sa troisième coordonnée, qu’on a noté Hi2(P2)(3).
Cette étape 300 est avantageusement mise en œuvre pour une pluralité de pixels de la deuxième image appartenant à la maille, voire à la totalité de ces pixels.
Le procédé comprend ensuite une étape 400 lors de laquelle le calculateur compare la valeur du pixel de la deuxième image appartenant à la maille avec la valeur du pixel correspondant obtenue sur la première image d’après l’homographie appliquée. Lorsque les coordonnées obtenues par application de l’homographie ne sont pas entières et ne permettent pas d’identifier un pixel particulier de la première image correspondant, la valeur comparée peut être obtenue par interpolation à partir des valeurs des pixels voisins de la position obtenue sur la première image.
La valeur d’un pixel est typiquement un niveau de gris du pixel.
La comparaison mise en œuvre lors de cette étape est avantageusement une mesure de similarité sur l’ensemble des pixels comparés, c’est-à-dire sur l’ensemble des pixels contenus dans la maille dans la deuxième image et les valeurs correspondantes des pixels dans la première image.
Par exemple, la mesure de similarité peut être mise en œuvre par des techniques connues de l’Homme du Métier telles que par exemple la somme des différences absolues (connue sous l’acronyme anglais SAD pour Sum of Absolute Differences), ou encore la corrélation croisée centrée et normalisée (également connue sous l’acronyme anglais ZNCC pour Zero-Mean Normalized Cross-Correlation)
Dans un mode de réalisation, le calculateur détermine lors d’une étape 350 précédent cette étape de comparaison si une maille présente une taille suffisante sur la deuxième image pour pouvoir réaliser la comparaison 400.
Par exemple, la maille doit contenir un nombre de pixels supérieurs à une valeur prédéterminée pour pouvoir faire l’objet de la comparaison 400.
A défaut, le calculateur recherche lors d’une étape 360 une ou plusieurs mailles voisines, c’est-à-dire comprenant deux sommets en commun, et fusionne entre elles ces mailles si celles-ci sont sensiblement coplanaires.
En référence à la figure 8, pour ce faire, le calculateur peut par exemple comparer l’application de l’homographie de respectivement deux mailles voisines à un point n’appartenant qu’à une seule des deux mailles, et vérifier que les résultats sont proches.
Sur la figure 8, on a représenté les points B2, C2, et D2 sur la deuxième image et les points B1, C1 et D1 sur la première image. B1 et C1 appartiennent à deux mailles notées A et B et donc les relations suivantes s’appliquent, en notant HA et HB respectivement les homographies calculées pour les deux mailles A et B :
HA(B2) = Bl
HS(B2) = Bl
Ha(C2) = Cl Hb(C2) = Cl Hb(D2) = DI
On calcule donc l’homographie de la maille A appliquée au point D2 qui appartient à la maille B : HA(D2) = D'I.
Et la comparaison entre les points D1 et D’1 est avantageusement mise en œuvre en calculant une norme, avantageusement la norme euclidienne entre D1 et D’1.
Si la norme euclidienne est inférieure à un seuil prédéterminé, alors la maille de taille insuffisante peut être fusionnée avec la maille voisine à laquelle elle a été comparée, et l’étape 400 est mise en œuvre sur cette maille agrandie.
Sinon, la maille de taille insuffisante ne fait pas l’objet des étapes 400 et suivantes, qui sont mises en œuvre pour les autres mailles.
Le taux de similarité obtenu à l’issue de la comparaison 400 pour une maille est ensuite comparé à un seuil prédéterminé lors d’une étape 500.
Si le taux de similarité est supérieur au seuil et que la portion de la deuxième image contenue dans la maille est texturée, alors on en déduit que la surface de l’objet de la scène visible dans la portion d’image contenue dans la maille est effectivement plane, et il est possible de calculer une profondeur d’un ou plusieurs points de la deuxième image contenus dans la maille à partir des profondeurs des sommets de la maille, lors d’une étape 600, par exemple par la méthode classique de lancer du rayon. Les points pour lesquels une profondeur a été calculée sont ensuite ajoutés à la carte de profondeurs initiale.
Pour la détermination du caractère texturé de l’image, on peut mettre en œuvre des techniques connues de l’Homme du Métier telles que par exemple une technique basée sur la détection de contours.
On a représenté sur les figures 5a et 5b un exemple d’enrichissement d’une carte de profondeurs avant et après la mise en œuvre du procédé. La figure 5a représente une maille dont seuls les sommets appartiennent à la carte de profondeurs initiale, et dans la figure 5b, la même maille est représentée, et tous les points inclus dans cette maille sont ajoutés à la carte de profondeurs.
Si le taux de similarité est inférieur au seuil, alors on en déduit lors d’une étape 700 que la surface de l’objet de la scène visible dans la portion d’image contenue dans la maille n’est pas plane, contrairement à l’hypothèse adoptée initialement. Dans ce cas la profondeur des points de la deuxième image contenus dans la maille ne peut pas être calculée et ces points ne sont pas ajoutés à la carte de profondeurs initiales.
Enfin, si le taux de similarité est supérieur au seuil mais que la portion de la deuxième image contenue dans la maille n’est pas texturée, alors il est plus difficile de conclure que la surface de l’objet correspondant à la maille est effectivement plane, puisque si elle n’est pas plane un bon niveau de similarité pourrait également être obtenu du fait de l’absence de texture sur l’image.
Dans ce cas, selon une première option, on détermine lors d’une étape 700 que la surface de l’objet de la scène visible dans la portion d’image contenue dans la maille n’est pas plane, et aucun point correspondant n’est ajouté à la carte de profondeurs initiale.
Selon une deuxième option, on associe à chaque point tridimensionnel de la carte de profondeurs un niveau de certitude sur la position du point. Dans ce cas, après la comparaison du taux de similarité au seuil on peut conclure lors d’une étape 800 que la surface de l’objet de la scène visible dans la portion d’image contenue dans la maille est plane, et ainsi calculer les profondeurs des points contenus dans la maille pour les ajouter à la carte de profondeurs initiale, mais en leur affectant un degré de certitude inférieur au degré associé aux points correspondant à des portions texturés de l’image. Ce degré de certitude est typiquement aussi inférieur à celui affecté aux points tridimensionnels de la carte de profondeurs initiale.
Avantageusement, les degrés de certitude associés aux points tridimensionnels peuvent être exploités par des algorithmes d’aide à la conduite. Par exemple, un algorithme de freinage d’urgence en cas de détection d’obstacle devant le véhicule tient avantageusement compte du degré de certitude associé aux points tridimensionnels détectés pour ne déclencher le freinage d’urgence que dans le cas où des points situés devant le véhicule présentent un degré de certitude supérieur à un niveau minimum, ceci afin de ne pas déclencher le freinage d’urgence par erreur.
On obtient donc à l’issue du procédé, mené de préférence sur la totalité des mailles, une carte de profondeurs plus densément remplie que la carte de profondeurs initiale. Selon une première option, lors de l’acquisition d’une image suivante par la caméra, la totalité du procédé est mise en œuvre à nouveau en recherchant des correspondances entre des points des deux dernières images pour créer une carte de profondeurs initiales qui est ensuite enrichie.
Selon une deuxième option, les points ajoutés à la carte de profondeurs sont réutilisés lors d’une itération suivante du procédé, par exemple pour simplifier l’étape ultérieure de mise en correspondance de points. On peut en effet utiliser les positions de ces points supplémentaires pour construire des hypothèses sur la localisation des mêmes points dans l’image suivante et réduire les zones de recherche pour la correspondance en tenant compte de ces hypothèses.
Claims (11)
- REVENDICATIONS1. Procédé de génération d’une carte de profondeurs enrichie à partir d’une carte de profondeurs initiale, le procédé étant mis en œuvre par un calculateur électronique (10) à partir de :• une première image et d’une deuxième image acquises successivement par une caméra embarquée dans un véhicule automobile, • une information de correspondance entre un ensemble de points caractéristiques de la première image et un ensemble de points caractéristiques correspondants de la deuxième image, et • la carte de profondeurs initiale comportant un ensemble de points tridimensionnels correspondants à l’ensemble de points caractéristiques de la deuxième image, chaque point tridimensionnel comprenant en outre une coordonnée de profondeur, et comprenant les étapes suivantes :• établissement (100) d’un maillage triangulaire des points tridimensionnels de la carte de profondeurs initiale, • pour au moins une maille du maillage, détermination (200) d’une transformation induite par le mouvement de la caméra entre les acquisitions de la première et de la deuxième image, sur la position d’un plan contenant les points tridimensionnels formant les sommets de la maille, dans le référentiel de la caméra, entre la deuxième et la première image, • application (300) de la transformation aux pixels de la deuxième image contenus dans la maille pour déterminer des positions de pixels correspondants dans la première image, • comparaison (400) des valeurs de pixels de la deuxième image contenus dans la maille avec les valeurs des pixels correspondants de la première image, et • en cas de correspondance entre les valeurs des pixels, et si la portion d’image contenue dans la maille est texturée, détermination (600) de la planéité de la surface visible dans la portion d’image contenue dans la maille, calcul de la profondeur d’au moins un point inclus dans ladite portion d’image et ajout dudit point à la carte de profondeurs.
- 2. Procédé selon la revendication 1, dans lequel le maillage est tel que chaque point caractéristique de la deuxième image appartient à une maille triangulaire et les mailles du maillage sont dépourvues d’intersection.
- 3. Procédé selon la revendication 2, dans lequel l’établissement du maillage est mis en œuvre par triangulation de Delaunay.
- 4. Procédé selon l’une quelconque des revendications précédentes, dans lequel des valeurs de pixels de la première image correspondant à des pixels de la deuxième image contenus dans la maille sont déterminées par interpolation à partir de valeurs de pixels voisins dans la première image.
- 5. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’étape de comparaison (400) des valeurs de pixels est mise en œuvre par une mesure de similarité des valeurs de l’ensemble des pixels comparés.
- 6. Procédé selon la revendication 5, comprenant en outre, avant la mise en œuvre de l’étape de comparaison (400), une étape supplémentaire d’évaluation du nombre de pixels de la deuxième image contenus dans la maille et, si ce nombre est inférieur à un seuil, de fusion de la maille avec une maille voisine pour laquelle la transformation déterminée est similaire.
- 7. Procédé selon l’une quelconque des revendications précédentes, dans lequel, en cas d’absence de correspondance entre les valeurs des pixels, la surface visible dans la portion d’image contenue dans la maille est considérée (700) comme non plane.
- 8. Procédé selon l’une quelconque des revendications précédentes dans lequel, en cas de correspondance entre les valeurs des pixels, mais si la portion d’image contenue dans la maille est non texturée, la surface visible dans la portion d’image contenue dans la maille est considérée (700) comme non plane, ou elle est considérée (800) comme plane avec un degré de confiance plus faible qu’un degré de confiance associé à une surface visible dans une portion d’image texturée.
- 9. Procédé selon l’une quelconque des revendications précédentes, comprenant en outre une étape préliminaire (90) de mise en correspondance entre l’ensemble des points caractéristiques de la première image et l’ensemble des points caractéristiques de la deuxième image, et de génération, à partir caractéristiques des points mis en correspondance, de la carte des profondeurs initiale.
- 10. Produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre du procédé selon l’une quelconque des revendications précédentes, quand il est exécuté par un calculateur électronique (10).5
- 11. Véhicule automobile (V), comprenant une caméra (C) et un calculateur électronique (10) embarqués, dans lequel la caméra (C) est configurée pour acquérir des images d’une scène située en amont du véhicule (V) par rapport à sa direction de déplacement, et le calculateur électronique (10) est configuré pour mettre en œuvre, à partir de deux images successives acquises par la caméra (C), le procédé selon l’une quelconque des 10 revendications 1 à 9.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1857345A FR3084864B1 (fr) | 2018-08-07 | 2018-08-07 | Procede de densification d'une carte de profondeurs |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1857345A FR3084864B1 (fr) | 2018-08-07 | 2018-08-07 | Procede de densification d'une carte de profondeurs |
| FR1857345 | 2018-08-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3084864A1 true FR3084864A1 (fr) | 2020-02-14 |
| FR3084864B1 FR3084864B1 (fr) | 2020-09-04 |
Family
ID=63579493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1857345A Active FR3084864B1 (fr) | 2018-08-07 | 2018-08-07 | Procede de densification d'une carte de profondeurs |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3084864B1 (fr) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3052581A1 (fr) * | 2016-06-14 | 2017-12-15 | Continental Automotive France | Procede de realisation d'une carte de profondeurs a partir d'images successives d'une camera unique (mono) embarquee dans un vehicule automobile |
-
2018
- 2018-08-07 FR FR1857345A patent/FR3084864B1/fr active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3052581A1 (fr) * | 2016-06-14 | 2017-12-15 | Continental Automotive France | Procede de realisation d'une carte de profondeurs a partir d'images successives d'une camera unique (mono) embarquee dans un vehicule automobile |
Non-Patent Citations (4)
| Title |
|---|
| GUILHERME P FICKEL ET AL: "Stereo matching based on image triangulation for view synthesis", IMAGE PROCESSING (ICIP), 2012 19TH IEEE INTERNATIONAL CONFERENCE ON, IEEE, 30 September 2012 (2012-09-30), pages 2733 - 2736, XP032333763, ISBN: 978-1-4673-2534-9, DOI: 10.1109/ICIP.2012.6467464 * |
| RICHARD A NEWCOMBE ET AL: "Live dense reconstruction with a single moving camera", 2010 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 13-18 JUNE 2010, SAN FRANCISCO, CA, USA, IEEE, PISCATAWAY, NJ, USA, 13 June 2010 (2010-06-13), pages 1498 - 1505, XP031725624, ISBN: 978-1-4244-6984-0 * |
| ROGGEMAN HELENE ET AL: "Detection, Estimation and Avoidance of Mobile Objects Using Stereo-Vision and Model Predictive Control", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW), IEEE, 22 October 2017 (2017-10-22), pages 2090 - 2099, XP033303671, DOI: 10.1109/ICCVW.2017.245 * |
| THAO DANG ET AL: "Fusing optical flow and stereo disparity for object tracking", INTELLIGENT TRANSPORTATION SYSTEMS, 2002. PROCEEDINGS. THE IEEE 5TH IN TERNATIONAL CONFERENCE ON SEPT. 3-6, 2002, PISCATAWAY, NJ, USA,IEEE, 3 September 2002 (2002-09-03), pages 112 - 117, XP010608271, ISBN: 978-0-7803-7389-1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3084864B1 (fr) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2715662B1 (fr) | Procede de localisation d'une camera et de reconstruction 3d dans un environnement partiellement connu | |
| EP2724203B1 (fr) | Génération de données de carte | |
| WO2016045764A1 (fr) | Procédé de calibration extrinsèque de caméras d'un système de formation d'images stéréos embarqué | |
| EP3614306B1 (fr) | Procédé de localisation et d'identification de visage et de détermination de pose, à partir d'une vue tridimensionnelle | |
| EP3679517B1 (fr) | Procede de determination des bords saillants d'une cible sur une image | |
| FR3043235A1 (fr) | Calibration d'un systeme de mapping video | |
| WO2015150129A1 (fr) | Procede de geo-localisation de l'environnement d'un porteur | |
| WO2020240124A1 (fr) | Dispositif de traitement de prise de vue | |
| EP1646967B1 (fr) | Procede de mesure de proximite de deux contours et systeme d'identification automatique de cibles | |
| FR3084864A1 (fr) | Procede de densification d'une carte de profondeurs | |
| FR3034233A1 (fr) | Procede de correction d'une image d'au moins un objet presente a distance devant un imageur et eclaire par un systeme d'eclairage et systeme de prise de vues pour la mise en œuvre dudit procede | |
| FR3065097B1 (fr) | Procede automatise de reconnaissance d'un objet | |
| EP3072110B1 (fr) | Procédé d'estimation du mouvement d'un objet | |
| EP4341897B1 (fr) | Procédé et dispositif de traitement d'une séquence d'images pour la détermination de vignettes poursuivies dans ladite séquence d'images | |
| WO2018229358A1 (fr) | Procédé et dispositif de construction d'une image tridimensionnelle | |
| FR3052287B1 (fr) | Construction d'une image tridimensionnelle | |
| FR3141763A1 (fr) | Système et procédé d’aide à la navigation d’un système mobile | |
| FR3103301A1 (fr) | Procédé de détection de pics d’intensité de faisceau lumineux réfléchi de manière spéculaire | |
| Deschaud et al. | Colorisation et texturation temps r\'eel d'environnements urbains par syst\eme mobile avec scanner laser et cam\'era fish-eye | |
| FR3078183A1 (fr) | Procede de detection d'un objet a partir d'une camera embarquee dans un vehicule automobile | |
| WO2018185398A1 (fr) | Procédé et dispositif de traitement d'images acquises par une caméra d'un véhicule automobile | |
| FR3001072A1 (fr) | Procede et systeme de modelisation 3d absolue en tout ou en partie d'un vehicule passant devant une camera. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200214 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| TQ | Partial transmission of property |
Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE Effective date: 20230424 Owner name: CONTINENTAL AUTOMOTIVE FRANCE, FR Effective date: 20230424 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |