FR3098929A1

FR3098929A1 - Procédé de détermination de paramètres d'étalonnage extrinseques d'un système de mesure

Info

Publication number: FR3098929A1
Application number: FR1908004A
Authority: FR
Inventors: Quentin PENTEK; Tristan ALLOUIS; Christophe FIORIO; Olivier STRAUSS
Original assignee: Yellowscan; Centre National de la Recherche Scientifique CNRS; Universite de Montpellier I; Universite de Montpellier
Current assignee: Yellowscan; Centre National de la Recherche Scientifique CNRS; Universite de Montpellier I; Universite de Montpellier
Priority date: 2019-07-16
Filing date: 2019-07-16
Publication date: 2021-01-22
Anticipated expiration: 2039-07-16
Also published as: US20220276359A1; US11940569B2; EP3999865A1; FR3098929B1; WO2021009431A1

Abstract

L’invention porte sur un procédé d’étalonnage d’un système de mesure (5) comprenant un dispositif de prise de vue (3), un scanner laser(2) et une unité de positionnement (6). Le procédé comprend la préparation d’au moins deux images fournies par le dispositif de prise de vue (3) et la préparation d’un nuage de point 3D ; l’identification d’au moins un point homologue dans les images et une séquence d’optimisation pour déterminer au moins un paramètre d’étalonnage du système de mesure (5). La séquence comprend au moins une itération des étapes suivantes :* pour chaque image, identifier dans le nuage de point 3D au moins un point proche se projetant dans un voisinage du point homologue de l’image ; * élaborer une mesure de la distance séparant les points proches respectivement associés aux images ; * ajuster le paramètre d’étalonnage selon la mesure élaborée. Figure à publier avec l’abrégé : Fig. 4b

Description

Procédé de détermination de paramètres d'étalonnage extrinseques d'un système de mesure

La présente invention concerne un procédé de détermination de paramètres d'étalonnage extrinsèques d'un système de mesure comprenant un dispositif de prise de vue et un scanner laser.

ARRIERE PLAN TECHNOLOGIQUE DE L’INVENTION

Un scanner laser (parfois également désignée par le terme « LIDAR ») est un dispositif de télémétrie permettant de fournir, sous la forme d'un nuage de points 3D, le profil ou le contour d'objets constituant une scène. Le scanner laser émet un faisceau lumineux qui est réfléchi par un objet de la scène. La distance séparant le centre optique d’émission du scanner au point de réflexion sur l’objet illuminé est déterminée à partir du temps de vol, c'est-à-dire du temps séparant l’émission du faisceau de la réception du faisceau réfléchi.

Le scanner laser et parfois muni de moyens permettant d'orienter le faisceau selon une direction déterminée, par exemple un miroir tournant, dont le mouvement permet de balayer une partie de la scène avec le faisceau. Par ailleurs, le scanner laser peut être porté par exemple par un véhicule, tel qu'un véhicule automobile ou un engin volant, qui est susceptible de se déplacer. On peut collecter de la sorte les informations de distance séparant le scanner laser des objets de la scène, même lorsque cette scène est géographiquement étendue.

Dans un tel système de mesure, le scanner laser est associé à une unité de positionnement permettant de le géolocaliser et d’en déterminer l'attitude. On peut alors combiner les informations de distance fournies par le scanner laser à celles fournies par l’unité (position, attitude) pour élaborer le nuage de points 3D. Chaque point du nuage peut être placé dans un repère géoréférencé. On reconstitue de la sorte le contour et/ou le profil des objets de la scène.

Comme cela est documenté dans l'article « About the calibration of LIDAR sensors », de R. Katzenbeisser, ISPRS Workshop “3-D Reconstruction form Airborne Laser-Scanner and InSAR data », 2003 cette combinaison d'information requiert un étalonnage très précis du système de mesure. Cet étalonnage précis impose notamment de déterminer la pose relative entre l'unité de géolocalisation et le scanner laser. Il existe de nombreuses méthodes permettant de réaliser cet étalonnage, et l’on pourra à ce propos se référer à l'article « Synchronisation et calibrage d'un LIDAR 3D et d'une centrale inertielle pour la localisation précise d'un véhicule autonome » de P. MERRIAUX et al, Journées scientifiques d'URSI-France (Géolocalisation et Navigation dans l'Espace et le Temps), Mars 2018, Meudon, France.

Certains systèmes de mesures comprennent également, outre le scanner laser et l’unité de positionnement, un dispositif de prise de vue (par exemple un appareil photo, un capteur d’image, une caméra). D'une manière générale un tel dispositif de prise de vue capte un rayonnement lumineux en provenance de la scène dans un domaine spectral donné pour former une image 2D. Le domaine spectral peut être celui du visible et on peut ainsi collecter des informations de couleur et/ou de texture de la scène. Il est possible que le domaine spectral soit autre, par exemple dans le domaine de l'infrarouge pour collecter des informations de température.

Quelle que soit la nature des images 2D fournies par le dispositif de prise de vue embarqué dans le système de mesure, on cherche généralement à fusionner les informations comprises dans les images à celle du nuage de points 3D élaboré à partir des données fournies par le scanner laser, pour associer une information, par exemple de couleur ou de température, aux points du nuage 3D.

Pour permettre la fusion de ces données, il est nécessaire de déterminer la position relative entre le dispositif de prise de vue et le scanner laser, c’est-à-dire la position et l’orientation de l’un de ces éléments dans un repère associé à l’autre élément.

Le document US2018315214 propose une solution visant à résoudre ce problème d’étalonnage qui n'est toutefois pas entièrement satisfaisante. Cette solution nécessite tout d'abord d'élaborer des images dites « de rémission » formées à partir de l'intensité du faisceau de retour du scanner laser et de mettre directement en correspondance les images de rémission avec celles fournies par le dispositif de prise de vue. Or, ces informations d'intensité ne sont pas toujours disponibles et/ou d'une qualité suffisante. De plus, pour rendre la solution suffisamment précise, les images de rémission doivent présenter une résolution spatiale élevée. Dans la pratique, le procédé de détermination de paramètres d'étalonnage proposé par ce document est réservé à des systèmes de mesure comprenant un scanner laser très spécifique.

OBJET DE L’INVENTION

Un but de l’invention est de proposer une méthode alternative à celle proposée dans l’état de la technique, qui ne nécessite pas l’élaboration d’images de rémission. D’une manière plus générale, l’invention propose un procédé d'étalonnage d'un système de mesure qui soit simple à mettre en œuvre et qui puisse s’appliquer à un système de mesure intégrant une grande variété de scanners laser.

BREVE DESCRIPTION DE L’INVENTION

En vue de la réalisation de ce but, l’objet de l’invention propose un procédé d’étalonnage d’un système comprenant un dispositif de prise de vue, un scanner laser et une unité de positionnement, le procédé comprenant :
- la préparation d’au moins deux images fournies par le dispositif de prise de vue, les images représentant au moins une scène commune prise de points de vue différents et la préparation d’un nuage de points 3D de la scène commune établi à l’aide des données fournies par le scanner laser et par l’unité de positionnement ;
- l’identification d’au moins un point homologue dans les images, le point homologue formant un même point de la scène commune ;
- une séquence d’optimisation pour déterminer au moins un paramètre d’étalonnage.

La séquence d’optimisation comprend au moins une itération des étapes suivantes :
- pour chaque image, identifier dans le nuage de point 3D au moins un point proche se projetant dans un voisinage du point homologue de l’image ;
- élaborer une mesure de la distance séparant les points proches respectivement associés aux images ;

- ajuster le paramètre d’étalonnage selon la mesure élaborée.

Un point du nuage de points 3D est censé se projeter, en l’absence de toute erreur de mesure, dans les différentes images fournies par le dispositif de prise de vue, en un même point commun d’une scène. L’invention tire astucieusement profit de cette observation pour déterminer, par l’intermédiaire d’une séquence d’optimisation mettant en œuvre un traitement numérique des images et du nuage de points 3D, au moins un paramètre d'étalonnage du dispositif de prise de vue assurant au mieux ce résultat.

Selon d’autres caractéristiques avantageuses et non limitatives de l’invention, prises seules ou selon toute combinaison techniquement réalisable :

au cours d’une première itération de la séquence d’optimisation, on utilise une valeur estimée en laboratoire des paramètres d’étalonnage ;
on dispose des paramètres d’étalonnage du dispositif scanner vis-à-vis de l’unité de positionnement et le paramètre d’étalonnage est une matrice de rotation et/ou un vecteur de translation reliant un repère associé au dispositif de prise de vue à un repère associé à l’unité de positionnement ;
le paramètre d’étalonnage est une matrice de rotation et/ou un vecteur de translation reliant un repère associé au dispositif de prise de vue à un repère associé au scanner laser ;
les deux images ont été acquises alors que le dispositif de mesure réalisait une trajectoire comportant une portion aller et une portion retour qui se correspondent ;
la préparation des images comprend la détermination de la localisation et de l’attitude du système de mesure à un instant de prise de vue de chaque image ;
l’étape d’identification d’au moins un point homologue comprend la détermination de points caractéristiques et de descripteurs de points caractéristiques ;
la séquence d’optimisation met en œuvre une méthode du simplexe, du gradient ou une méthode stochastique ;
l’identification d’au moins un point proche se projetant dans le voisinage du point homologue est réalisé en sélectionnant dans le nuage de points 3D celui se projetant au plus proche du point homologue ;
l’identification d’au moins un point proche se projetant dans le voisinage du point homologue est réalisé en sélectionnant dans le nuage de points 3D ceux se projetant dans un périmètre de R pixels autour du point homologue ;
l’élaboration de la mesure de la distance met en œuvre un calcul de barycentre des points proches associés à chaque image ;
l’élaboration de la mesure de la distance met en œuvre un calcul met en œuvre le calcul de la distance de Hausdorff entre les points proches des images.

D’autres caractéristiques et avantages de l’invention ressortiront de la description détaillée de l’invention qui va suivre en référence aux figures annexées sur lesquels :

La figure 1 représente un système de mesure pouvant tirer profit d'un procédé conforme à l'invention ;

La figure 2 représente un système de mesure porté par un véhicule au cours d’une campagne de mesure ;

La figure 3 représente schématiquement les paramètres d'étalonnage extrinsèque du système de mesure ;

Les figures 4a et 4b représentent schématiquement les principes sous-jacents d’un procédé conforme à l’invention ;

La figure 5 représente les principales étapes d’un procédé conforme à l’invention.

La figure 6 représente des images d’une scène commune prise de points de vue différents, au cours d’une campagne de mesure.

Système de mesure

La figure 1 représente un système de mesure 5 pouvant tirer profit d'un procédé conforme à l'invention. Ce système 5 comprend un scanner laser 2 et un dispositif de prise de vues 3. Le scanner laser 2 intègre ici une unité de positionnement 6 (désignée INS dans la suite de cet exposé, par souci de simplicité), apte à fournir des données de localisation (altitude, latitude, longitude) et d’attitude (cap, roulis et tangage) horodatées. A ce titre l’unité INS combine un dispositif de géolocalisation (de type GNSS) et un système de navigation inertiel. L’unité INS peut être associée à une antenne, par exemple portée par un véhicule sur lequel le système de mesure 5 repose. Les données de localisation et d’attitude peuvent être fournies de manière régulière dans le temps, par exemple toutes les 10 à 20 millisecondes. Le scanner laser 2, l’INS 6 et le dispositif de prise de vue 3 sont assemblés ensemble sans aucun degré de liberté, par l’intermédiaire d’un châssis 4 dans l’exemple représenté. Ils constituent ensemble un système de mesure 5 qui peut être placé sur un véhicule 1, par exemple par l’aide du châssis 4. Ils sont par ailleurs fonctionnellement reliés entre eux de manière à pouvoir échanger les informations nécessaires à leur fonctionnement. Le système de mesure 5 peut comprendre une source d’énergie, tel qu'une batterie, ou être lié à une telle source, par exemple lorsque celle-ci est portée par un véhicule.

En référence à la figure 2, le système de mesure 5 peut être associé un véhicule 1 tel qu’un engin volant pour mener une campagne de mesure. Le véhicule 1 se déplace selon une trajectoire t, au cours de laquelle le dispositif de prise de vue 3 peut être actionné pour réaliser des images J1, J2 d'une scène.

Au cours du déplacement du véhicule 1 le long de la trajectoire t, le scanner laser 2 collecte des données de distance en balayant la scène à l'aide d'un faisceau lumineux dont on collecte également l'orientation. Dans le même temps, l'unité INS 6 collecte les données de localisation et d'attitude du système de mesure 5.

Les données collectées par les différents dispositifs constituant le système de mesure 5 (images, distances et orientation du faisceau, localisation, attitude) sont toutes repérées dans le temps, grâce à des informations d’horodatage qui peuvent être par exemple fournies par l’horloge atomique GNSS de l’INS 6. Ces données peuvent être stockées dans le système 5 ou téléversées vers une station de base disposée à proximité de la scène. À ce titre, le système de mesure 5 peut comprendre ou être relié à une unité de télécommunication apte à échanger, téléverser ou télécharger, tout type de données avec cette station de base.

Les images J1, J2 sont référencées dans un premier repère 3’ associé au dispositif de prise de vue 3 et dont le centre est placé au centre optique de ce dispositif 3. On dispose des paramètres intrinsèques du dispositif de prise de vue 3, de sorte qu'il est possible de relier un point disposé dans le premier repère 3’ aux coordonnées d’un point ou d'un pixel d'une image.

Similairement, les données de distances collectées par le scanner laser 2 sont référencées dans un deuxième repère 2’ dont le centre est placé au centre optique du scanner 2. On dispose également des paramètres intrinsèques du scanner laser 2 de sorte qu'il est possible de relier les données de distance et d’orientation du faisceau de mesure à un point disposé dans le deuxième repère 2’.

Enfin, l'unité INS 6 est associée à un troisième repère dont elle forme le centre. Les données de localisation et d'attitude fournies par l'unité 6 permettent de repérer en position et en angle le système de mesure 5 dans un repère géoréférencé G.

Sur la figure 3, on a schématiquement représenté les paramètres extrinsèques d'étalonnage du système de mesure 5, c'est-à-dire les paramètres déterminant la transformation existante entre un repère 2’, 3’ associé à un dispositif 2, 3 du système et un repère absolu, formé ici du troisième repère 6’ associé à l'unité INS 6. Ainsi, le deuxième repère 2’ associé au scanner laser 2 est relié au troisième repère 6’ de l'unité INS 6 par un vecteur de translation T26 et une matrice de rotation R26. Similairement, le premier repère 3’ associé au dispositif de prise de vue 3 est relié au troisième repère 6’ par un vecteur de translation T36 et une matrice de rotation R36. Enfin, le premier repère 3’ est associé au deuxième repère 2’ par un vecteur de translation T32 et une matrice de rotation R32. Chaque couple (matrice de rotation, vecteur de translation) définit une pose relative entre deux éléments et forme des paramètres d'étalonnage extrinsèques du système de mesure 5.

L’exploitation des données collectées par l'ensemble des dispositifs 2, 3, 6 composant le système de mesure 5, fait appel aux paramètres d’étalonnage.

Ainsi, les données collectées par le scanner laser 2 sont d’abord repérées dans le deuxième repère 2’, puis projetées dans le troisième repère 6’ à l’aide des paramètres extrinsèques R26, T26 du scanner laser 2. On exploite ensuite les données fournies par l’INS pour repérer ces données dans le repère géoréférencé G. Comme on l’a indiqué en introduction de cette demande, les paramètres d'étalonnage R26, T26 du scanner laser 2 peuvent être établies avec précision à l’aide de l’une des méthodes connues de l’état de la technique.

Pour projeter les données, par exemple des données de couleur ou de température, fournies par les images J1, J2 sur le nuage de points 3D, on doit similairement disposer des paramètres d'étalonnage R32 T32 du dispositif de prise de vue 3. Ces paramètres d'étalonnage peuvent être estimés par mesure en laboratoire, par exemple en mesurant les distances et les angles séparant les différents éléments du système 5. Cette estimation n'offre toutefois pas la précision requise.

La suite de la présente description expose un procédé permettant d'établir simplement ces paramètres d'étalonnage.

On note en préambule que le système de mesure 5 étant constitué de l'assemblage rigide des dispositifs de mesure 2, 3, 6, on dispose de la relation suivante :

R36 = R32.R26*

T36 = T32+R32.T26

En conséquence, on pourra indifféremment choisir d’établir les paramètres d’étalonnage R36, T36 ou les paramètres d’étalonnage T32, R32, ces paramètres étant liés entre eux par les paramètres R26 et T26.

Procédé d’étalonnage

Les figures 4a et 4b représentent schématiquement les principes sous-jacents à ce procédé. Sur la figure 4a, on a représenté deux images J1, J2 d’une scène commune C. Ces images J1, J2 ont été établies par le dispositif de prise de vue 3, au cours du parcours d’une trajectoire t du système de mesure 5. La scène commune est donc représentée sur ces images selon des points de vue différents. Les projections de la scène commune C sur le nuage de points 3D à partir des images J1, J2 et à l’aide des paramètres d’étalonnage T36, R36 estimés du dispositif de prise de vue 3 fournissent respectivement deux ensembles de points 3D X, Y distincts les uns des autres. Or une même scène C devrait se projeter sur un même ensemble de points 3D du nuage de points, ou pour le moins sur un ensemble de points très proches les uns des autres. Un procédé conforme à l’invention met en œuvre une séquence d’optimisation visant à établir les paramètres d’étalonnage T36, R36 optimaux du dispositif de prise de vue 3, c’est-à-dire ceux permettant aux ensembles de points 3D X, Y de se recouvrir au mieux. Cette situation « optimale » est représentée sur la figure 4b.

En prérequis à la mise en œuvre de ce procédé, on a établi et on dispose des paramètres extrinsèques d'étalonnage R26, T26 du scanner laser 2 et des paramètres d'étalonnage intrinsèque du dispositif de prise de vue 3. Pour rappel, les paramètres intrinsèques du dispositif de prise de vue 3 permettent de relier ou projeter un point défini dans le premier repère 3’ dans un point ou un pixel d’une image fournie par ce dispositif 3.

On peut également disposer d'une première estimation, par exemple par mesure en laboratoire, des paramètres d’étalonnage R36, T36 du dispositif de prise de vue 3, bien que cette première estimation ne soit pas impérativement nécessaire.

Etape S1 de préparation des données

En référence à la figure 5, le procédé d'étalonnage comprend une première étape S1 de préparation de données.

Ces données peuvent avoir été collectées au cours d'une campagne préliminaire de mesure, par exemple en faisant décrire une trajectoire au véhicule 1 monté du système de mesure 5, comme on l'a présenté en référence à la figure 2.

Lors de la planification de cette campagne de mesure, on visera à choisir une trajectoire t permettant de collecter des données suffisamment riches et peu susceptibles de comporter des biais. Par exemple, on pourra choisir une trajectoire composée d'une portion aller et d'une portion retour qui se correspondent.

Au cours de cette campagne de mesure, on procède à l'acquisition d'images à l’aide du dispositif de prise de vue 2. On fait en sorte que certaines de ces images se chevauchent entre elles, c'est-à-dire qu'elles comprennent une scène commune. On planifiera la trajectoire et les instants de prise de vue de la campagne de mesure pour favoriser un tel chevauchement, comme c’est naturellement le cas lorsque la trajectoire est composée d'une portion aller et d'une portion retour qui se correspondent.

Il n'est pas nécessaire que le chevauchement des images résulte d’images prises consécutivement dans le temps. Par exemple, une première image prise au cours de la portion aller peut se chevaucher avec une image prise au cours de la portion retour du parcours.

Mais on cherche pour le moins à obtenir, parmi toutes les images réalisées pendant la campagne, une pluralité d'images représentant une scène commune prise de points de vue différents. Par « point de vue » on désigne la localisation du centre optique du dispositif de prise de vue dans le repère géoréférencé G, et/ou l’angle de visée de ce dispositif dans ce même repère. Au cours de la campagne de mesures, on procède également concomitamment à la réalisation des images, au relevé des mesures de distance à l'aide du scanner laser 2 et des informations de localisation et d'attitude à l'aide de l'unité INS 6.

A titre d’illustration, on a représenté sur la figure 6 un exemple de campagne de mesure. Au cours de cette campagne, l’engin volant 1 de la figure 2 équipé du système de mesure 5 se déplace le long de la trajectoire t. Ce parcours comprend une portion aller et une portion retour qui se correspondent et au cours desquels on a réalisé des images I à l’aide du dispositif de prise de vue 3. Parmi ces images, on a retenu 8 images J1-8 comportant toute une scène commune C. On a également relevé au cours de ce parcours les données fournies par le scanner laser 2 et l’unité INS 6.

Les données collectées pendant la campagne de mesure sont traitées au cours de la première étape S1 de préparation de données. Cette préparation comprend la sélection d'un jeu d'images (J1-I8 dans l’exemple de la figure 6) représentant une scène commune C prise de points de vue différents. Ce jeu d’images peut être formé d’un nombre N d’images, ce nombre étant supérieur à 2. Typiquement, on choisira un nombre N d’images compris entre 4 et 20.

Pour permettre de repérer précisément les images retenues dans le repère géoréférencé G, l'étape de préparation des données comprend la détermination des informations de localisation (altitude, latitude, longitude) et d’attitude (cap, roulis et tangage) du système de mesure 5 à l'instant de prise de vue de chaque image sélectionnée. On rappelle à ce propos que chaque image fournie par le dispositif de prise de vue 3 est horodatée, de sorte que l’on dispose de son instant de prise de vue. Pour établir une information très précise du positionnement et de l'attitude d’une image, on pourra établir une valeur de ces informations par interpolation entre deux données fournies par l'unité INS 6, respectivement celles positionnées dans le temps juste avant et juste après l'instant de prise de vue.

L'étape S1 de préparation des données comprend également l’élaboration du nuage de point 3D de la scène à partir des mesures fournies par le scanner laser 2. On exploite pour cela les paramètres extrinsèques T26, R26 du scanner laser 2 pour projeter les mesures réalisées dans le repère 6’ associé à l'unité INS 6. On utilise les données fournies par cette unité pour positionner les points du nuage 3D dans le repère géoréférencé G. Pour simplifier la suite des traitements, on peut traiter le nuage de points 3D pour en éliminer les points ne correspondant pas à la scène commune ou qui en sont très éloignés.

À l'issue de l'étape S1 de préparation, on dispose donc d'un nuage de points 3D comprenant au moins la scène commune. On dispose également d’un jeu d’images, formé d’un nombre N d’images, représentant la scène commune de points de vue différents. Chaque point de vue est identifié en position et en attitude.

Etape S2 d’identification de points homologues

L'étape S1 de préparation de données est suivie d'une étape S2 d'identification de points homologues dans les images du jeu d’images. Par « point homologue », on désigne un point de la scène commune qui apparait dans chaque image composant le jeu d’images. Un point homologue k est repéré dans chaque image i du jeu de N images par ses coordonnées (x^k _i, y^k _i) dans l’image i. On note que ces coordonnées peuvent être « subpixelaire », c’est à dire qu’un point homologue peut être placé dans un repère lié à l’image avec un résolution de placement supérieure à celle des pixels de l’image.

Par souci de simplicité d’expression, on désignera par « point homologue » indifféremment le point de la scène commune ou le point d’une image correspondant à ce point de la scène commune.

La recherche des points homologues dans un jeu d'images est une problématique bien connue du domaine du traitement d'images. Et la personne du métier dispose de nombreux algorithmes permettant de résoudre numériquement ce problème. Il peut ainsi s’agir des méthodes SIFT (« Scale Invariant Feature Transform »), SURF (« Speed Up Robust Feature »), ORB (« Oriented FAST and rotated BRIEF ») ou de tout autre méthode similaire. On pourra trouver une description détaillée de ces méthodes dans le document de Karami, Ebrahim & Prasad, Siva & Shehata, Mohamed. (2015). “Image Matching Using SIFT, SURF, BRIEF and ORB: Performance Comparison for Distorted Images”. Ces méthodes peuvent être mises en œuvre par ordinateur à l’aide de bibliothèques informatiques librement disponibles.

D’une manière générale, ces méthodes prévoient de relever, au cours d’une première étape, des points caractéristiques au sein des images et d’élaborer un descripteur de point caractéristique pour chacun des points relevés. Dans une étape suivante, les descripteurs des points caractéristiques d’une image sont mis en correspondance avec les descripteurs des points caractéristiques d’une autre image. Ainsi, pour chaque couple d'images Ii, Ij, du jeu de N images, on peut élaborer une structure de données comprenant, pour chaque correspondance identifiée entre ces deux images, un enregistrement {(x^k _i, y^k _i), (x^k _j, y^k _j)} des coordonnées du point k mis en correspondance. Typiquement, pour des images bien structurées, comme celles prises en milieu naturel, k peut être supérieur à 100, par exemple compris entre 100 à 5000.

Ces structures de données sont établies pour tous les couples possibles d’images. Pour améliorer la qualité de la mise en correspondance des points caractéristiques de chaque paire d’image, on peut appliquer un algorithme visant à éliminer les points aberrants de la structure de données et ne conserver qu'une structure réduite. Cet algorithme peut être du type RANSAC (« Random Sample Consensus »).

Elles peuvent être ensuite combinées entre elles pour former une structure de données combinées. Cette structure de donnée comprend une pluralité d’enregistrements, chaque enregistrement {{(x^l ₁, y^l ₁), …,(x^l _N, y^l _N)} recensant les coordonnées respectives des points des N images qui sont mutuellement en correspondance. Si une image ne comprend pas de point en correspondance, le champ correspondant dans l'enregistrement de la structure combinée peut être laissé vierge ou porter une marque permettant de repérer cette situation.

Pour obtenir au moins un point homologue, on sélectionne dans la structure de données combinées les enregistrements suffisamment renseignés, c’est-à-dire les enregistrements décrivant des points respectivement en correspondance dans M images du jeu de N images, M étant compris entre 2 et N. En d’autres termes, on sélectionne les enregistrements décrivant des points dans au moins 2 images du jeu d’images.

A l'issue de cette étape S2 d'identification, on dispose donc d'au moins un point homologue présent dans les images d'un jeu d'images formé d'au moins deux images. Ce point homologue correspond à un même point de la scène commune.

Typiquement, on disposera d’un jeu d’image formé d'une dizaine d'images, par exemple entre 4 et 20. La variable M pourra être choisie de l’ordre de 3. La structure de donnée de points homologues recense quant à elle typiquement plusieurs centaines de tels points, par exemple entre 50 et 500.

Etape S3 d’optimisation

Un procédé d'étalonnage du dispositif de prise de vue 3 exploite les informations précédentes au cours d’une étape S3 suivante d'optimisation.

Comme cela a déjà été énoncé en relation avec la description des figures 4a, 4b, l'idée sous-jacente à cette optimisation est que, en absence de toute erreur de mesure, les points homologues doivent par principe se projeter dans un même voisinage du nuage de point 3D. Comme on l’a vu, cette projection met en œuvre les paramètres d’étalonnage R36, T36 du dispositif de prise de vue 3. Dans un procédé conforme à l’invention, on cherche à déterminer par optimisation les paramètres d'étalonnage extrinsèques du dispositif de prise de vue 3 assurant au mieux ce résultat.

Cette optimisation peut être fondée sur toute approche numérique connue qui convient. Il peut s’agir d’une méthode d'optimisation dite « du simplex », d'une méthode à base de gradient, ou d'une méthode stochastique, par exemple par recuit simulé ou par algorithme génétique. Dans tous les cas, la méthode prévoit l'élaboration d'une fonction de coût calculée à partir d'une estimation du paramètre que l'on cherche à déterminer, ici au moins un paramètre d’étalonnage du système de mesure 5, et que l'on fait ensuite évoluer selon la valeur de coût calculée. On réitère cette séquence d’opérations pour converger vers une valeur de paramètre qui optimise la fonction de coût.

Dans un procédé conforme à l’invention, la séquence d’optimisation comprend au moins une itération d’étapes qui font l’objet de la description qui suit.

Au cours d’une première étape S31 de la séquence d’optimisation, on projette tout d'abord le nuage 3D dans chacune des images formant le jeu d'images retenues. Dans la pratique, on positionne en premier lieu chaque point du nuage de points 3D dans le premier repère 3’ associé au dispositif de prise de vue 3 et on utilise les paramètres intrinsèques du dispositif de prise de vue 3 pour projeter les points du nuage 3D dans ce repère sur chacune des images. Pour repérer les points du nuage 3D dans le premier repère 3’ on s’appuie sur les données de localisation et d’attitude associées à l’image en question et sur une valeur estimée des paramètres extrinsèques T36, R36 du dispositif de prise de vue 3. Cette valeur peut être celle estimée à l'issue de l'itération précédente. Pour la première itération, on pourra choisir une valeur estimée de ces paramètres telle qu’elle a pu être établie au cours d'une mesure préalable réalisée en laboratoire. Dans certains cas, par exemple lorsque l'optimisation met en œuvre une méthode stochastique, on peut choisir pour la première itération une valeur estimée aléatoire ou arbitraire.

Dans une étape suivante S32 de la séquence d'optimisation, on traite successivement les images pour identifier les points du nuage 3D qui se projettent dans le voisinage d’au moins un point homologue de l’image traitée. On constitue de la sorte, et pour chaque image, une liste de points du nuage 3D, ces points étant désignés « proches ». Dit autrement, on repère dans le nuage 3D des points proches qui se projettent à proximité immédiate des points homologues de l’image.

Il existe de multiples manières pour déterminer, pour chaque image, cette liste de points proches.

Ainsi et selon une première approche, on recherche parmi tous les points projetés du nuage de points 3D, celui qui se trouve le plus proche d’un point homologue choisi de l'image traitée. On place ensuite dans la liste des points proches le point du nuage 3D qui lui correspond, et on réitère cette opération pour tous les points homologues de l’image. Cette séquence est répétée pour toutes les images afin d’établir autant de listes de points proches que d’images.

Selon une approche alternative, on recherche parmi tous les points projetés du nuage de points 3D, tous ceux qui se trouvent dans un périmètre de R pixels autour d’un point homologue choisi de l’image traitée. Ce nombre de pixels R est typiquement compris entre 5 et 30, selon la densité spatiale du nuage de points 3D. On place ensuite dans la liste des points proches, les points retenus du nuage 3D, et on réitère cette opération comme dans la première approche pour tous les points homologues et pour toutes les images.

De préférence, et selon un mode de mise en œuvre préféré de cette approche alternative, on placera dans la liste des points proches les points retenus du nuage 3D uniquement si le nombre de points projetés dans le voisinage de R pixels d’un point homologue excède un seuil K prédéterminé (K pouvant être compris entre 5 et 30). On évite de cette manière de sélectionner dans la liste des points proches des points du nuage 3D isolés ou qui pourraient être du bruit, ou ne pas être représentatifs de la scène.

Quelle que soit l’approche retenue, on dispose à l’issue de cette étape et pour chaque image, d’une liste de points proches. Les points proches du nuage 3D correspondent approximativement à la projection des points homologues de l’image à laquelle la liste est associée, pour les paramètres d’étalonnage estimés.

Dans une étape suivante S33 de la séquence d’optimisation, on élabore une mesure de la distance séparant les listes de points proches entre elles. Il est entendu que dans un cadre purement théorique et idéal, en l’absence de toute erreur de mesure, cette distance devrait être réduite et rendue minimale lorsque la projection est opérée avec les paramètres d'étalonnage optimaux.

La mesure de la distance, qui forme la fonction de coût de la séquence d’optimisation, peut être élaborée de multiples manières. Il peut par exemple s'agir de calculer le barycentre des points proches de chaque liste. La fonction de coût peut alors correspondre à la combinaison (par exemple la somme) des distances euclidiennes séparant tous les couples possibles de barycentres. D’une manière générale, il s’agit de combiner (par exemple en faisant la somme ou le produit) la distance existante entre 2 listes de points proches, pour toutes les combinaisons possibles de couples de listes. La distance entre 2 listes de points proches peut être notamment définie comme une distance de Hausdorff. Dans le cas où la liste de points proches est composée d’un unique élément, la distance euclidienne peut être directement utilisée.

Dans une étape suivante S34 de la séquence d’optimisation, on ajuste les paramètres d'étalonnage selon la valeur de la mesure de distance qui vient d'être établie, en vue de l’optimiser. Cet ajustement peut dépendre de la méthode d'optimisation qui a été choisie. Elle peut correspondre l'établissement d'un gradient, d’une projection ou peut être aléatoire lorsque la méthode optimisations est fondée sur une approche stochastique.

Comment on l’a vue, la séquence d'optimisation est répétée de manière à déterminer les paramètres d’étalonnage du système de mesure 5, et notamment ceux du dispositif de prise de vue 3. On prévoit généralement un critère de fin CF qu’il faut satisfaire pour mettre fin à la répétition de la séquence d’optimisation. Ce critère peut correspondre à un nombre prédéterminé d'itérations, mais plus généralement, on cherchera à poursuivre ces itérations jusqu'à atteindre une valeur cible de coût (ici la valeur de distance) ou jusqu'à ce que l'évolution du coût et/ou des paramètres estimés n’évolue plus significativement entre deux itérations.

A l’issue du procédé, on dispose des paramètres extrinsèques d’étalonnage du dispositif de prise de vue 3.

Dans une variante de mise en œuvre du procédé d’étalonnage, on procède à une pluralité d’optimisations pour déterminer à chaque fois une partie seulement des paramètres d’étalonnage.

A titre d’exemple, on peut uniquement établir, au cours d’une première optimisation, la matrice de rotation R36 tout en maintenant fixe le vecteur de translation T36 au cours de l’étape S34 d’ajustement. On peut fixer ce vecteur à l’estimation grossière qui peut en être fait en laboratoire. Au cours d’une deuxième optimisation, on optimise uniquement la valeur du vecteur de translation T36, et on maintient fixe la valeur de la matrice de rotation R36, à la valeur obtenue à l’issue de la première séquence.

Quel que soit le nombre d’optimisations déployées au cours du procédé, les paramètres d’étalonnage obtenus peuvent être employés pour fusionner les données du système de mesure 5, lors des campagnes futures de mesure. On peut de la sorte fournir des nuages de points 3D, les points étant précisément associés à des informations, par exemple de couleur ou de température, extraites des images 2D fournies par le système de prise de vue 3.

On note que le procédé conforme à l’invention ne requiert pas de disposer d’une scène commune particulière (telle qu’une cible) et que n’importe quel objet ou repère identifiable dans les images peut être exploité. On note également que le procédé ne requiert pas d’établir des images de rémission à partir du scanner laser 2, et peut de ce point de vue être exploité pour une grande variété de scanners laser 2. On notera aussi que cette méthode ne nécessite pas de mettre directement en correspondance des points, formes ou objets caractéristiques entre les données fournies du scanner et celles des images 2D, un tel procédé étant particulièrement difficile à mettre en œuvre et peu fiable à cause de la nature hétérogènes des données manipulées.

Bien entendu l'invention n'est pas limitée au mode de mise en œuvre décrit et on peut y apporter des variantes de réalisation sans sortir du cadre de l'invention tel que défini par les revendications.

Claims

Procédé d’étalonnage d’un système de mesure (5) comprenant un dispositif de prise de vue (3), un scanner laser(2) et une unité de positionnement (6) le procédé comprenant :
- la préparation d’au moins deux images fournies par le dispositif de prise de vue (3), les images représentant au moins une scène commune prise de points de vue différents et la préparation d’un nuage de point 3D de la scène commune établi à l’aide des données fournies par le scanner laser (2) et par l’unité de positionnement (6) ;
- l’identification d’au moins un point homologue dans les images, le point homologue correspondant à un même point de la scène commune ;
- une séquence d’optimisation pour déterminer au moins un paramètre d’étalonnage, la séquence comprenant au moins une itération des étapes suivantes :
* pour chaque image, identifier dans le nuage de point 3D au moins un point proche se projetant dans un voisinage du point homologue de l’image ;
* élaborer une mesure de la distance séparant les points proches respectivement associés au point homologue des images ;
* ajuster le paramètre d’étalonnage selon la mesure élaborée.
Procédé d’étalonnage selon la revendication précédent dans lequel au cours d’une première itération de la séquence d’optimisation, on utilise une valeur estimée en laboratoire des paramètres d’étalonnage.
Procédé d’étalonnage selon l’une des revendications précédentes dans lequel on dispose des paramètres d’étalonnage du dispositif scanner (2) vis-à-vis de l’unité de positionnement (6) et pour lequel le paramètre d’étalonnage à déterminer est une matrice de rotation et/ou un vecteur de translation reliant un repère associé au dispositif de prise de vue à un repère associé à l’unité de positionnement.
Procédé d’étalonnage selon l’une des revendications 1 et 2, dans lequel le paramètre d’étalonnage est une matrice de rotation et/ou un vecteur de translation reliant un repère associé au dispositif de prise de vue à un repère associé au scanner laser.
Procédé d’étalonnage selon l’une des revendications précédentes dans lequel les deux images ont été acquise alors que le dispositif de mesure (5) réalise une trajectoire comportant une portion aller et une portion retour qui se correspondent.
Procédé d’étalonnage selon l’une des revendications précédentes dans lequel la préparation des images comprend la détermination de la localisation et de l’attitude du système de mesure (5) à un instant de prise de vue de chaque image.
Procédé d’étalonnage selon l’une des revendications précédentes dans lequel l’étape d’identification d’au moins un point homologue comprend la détermination de points caractéristiques et de descripteurs de points caractéristiques.
Procédé d’étalonnage selon l’une des revendications précédentes dans lequel la séquence d’optimisation met en œuvre une méthode du simplexe, du gradient ou une méthode stochastique.
Procédé d’étalonnage selon l’une des revendications précédentes dans lequel l’identification d’au moins un point proche se projetant dans le voisinage du point homologue est réalisé en sélectionnant dans le nuage de points 3D celui se projetant au plus proche du point homologue.
Procédé d’étalonnage selon l’une des revendications 1 à 8 dans lequel l’identification d’au moins un point proche se projetant dans le voisinage du point homologue est réalisé en sélectionnant dans le nuage de points 3D ceux se projetant dans un périmètre de R pixels autour du point homologue.
Procédé d’étalonnage selon l’une des revendications précédentes dans lequel l’élaboration de la mesure de la distance met en œuvre un calcul de barycentre des points proches associés à chaque image.
Procédé d’étalonnage selon l’une des revendications 1 à 10 dans lequel l’élaboration de la mesure de la distance met en œuvre un calcul de la distance de Hausdorff entre les points proches des images.