EP3999865A1 - Procede de determination de parametres d'etalonnage extrinseques d'un systeme de mesure - Google Patents

Procede de determination de parametres d'etalonnage extrinseques d'un systeme de mesure

Info

Publication number
EP3999865A1
EP3999865A1 EP20750308.7A EP20750308A EP3999865A1 EP 3999865 A1 EP3999865 A1 EP 3999865A1 EP 20750308 A EP20750308 A EP 20750308A EP 3999865 A1 EP3999865 A1 EP 3999865A1
Authority
EP
European Patent Office
Prior art keywords
point
images
points
calibration
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20750308.7A
Other languages
German (de)
English (en)
Inventor
Quentin PENTEK
Tristan ALLOUIS
Christophe FIORIO
Olivier STRAUSS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yellowscan
Centre National de la Recherche Scientifique CNRS
Universite de Montpellier
Original Assignee
Yellowscan
Centre National de la Recherche Scientifique CNRS
Universite de Montpellier
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yellowscan, Centre National de la Recherche Scientifique CNRS, Universite de Montpellier filed Critical Yellowscan
Publication of EP3999865A1 publication Critical patent/EP3999865A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a method for determining extrinsic calibration parameters of a measuring system comprising a camera and a laser scanner.
  • a laser scanner (sometimes also designated by the term “LIDAR”) is a telemetry device making it possible to provide, in the form of a 3D point cloud, the profile or the contour of objects constituting a scene.
  • the laser scanner emits a light beam which is reflected by an object in the scene.
  • the distance separating the optical emission center of the scanner to the point of reflection on the illuminated object is determined from the time of flight, i.e. the time separating the emission of the beam from the reception of the reflected beam .
  • the laser scanner is sometimes provided with means making it possible to orient the beam in a determined direction, for example a rotating mirror, the movement of which makes it possible to scan part of the scene with the beam.
  • the laser scanner can be carried for example by a vehicle, such as a motor vehicle or a flying machine, which is capable of moving. In this way, the distance information separating the laser scanner from objects in the scene can be collected, even when this scene is geographically extensive.
  • the laser scanner is associated with a positioning unit making it possible to geolocate it and to determine its attitude. We can then combine the distance information provided by the laser scanner with that provided by the unit (position, attitude) to develop the 3D point cloud. Each point of the cloud can be placed in a georeferenced coordinate system. In this way, the contour and / or the profile of the objects of the scene is reconstituted.
  • Some measurement systems also include, in addition to the laser scanner and the positioning unit, an image pickup device (for example a camera, an image sensor, a camera).
  • an image pickup device for example a camera, an image sensor, a camera.
  • a shooting device captures light radiation coming from the scene in a given spectral domain to form a 2D image.
  • the spectral domain can be that of the visible and it is thus possible to collect information on the color and / or texture of the scene. It is possible that the spectral domain is different, for example in the infrared domain to collect temperature information.
  • An aim of the invention is to provide an alternative method to that proposed in the state of the art, which does not require the elaboration of remission images. More generally, the invention proposes a method for calibrating a measuring system which is simple to implement and which can be applied to a measuring system integrating a wide variety of laser scanners.
  • the object of the invention proposes a method for calibrating a system comprising a camera device, a laser scanner and a positioning unit, the method comprising:
  • the image pickup device preparing at least two images provided by the image pickup device, the images representing at least one common scene taken from different points of view and preparing a 3D point cloud of the common scene established using data supplied by the laser scanner and by the positioning unit;
  • the optimization sequence includes at least one iteration of the following steps:
  • a point of the 3D point cloud is supposed to be projected, in the absence of any measurement error, in the different images provided by the shooting device, at the same common point of a scene.
  • the invention cleverly takes advantage of this observation to determine, by means of an optimization sequence implementing digital processing of the images and of the 3D point cloud, at least one calibration parameter of the recording device. view ensuring this result at best.
  • the calibration parameter is a rotation matrix and / or a translation vector connecting a reference mark associated with the shooting device to a mark associated with the positioning unit;
  • the calibration parameter is a rotation matrix and / or a translation vector connecting a mark associated with the image pickup device to a mark associated with the laser scanner;
  • the two images were acquired while the measuring device was making a trajectory comprising a forward portion and a return portion which correspond to each other;
  • the preparation of the images comprises determining the location and the attitude of the measurement system at a time when each image is taken;
  • the step of identifying at least one homologous point comprises determining characteristic points and characteristic point descriptors;
  • the optimization sequence implements a simplex, gradient or stochastic method
  • the identification of at least one close point projecting into the vicinity of the homologous point is carried out by selecting in the 3D point cloud the one projecting closest to the homologous point;
  • the identification of at least one close point projecting in the vicinity of the homologous point is carried out by selecting from the 3D point cloud those projecting in a perimeter of R pixels around the homologous point;
  • the development of the distance measurement implements a calculation of the barycenter of the close points associated with each image
  • the development of the distance measurement implements a calculation implements the calculation of the Hausdorff distance between the points close to the images.
  • FIG. 1 shows a measuring system that can benefit from a method according to the invention
  • FIG. 2 represents a measurement system carried by a vehicle during a measurement campaign
  • Figure 3 schematically represents the extrinsic calibration parameters of the measurement system
  • Figure 5 shows the main steps of a method according to the invention.
  • FIG. 6 represents images of a common scene taken from different points of view, during a measurement campaign.
  • FIG. 1 represents a measuring system 5 which can take advantage of a method according to the invention.
  • This system 5 comprises a laser scanner 2 and a picture taking device 3.
  • the laser scanner 2 here incorporates a positioning unit 6 (designated INS in the remainder of this description, for the sake of simplicity), capable of supplying measurement data.
  • location altitude, latitude, longitude
  • attitude heading, roll and pitch
  • the INS unit combines a geolocation device (of the GNSS type) and an inertial navigation system.
  • the INS unit can be associated with an antenna, for example carried by a vehicle on which the measurement system 5 rests.
  • the location and attitude data can be provided on a regular basis over time, for example every 10 to 20 milliseconds.
  • the laser scanner 2, the INS 6 and the imaging device 3 are assembled together without any degree of freedom, by means of a frame 4 in the example shown. Together they constitute a measuring system 5 which can be placed on a vehicle 1, for example by means of the chassis 4. They are moreover functionally linked to one another so as to be able to exchange the information necessary for their operation.
  • the measuring system 5 can comprise an energy source, such as a battery, or be linked to such a source, for example when the latter is carried by a vehicle.
  • the measurement system 5 can be associated with a vehicle 1 such as a flying machine to carry out a measurement campaign.
  • vehicle 1 moves along a path t, during which the shooting device 3 can be actuated to produce images J1, J2 of a scene.
  • the laser scanner 2 collects distance data by scanning the scene using a light beam, the orientation of which is also collected.
  • the INS unit 6 collects the location and attitude data from the measurement system 5.
  • the data collected by the various devices constituting the measurement system 5 are all identified in time, thanks to time-stamping information which can be provided for example by the clock.
  • These data can be stored in the system 5 or uploaded to a base station placed near the stage.
  • the measurement system 5 can include or be linked to a telecommunications unit capable of exchanging, uploading or downloading any type of data with this base station.
  • the images J1, J2 are referenced in a first reference 3 'associated with the shooting device 3 and the center of which is placed at the optical center of this device 3.
  • the intrinsic parameters of the shooting device 3 are available, so that it is possible to connect a point arranged in the first reference 3 'to the coordinates of a point or of a pixel of an image.
  • the distance data collected by the laser scanner 2 are referenced in a second reference mark 2, the center of which is placed at the optical center of the scanner 2.
  • the intrinsic parameters of the laser scanner 2 are also available so that it is possible to link the distance and orientation data of the measuring beam at a point arranged in the second mark 2 '.
  • the INS unit 6 is associated with a third reference point of which it forms the center.
  • the location and attitude data supplied by unit 6 make it possible to locate the measurement system 5 in position and angle in a georeferenced reference G.
  • FIG. 3 there is schematically represented the extrinsic parameters of calibration of the measurement system 5, that is to say the parameters determining the transformation existing between a mark 2 ', 3' associated with a device 2, 3 of the system and an absolute mark, formed here of the third mark 6 'associated with the INS 6 unit.
  • the second mark 2' associated with the laser scanner 2 is linked to the third mark 6 'of the INS unit 6 by a vector of translation T26 and a rotation matrix R26.
  • the first mark 3 'associated with the shooting device 3 is connected to the third mark 6' by a translation vector T36 and a rotation matrix R36.
  • the first reference 3 ' is associated with the second reference 2 by a translation vector T32 and a rotation matrix R32.
  • Each pair (rotation matrix, translation vector) defines a relative pose between two elements and forms extrinsic calibration parameters of the measurement system 5.
  • the data collected by the laser scanner 2 are first identified in the second mark 2 ', then projected into the third mark 6' using the extrinsic parameters R26, T26 of the laser scanner 2.
  • the data is then used. provided by the INS to locate these data in the georeferenced coordinate system G.
  • the calibration parameters R26, T26 of the laser scanner 2 can be established with precision using the one of the methods known from the state of the art.
  • T36 T32 + R32.
  • FIG. 4a two images J1, J2 of a common scene C. have been represented. These images J1, J2 were established by the shooting device 3, during the course of a trajectory t of the measuring system 5. The common scene is therefore represented on these images from different points of view.
  • the projections of the common scene C on the 3D point cloud from the images J1, J2 and using the estimated calibration parameters T36, R36 of the imaging device 3 respectively provide two sets of 3D points X, Y distinct from each other.
  • the same scene C should be projected onto the same set of 3D points of the point cloud, or at least onto a set of points very close to each other.
  • a method according to the invention implements an optimization sequence aiming to establish the optimal calibration parameters T36, R36 of the imaging device 3, that is to say those allowing the sets of 3D points X , Y to cover up as well as possible.
  • This "optimal" situation is shown in Figure 4b.
  • the extrinsic calibration parameters R26, T26 of the laser scanner 2 and the intrinsic calibration parameters of the imaging device 3 have been established and have available.
  • the parameters intrinsic of the shooting device 3 make it possible to connect or project a point defined in the first reference mark 3 'in a point or a pixel of an image supplied by this device 3.
  • the calibration method comprises a first step S1 of data preparation.
  • trajectory t makes it possible to collect data that is sufficiently rich and unlikely to include bias. For example, we can choose a trajectory made up of an outward portion and a return portion which correspond to each other.
  • Image overlap need not result from images taken consecutively over time.
  • a first image taken during the outward portion may overlap with an image taken during the return portion of the route.
  • the term “point of view” denotes the location of the optical center of the shooting device in the georeferenced frame of reference G, and / or the angle of sight of this device in this same frame.
  • the images are also taken simultaneously, the distance measurements are recorded using the laser scanner 2 and location and attitude information using the INS unit. 6.
  • FIG. 6 shows an example of a measurement campaign.
  • the flying machine 1 of FIG. 2 equipped with the measuring system 5 moves along the trajectory t.
  • This route includes a forward portion and a return portion which correspond to each other and during which I images were produced using the shooting device 3.
  • 8 Jl-8 images were selected comprising a whole common scene C.
  • the data collected during the measurement campaign are processed during the first step SI of data preparation.
  • This preparation comprises the selection of a set of images (J1-I8 in the example of FIG. 6) representing a common scene C taken from different points of view.
  • This set of images can be formed from a number N of images, this number being greater than 2. Typically, a number N of images between 4 and 20 will be chosen.
  • the data preparation step comprises determining the location information (altitude, latitude, longitude) and attitude (heading, roll and pitch) of the measurement system 5 at the shooting instant of each selected image. It is recalled in this connection that each image provided by the shooting device 3 is time-stamped, so that its instant of shooting is available. To establish very precise information on the positioning and attitude of an image, a value of this information can be established by interpolation between two data supplied by the INS 6 unit, respectively those positioned in time just before and just after. the moment of shooting.
  • the data preparation step SI also includes the development of the 3D point cloud of the scene from the measurements provided by the laser scanner 2.
  • the extrinsic parameters T26, R26 of the laser scanner 2 are used to project the measurements. carried out in the reference 6 'associated with the INS 6 unit.
  • the data provided by this unit is used to position the points of the 3D cloud in the georeferenced reference G.
  • the 3D point cloud can be processed to eliminate the points which do not correspond to the common scene or which are very far from it.
  • there is therefore a 3D point cloud comprising at least the common scene.
  • the data preparation step S1 is followed by a step S2 for identifying homologous points in the images of the set of images.
  • the term “homologous point” denotes a point of the common scene which appears in each image making up the set of images.
  • a homologous point k is identified in each image i of the set of N images by its coordinates (x k i, y k i) in the image i. It is noted that these coordinates can be “subpixelar”, that is to say that a homologous point can be placed in a frame linked to the image with a placement resolution higher than that of the pixels of the image.
  • homologous point will be used interchangeably with the point of the common scene or the point of an image corresponding to this point of the common scene.
  • these methods provide for recording, during a first step, characteristic points within the images and developing a characteristic point descriptor for each of the points recorded.
  • the descriptors of the characteristic points of an image are put in correspondence with the descriptors of the characteristic points of another image.
  • a data structure comprising, for each correspondence identified between these two images, a record ⁇ (x k i, y k i), ( x k j, y k j) ⁇ coordinates of the mapped point k.
  • k can be greater than 100, for example between 100 to 5000.
  • This data structure comprises a plurality of records, each record ⁇ (x k i, y, ..., (x k N , y ⁇ ) listing the respective coordinates of the points of the N images which are mutually in correspondence. image does not include a corresponding point, the corresponding field in the record of the combined structure can be left blank or bear a mark to identify this situation.
  • one selects in the combined data structure the sufficiently informed records, that is to say the records describing points respectively in correspondence in M images of the set of N images, M being between 2 and N.
  • the records describing points in at least 2 images of the set of images are selected.
  • the variable M can be chosen of the order of 3.
  • the data structure of homologous points identifies as to it typically several hundred such points, for example between 50 and 500.
  • a method for calibrating the imaging device 3 uses the preceding information during a following optimization step S3.
  • this optimization is that, in the absence of any measurement error, the homologous points must in principle be projected in the same neighborhood of the 3d point cloud. As we have seen, this projection implements the calibration parameters R36, T36 of the shooting device 3. In a method in accordance with the invention, an attempt is made to determine by optimization the extrinsic calibration parameters of the shooting device 3 which best ensure this result.
  • This optimization can be based on any known numerical approach that is suitable. It may be a so-called “simplex” optimization method, a gradient-based method, or a stochastic method, for example by simulated annealing or by a genetic algorithm. In all cases, the method provides for the development of a cost function calculated from an estimate of the parameter that one seeks to determine, here at least one calibration parameter of the measurement system 5, and that one then changes according to the calculated cost value. This sequence of operations is reiterated to converge to a parameter value which optimizes the cost function.
  • the optimization sequence comprises at least one iteration of steps which are the subject of the following description.
  • the 3D cloud is first projected into each of the images forming the set of images selected.
  • each point of the 3D point cloud is first positioned in the first frame 3 'associated with the shooting device 3 and the intrinsic parameters of the shooting device 3 are used to project the points of the 3D cloud in this mark on each of the images.
  • T36, R36 of the shooting device 3 we rely on the location and attitude data associated with the image in question and on an estimated value of the extrinsic parameters T36, R36 of the shooting device 3. This value can be the one estimated at the end of from the previous iteration.
  • the first iteration it is possible to choose an estimated value of these parameters such as could be established during a preliminary measurement carried out in the laboratory.
  • an estimated value of these parameters such as could be established during a preliminary measurement carried out in the laboratory.
  • a random or arbitrary estimated value can be chosen for the first iteration.
  • the images are successively processed in order to identify the points of the 3D cloud which are projected in the vicinity of at least one homologous point of the processed image.
  • a list of points of the 3D cloud is constituted, these points being designated “close”.
  • one searches among all the projected points of the 3D point cloud, the one which is closest to a chosen homologous point of the processed image.
  • One places in the list of close points the point of the 3D cloud which corresponds to it, and one reiterates this operation for all the homologous points of the image.
  • This sequence is repeated for all the images in order to establish as many lists of close points as there are images.
  • one searches among all the projected points of the 3D point cloud, all those which are in a perimeter of R pixels around a chosen homologous point of the processed image.
  • This number of pixels R is typically between 5 and 30, depending on the spatial density of the 3D point cloud.
  • the selected points of the 3D cloud will be placed in the list of close points only if the number of points projected in the vicinity of R pixels of a homologous point exceeds a predetermined threshold K (K may be between 5 and 30).
  • K may be between 5 and 30.
  • the points close to the 3D cloud correspond approximately to the projection of the homologous points of the image to which the list is associated, for the estimated calibration parameters.
  • step S33 of the optimization sequence a measurement of the distance separating the lists of points close to each other is produced. It is understood that in a purely theoretical and ideal framework, in the absence of any measurement error, this distance should be reduced and minimized when the projection is operated with the optimal calibration parameters.
  • the distance measure which forms the cost function of the optimization sequence, can be developed in a number of ways. It may for example be a matter of calculating the barycenter of the points close to each list.
  • the cost function can then correspond to the combination (for example the sum) of the Euclidean distances separating all the possible pairs of barycenters. In general, it is a question of combining (for example by making the sum or the product) the existing distance between 2 lists of close points, for all the possible combinations of couples of lists.
  • the distance between 2 lists of close points can in particular be defined as a Hausdorff distance. If the list of near points is made up of a single element, the Euclidean distance can be used directly.
  • the calibration parameters are adjusted according to the value of the distance measurement which has just been established, with a view to optimizing it. This adjustment may depend on the optimization method that has been chosen. It can correspond to the establishment of a gradient, a projection or can be random when the optimizations method is based on a stochastic approach.
  • the optimization sequence is repeated so as to determine the calibration parameters of the measuring system 5, and in particular those of the imaging device 3.
  • This criterion can correspond to a predetermined number of iterations, but more generally, we will seek to continue these iterations until reaching a target cost value (here the distance value) or until the evolution of the cost and / or the estimated parameters no longer evolve significantly between two iterations.
  • the extrinsic parameters for calibrating the imaging device 3 are available.
  • a plurality of optimizations are carried out to determine each time only part of the calibration parameters.
  • the calibration parameters obtained can be used to merge the data from the measurement system 5, during future measurement campaigns.
  • 3D point clouds the points being precisely associated with information, for example of color or temperature, extracted from the 2D images supplied by the shooting system 3.
  • the method according to the invention does not require having a particular common scene (such as a target) and that any object or marker identifiable in the images can be used. It is also noted that the method does not require establishing remission images from the laser scanner 2, and can from this point of view be used for a wide variety of laser scanners 2. It will also be noted that this method does not require to directly match points, shapes or characteristic objects between the data supplied from the scanner and those of the 2D images, such a process being particularly difficult to implement and unreliable because of the heterogeneous nature of the data handled.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

L'invention porte sur un procédé d'étalonnage d'un système de mesure (5) comprenant un dispositif de prise de vue (3), un scanner laser(2) et une unité de positionnement (6). Le procédé comprend la préparation d'au moins deux images fournies par le dispositif de prise de vue (3) et la préparation d'un nuage de point 3D; l'identification d'au moins un point homologue dans les images et une séquence d'optimisation pour déterminer au moins un paramètre d'étalonnage du système de mesure (5). La séquence comprend au moins une itération des étapes suivantes : * pour chaque image, identifier dans le nuage de point 3D au moins un point proche se projetant dans un voisinage du point homologue de l'image; * élaborer une mesure de la distance séparant les points proches respectivement associés aux images; * ajuster le paramètre d'étalonnage selon la mesure élaborée.

Description

PROCEDE DE DETERMINATION DE PARAMETRES D'ETALONNAGE
EXTRINSEQUES D'UN SYSTEME DE MESURE
DOMAINE DE L' INVENTION
La présente invention concerne un procédé de détermination de paramètres d'étalonnage extrinsèques d'un système de mesure comprenant un dispositif de prise de vue et un scanner laser.
ARRIERE PLAN TECHNOLOGIQUE DE L' INVENTION
Un scanner laser (parfois également désignée par le terme « LIDAR ») est un dispositif de télémétrie permettant de fournir, sous la forme d'un nuage de points 3D, le profil ou le contour d'objets constituant une scène. Le scanner laser émet un faisceau lumineux qui est réfléchi par un objet de la scène. La distance séparant le centre optique d'émission du scanner au point de réflexion sur l'objet illuminé est déterminée à partir du temps de vol, c'est-à-dire du temps séparant l'émission du faisceau de la réception du faisceau réfléchi.
Le scanner laser et parfois muni de moyens permettant d'orienter le faisceau selon une direction déterminée, par exemple un miroir tournant, dont le mouvement permet de balayer une partie de la scène avec le faisceau. Par ailleurs, le scanner laser peut être porté par exemple par un véhicule, tel qu'un véhicule automobile ou un engin volant, qui est susceptible de se déplacer. On peut collecter de la sorte les informations de distance séparant le scanner laser des objets de la scène, même lorsque cette scène est géographiquement étendue.
Dans un tel système de mesure, le scanner laser est associé à une unité de positionnement permettant de le géolocaliser et d'en déterminer l'attitude. On peut alors combiner les informations de distance fournies par le scanner laser à celles fournies par l'unité (position, attitude) pour élaborer le nuage de points 3D. Chaque point du nuage peut être placé dans un repère géoréférencé . On reconstitue de la sorte le contour et/ou le profil des objets de la scène.
Comme cela est documenté dans l'article « About the calibration of LIDAR sensors », de R. Katzenbeisser, ISPRS Workshop "3-D Reconstruction form Airborne Laser-Scanner and InSAR data », 2003 cette combinaison d'information requiert un étalonnage très précis du système de mesure. Cet étalonnage précis impose notamment de déterminer la pose relative entre l'unité de géolocalisation et le scanner laser. Il existe de nombreuses méthodes permettant de réaliser cet étalonnage, et l'on pourra à ce propos se référer à l'article « Synchronisation et calibrage d'un LIDAR 3D et d'une centrale inertielle pour la localisation précise d'un véhicule autonome » de P. MERRIAUX et al, Journées scientifiques d ' URSI -France (Géolocalisation et Navigation dans l'Espace et le Temps), Mars 2018, Meudon, France.
Certains systèmes de mesures comprennent également, outre le scanner laser et l'unité de positionnement, un dispositif de prise de vue (par exemple un appareil photo, un capteur d'image, une caméra) . D'une manière générale un tel dispositif de prise de vue capte un rayonnement lumineux en provenance de la scène dans un domaine spectral donné pour former une image 2D. Le domaine spectral peut être celui du visible et on peut ainsi collecter des informations de couleur et/ou de texture de la scène. Il est possible que le domaine spectral soit autre, par exemple dans le domaine de l'infrarouge pour collecter des informations de température. Quelle que soit la nature des images 2D fournies par le dispositif de prise de vue embarqué dans le système de mesure, on cherche généralement à fusionner les informations comprises dans les images à celle du nuage de points 3D élaboré à partir des données fournies par le scanner laser, pour associer une information, par exemple de couleur ou de température, aux points du nuage 3D.
Pour permettre la fusion de ces données, il est nécessaire de déterminer la position relative entre le dispositif de prise de vue et le scanner laser, c'est-à-dire la position et l'orientation de l'un de ces éléments dans un repère associé à l'autre élément.
Le document US2018315214 propose une solution visant à résoudre ce problème d'étalonnage qui n'est toutefois pas entièrement satisfaisante. Cette solution nécessite tout d'abord d'élaborer des images dites « de rémission » formées à partir de l'intensité du faisceau de retour du scanner laser et de mettre directement en correspondance les images de rémission avec celles fournies par le dispositif de prise de vue. Or, ces informations d'intensité ne sont pas toujours disponibles et/ou d'une qualité suffisante. De plus, pour rendre la solution suffisamment précise, les images de rémission doivent présenter une résolution spatiale élevée. Dans la pratique, le procédé de détermination de paramètres d'étalonnage proposé par ce document est réservé à des systèmes de mesure comprenant un scanner laser très spécifique.
OBJET DE L' INVENTION
Un but de l'invention est de proposer une méthode alternative à celle proposée dans l'état de la technique, qui ne nécessite pas l'élaboration d'images de rémission. D'une manière plus générale, l'invention propose un procédé d'étalonnage d'un système de mesure qui soit simple à mettre en œuvre et qui puisse s'appliquer à un système de mesure intégrant une grande variété de scanners laser.
BREVE DESCRIPTION DE L' INVENTION
En vue de la réalisation de ce but, l'objet de l'invention propose un procédé d'étalonnage d'un système comprenant un dispositif de prise de vue, un scanner laser et une unité de positionnement, le procédé comprenant :
la préparation d' au moins deux images fournies par le dispositif de prise de vue, les images représentant au moins une scène commune prise de points de vue différents et la préparation d'un nuage de points 3D de la scène commune établi à l'aide des données fournies par le scanner laser et par l'unité de positionnement ;
- l'identification d'au moins un point homologue dans les images, le point homologue formant un même point de la scène commune ; une séquence d'optimisation pour déterminer au moins un paramètre d'étalonnage.
La séquence d'optimisation comprend au moins une itération des étapes suivantes :
- pour chaque image, identifier dans le nuage de point 3D au moins un point proche se projetant dans un voisinage du point homologue de l'image ;
- élaborer une mesure de la distance séparant les points proches respectivement associés aux images ;
- ajuster le paramètre d'étalonnage selon la mesure élaborée.
Un point du nuage de points 3D est censé se projeter, en l'absence de toute erreur de mesure, dans les différentes images fournies par le dispositif de prise de vue, en un même point commun d'une scène. L'invention tire astucieusement profit de cette observation pour déterminer, par l'intermédiaire d'une séquence d'optimisation mettant en œuvre un traitement numérique des images et du nuage de points 3D, au moins un paramètre d'étalonnage du dispositif de prise de vue assurant au mieux ce résultat .
Selon d'autres caractéristiques avantageuses et non limitatives de l'invention, prises seules ou selon toute combinaison techniquement réalisable :
- au cours d'une première itération de la séquence d'optimisation, on utilise une valeur estimée en laboratoire des paramètres d'étalonnage ;
- on dispose des paramètres d'étalonnage du dispositif scanner vis-à-vis de l'unité de positionnement et le paramètre d'étalonnage est une matrice de rotation et/ou un vecteur de translation reliant un repère associé au dispositif de prise de vue à un repère associé à l'unité de positionnement ;
- le paramètre d'étalonnage est une matrice de rotation et/ou un vecteur de translation reliant un repère associé au dispositif de prise de vue à un repère associé au scanner laser ;
- les deux images ont été acquises alors que le dispositif de mesure réalisait une trajectoire comportant une portion aller et une portion retour qui se correspondent ;
- la préparation des images comprend la détermination de la localisation et de l'attitude du système de mesure à un instant de prise de vue de chaque image ; - l'étape d'identification d'au moins un point homologue comprend la détermination de points caractéristiques et de descripteurs de points caractéristiques ;
- la séquence d'optimisation met en œuvre une méthode du simplexe, du gradient ou une méthode stochastique ;
- l'identification d'au moins un point proche se projetant dans le voisinage du point homologue est réalisé en sélectionnant dans le nuage de points 3D celui se projetant au plus proche du point homologue ;
- l'identification d'au moins un point proche se projetant dans le voisinage du point homologue est réalisé en sélectionnant dans le nuage de points 3D ceux se projetant dans un périmètre de R pixels autour du point homologue ;
- l'élaboration de la mesure de la distance met en œuvre un calcul de barycentre des points proches associés à chaque image ;
- l'élaboration de la mesure de la distance met en œuvre un calcul met en œuvre le calcul de la distance de Hausdorff entre les points proches des images.
BREVE DESCRIPTION DES FIGURES
D'autres caractéristiques et avantages de l ' invention ressortiront de la description détaillée de l'invention qui va suivre en référence aux figures annexées sur lesquels :
• La figure 1 représente un système de mesure pouvant tirer profit d'un procédé conforme à l'invention ; • La figure 2 représente un système de mesure porté par un véhicule au cours d'une campagne de mesure ;
• La figure 3 représente schématiquement les paramètres d'étalonnage extrinsèque du système de mesure ;
• Les figures 4a et 4b représentent schématiquement les principes sous-jacents d'un procédé conforme à l'invention ;
• La figure 5 représente les principales étapes d'un procédé conforme à l'invention.
• La figure 6 représente des images d'une scène commune prise de points de vue différents, au cours d'une campagne de mesure .
DESCRIPTION DETAILLEE DE L' INVENTION
Système de mesure
La figure 1 représente un système de mesure 5 pouvant tirer profit d'un procédé conforme à l'invention. Ce système 5 comprend un scanner laser 2 et un dispositif de prise de vues 3. Le scanner laser 2 intègre ici une unité de positionnement 6 (désignée INS dans la suite de cet exposé, par souci de simplicité) , apte à fournir des données de localisation (altitude, latitude, longitude) et d'attitude (cap, roulis et tangage) horodatées . A ce titre l'unité INS combine un dispositif de géolocalisation (de type GNSS) et un système de navigation inertiel. L'unité INS peut être associée à une antenne, par exemple portée par un véhicule sur lequel le système de mesure 5 repose. Les données de localisation et d'attitude peuvent être fournies de manière régulière dans le temps, par exemple toutes les 10 à 20 millisecondes. Le scanner laser 2, l' INS 6 et le dispositif de prise de vue 3 sont assemblés ensemble sans aucun degré de liberté, par l'intermédiaire d'un châssis 4 dans l'exemple représenté. Ils constituent ensemble un système de mesure 5 qui peut être placé sur un véhicule 1, par exemple par l'aide du châssis 4. Ils sont par ailleurs fonctionnellement reliés entre eux de manière à pouvoir échanger les informations nécessaires à leur fonctionnement. Le système de mesure 5 peut comprendre une source d'énergie, tel qu'une batterie, ou être lié à une telle source, par exemple lorsque celle-ci est portée par un véhicule.
En référence à la figure 2, le système de mesure 5 peut être associé un véhicule 1 tel qu'un engin volant pour mener une campagne de mesure. Le véhicule 1 se déplace selon une trajectoire t, au cours de laquelle le dispositif de prise de vue 3 peut être actionné pour réaliser des images J1 , J2 d'une scène .
Au cours du déplacement du véhicule 1 le long de la trajectoire t, le scanner laser 2 collecte des données de distance en balayant la scène à l'aide d'un faisceau lumineux dont on collecte également l'orientation. Dans le même temps, l'unité INS 6 collecte les données de localisation et d'attitude du système de mesure 5.
Les données collectées par les différents dispositifs constituant le système de mesure 5 (images, distances et orientation du faisceau, localisation, attitude) sont toutes repérées dans le temps, grâce à des informations d'horodatage qui peuvent être par exemple fournies par l'horloge atomique GNSS de l' INS 6. Ces données peuvent être stockées dans le système 5 ou téléversées vers une station de base disposée à proximité de la scène. À ce titre, le système de mesure 5 peut comprendre ou être relié à une unité de télécommunication apte à échanger, téléverser ou télécharger, tout type de données avec cette station de base.
Les images J1 , J2 sont référencées dans un premier repère 3' associé au dispositif de prise de vue 3 et dont le centre est placé au centre optique de ce dispositif 3. On dispose des paramètres intrinsèques du dispositif de prise de vue 3, de sorte qu'il est possible de relier un point disposé dans le premier repère 3' aux coordonnées d'un point ou d'un pixel d'une image.
Similairement, les données de distances collectées par le scanner laser 2 sont référencées dans un deuxième repère 2 dont le centre est placé au centre optique du scanner 2. On dispose également des paramètres intrinsèques du scanner laser 2 de sorte qu'il est possible de relier les données de distance et d' orientation du faisceau de mesure à un point disposé dans le deuxième repère 2' .
Enfin, l'unité INS 6 est associée à un troisième repère dont elle forme le centre. Les données de localisation et d'attitude fournies par l'unité 6 permettent de repérer en position et en angle le système de mesure 5 dans un repère géoréférencé G.
Sur la figure 3, on a schématiquement représenté les paramètres extrinsèques d'étalonnage du système de mesure 5, c'est-à-dire les paramètres déterminant la transformation existante entre un repère 2' , 3' associé à un dispositif 2, 3 du système et un repère absolu, formé ici du troisième repère 6' associé à l'unité INS 6. Ainsi, le deuxième repère 2' associé au scanner laser 2 est relié au troisième repère 6' de l'unité INS 6 par un vecteur de translation T26 et une matrice de rotation R26. Similairement, le premier repère 3' associé au dispositif de prise de vue 3 est relié au troisième repère 6' par un vecteur de translation T36 et une matrice de rotation R36. Enfin, le premier repère 3' est associé au deuxième repère 2 par un vecteur de translation T32 et une matrice de rotation R32. Chaque couple (matrice de rotation, vecteur de translation) définit une pose relative entre deux éléments et forme des paramètres d'étalonnage extrinsèques du système de mesure 5.
L'exploitation des données collectées par l'ensemble des dispositifs 2, 3, 6 composant le système de mesure 5, fait appel aux paramètres d'étalonnage.
Ainsi, les données collectées par le scanner laser 2 sont d'abord repérées dans le deuxième repère 2', puis projetées dans le troisième repère 6' à l'aide des paramètres extrinsèques R26, T26 du scanner laser 2. On exploite ensuite les données fournies par l' INS pour repérer ces données dans le repère géoréférencé G. Comme on l'a indiqué en introduction de cette demande, les paramètres d'étalonnage R26, T26 du scanner laser 2 peuvent être établies avec précision à l'aide de l'une des méthodes connues de l'état de la technique.
Pour projeter les données, par exemple des données de couleur ou de température, fournies par les images J1 , J2 sur le nuage de points 3D, on doit similairement disposer des paramètres d'étalonnage R32 T32 du dispositif de prise de vue 3. Ces paramètres d'étalonnage peuvent être estimés par mesure en laboratoire, par exemple en mesurant les distances et les angles séparant les différents éléments du système 5. Cette estimation n'offre toutefois pas la précision requise.
La suite de la présente description expose un procédé permettant d'établir simplement ces paramètres d'étalonnage. On note en préambule que le système de mesure 5 étant constitué de l'assemblage rigide des dispositifs de mesure 2, 3, 6, on dispose de la relation suivante :
R36 = R32. R26*
T36 = T32+R32. T26
En conséquence, on pourra indifféremment choisir d'établir les paramètres d'étalonnage R36, T36 ou les paramètres d'étalonnage T32, R32, ces paramètres étant liés entre eux par les paramètres R26 et T26.
Procédé d'étalonnage
Les figures 4a et 4b représentent schématiquement les principes sous-jacents à ce procédé. Sur la figure 4a, on a représenté deux images J1 , J2 d'une scène commune C. Ces images J1 , J2 ont été établies par le dispositif de prise de vue 3, au cours du parcours d'une trajectoire t du système de mesure 5. La scène commune est donc représentée sur ces images selon des points de vue différents. Les projections de la scène commune C sur le nuage de points 3D à partir des images J1 , J2 et à l'aide des paramètres d'étalonnage T36, R36 estimés du dispositif de prise de vue 3 fournissent respectivement deux ensembles de points 3D X, Y distincts les uns des autres. Or une même scène C devrait se projeter sur un même ensemble de points 3D du nuage de points, ou pour le moins sur un ensemble de points très proches les uns des autres. Un procédé conforme à l'invention met en œuvre une séquence d'optimisation visant à établir les paramètres d'étalonnage T36, R36 optimaux du dispositif de prise de vue 3, c'est-à-dire ceux permettant aux ensembles de points 3D X, Y de se recouvrir au mieux. Cette situation « optimale » est représentée sur la figure 4b. En prérequis à la mise en œuvre de ce procédé, on a établi et on dispose des paramètres extrinsèques d'étalonnage R26, T26 du scanner laser 2 et des paramètres d'étalonnage intrinsèque du dispositif de prise de vue 3. Pour rappel, les paramètres intrinsèques du dispositif de prise de vue 3 permettent de relier ou projeter un point défini dans le premier repère 3' dans un point ou un pixel d'une image fournie par ce dispositif 3.
On peut également disposer d'une première estimation, par exemple par mesure en laboratoire, des paramètres d'étalonnage R36, T36 du dispositif de prise de vue 3, bien que cette première estimation ne soit pas impérativement nécessaire.
Etape SI de préparation des données
En référence à la figure 5, le procédé d'étalonnage comprend une première étape SI de préparation de données.
Ces données peuvent avoir été collectées au cours d'une campagne préliminaire de mesure, par exemple en faisant décrire une trajectoire au véhicule 1 monté du système de mesure 5, comme on l'a présenté en référence à la figure 2.
Lors de la planification de cette campagne de mesure, on visera à choisir une trajectoire t permettant de collecter des données suffisamment riches et peu susceptibles de comporter des biais. Par exemple, on pourra choisir une trajectoire composée d'une portion aller et d'une portion retour qui se correspondent.
Au cours de cette campagne de mesure, on procède à l'acquisition d'images à l'aide du dispositif de prise de vue 2. On fait en sorte que certaines de ces images se chevauchent entre elles, c'est-à-dire qu'elles comprennent une scène commune. On planifiera la trajectoire et les instants de prise de vue de la campagne de mesure pour favoriser un tel chevauchement, comme c'est naturellement le cas lorsque la trajectoire est composée d'une portion aller et d'une portion retour qui se correspondent.
Il n'est pas nécessaire que le chevauchement des images résulte d'images prises consécutivement dans le temps. Par exemple, une première image prise au cours de la portion aller peut se chevaucher avec une image prise au cours de la portion retour du parcours .
Mais on cherche pour le moins à obtenir, parmi toutes les images réalisées pendant la campagne, une pluralité d'images représentant une scène commune prise de points de vue différents. Par « point de vue » on désigne la localisation du centre optique du dispositif de prise de vue dans le repère géoréférencé G, et/ou l'angle de visée de ce dispositif dans ce même repère. Au cours de la campagne de mesures, on procède également concomitamment à la réalisation des images, au relevé des mesures de distance à l'aide du scanner laser 2 et des informations de localisation et d'attitude à l'aide de l'unité INS 6.
A titre d' illustration, on a représenté sur la figure 6 un exemple de campagne de mesure. Au cours de cette campagne, l'engin volant 1 de la figure 2 équipé du système de mesure 5 se déplace le long de la trajectoire t. Ce parcours comprend une portion aller et une portion retour qui se correspondent et au cours desquels on a réalisé des images I à l'aide du dispositif de prise de vue 3. Parmi ces images, on a retenu 8 images Jl-8 comportant toute une scène commune C. On a également relevé au cours de ce parcours les données fournies par le scanner laser 2 et l'unité INS 6. Les données collectées pendant la campagne de mesure sont traitées au cours de la première étape SI de préparation de données. Cette préparation comprend la sélection d'un jeu d'images (J1-I8 dans l'exemple de la figure 6) représentant une scène commune C prise de points de vue différents. Ce jeu d'images peut être formé d'un nombre N d'images, ce nombre étant supérieur à 2. Typiquement, on choisira un nombre N d'images compris entre 4 et 20.
Pour permettre de repérer précisément les images retenues dans le repère géoréférencé G, l'étape de préparation des données comprend la détermination des informations de localisation (altitude, latitude, longitude) et d'attitude (cap, roulis et tangage) du système de mesure 5 à l'instant de prise de vue de chaque image sélectionnée. On rappelle à ce propos que chaque image fournie par le dispositif de prise de vue 3 est horodatée, de sorte que l'on dispose de son instant de prise de vue. Pour établir une information très précise du positionnement et de l'attitude d'une image, on pourra établir une valeur de ces informations par interpolation entre deux données fournies par l'unité INS 6, respectivement celles positionnées dans le temps juste avant et juste après l'instant de prise de vue.
L'étape SI de préparation des données comprend également l'élaboration du nuage de point 3D de la scène à partir des mesures fournies par le scanner laser 2. On exploite pour cela les paramètres extrinsèques T26, R26 du scanner laser 2 pour projeter les mesures réalisées dans le repère 6' associé à l'unité INS 6. On utilise les données fournies par cette unité pour positionner les points du nuage 3D dans le repère géoréférencé G. Pour simplifier la suite des traitements, on peut traiter le nuage de points 3D pour en éliminer les points ne correspondant pas à la scène commune ou qui en sont très éloignés . À l'issue de l'étape SI de préparation, on dispose donc d'un nuage de points 3D comprenant au moins la scène commune. On dispose également d'un jeu d'images, formé d'un nombre N d'images, représentant la scène commune de points de vue différents. Chaque point de vue est identifié en position et en attitude .
Etape S2 d'identification de points homologues
L'étape SI de préparation de données est suivie d'une étape S2 d'identification de points homologues dans les images du jeu d'images. Par « point homologue », on désigne un point de la scène commune qui apparait dans chaque image composant le jeu d'images. Un point homologue k est repéré dans chaque image i du jeu de N images par ses coordonnées (xki, yki) dans l'image i. On note que ces coordonnées peuvent être « subpixelaire », c'est à dire qu'un point homologue peut être placé dans un repère lié à l'image avec un résolution de placement supérieure à celle des pixels de l'image.
Par souci de simplicité d'expression, on désignera par « point homologue » indifféremment le point de la scène commune ou le point d'une image correspondant à ce point de la scène commune.
La recherche des points homologues dans un jeu d'images est une problématique bien connue du domaine du traitement d'images. Et la personne du métier dispose de nombreux algorithmes permettant de résoudre numériquement ce problème. Il peut ainsi s'agir des méthodes SIFT (« Scale Invariant Feature Transform ») , SURF (« Speed Up Robust Feature ») , ORB (« Oriented FAST and rotated BRIEF ») ou de tout autre méthode similaire. On pourra trouver une description détaillée de ces méthodes dans le document de Karami, Ebrahim & Prasad, Siva & Shehata, Mohamed. (2015) . "Image Matching Using SIFT, SURF, BRIEF and ORB : Performance Comparison for Distorted Images". Ces méthodes peuvent être mises en œuvre par ordinateur à l'aide de bibliothèques informatiques librement disponibles .
D'une manière générale, ces méthodes prévoient de relever, au cours d'une première étape, des points caractéristiques au sein des images et d'élaborer un descripteur de point caractéristique pour chacun des points relevés. Dans une étape suivante, les descripteurs des points caractéristiques d'une image sont mis en correspondance avec les descripteurs des points caractéristiques d'une autre image. Ainsi, pour chaque couple d'images Ii, Ij , du jeu de N images, on peut élaborer une structure de données comprenant, pour chaque correspondance identifiée entre ces deux images, un enregistrement { (xki, yki) , (xkj, ykj ) } des coordonnées du point k mis en correspondance. Typiquement, pour des images bien structurées, comme celles prises en milieu naturel, k peut être supérieur à 100, par exemple compris entre 100 à 5000.
Ces structures de données sont établies pour tous les couples possibles d'images. Pour améliorer la qualité de la mise en correspondance des points caractéristiques de chaque paire d'image, on peut appliquer un algorithme visant à éliminer les points aberrants de la structure de données et ne conserver qu'une structure réduite. Cet algorithme peut être du type RANSAC (« Random Sample Consensus ») .
Elles peuvent être ensuite combinées entre elles pour former une structure de données combinées. Cette structure de donnée comprend une pluralité d'enregistrements, chaque enregistrement { { (xki, y , ..., (xk N, y } recensant les coordonnées respectives des points des N images qui sont mutuellement en correspondance. Si une image ne comprend pas de point en correspondance, le champ correspondant dans l'enregistrement de la structure combinée peut être laissé vierge ou porter une marque permettant de repérer cette situation.
Pour obtenir au moins un point homologue, on sélectionne dans la structure de données combinées les enregistrements suffisamment renseignés, c'est-à-dire les enregistrements décrivant des points respectivement en correspondance dans M images du jeu de N images, M étant compris entre 2 et N. En d'autres termes, on sélectionne les enregistrements décrivant des points dans au moins 2 images du jeu d'images.
A l'issue de cette étape S2 d'identification, on dispose donc d'au moins un point homologue présent dans les images d'un jeu d'images formé d'au moins deux images. Ce point homologue correspond à un même point de la scène commune.
Typiquement, on disposera d'un jeu d'image formé d'une dizaine d'images, par exemple entre 4 et 20. La variable M pourra être choisie de l'ordre de 3. La structure de donnée de points homologues recense quant à elle typiquement plusieurs centaines de tels points, par exemple entre 50 et 500.
Etape S3 d'optimisation
Un procédé d'étalonnage du dispositif de prise de vue 3 exploite les informations précédentes au cours d'une étape S3 suivante d ' optimisation .
Comme cela a déjà été énoncé en relation avec la description des figures 4a, 4b, l'idée sous-jacente à cette optimisation est que, en absence de toute erreur de mesure, les points homologues doivent par principe se projeter dans un même voisinage du nuage de point 3D. Comme on l'a vu, cette projection met en œuvre les paramètres d'étalonnage R36, T36 du dispositif de prise de vue 3. Dans un procédé conforme à l'invention, on cherche à déterminer par optimisation les paramètres d'étalonnage extrinsèques du dispositif de prise de vue 3 assurant au mieux ce résultat.
Cette optimisation peut être fondée sur toute approche numérique connue qui convient. Il peut s'agir d'une méthode d'optimisation dite « du simplex », d'une méthode à base de gradient, ou d'une méthode stochastique, par exemple par recuit simulé ou par algorithme génétique. Dans tous les cas, la méthode prévoit l'élaboration d'une fonction de coût calculée à partir d'une estimation du paramètre que l'on cherche à déterminer, ici au moins un paramètre d'étalonnage du système de mesure 5, et que l'on fait ensuite évoluer selon la valeur de coût calculée. On réitère cette séquence d' opérations pour converger vers une valeur de paramètre qui optimise la fonction de coût.
Dans un procédé conforme à l'invention, la séquence d'optimisation comprend au moins une itération d'étapes qui font l'objet de la description qui suit.
Au cours d'une première étape S31 de la séquence d'optimisation, on projette tout d'abord le nuage 3D dans chacune des images formant le jeu d'images retenues. Dans la pratique, on positionne en premier lieu chaque point du nuage de points 3D dans le premier repère 3' associé au dispositif de prise de vue 3 et on utilise les paramètres intrinsèques du dispositif de prise de vue 3 pour projeter les points du nuage 3D dans ce repère sur chacune des images. Pour repérer les points du nuage 3D dans le premier repère 3' on s'appuie sur les données de localisation et d'attitude associées à l'image en question et sur une valeur estimée des paramètres extrinsèques T36, R36 du dispositif de prise de vue 3. Cette valeur peut être celle estimée à l'issue de l'itération précédente. Pour la première itération, on pourra choisir une valeur estimée de ces paramètres telle qu'elle a pu être établie au cours d'une mesure préalable réalisée en laboratoire. Dans certains cas, par exemple lorsque l'optimisation met en œuvre une méthode stochastique, on peut choisir pour la première itération une valeur estimée aléatoire ou arbitraire.
Dans une étape suivante S32 de la séquence d'optimisation, on traite successivement les images pour identifier les points du nuage 3D qui se projettent dans le voisinage d'au moins un point homologue de l'image traitée. On constitue de la sorte, et pour chaque image, une liste de points du nuage 3D, ces points étant désignés « proches ». Dit autrement, on repère dans le nuage 3D des points proches qui se projettent à proximité immédiate des points homologues de l'image.
Il existe de multiples manières pour déterminer, pour chaque image, cette liste de points proches.
Ainsi et selon une première approche, on recherche parmi tous les points projetés du nuage de points 3D, celui qui se trouve le plus proche d'un point homologue choisi de l'image traitée. On place ensuite dans la liste des points proches le point du nuage 3D qui lui correspond, et on réitère cette opération pour tous les points homologues de l'image. Cette séquence est répétée pour toutes les images afin d'établir autant de listes de points proches que d' images .
Selon une approche alternative, on recherche parmi tous les points projetés du nuage de points 3D, tous ceux qui se trouvent dans un périmètre de R pixels autour d'un point homologue choisi de l'image traitée. Ce nombre de pixels R est typiquement compris entre 5 et 30, selon la densité spatiale du nuage de points 3D. On place ensuite dans la liste des points proches, les points retenus du nuage 3D, et on réitère cette opération comme dans la première approche pour tous les points homologues et pour toutes les images .
De préférence, et selon un mode de mise en œuvre préféré de cette approche alternative, on placera dans la liste des points proches les points retenus du nuage 3D uniquement si le nombre de points projetés dans le voisinage de R pixels d'un point homologue excède un seuil K prédéterminé (K pouvant être compris entre 5 et 30) . On évite de cette manière de sélectionner dans la liste des points proches des points du nuage 3D isolés ou qui pourraient être du bruit, ou ne pas être représentatifs de la scène .
Quelle que soit l'approche retenue, on dispose à l'issue de cette étape et pour chaque image, d'une liste de points proches. Les points proches du nuage 3D correspondent approximativement à la projection des points homologues de l'image à laquelle la liste est associée, pour les paramètres d'étalonnage estimés.
Dans une étape suivante S33 de la séquence d'optimisation, on élabore une mesure de la distance séparant les listes de points proches entre elles. Il est entendu que dans un cadre purement théorique et idéal, en l'absence de toute erreur de mesure, cette distance devrait être réduite et rendue minimale lorsque la projection est opérée avec les paramètres d'étalonnage optimaux.
La mesure de la distance, qui forme la fonction de coût de la séquence d'optimisation, peut être élaborée de multiples manières. Il peut par exemple s'agir de calculer le barycentre des points proches de chaque liste. La fonction de coût peut alors correspondre à la combinaison (par exemple la somme) des distances euclidiennes séparant tous les couples possibles de barycentres. D'une manière générale, il s'agit de combiner (par exemple en faisant la somme ou le produit) la distance existante entre 2 listes de points proches, pour toutes les combinaisons possibles de couples de listes. La distance entre 2 listes de points proches peut être notamment définie comme une distance de Hausdorff. Dans le cas où la liste de points proches est composée d'un unique élément, la distance euclidienne peut être directement utilisée.
Dans une étape suivante S34 de la séquence d'optimisation, on ajuste les paramètres d'étalonnage selon la valeur de la mesure de distance qui vient d'être établie, en vue de l'optimiser. Cet ajustement peut dépendre de la méthode d'optimisation qui a été choisie. Elle peut correspondre l'établissement d'un gradient, d'une projection ou peut être aléatoire lorsque la méthode optimisations est fondée sur une approche stochastique.
Comment on l'a vue, la séquence d'optimisation est répétée de manière à déterminer les paramètres d'étalonnage du système de mesure 5, et notamment ceux du dispositif de prise de vue 3. On prévoit généralement un critère de fin CF qu' il faut satisfaire pour mettre fin à la répétition de la séquence d'optimisation. Ce critère peut correspondre à un nombre prédéterminé d'itérations, mais plus généralement, on cherchera à poursuivre ces itérations jusqu'à atteindre une valeur cible de coût (ici la valeur de distance) ou jusqu'à ce que l'évolution du coût et/ou des paramètres estimés n'évolue plus significativement entre deux itérations.
A l'issue du procédé, on dispose des paramètres extrinsèques d'étalonnage du dispositif de prise de vue 3. Dans une variante de mise en œuvre du procédé d'étalonnage, on procède à une pluralité d'optimisations pour déterminer à chaque fois une partie seulement des paramètres d'étalonnage.
A titre d'exemple, on peut uniquement établir, au cours d'une première optimisation, la matrice de rotation R36 tout en maintenant fixe le vecteur de translation T36 au cours de l'étape S34 d'ajustement. On peut fixer ce vecteur à l'estimation grossière qui peut en être fait en laboratoire. Au cours d'une deuxième optimisation, on optimise uniquement la valeur du vecteur de translation T36, et on maintient fixe la valeur de la matrice de rotation R36, à la valeur obtenue à l'issue de la première séquence.
Quel que soit le nombre d' optimisations déployées au cours du procédé, les paramètres d'étalonnage obtenus peuvent être employés pour fusionner les données du système de mesure 5, lors des campagnes futures de mesure. On peut de la sorte fournir des nuages de points 3D, les points étant précisément associés à des informations, par exemple de couleur ou de température, extraites des images 2D fournies par le système de prise de vue 3.
On note que le procédé conforme à l'invention ne requiert pas de disposer d'une scène commune particulière (telle qu'une cible) et que n'importe quel objet ou repère identifiable dans les images peut être exploité. On note également que le procédé ne requiert pas d'établir des images de rémission à partir du scanner laser 2, et peut de ce point de vue être exploité pour une grande variété de scanners laser 2. On notera aussi que cette méthode ne nécessite pas de mettre directement en correspondance des points, formes ou objets caractéristiques entre les données fournies du scanner et celles des images 2D, un tel procédé étant particulièrement difficile à mettre en œuvre et peu fiable à cause de la nature hétérogènes des données manipulées.
Bien entendu l'invention n'est pas limitée au mode de mise en œuvre décrit et on peut y apporter des variantes de réalisation sans sortir du cadre de l'invention tel que défini par les revendications .

Claims

REVENDICATIONS
1. Procédé d'étalonnage d'un système de mesure (5) comprenant un dispositif de prise de vue (3), un scanner laser (2) et une unité de positionnement (6) le procédé comprenant :
- la préparation d' au moins deux images fournies par le dispositif de prise de vue (3) , les images représentant au moins une scène commune prise de points de vue différents et la préparation d'un nuage de point 3D de la scène commune établi à l'aide des données fournies par le scanner laser (2) et par l'unité de positionnement (6) ;
- l'identification d'au moins un point homologue dans les images, le point homologue correspondant à un même point de la scène commune ;
- une séquence d'optimisation pour déterminer au moins un paramètre d'étalonnage, la séquence comprenant au moins une itération des étapes suivantes :
* pour chaque image, identifier dans le nuage de point 3D au moins un point proche se projetant dans un voisinage du point homologue de l'image ;
* élaborer une mesure de la distance séparant les points proches respectivement associés au point homologue des images ;
* ajuster le paramètre d'étalonnage selon la mesure élaborée .
2. Procédé d'étalonnage selon la revendication précédent dans lequel au cours d'une première itération de la séquence d'optimisation, on utilise une valeur estimée en laboratoire des paramètres d'étalonnage.
3. Procédé d'étalonnage selon l'une des revendications précédentes dans lequel on dispose des paramètres d'étalonnage du dispositif scanner (2) vis-à-vis de l'unité de positionnement (6) et pour lequel le paramètre d'étalonnage à déterminer est une matrice de rotation et/ou un vecteur de translation reliant un repère associé au dispositif de prise de vue à un repère associé à l'unité de positionnement .
4. Procédé d'étalonnage selon l'une des revendications 1 et 2, dans lequel le paramètre d'étalonnage est une matrice de rotation et/ou un vecteur de translation reliant un repère associé au dispositif de prise de vue à un repère associé au scanner laser.
5. Procédé d'étalonnage selon l'une des revendications précédentes dans lequel les deux images ont été acquise alors que le dispositif de mesure (5) réalise une trajectoire comportant une portion aller et une portion retour qui se correspondent.
6. Procédé d'étalonnage selon l'une des revendications précédentes dans lequel la préparation des images comprend la détermination de la localisation et de l'attitude du système de mesure (5) à un instant de prise de vue de chaque image .
7. Procédé d'étalonnage selon l'une des revendications précédentes dans lequel l'étape d'identification d'au moins un point homologue comprend la détermination de points caractéristiques et de descripteurs de points caractéristiques .
8. Procédé d'étalonnage selon l'une des revendications précédentes dans lequel la séquence d'optimisation met en œuvre une méthode du simplexe, du gradient ou une méthode stochastique .
9. Procédé d'étalonnage selon l'une des revendications précédentes dans lequel l'identification d'au moins un point proche se projetant dans le voisinage du point homologue est réalisé en sélectionnant dans le nuage de points 3D celui se projetant au plus proche du point homologue .
10. Procédé d'étalonnage selon l'une des revendications 1 à 8 dans lequel l'identification d'au moins un point proche se projetant dans le voisinage du point homologue est réalisé en sélectionnant dans le nuage de points 3D ceux se projetant dans un périmètre de R pixels autour du point homologue .
11. Procédé d'étalonnage selon l'une des revendications précédentes dans lequel l'élaboration de la mesure de la distance met en œuvre un calcul de barycentre des points proches associés à chaque image.
12. Procédé d'étalonnage selon l'une des revendications 1 à 10 dans lequel l'élaboration de la mesure de la distance met en œuvre un calcul de la distance de Hausdorff entre les points proches des images.
EP20750308.7A 2019-07-16 2020-07-03 Procede de determination de parametres d'etalonnage extrinseques d'un systeme de mesure Pending EP3999865A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1908004A FR3098929B1 (fr) 2019-07-16 2019-07-16 Procédé de détermination de paramètres d'étalonnage extrinseques d'un système de mesure
PCT/FR2020/051184 WO2021009431A1 (fr) 2019-07-16 2020-07-03 Procede de determination de parametres d'etalonnage extrinseques d'un systeme de mesure

Publications (1)

Publication Number Publication Date
EP3999865A1 true EP3999865A1 (fr) 2022-05-25

Family

ID=68987794

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20750308.7A Pending EP3999865A1 (fr) 2019-07-16 2020-07-03 Procede de determination de parametres d'etalonnage extrinseques d'un systeme de mesure

Country Status (4)

Country Link
US (1) US11940569B2 (fr)
EP (1) EP3999865A1 (fr)
FR (1) FR3098929B1 (fr)
WO (1) WO2021009431A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL296946B2 (en) * 2022-09-29 2024-09-01 C Crop Ltd Plant phenotyping

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3165945B1 (fr) * 2015-11-03 2024-01-03 Leica Geosystems AG Appareil de mesure de surface destiné à déterminer des coordonnées 3d d'une surface
US10408936B2 (en) * 2016-03-11 2019-09-10 Raytheon Bbn Technologies Corp. LIDAR light fence to cue long range LIDAR of target drone
DE102016113000A1 (de) * 2016-07-14 2018-01-18 Aesculap Ag Endoskopische Vorrichtung und Verfahren zur endoskopischen Untersuchung
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
DE102017109039A1 (de) 2017-04-27 2018-10-31 Sick Ag Verfahren zur Kalibrierung einer Kamera und eines Laserscanners
CN109118542B (zh) * 2017-06-22 2021-11-23 阿波罗智能技术(北京)有限公司 激光雷达与相机之间的标定方法、装置、设备及存储介质
DE102018108874A1 (de) * 2018-04-13 2019-10-17 Isra Vision Ag Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie
WO2020097796A1 (fr) * 2018-11-13 2020-05-22 Beijing Didi Infinity Technology And Development Co., Ltd. Procédés et systèmes de génération de nuage de points colorés
US11610337B2 (en) * 2019-02-17 2023-03-21 Purdue Research Foundation Calibration of cameras and scanners on UAV and mobile platforms
US12046006B2 (en) * 2019-07-05 2024-07-23 Nvidia Corporation LIDAR-to-camera transformation during sensor calibration for autonomous vehicles
US10859684B1 (en) * 2019-11-12 2020-12-08 Huawei Technologies Co., Ltd. Method and system for camera-lidar calibration

Also Published As

Publication number Publication date
FR3098929B1 (fr) 2021-06-18
US20220276359A1 (en) 2022-09-01
WO2021009431A1 (fr) 2021-01-21
US11940569B2 (en) 2024-03-26
FR3098929A1 (fr) 2021-01-22

Similar Documents

Publication Publication Date Title
CA2592293C (fr) Procede de traitement d'images mettant en oeuvre le georeferencement automatique d'images issues d'un couple d'images pris dans le meme plan focal
FR2595817A1 (fr) Procede de determination de l'orientation d'une plate-forme de capteur imageur ou instrument analogue
EP2724203B1 (fr) Génération de données de carte
US10055881B2 (en) Video imaging to assess specularity
FR3034553A1 (fr) Procede de determination d'une direction d'un objet a partir d'une image de l'objet
WO2015071457A1 (fr) Procede d'estimation de la vitesse de deplacement d'une camera
FR2770317A1 (fr) Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes
FR2953313A1 (fr) Systeme optronique et procede d'elaboration d'images en trois dimensions dedies a l'identification
CN114544006B (zh) 一种基于环境光照条件的低空遥感影像校正系统及方法
WO2015071458A1 (fr) Procede d'estimation de la vitesse de deplacement d'une camera
WO2018025001A1 (fr) Procede d'elaboration d'une image numerique, produit programme d'ordinateur et systeme optique associes
EP3999865A1 (fr) Procede de determination de parametres d'etalonnage extrinseques d'un systeme de mesure
FR3113321A1 (fr) Procédé de géolocalisation par satellite mettant en œuvre une correction d’un modèle de réfraction atmosphérique
JP2021068389A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム
EP3757943B1 (fr) Procédé et dispositif de télémétrie passive par traitement d'image et utilisation de modeles en trois dimensions
EP4526843B1 (fr) Procédé et dispositif de détermination de pose absolue d'une caméra embarquée dans un engin aérien ou spatial
EP3324338B1 (fr) Procédé d'indexation de vidéos, et procédé de recherche d'une séquence vidéo dans une base de vidéos
Medrzycka et al. Review of methodological considerations and recommendations for mapping remote glaciers from aerial photography surveys in suboptimal conditions
EP3757942B1 (fr) Procédé et dispositif de télémétrie passive par traitement d'image
FR3023910A1 (fr) Systeme de prise d'images permettant l'odometrie en temps reel et la realisation d'un modele tridimensionnel
WO2024194542A1 (fr) Procede de correction d'images, au sein d'un vehicule
FR3146517A1 (fr) Procédé de reconstruction en trois dimensions d'un élément mobile
EP3069299B1 (fr) Système et procédé de prise de vues intégrant un système d'éclairage de la scène à prendre
WO2024194540A1 (fr) Procede de correction d'images
WO2025253055A1 (fr) Procede et dispositif de determination d'une carte de profondeur d'une scene

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211208

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250326