EP4165601A1 - Procede de calibration d'une camera et dispositif associe - Google Patents

Procede de calibration d'une camera et dispositif associe

Info

Publication number
EP4165601A1
EP4165601A1 EP21728586.5A EP21728586A EP4165601A1 EP 4165601 A1 EP4165601 A1 EP 4165601A1 EP 21728586 A EP21728586 A EP 21728586A EP 4165601 A1 EP4165601 A1 EP 4165601A1
Authority
EP
European Patent Office
Prior art keywords
camera
vehicle
image
shot
reference sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21728586.5A
Other languages
German (de)
English (en)
Inventor
Jean-Luc Adam
Soukaina MABROUK
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of EP4165601A1 publication Critical patent/EP4165601A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates generally to the calibration of an on-board camera in a vehicle.
  • the invention finds a particularly advantageous application in the calibration of so-called “context” cameras used to visualize the environment and thus validate the behavior of vehicles equipped with driving assistance systems, for example control systems. emergency braking assistance.
  • the invention also relates to a device for calibrating an on-board camera in a motor vehicle.
  • calibrating a camera therefore amounts to being able to switch from a frame of reference associated with the vehicle, to a frame of reference associated with a shot acquired by the camera.
  • the calibration of a camera is based on the determination of two types of calibration parameters: on the one hand, extrinsic calibration parameters which make it possible to model the passage from a point in the reference frame associated with the vehicle to a point in a frame of reference associated with the camera, and, on the other hand, intrinsic parameters which depend on the nature of the camera and make it possible to model the passage of the point in the frame of reference associated with the camera to an image of this point, also called pixel, in the frame of reference associated with the shot acquired by the camera.
  • the present invention provides a simplified calibration method that can be carried out without requiring the immobilization of the vehicle on the test bench.
  • a method for calibrating an on-board camera in a motor vehicle from a reference sensor on board said vehicle according to which provision is made to determine calibration parameters of the camera by means of the following steps: a) acquisition, by the reference sensor, of a plurality of real positions of at least one object in the environment of the vehicle, b) acquisition, by the camera, of a catch of view at each instant at which one of the real positions is acquired by the reference sensor, c) determination of the position of the image of each object in the shots acquired by the camera, d) formation of position pairs by pairing each real position of each object with the position of the image of said object in the shot acquired by the camera at the instant of acquisition of said real position of this object, e) determination, by a calculation unit, parameters of calibration of the camera, based on all the pairs of positions formed.
  • the real positions of objects are determined with precision by the reference sensor, which is already calibrated. Actual positions can be captured while the vehicle is being driven.
  • the camera can therefore be calibrated without requiring the vehicle to be tested. This confers appreciable flexibility, in particular when it is known that it may be necessary to calibrate the camera several times over time, for example following an impact which has resulted in a modification of the position of the camera.
  • the method is quick and easy to implement.
  • this calibration method is applicable to any type of camera, including wide-angle cameras (also called “fisheye” type cameras).
  • the method is applicable regardless of the reference sensor on board the vehicle, whether it is a camera or other sensors such as an electromagnetic wave detection system of the wave type. radio or light wave (radar or lidar).
  • This method makes it possible to dispense with measurements of low angles and measurements of shifts between the origins of the different frames of reference.
  • said camera calibration parameters are extrinsic parameters formed by the coefficients of a rotation and / or translation matrix describing the passage from a frame of reference associated with the vehicle to a frame of reference associated with the camera;
  • the determination of said extrinsic calibration parameters comprises the following sub-steps: e1) for each pair of positions formed, a theoretical position of the image of the object is calculated from the real position of said object determined in step a) and the coefficients of the matrix, then, the difference between, on the one hand, the theoretical position thus calculated, and, on the other hand, the position determined in step c) the image of said object in the shot, is evaluated; e2) the average of all the deviations evaluated in step e1) is calculated; e3) the coefficients of the matrix are modified; and, e4) the sub-steps e1) to e3) are iterated until the average of the deviations calculated in the sub-step e2) is minimized;
  • the coefficients of the rotation and / or translation matrix are all initialized to a predetermined value, preferably equal to 1;
  • steps a) and b) of acquisition are carried out when the vehicle is traveling in a straight line and on a substantially horizontal and flat roadway;
  • the reference sensor acquires at least 5 different real positions of objects, dispersed throughout the field of view of said sensor reference covering the field of view of the camera;
  • step c) of determining the position of the image of each object in each shot acquired by the camera is performed manually by an operator
  • step c) of determining the position of the image of each object in each shot acquired by the camera is performed by an image processing unit comprising a neural network.
  • the invention also provides a device for calibrating a camera on board a motor vehicle, suitable for communicating with said camera as well as with a reference sensor on board the vehicle, said reference sensor being provided to acquire a plurality of real positions of at least one object in the environment of the vehicle, said device comprising:
  • an image processing unit suitable for determining the position of the image of each object in the shots acquired by the camera and for forming pairs of positions by matching said position of the image of the object in the shooting with the real position of said object at the instant of acquisition of the image, and,
  • - a calculation unit suitable for calculating calibration parameters of the camera, from all the pairs of positions formed by the image processing unit.
  • the calibration can be carried out without having to immobilize the vehicle on the test bench, while the vehicle is being driven.
  • the device cleverly uses the reference sensor already present in the vehicle.
  • the reference sensor is chosen from the following list of sensors: a camera, a stereoscopic camera, or an electromagnetic wave detection system.
  • the camera is a camera for validating driving assistance systems.
  • FIG. 1 is a schematic representation of the main steps of a calibration process according to the invention.
  • FIG. 2 is a schematic representation of a calibration device according to the invention
  • FIG. 3 is a schematic representation of the principle of switching from a frame of reference associated with the vehicle to a frame of reference associated with a shot
  • FIG. 4 is a shot taken by the camera processed to determine the position of the image of an object in said shot
  • FIG. 5 is a first example of a picture taken by the camera in which the acquisition conditions of the reference sensor are optimal;
  • FIG. 6 is a second example of a picture acquired by the camera in which the acquisition conditions of the reference sensor are optimal;
  • FIG. 7 is a third example of a picture acquired by the camera in which the acquisition conditions of the reference sensor are optimal;
  • FIG. 8 is a fourth example of a picture acquired by the camera in which the acquisition conditions of the reference sensor are optimal;
  • [0032] is a fifth example of a picture acquired by the camera in which the acquisition conditions of the reference sensor are optimal;
  • FIG. 10 is a sixth example of a picture acquired by the camera in which the acquisition conditions of the reference sensor are optimal.
  • Figure 2 there is shown a calibration device 1 according to the invention, suitable for implementing a calibration method according to the invention. the main stages of which are shown in Figure 1.
  • This device 1 and this calibration method each aim to calibrate a camera 10 on board a motor vehicle (not shown).
  • the camera 10 is capable of taking pictures from the exterior of the vehicle.
  • the camera 10 takes shots at sufficiently close time intervals that a human eye has the impression that the shots are successive in a continuous fashion, with no jumps perceptible to the naked eye.
  • the term “on board the vehicle” is understood to mean the fact that the camera 10 is present on or in the vehicle, whether this is because it is structurally part of the vehicle, because it is temporarily placed on the exterior bodywork of the vehicle, or because it is present in the passenger compartment of the vehicle.
  • the camera 10 can, for example, be a mobile phone camera placed on the dashboard and oriented towards the outside of the vehicle as well as a context camera, placed on the body of the vehicle.
  • Such context cameras are used in particular to visualize the environment of the vehicle and to validate the behavior of vehicles fitted with driving assistance systems, for example emergency braking assistance systems.
  • Context cameras are also known as driver assistance systems validation cameras.
  • the camera 10 can be any type of monocular camera, including a very wide angle camera, of the “fisheye” type. Examples of shots 15 acquired by the camera 10 are given in Figures 4 to 10.
  • the calibration of the camera 10 allows, on the one hand, to know the real position of an object O in the environment of the vehicle, from 'a shot 15 acquired by the camera 10, and, on the other hand, to position, in a shot 15 acquired by the camera
  • the calibration of the camera 10 therefore amounts to being able to go from a frame of reference Rv associated with the vehicle, to a frame of reference Ri associated with a shot 15 acquired by the camera.
  • extrinsic parameters Pe which make it possible to model the passage of a point of coordinates (X, Y, Z) in the reference frame Rv associated with the vehicle at a point of coordinates (c ', y', z ') in a frame of reference Rc associated with the camera
  • intrinsic parameters Pi which depend on the nature of the camera 10 and make it possible to model the passage of the point of coordinates (c ', y', z ') in the frame of reference Rc associated with the camera at a point of coordinates (u, v) in the frame of reference Ri associated with the shot 15 acquired by the camera 10.
  • the main objective of the invention is to determine the extrinsic parameters Pe of the camera 10.
  • the intrinsic parameters Pi have been pre-established, by a known method.
  • the intrinsic calibration parameters Pi are unknown and that they will be determined using the calibration device 1 and the method according to the invention, in addition to said extrinsic parameters Pe.
  • the calibration of the camera 10 is carried out by means of a sensor 20 of the vehicle already calibrated, hereinafter called "reference sensor 20".
  • a reference sensor 20 makes it possible to detect at least one object O in the environment of the vehicle, in a certain field of vision and to determine its position relative to the vehicle, namely its position in a reference frame Rv associated with the vehicle, c 'that is to say a fixed frame of reference with respect to the movement of the vehicle.
  • This reference sensor 20 is already calibrated to the extent that the position of the object O that it determines in the reference frame Rv associated with the vehicle is exact.
  • the position of an object O in the reference frame Rv associated with the vehicle is hereinafter called "real position" of the object O.
  • the real position of the object O, acquired by the reference sensor 20, is given by the coordinates (X, Y, Z) of a precise point of this object O in the frame of reference associated with the vehicle Rv (see FIG. 3).
  • the X coordinate then gives the lateral distance separating the precise point of the object and the origin of the Rv frame of reference associated with the vehicle.
  • the Y coordinate gives the longitudinal distance separating the precise point of the object and the origin of the Rv frame of reference associated with the vehicle.
  • the objects that the reference sensor 20 can detect are for example of the following nature: motor vehicles such as cars, trucks and buses; pedestrians ; or even two-wheeled vehicles such as bicycles, scooters or motorcycles.
  • the reference sensor 20 is mounted on the vehicle, for example positioned inside the passenger compartment, at the level of the front mirror, oriented towards the front windshield.
  • the reference sensor could be structurally present outside the vehicle, for example integrated into the body.
  • the reference sensor is therefore also always on board the vehicle.
  • the reference sensor 20 is chosen from the following list of sensors: a camera, a stereoscopic camera, an electromagnetic wave detection system or an ultrasonic wave detection system.
  • Electromagnetic wave detection systems are capable of detecting objects by sending electromagnetic waves and analyzing electromagnetic waves reflected from objects.
  • These detection systems are, for example, radars which use radio waves, or Lidars which use light waves, in particular lasers, for example of wavelength in the visible, ultra-violet or infrared regions.
  • Ultrasonic wave detection systems work on the same principle as electromagnetic wave detection systems, but sending sound waves.
  • Such an ultrasonic wave detection system is, for example, sonar.
  • the reference sensor 20 is intended to acquire a plurality of real positions of at least one object in the environment of the vehicle, it being understood that each real position is acquired in the reference frame Rv associated with the vehicle, to a given moment.
  • the reference sensor 20 acquires, over time, the position of whatever it detects as an object in its field of view.
  • the reference sensor 20 detects, on the one hand, the successive positions over time of the same object present in its field of vision, namely the positions of the same object at different times, and, on the other hand, the positions at the same instant of several distinct objects present in his field of vision.
  • the reference sensor 20 is capable of detecting several distinct objects at the same time, as long as said objects are well separated. from each other in his field of vision. Indeed, when the objects are too close to each other from the point of view of the reference sensor 20, it sees them as if they were contiguous and formed a single fictitious object, in which case the reference sensor 20 then determines a single real position for this fictitious object instead of two separate real positions (one for each object).
  • the detection sensitivity of the reference sensor 20, that is to say its ability to distinguish two nearby objects is considered to be known for the present invention.
  • the fields of view of the camera 10 and of the reference sensor 20 overlap, so that they can both see the same object at the same time, even if the camera 10 and the reference sensor 20 each have a different point of view on this object.
  • the field of view of the camera 10 covers between 20% and 100% of the field of view of the reference sensor 20.
  • each shot 15 acquired by the camera 10 at a given instant comprises an at least partial image of each object whose real position is acquired by the reference sensor 20 at said given instant.
  • the real positions detected by the reference sensor 20 extend in a part of the field of view of the reference sensor 20 located between -5 meters and +5 meters laterally with respect to the origin of the associated reference frame Rv to the vehicle, and between 3 meters and 30 meters longitudinally with respect to this origin, when the sensor has a field of vision oriented towards the front of the vehicle, or between -3 meters and -30 meters longitudinally relative to the origin, when the reference sensor 20 has a field of view which is oriented towards the rear of the vehicle.
  • the reference sensor 20 and the camera 10 are synchronized, that is to say they have the same origin of the times, so that it is possible to associate a shot 15 acquired by the camera 10 at a given instant with the real position or positions of objects acquired by the reference sensor 20 at this same given instant. It is authorized to tolerate a synchronization error less than or equal to a few tens of milliseconds, for example less than or equal to 30 milliseconds.
  • the reference sensor 20 is suitable for detecting the real positions of objects both when the vehicle is stationary and when it is moving. Here, it is considered that the acquisitions of the shots by the camera 10 and of the real positions of objects by the reference sensor 20, are carried out in the running condition of the vehicle.
  • the conditions for acquisition by the reference sensor 20 are optimal.
  • the optimal acquisition conditions require the vehicle to travel in a straight line, that is to say on a road without bends, and on a substantially horizontal and flat roadway, that is to say without an upward slope. or descending.
  • Driving in a straight line promotes precise determination of the coordinates (X, Y) in the reference frame Rv associated with the vehicle.
  • the two conditions are cumulative here. For example, driving on a portion of a motorway or a test track meeting these criteria is ideal for calibration.
  • a meteorological condition namely that the vehicle is traveling with good visibility for the reference sensor 20.
  • the reference sensor 20 is a camera, it It goes without saying that it is preferable to carry out the acquisitions of real positions in sunny weather rather than in fog. This promotes the acquisition accuracy of the reference sensor 20.
  • FIG. 5 to 10 illustrate shots 15 acquired by the camera
  • the camera 10 and the reference sensor 20 are each adapted to communicate with the calibration device 1.
  • the calibration device 1 comprises a memory unit
  • the camera 10 is more precisely adapted to communicate with the memory unit 11 of the device 1 in order to record there each shot 15 acquired, and at what time this shot was acquired.
  • the reference sensor 20 is for its part suitable for communicating with the memory unit 11 of the device 1 in order to record there the real positions that it has detected, and at what time it has detected each of these real positions. In addition to this information, the reference sensor 20 can communicate with the memory unit 11 in order to record there the nature of the object whose real position it has detected. Communication between memory unit 11 and camera 10 or reference sensor 20 is effected by means of a communication bus, or via a wireless interface.
  • the calibration device 1 comprises, in addition to the memory unit 11 in which are recorded, the real position of each object in the reference Rv associated with the vehicle at a given time and an outlet of view 15 acquired by camera 10 at this given moment:
  • an image processing unit 12 adapted to process the shots 15 acquired by the camera 10 to determine the position, in the reference frame Ri associated with each shot 15, of the images of the objects present in these shots 15 , and,
  • a calculation unit 13 suitable for determining the calibration parameters of the camera 10, in particular the extrinsic calibration parameters Pe.
  • the image processing unit 12 and the calculation unit 13 are deported from the vehicle, while the memory unit 11 can be on board the vehicle, or partially or even completely deported from said vehicle.
  • the memory unit 11 of the calibration device 1 is deported (partially or totally) from the vehicle, it is suitable for communicating with the other units 12, 13 of the device 1 by a wireless communication system (also called wireless interface).
  • the memory unit 11 may for example be a flash memory integrated into the vehicle, or a flash memory attached to the vehicle, for example by means of a USB key.
  • the processing unit 12 and the calculation unit 13 can be integrated into a computer, in which case the memory unit 11 can communicate with said processing and calculation units 12, 13 by being inserted directly into a computer USB port.
  • the image processing unit 12 can for example comprise an image viewing software implemented on a computer and an operator responsible for viewing, selecting and processing the shots 15.
  • the image processing unit 12 communicates with the memory unit 11 to retrieve the shots 15 acquired by the camera 10.
  • the operator of the image processing unit 12 selects then, among the shots 15 retrieved in the memory unit 11, those which are to be processed.
  • the operator then manually processes each of the selected shots 15 to determine which are the images of objects lm (01), lm (02), lm (03) in these shots 15, and what is the position of the object. each of these object images in the repository Ri associated with the shot 15.
  • the image processing unit 12 is finally adapted to form pairs of positions by matching each position of the image of an object in the reference frame Ri associated with the shot 15 to the real object position in the reference frame Rv associated with the vehicle, at the moment of acquisition of the shot 15.
  • the image processing unit 12 again communicates with the memory unit 11 to store the pairs of positions thus formed.
  • the calculation unit 13 then calculates the extrinsic parameters Pe for calibrating the camera 10, from all of the position pairs formed by the image processing unit 12.
  • the calculation unit 13 of the calibration device 1 is therefore also suitable for communicating with, on the one hand, the memory unit 11 to recover the pairs of positions formed by the image processing unit 12, and, on the other hand, with the camera 10 to send it the extrinsic parameters Pe.
  • the calculation unit 13 can be designed to communicate only with the memory unit 11 where the extrinsic parameters Pe are then recorded after their calculation.
  • the memory unit 11 is the only unit suitable for communicating with the camera 10.
  • the calculation unit 13 implements the calculations which are explained in more detail with reference to the method according to the invention described below. It comprises for this purpose a computer suitable for implementing optimization calculations.
  • FIG. 1 shows the main steps of the method for calibrating the camera 10, according to the invention.
  • the calibration device 1 is suitable for implementing the steps of the method according to the invention.
  • Steps a) and b) of the method represented by boxes E1 and E2 of FIG. 1, have already been largely detailed with reference to the description of the device 1.
  • the reference sensor 20 acquires in step a) a plurality of different real positions in its field of view, that is to say the positions of a plurality of distinct objects.
  • the coordinates of the precise point representing one of the objects detected by the reference sensor 20 must be different from the coordinates of the precise point representing another of the objects that it detects, in the reference frame Rv associated with the vehicle.
  • the reference sensor 20 acquires at least 5 different real positions of objects, distributed throughout the part of the field of view of said reference sensor 20 which intersects the field of view of the camera 10.
  • the reference sensor 20 acquires for example between 5 and 20 different real positions, preferably 10 different real positions.
  • the real positions of the detected objects are dispersed in the field of view of the reference sensor 20 which intersects the field of view of the camera 10.
  • the real positions are located in the field of view which is common to the camera. 10 and the reference sensor 20, but ideally they are not all concentrated in the same place in this common field of view. Even more preferably, the positions are distributed homogeneously in the field of view of the reference sensor 20 which intersects that of the camera 10.
  • step a To allow the reference sensor 20 to acquire enough different real positions of objects, the running time of the vehicle must be sufficient in step a).
  • an additional step is provided to steps a) and b), represented by box E3, which is a step of synchronizing the acquisitions of the reference sensor 20 and of the camera 10.
  • the memory unit 11 matches the shot 15 taken by the camera 10 at the instant t with all the real positions of objects acquired by the reference sensor 20 at this instant t.
  • the processing unit 12 processes the shots 15 during step c) (represented by box E4), it knows how many images of objects must be detected in each shot 15 processed: there are as many images to be detected as there are real positions acquired by the reference sensor 20 at the instant t.
  • Step c) of the method, represented by box E4 of FIG. 1, is an image processing step which comprises, the possible selection of the shots 15 to be processed, the detection of the object images. in each selected shot 15, and the detection of the position of each of these object images in the reference frame Ri associated with said shot 15.
  • This image processing step is implemented by the operator assisted by the software implemented in the computer of the image processing unit 12. More specifically, the processing unit images 12 communicates with the memory unit 11 to retrieve the images 15 acquired. The operator of the image processing unit 12 then selects, from among the images 15 retrieved in the memory unit 11, those which are to be processed.
  • the shots selected by the operator for processing are those in which the road image is in a straight and level line, in which the weather conditions appear ideal for the reference sensor 20, and in which the images objects are well separated from each other. Preferably, these selection criteria by the operator are cumulative.
  • the operator then manually processes each of the selected shots 15 to determine which are the images of objects lm (01), lm (02), lm (03) in these shots. view 15.
  • the image of the object is a geometric shape, for example a square, a rectangle or a trapezoid.
  • the geometric shape representing the image of the object follows the outline of the rear view of a car.
  • the operator surrounds, using the appropriate geometric contour, a predetermined area (here the rear view) of the image of each object.
  • the operator uses three squares lm (01), lm (02), lm (03) to surround the back side of three cars.
  • VGG Image Annotator® software is for example used by the operator to perform this operation of clipping images of objects with a geometric shape.
  • step c) the image processing unit 12 then determines the position of each object image lm (01), lm (02), lm (03) thus materialized in the shots 15 selected. To do this, the image processing unit 12 determines the coordinates (u1, v1), (u2, v2), (u3, v3) of a precise point M1, M2, M3 of each object image lm (01), lm (02), lm (03) in the reference Ri associated with the shooting 15. In general, it is the operator who manually determines the position of the precise point of the image of the object in the shot 15, by locating the coordinates of a precise point of the geometric shape materializing said image of the object, in the reference frame Ri associated with the shot 15. As a variant, it can be envisaged that the position of the image of each object in said shot is determined automatically by software capable of locating a precise point in a geometric shape representing the image of the object.
  • the precise point providing the position of the image of the object lm (01), lm (02), lm (03) is the point M1, M2, M3 located at the level of the ground, in the middle of a line on the ground connecting two extreme points of the image of the object lm (01), lm (02), lm (03).
  • the precise point M1, M2, M3 giving the position of one of the squares lm (01), lm (02), lm (03), is the midpoint of the side of this square resting on the ground. It then suffices to determine the coordinates (u1, v1), (u2, v2), (u3, v3) of this precise point in the reference frame Ri associated with the shot 15 processed. For this, we choose here that the origin of the frame of reference Ri associated with the shot 15 is the point located at the top left of the shot 15 (see Figures 3 and 4).
  • Step d) of the method amounts to forming pairs of positions by associating the real position of an object detected by the reference sensor 20 at an instant t at the position of the image of this object in the frame of reference Ri associated with the shot 15 acquired at the same instant t.
  • the processing unit 12 retrieves in the memory unit 11 each real object position detected by the reference sensor 20 at the time of acquisition of the shot 15 processed.
  • the real position of the object in the reference frame Rv associated with the vehicle is directly matched to the position of the single object image identified in shooting 15.
  • the processing unit 12 finds which actual position acquired corresponds to which object image position identified in the shooting. of view 15.
  • the operator of the image processing unit 12 recognizes in the shot 15 the nature of the objects photographed, and compares it with the nature of the objects detected by the reference sensor 20 which is. recorded in the memory unit 11 with the actual position of each of these objects.
  • the operator can divide the environment of the vehicle into different zones, for example into side zones (zones to the left, to the right or in front of the vehicle. vehicle), and / or in longitudinal zones (near, middle or far zone from the vehicle). With this split environment, the operator finds, from his real position, in which zone an object detected by the reference sensor 20 is located, and he deduces therefrom in which zone of the shot is the image of. this object, so that the operator can then match the real position acquired at the acquisition instant of the shot 15 with the position of the image of this object in the shot 15.
  • the image processing unit 12 identifies three positions of images of objects (u1, v1), (u2, v2), (u3, v3).
  • the image processing unit 12 then recovers the three real positions acquired by the reference sensor 20 for these three objects at the moment of acquisition of the shot 15. From the real positions of these three objects, the operator deduces that one of the objects is located in an area to the left of the vehicle and far from the vehicle, another is located in an area to the left of the vehicle and close to the vehicle and a third is located in an area in front of the vehicle .
  • Step e) of the method is a calculation step aimed at determining the calibration parameters of the camera 10. It is implemented here by the computer of the. calculation unit 13.
  • the extrinsic parameters Pe which are always determined by the method according to the invention
  • the intrinsic parameters Pi which are either known or determined, at least in part, by the method according to the invention.
  • extrinsic parameters Pe of the camera 10 are formed by the coefficients of a rotation and / or translation matrix describing the passage from the frame of reference Rv associated with the vehicle to a frame of reference Rc associated with the camera 10. [0099] This matrix of rotation and / or translation, called matrix of extrinsic parameters Pe, is written in the following general form.
  • the coefficients r represent the coefficients of rotation between the two frames of reference Rv and Rc while the coefficients tk represent the coefficients of translation between said two frames of reference Rv and Rc.
  • the intrinsic parameters Pi of the camera 10 comprise, on the one hand, distortion coefficients linked to the lens of the camera 10, in particular radial distortion coefficients (majority) and tangential distortion coefficients (minority) , and, on the other hand, physical coefficients linked to the optical center of the lens and to the focal distances of this lens. It is generally considered that said physical coefficients can be grouped together in the form of a matrix, called the matrix of intrinsic coefficients Pi, which is written in the following general form.
  • the coefficients fx, fy are associated with the focal distances of the lens of the camera 10, and the coefficients ex and cy are associated with the optical center of the lens of the camera 10.
  • the method according to the invention aims only to determine the extrinsic parameters.
  • the coefficients of the matrix of extrinsic parameters are all initialized to a predetermined value.
  • said coefficients are initialized at a constant value, for example equal to 1.
  • step e) of determining said extrinsic parameters Pe comprises the following sub-steps: e1) for each pair of positions formed in step d), a theoretical position of the image of the object is calculated from the real position of said object and the coefficients of the extrinsic parameter matrix, then, the difference between, on the one hand, the theoretical position thus calculated, and, on the other hand, the position of the image of said object in the shot 15, is evaluated; e2) the average of all the deviations evaluated in step e1) is calculated; e3) the coefficients of the matrix are modified; and, e4) the sub-steps e1) to e3) are iterated until the average of the deviations calculated in the sub-step e2) is minimized.
  • the correction of the position (x ', y', z ') of the object in the frame of reference Rc associated with the camera 10 in a corrected position (x ", y", z ") to catch up with the phenomenon of The distortion of the lens of the camera 10 is calculated using the distortion coefficients described above, according to the known distortion equation, reproduced below.
  • ki, k2, k3, k4, ks and k6 are the radial distortion coefficients pi and p2 are the tangential distortion coefficients, and we consider that r meets the conditions of the following equation.
  • the coefficients fx, fy, ex and cy then represent the only intrinsic parameters Pi for calibrating the camera 10 (since it is considered that there is no distortion). It is considered here that these coefficients fx, fy, ex and cy are known.
  • the coefficients fx, fy, ex and cy are replaced by their known values, and the coefficients ry, tk of the matrix of extrinsic parameters Pe are taken equal to their initial value, for example equal to 1.
  • the calculation unit 13 evaluates, in sub-step e1) , the difference between this theoretical position (uth, vth) and the position (u, v) of the image of said object in the shot 15, determined by the image processing unit 12 in step c ).
  • the distance between these positions is evaluated as the distance "L" separating the points of respective coordinates (uth, vth) and (u, v).
  • the difference is obtained by the following formula:
  • the calculation unit 13 thus proceeds for all the pairs of positions established in step d), namely for at least 5 pairs of positions.
  • the calculation unit 13 calculates the arithmetic mean of the deviations L thus obtained.
  • sub-step e3) the coefficients ry, tk of the matrix of extrinsic parameters Pe are gradually modified by an optimization process. After each modification of the matrix of extrinsic parameters Pe, the sub-steps e1) to e3) are iterated.
  • the iteration of the sub-steps e1 to e3) stops when the average of the deviations L, calculated in the sub-step e2), is minimized.
  • the calculated theoretical position (uth, vth) approaches as close as possible to the position (u, v) determined in step c) of the method by the image processing unit 12.
  • the coefficients of the matrix of extrinsic parameters Pe retained are therefore those which correspond to obtaining the minimum average calculated for the differences between theoretical positions and positions of the images of the objects determined by the image processing unit 12 in step c).
  • the optimization method implemented during sub-steps e1 to e4) is here a conventional so-called gradient descent method.
  • the present invention is in no way limited to the embodiments described and shown, but those skilled in the art will know how to make any variant in accordance with the invention.
  • the distortion model and the intrinsic parameters model described above are examples of models. These are the most common, but there are others such as those used by wide angle cameras (also called fisheye cameras) for distortion. It does not change the validity of the method.
  • the translation coefficients t k of the matrix of extrinsic parameters Pe are known, in which case, the known values of these coefficients t k are used in the matrix Pe from initialization and throughout. along the optimization process implemented in sub-steps e1) to e4). Only the unknown coefficients of rotation r are initialized to the value of 1 then gradually modified during the method of optimizing the sub-steps e1) to e4).
  • the matrix of intrinsic coefficients Pi it is also possible for the matrix of intrinsic coefficients Pi to be unknown, in which case the coefficients fx, fy, ex and cy of the matrix of intrinsic parameters Pi are determined by the optimization method of sub-steps e1) to e4).
  • the procedure is as described above, by initializing the value of the coefficients fx, fy, ex and cy of the matrix of intrinsic parameters Pi to a predetermined value, then these coefficients are modified, in the same way as the coefficients ry, t k of the matrix of extrinsic parameters Pe, until the average of the differences between the theoretical position and the determined position of each object image, in each shot is as low as possible.
  • the predetermined initial values of the coefficients fx, fy, ex, cy of the matrix of intrinsic parameters Pi will not be chosen equal to 1, as is the case for the coefficients of the matrix of extrinsic parameters Pe, but chosen equal to more realistic values.
  • the coefficients ex and cy can be initialized by taking the average values of the focal lengths given by the manufacturer of the camera 10.
  • the vehicle in which the reference sensor 20 and the camera 10 are embedded in a straight line, at a predetermined speed, on a flat road clear of any object, at the exception of the single object that we want to detect, for example a car.
  • This object moves around said vehicle to be placed in determined locations of the field of view of the reference sensor 20, at selected times.
  • the object car can for example be driven by a driver who knows where he must position himself at specific instants over time.
  • the image processing unit 12 retrieves the shots 15 recorded in the memory unit 11 at said precise times at which the driver of the object has positioned said object at the desired actual position. The image processing unit 12 then directly forms the pairs of positions by associating the real position of the object at the instant t with the position of the image of this object in the shot 15 taken. at this instant t.
  • the image processing unit 12 is automated. In addition to the computer, it then includes a processor capable of automatically analyzing images, such as a neural network, in particular a network convolutional neurons (or convolutional neural network).
  • a neural network in particular a network convolutional neurons (or convolutional neural network).
  • the YOLO® neural network is an example of a network that can be used for this purpose.
  • the processing unit 12 automatically detects the images of the objects lm (01), lm (02), lm (03) in the shots 15 acquired by the camera and associates them with a geometric shape (square, rectangle or trapezoid generally).
  • the neural network is trained to recognize said geometric shapes from images of reference objects such as images of cars, trucks or pedestrians.
  • the image processing unit 12 determines the coordinates (u1, v1), (u2, v2), (u3, v3) of the precise point giving the position of said geometric shapes representing the images of objects lm (01), lm (02), lm (03) in the reference frame Ri associated with the shooting 15.
  • the precise point being for example here chosen as the middle of the side resting on the ground of the geometric shape.
  • the acquisition of the real positions and of the shots 15 be carried out in the same type of environment. than that described above and making it possible to dispense with the step of selecting the shots 15. The rest of the device 1 and of the method are unchanged.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

L'invention concerne un procédé de calibration d'une caméra embarquée dans un véhicule automobile à partir d'un capteur de référence embarqué dans ledit véhicule, au moyen des étapes suivantes : a) acquisition (E1), par le capteur de référence, de positions réelles d'au moins un objet dans l'environnement du véhicule, b) acquisition (E2), par la caméra, d'une prise de vue à chaque instant auquel une des positions réelles est acquise par le capteur de référence, c) détermination (E4) de la position de l'image de chaque objet dans les prises de vue acquises par la caméra, d) formation (E5) de couples de position en appariant chaque position réelle de chaque objet avec la position de l'image dudit objet dans la prise de vue acquise par la caméra à l'instant de l'acquisition de ladite position réelle de cet objet, e) détermination (E6), par une unité de calcul, des paramètres de calibration de la caméra, à partir de l'ensemble des couples de position formés.

Description

DESCRIPTION
TITRE DE L’INVENTION : PROCÉDÉ DE CALIBRATION D’UNE CAMÉRA ET DISPOSITIF ASSOCIE
DOMAINE TECHNIQUE DE L'INVENTION
[0001] La présente invention concerne de manière générale la calibration d’une caméra embarquée dans un véhicule.
[0002] Elle concerne plus particulièrement un procédé de calibration d’une caméra embarquée dans un véhicule automobile.
[0003] L’invention trouve une application particulièrement avantageuse dans la calibration des caméras dites « de contexte » utilisées pour visualiser l’environnement et ainsi valider le comportement des véhicules munis de systèmes d’aide à la conduite, par exemple de systèmes d’aide au freinage d’urgence.
[0004] L’invention concerne également un dispositif de calibration d’une caméra embarquée dans un véhicule automobile.
ETAT DE LA TECHNIQUE
[0005] Il est nécessaire de calibrer une caméra embarquée dans un véhicule pour, d’une part, être en mesure de positionner, dans une prise de vue (ou photographie) acquise par la caméra, une représentation d’un objet détecté dans l’environnement du véhicule par la caméra, et, d’autre part, connaître la position réelle d’un objet dans l’environnement de ce véhicule, à partir de la prise de vue acquise par la caméra.
[0006] En pratique, calibrer une caméra revient donc à être capable de passer d’un référentiel associé au véhicule, à un référentiel associé à une prise de vue acquise par la caméra. Plus précisément, la calibration d’une caméra repose sur la détermination de deux types de paramètres de calibration : d’une part, des paramètres extrinsèques de calibration qui permettent de modéliser le passage d’un point dans le référentiel associé au véhicule en un point dans un référentiel associé à la caméra, et, d’autre part, des paramètres intrinsèques qui dépendent de la nature de la caméra et permettent de modéliser le passage du point dans le référentiel associé à la caméra à une image de ce point, aussi appelée pixel, dans le référentiel associé à la prise de vue acquise par la caméra.
[0007] Les procédures existantes de détermination de ces paramètres de calibration, en particulier celles des paramètres extrinsèques, reposent sur des mesures d’angles faibles et des mesures de décalages entre les origines des différents référentiels. Or, il est difficile d’établir l’origine du référentiel associé à la caméra car celui-ci est lié à l’orientation du capteur optique de la caméra. En outre, de telles mesures reposent sur une instrumentation de précision. Ces procédures existantes sont donc fastidieuses, longues à réaliser et requièrent une immobilisation du véhicule sur banc d’essai.
PRESENTATION DE L'INVENTION
[0008] Afin de remédier aux inconvénients précités de l’état de la technique, la présente invention propose un procédé de calibration simplifié pouvant être réalisé sans nécessiter l’immobilisation du véhicule sur banc d’essai.
[0009] Plus particulièrement, on propose selon l’invention un procédé de calibration d’une caméra embarquée dans un véhicule automobile à partir d’un capteur de référence embarqué dans ledit véhicule, selon lequel il est prévu de déterminer des paramètres de calibration de la caméra au moyen des étapes suivantes : a) acquisition, par le capteur de référence, d’une pluralité de positions réelles d’au moins un objet dans l’environnement du véhicule, b) acquisition, par la caméra, d’une prise de vue à chaque instant auquel une des positions réelles est acquise par le capteur de référence, c) détermination de la position de l’image de chaque objet dans les prises de vue acquises par la caméra, d) formation de couples de position en appariant chaque position réelle de chaque objet avec la position de l’image dudit objet dans la prise de vue acquise par la caméra à l’instant de l’acquisition de ladite position réelle de cet objet, e) détermination, par une unité de calcul, des paramètres de calibration de la caméra, à partir de l’ensemble des couples de position formés.
[0010] Ainsi, grâce à l’invention, les positions réelles d’objets sont déterminées avec précision par le capteur de référence, qui est déjà calibré. Les positions réelles peuvent être capturées lors du roulage du véhicule. La caméra peut donc être calibrée sans nécessiter la mise au banc d’essai du véhicule. Cela confère une souplesse appréciable, notamment lorsqu’on sait qu’il peut être nécessaire de calibrer plusieurs fois la caméra au cours du temps, par exemple suite à un choc ayant entraîné une modification de la position de la caméra. [0011 ] Le procédé est rapide et facile à mettre en œuvre.
[0012] En outre, ce procédé de calibration est applicable à tout type de caméras, y compris aux caméras grand angle (aussi appelée caméras de type « fish eye »). [0013] Par ailleurs, le procédé est applicable quel que soit le capteur de référence embarqué dans le véhicule, qu’il s’agisse d’une caméra ou d’autres capteurs tels qu’un système de détection par onde électromagnétique de type onde radio ou onde lumineuse (radar ou lidar).
[0014] Ce procédé permet de s’affranchir des mesures d’angles faibles et des mesures de décalages entre les origines des différents référentiels.
[0015] D’autres caractéristiques avantageuses et non limitatives du procédé conforme à l’invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes :
- à l’étape e), lesdits paramètres de calibration de la caméra sont des paramètres extrinsèques formés par les coefficients d’une matrice de rotation et/ou de translation décrivant le passage d’un référentiel associé au véhicule à un référentiel associé à la caméra ;
- à l’étape e), la détermination desdits paramètres extrinsèques de calibration comporte les sous-étapes suivantes : e1 ) pour chaque couple de positions formé, une position théorique de l’image de l’objet est calculée à partir de la position réelle dudit objet déterminée à l’étape a) et des coefficients de la matrice, puis, l’écart entre, d’une part, la position théorique ainsi calculée, et, d’autre part, la position déterminée à l’étape c) de l’image dudit objet dans la prise de vue, est évalué ; e2) la moyenne de tous les écarts évalués à l’étape e1 ) est calculée ; e3) les coefficients de la matrice sont modifiés ; et, e4) les sous-étapes e1) à e3) sont itérées jusqu’à ce que la moyenne des écarts calculée à la sous-étape e2) soit minimisée ;
- avant la sous-étape e1 ), les coefficients de la matrice de rotation et/ou de translation sont tous initialisés à une valeur prédéterminée, de préférence égale à 1 ;
- les étapes a) et b) d’acquisition sont effectuées en condition de roulage du véhicule en ligne droite et sur une chaussée sensiblement horizontale et plane ;
- à l’étape a), le capteur de référence acquiert au moins 5 positions réelles différentes d’objets, dispersées dans l’ensemble du champ de vision dudit capteur de référence recouvrant le champ de vision de la caméra ;
- l’étape c) de détermination de la position de l’image de chaque objet dans chaque prise de vue acquise par la caméra est effectuée manuellement par un opérateur ;
- l’étape c) de détermination de la position de l’image de chaque objet dans chaque prise de vue acquise par la caméra est effectuée par une unité de traitement d’images comportant un réseau de neurones.
[0016] L’invention propose également un dispositif de calibration d’une caméra embarquée dans un véhicule automobile, adapté à communiquer avec ladite caméra ainsi qu’avec un capteur de référence embarqué dans le véhicule, ledit capteur de référence étant prévu pour acquérir une pluralité de positions réelles d’au moins un objet dans l’environnement du véhicule, ledit dispositif comportant :
- une unité de mémoire dans laquelle sont enregistrées la position réelle de chaque objet dans le référentiel associé au véhicule à un instant donné et une prise de vue acquise par la caméra à cet instant donné,
- une unité de traitement d’images adaptée à déterminer la position de l’image de chaque objet dans les prises de vue acquises par la caméra et à former des couples de positions en appariant ladite position de l’image de l’objet dans la prise de vue avec la position réelle dudit objet à l’instant de l’acquisition de la prise de vue, et,
- une unité de calcul adaptée à calculer des paramètres de calibration de la caméra, à partir de l’ensemble des couples de position formés par l’unité de traitement d’images.
[0017] Grâce au dispositif selon l’invention, la calibration peut être effectuée sans avoir à immobiliser le véhicule sur banc d’essai, lors du roulage du véhicule. En outre, le dispositif utilise astucieusement le capteur de référence déjà présent dans le véhicule.
[0018] Selon une caractéristique avantageuse du dispositif selon l’invention, le capteur de référence est choisi parmi la liste de capteurs suivante : une caméra, une caméra stéréoscopique, ou un système de détection par onde électromagnétique.
[0019] Selon une autre caractéristique avantageuse du dispositif selon l’invention, la caméra est une caméra de validation des systèmes d’aide à la conduite.
[0020] Les caractéristiques avantageuses listées pour le procédé selon l’invention sont aussi applicables au dispositif selon l’invention.
[0021] Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
DESCRIPTION DETAILLEE DE L'INVENTION
[0022] La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée. [0023] Sur les dessins annexés :
[0024] [Fig. 1] est une représentation schématique des étapes principales d’un procédé de calibration conforme à l’invention ;
[0025] [Fig. 2] est une représentation schématique d’un dispositif de calibration conforme à l’invention ; [0026] [Fig. 3] est une représentation schématique du principe de passage d’un référentiel associé au véhicule à un référentiel associé à une prise de vue ;
[0027] [Fig. 4] est une prise de vue prise par la caméra traitée pour déterminer la position de l’image d’un objet figurant sur ladite prise de vue ;
[0028] [Fig. 5] est un premier exemple de prise de vue prise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales ;
[0029] [Fig. 6] est un deuxième exemple de prise de vue acquise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales ; [0030] [Fig. 7] est un troisième exemple de prise de vue acquise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales ; [0031] [Fig. 8] est un quatrième exemple de prise de vue acquise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales ; [0032] [Fig. 9] est un cinquième exemple de prise de vue acquise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales ; et, [0033] [Fig. 10] est un sixième exemple de prise de vue acquise par la caméra dans laquelle les conditions d’acquisition du capteur de référence sont optimales. [0034] Sur la figure 2, on a représenté un dispositif 1 de calibration conforme à l’invention, adapté à mettre en oeuvre un procédé de calibration selon l’invention dont les étapes principales sont représentées sur la figure 1.
[0035] Ce dispositif 1 et ce procédé de calibration visent chacun à calibrer une caméra 10 embarquée dans un véhicule automobile (non représenté).
[0036] La caméra 10 est capable de prendre des prises de vue de l’extérieur du véhicule. Ici, la caméra 10 prend des prises de vue à intervalles de temps suffisamment rapprochés pour qu’un œil humain ait l’impression que les prises de vue se succèdent de manière continue, sans saut perceptible à l’œil nu. On entend par « embarquée dans le véhicule » le fait que la caméra 10 soit présente sur ou dans le véhicule, que ce soit parce qu’elle fait structurellement partie du véhicule, parce qu’elle est disposée provisoirement sur la carrosserie extérieure du véhicule, ou encore parce qu’elle est présente dans l’habitacle du véhicule. Ainsi, la caméra 10 peut par exemple aussi bien être une caméra de téléphone portable posée sur le tableau de bord et orientée vers l’extérieur du véhicule qu’une caméra de contexte, disposée sur la carrosserie du véhicule. De telles caméras de contexte sont notamment utilisées pour visualiser l’environnement du véhicule et permettre de valider le comportement des véhicules munis de systèmes d’aide à la conduite, par exemple de systèmes d’aide au freinage d’urgence. Les caméras de contexte sont aussi appelées caméra de validation des systèmes d’aide à la conduite. La caméra 10 peut être tout type de caméra monoculaire, y compris une caméra à très grand angle, de type « fish eye ». Des exemples de prises de vue 15 acquises par la caméra 10 sont donnés dans les figures 4 à 10.
[0037] Comme expliqué en introduction, et comme l’illustre la figure 3, la calibration de la caméra 10 permet, d’une part, de connaître la position réelle d’un objet O dans l’environnement du véhicule, à partir d’une prise de vue 15 acquise par la caméra 10, et, d’autre part, de positionner, dans une prise de vue 15 acquise par la caméra
10 ou dans toute autre image fictive, une représentation d’un objet Im(O) détecté par la caméra 10 ou tout autre capteur dans l’environnement du véhicule.
[0038] Comme le montre le schéma de principe de la figure 3, la calibration de la caméra 10 revient donc à être capable de passer d’un référentiel Rv associé au véhicule, à un référentiel Ri associé à une prise de vue 15 acquise par la caméra. [0039] Pour calibrer la caméra 10, il est nécessaire de déterminer deux types de paramètres de calibration de la caméra : d’une part, des paramètres extrinsèques Pe qui permettent de modéliser le passage d’un point de coordonnées (X, Y, Z) dans le référentiel Rv associé au véhicule en un point de coordonnées (c', y’, z ’) dans un référentiel Rc associé à la caméra, et, d’autre part, des paramètres intrinsèques Pi qui dépendent de la nature de la caméra 10 et permettent de modéliser le passage du point de coordonnées (c', y’, z ’) dans le référentiel Rc associé à la caméra en un point de coordonnées (u, v) dans le référentiel Ri associé à la prise de vue 15 acquise par la caméra 10.
[0040] L’invention vise principalement à déterminer les paramètres extrinsèques Pe de la caméra 10. Ici, on considère que les paramètres intrinsèques Pi ont été préétablis, par une méthode connue. En variante, il est aussi possible de considérer que les paramètres intrinsèques Pi de calibration sont inconnus et qu’ils seront déterminés grâce au dispositif de calibration 1 et au procédé selon l’invention, en supplément desdits paramètres extrinsèques Pe.
[0041] De manière singulière, la calibration de la caméra 10 est réalisée au moyen d’un capteur 20 du véhicule déjà calibré, appelé dans la suite « capteur de référence 20 ». Un tel capteur de référence 20 permet de détecter au moins un objet O dans l’environnement du véhicule, dans un certain champ de vision et de déterminer sa position par rapport au véhicule, à savoir sa position dans un référentiel Rv associé au véhicule, c’est-à-dire un référentiel fixe par rapport au déplacement du véhicule. Ce capteur de référence 20 est déjà calibré dans la mesure où la position de l’objet O qu’il détermine dans le référentiel Rv associé au véhicule est exacte.
[0042] Dans un souci de simplification, la position d’un objet O dans le référentiel Rv associé au véhicule est appelée dans la suite « position réelle » de l’objet O. La position réelle de l’objet O, acquise par le capteur de référence 20, est donnée par les coordonnées (X, Y, Z) d’un point précis de cet objet O dans le référentiel associé au véhicule Rv (voir figure 3). Par convention, on choisit ici que le point précis donnant la position de l’objet est le point situé au niveau du sol, donc à une hauteur Z=0, et au milieu d’une droite reliant deux points extrêmes de l’objet O, à cette hauteur Z=0. La coordonnée X donne alors la distance latérale séparant le point précis de l’objet et l’origine du référentiel Rv associé au véhicule. La coordonnée Y donne quant à elle la distance longitudinale séparant le point précis de l’objet et l’origine du référentiel Rv associé au véhicule. Ici, on choisit que l’origine du référentiel Rv associé au véhicule est le point situé au milieu du bouclier avant du véhicule, à une hauteur correspondant à celle du sol, c’est-à-dire à une hauteur Z=0.
[0043] Les objets que le capteur de référence 20 peut détecter sont par exemple de nature suivante : des véhicules automobiles tels que les voitures, les camions et les autobus ; des piétons ; ou encore des véhicules à deux-roues type vélo, scooter ou moto.
[0044] Ici, le capteur de référence 20 est monté sur le véhicule, par exemple positionné à l’intérieur de l’habitacle, au niveau du rétroviseur avant, orienté en direction du parebrise avant. En variante, le capteur de référence pourrait être structurellement présent à l’extérieur du véhicule, par exemple intégré à la carrosserie. Quelle que soit la variante envisagée, le capteur de référence est donc lui aussi toujours embarqué dans le véhicule. [0045] Le capteur de référence 20 est choisi parmi la liste de capteurs suivante : une caméra, une caméra stéréoscopique, un système de détection par ondes électromagnétiques ou un système de détection par ondes ultrasonores. Les systèmes de détection par ondes électromagnétiques sont capables de détecter des objets par envoi d’ondes électromagnétiques et par analyse des ondes électromagnétiques réfléchies par les objets. Ces systèmes de détection sont, par exemple, les radars qui utilisent les ondes radio, ou les Lidars qui utilisent les ondes lumineuses, en particulier les lasers, par exemple de longueur d’ondes dans les domaines visible, ultra-violet ou infrarouge. Les systèmes de détection par ondes ultrasonores fonctionnent selon le même principe que les systèmes de détection par ondes électromagnétiques, mais avec envoi d’ondes sonores. Un tel système de détection par ondes ultrasonores est par exemple le sonar.
[0046] On considère que le capteur de référence 20 est prévu pour acquérir une pluralité de positions réelles d’au moins un objet dans l’environnement du véhicule, étant entendu que chaque position réelle est acquise dans le référentiel Rv associé au véhicule, à un instant donné.
[0047] Ainsi, le capteur de référence 20 acquiert, au cours du temps, la position de tout ce qu’il détecte comme un objet dans son champ de vision.
[0048] Autrement dit, le capteur de référence 20 détecte, d’une part, les positions successives au cours du temps d’un même objet présent dans son champ de vision, à savoir les positions d’un même objet à différents instants, et, d’autre part, les positions à un même instant, de plusieurs objets distincts présents dans son champ de vision.
[0049] En pratique, le capteur de référence 20 est capable de détecter plusieurs objets distincts à un même instant, pour peu que lesdits objets soient bien séparés les uns des autres dans son champ de vision. En effet, lorsque les objets sont trop proches les uns des autres du point de vue du capteur de référence 20, il les voit comme s’ils étaient accolés et formaient un seul objet fictif, auquel cas le capteur de référence 20 détermine alors une seule position réelle pour cet objet fictif au lieu de deux positions réelles distinctes (une pour chaque objet). La sensibilité de détection du capteur de référence 20, c’est-à-dire sa capacité à distinguer deux objets proches est considérée comme connue pour la présente invention.
[0050] Il est en outre préférable que les champs de vision de la caméra 10 et du capteur de référence 20 se recoupent, de manière qu’ils puissent tous deux voir un même objet au même instant, quitte à ce que la caméra 10 et le capteur de référence 20 aient chacun un point de vue différent sur cet objet. Ici, le champ de vision de la caméra 10 recouvre entre 20% et 100% du champ de vision du capteur de référence 20. Bien entendu, il importe que les positions d’objets acquises par le capteur de référence 20 soient situées dans la partie du champ de vision du capteur de référence 20 qui recoupe le champ de vision de la caméra 10, faute de quoi la position ne pourra pas être utilisée pour la calibration de la caméra 10.
[0051] Ainsi, chaque prise de vue 15 acquise par la caméra 10 à un instant donné comporte une image au moins partielle de chaque objet dont la position réelle est acquise par le capteur de référence 20 audit instant donné. [0052] Idéalement, les positions réelles détectées par le capteur de référence 20 s’étendent dans une partie du champ de vision du capteur de référence 20 située entre -5 mètres et +5 mètres latéralement par rapport à l’origine du référentiel Rv associé au véhicule, et entre 3 mètres et 30 mètres longitudinalement par rapport à cette origine, lorsque le capteur a un champ de vision orienté vers l’avant du véhicule, ou entre -3 mètres et -30 mètres longitudinalement par rapport à l’origine, lorsque le capteur de référence 20 a un champ de vision qui est orienté vers l’arrière du véhicule.
[0053] Par ailleurs, le capteur de référence 20 et la caméra 10 sont synchronisés, c’est-à-dire qu’ils ont la même origine des temps, de sorte qu’il est possible d’associer une prise de vue 15 acquise par la caméra 10 à un instant donné avec la ou les positions réelles d’objets acquises par le capteur de référence 20 à ce même instant donné. Il est autorisé de tolérer une erreur de synchronisation inférieure ou égale à quelques dizaines de millisecondes, par exemple inférieure ou égale à 30 millisecondes. [0054] Le capteur de référence 20 est adapté à détecter les positions réelles d’objets aussi bien lorsque le véhicule est à l’arrêt que lorsqu’il est en roulage. [0055] Ici, on considère que les acquisitions des prises de vue par la caméra 10 et des positions réelles d’objets par le capteur de référence 20, sont effectuées en condition de roulage du véhicule.
[0056] Pour que la position réelle de l’objet détecté soit la plus exacte possible, il importe que les conditions d’acquisition par le capteur de référence 20 soient optimales. En particulier, les conditions d’acquisition optimales nécessitent que le véhicule roule en ligne droite, c’est-à-dire sur une route sans virage, et sur une chaussée sensiblement horizontale et plane, c’est-à-dire sans pente ascendante ou descendante. Le roulage en ligne droite favorise une détermination précise des coordonnées (X, Y) dans le référentiel Rv associé au véhicule. Le roulage sur une chaussée horizontale garantit que la coordonnée Z=0 du point représentant l’objet détecté est respectée. Les deux conditions sont ici cumulatives. Par exemple, un roulage sur une portion d’autoroute ou une piste d’essai répondant à ces critères convient parfaitement pour la calibration.
[0057] A ces conditions d’acquisition optimales peuvent éventuellement s’ajouter une condition météorologique, à savoir que le véhicule roule avec une bonne visibilité pour le capteur de référence 20. Par exemple, si le capteur de référence 20 est une caméra, il va de soi qu’il est préférable de réaliser les acquisitions de positions réelles sous un temps ensoleillé plutôt que dans le brouillard. Cela favorise la précision d’acquisition du capteur de référence 20.
[0058] Les figures 5 à 10 illustrent des prises de vue 15 acquises par la caméra
10, dans des conditions d’acquisition optimales, en ligne droite, avec une chaussée sensiblement horizontale. On note que dans chacune des prises de vue 15 représentées sur les figures 5 à 10, lorsque plusieurs objets (camion, voiture) sont présents, ils sont suffisamment éloignés les uns des autres pour être distingués dans ladite prise de vue 15 acquise par la caméra 10. Ici, tous les exemples représentés sont des situations dans lesquelles la caméra 10 a un champ de vision orienté vers l’avant du véhicule dans lequel elle est embarquée.
[0059] Comme le montre la figure 2, la caméra 10 et le capteur de référence 20 sont chacun adaptés à communiquer avec le dispositif 1 de calibration.
[0060] Notamment, le dispositif 1 de calibration comprend une unité de mémoire
11, laquelle est adaptée à communiquer avec la caméra 10 et le capteur de référence 20. La caméra 10 est plus précisément adaptée à communiquer avec l’unité de mémoire 11 du dispositif 1 pour y enregistrer chaque prise de vue 15 acquise, et à quel instant cette prise de vue a été acquise. Le capteur de référence 20 est quant à lui adapté à communiquer avec l’unité de mémoire 11 du dispositif 1 pour y enregistrer les positions réelles qu’il a détectées, et à quel instant il a détecté chacune de ces positions réelles. En sus de ces informations, le capteur de référence 20 peut communiquer avec l’unité de mémoire 11 pour y enregistrer la nature de l’objet dont il a détecté la position réelle. La communication entre l’unité de mémoire 11 et la caméra 10 ou le capteur de référence 20 est effectuée au moyen d’un bus de communication, ou via une interface sans fil.
[0061] Tel que représenté sur la figure 2, le dispositif 1 de calibration comporte, outre l’unité de mémoire 11 dans laquelle sont enregistrées, la position réelle de chaque objet dans le référentiel Rv associé au véhicule à un instant donné et une prise de vue 15 acquise par la caméra 10 à cet instant donné :
- une unité de traitement d’images 12 adaptée à traiter les prises de vue 15 acquises par la caméra 10 pour déterminer la position, dans le référentiel Ri associé à chaque prise de vue 15, des images des objets présentes dans ces prises de vue 15, et,
- une unité de calcul 13 adaptée à déterminer les paramètres de calibration de la caméra 10, notamment les paramètres extrinsèques Pe de calibration.
[0062] En général, l’unité de traitement d’images 12 et l’unité de calcul 13 sont déportées du véhicule, tandis que l’unité de mémoire 11 peut être embarquée dans le véhicule, ou déportée partiellement voire totalement dudit véhicule. Dans le cas où l’unité de mémoire 11 du dispositif 1 de calibration est déportée (partiellement ou totalement) du véhicule, elle est adaptée à communiquer avec les autres unités 12, 13 du dispositif 1 par un système de communication sans fil (aussi appelé interface sans fil).
[0063] L’unité de mémoire 11 peut par exemple être une mémoire flash intégrée au véhicule, ou une mémoire flash rapportée dans le véhicule, par exemple au moyen d’une clé USB.
[0064] L’unité de traitement 12 et l’unité de calcul 13 peuvent être intégrées à un ordinateur, auquel cas l’unité de mémoire 11 peut communiquer avec lesdites unités de traitement et de calcul 12, 13 en étant insérée directement sur un port USB de l’ordinateur. [0065] L’unité de traitement d’image 12 peut par exemple comprendre un logiciel de visionnage d’image implémenté sur ordinateur et un opérateur chargé de visionner, sélectionner, et traiter les prises de vue 15.
[0066] Plus précisément, l’unité de traitement d’images 12 communique avec l’unité de mémoire 11 pour récupérer les prises de vue 15 acquises par la caméra 10. L’opérateur de l’unité de traitement d’images 12 sélectionne ensuite, parmi les prises de vue 15 récupérées dans l’unité de mémoire 11, celles qui doivent être traitées. L’opérateur traite ensuite manuellement chacune des prises de vue 15 sélectionnées afin de déterminer quelles sont les images d’objets lm(01), lm(02), lm(03) dans ces prises de vue 15, et quelle est la position de chacune de ces images d’objet dans le référentiel Ri associé à la prise de vue 15.
[0067] La sélection et le traitement des prises de vue pour déterminer la position de l’image de chaque objet sera décrite plus en détails ci-après, en référence au procédé selon l’invention. [0068] L’unité de traitement d’images 12 est enfin adaptée à former des couples de positions en appariant chaque position de l’image d’un objet dans le référentiel Ri associé à la prise de vue 15 à la position réelle objet dans le référentiel Rv associé au véhicule, à l’instant d’acquisition de la prise de vue 15.
[0069] L’unité de traitement d’images 12 communique à nouveau avec l’unité de mémoire 11 pour enregistrer les paires de positions ainsi formées.
[0070] L’unité de calcul 13 calcule ensuite les paramètres extrinsèques Pe de calibration de la caméra 10, à partir de l’ensemble des couples de position formés par l’unité de traitement d’images 12.
[0071] L’unité de calcul 13 du dispositif 1 de calibration est donc aussi adaptée à communiquer avec, d’une part l’unité de mémoire 11 pour récupérer les paires de positions formées par l’unité de traitement d’images 12, et, d’autre part, avec la caméra 10 pour lui envoyer les paramètres extrinsèques Pe.
[0072] En variante, l’unité de calcul 13 peut être conçue pour communiquer seulement avec l’unité de mémoire 11 où sont alors enregistrés les paramètres extrinsèques Pe après leur calcul. Dans ce cas, l’unité de mémoire 11 est la seule unité adaptée à communiquer avec la caméra 10.
[0073] L’unité de calcul 13 met en œuvre les calculs qui sont explicités plus en détails en référence au procédé selon l’invention décrit ci-après. Elle comporte à cet effet un calculateur adapté à mettre en œuvre des calculs d’optimisation. [0074] Sur la figure 1 , on a représenté les étapes principales du procédé de calibration de la caméra 10, conforme à l’invention.
[0075] Selon ce procédé, il est prévu de déterminer les paramètres de calibration de la caméra, notamment les paramètres extrinsèques, au moyen des étapes suivantes : a) acquisition par le capteur de référence 20 d’une pluralité de positions réelles d’au moins un objet dans l’environnement du véhicule (représentée par la case E1 dans la figure 1 ), b) acquisition par la caméra 10 d’une prise de vue 15 à chaque instant d’acquisition d’une des positions réelles par le capteur de référence 20 (représentée par la case E2 dans la figure 1 ), c) détermination de la position de l’image de chaque objet dans les prises de vue 15 acquises par la caméra (représentée par la case E4 dans la figure 1 ), d) formation de couples de position en appariant chaque position réelle de chaque objet avec la position de l’image dudit objet dans la prise de vue 15 acquise par la caméra 10 à l’instant de l’acquisition de ladite position réelle de cet objet (représentée par la case E5 dans la figure 1 ), e) détermination par une unité de calcul 13 des paramètres de calibration de la caméra, à partir de l’ensemble des couples de position formés (représentée par la case E6 dans la figure 1 ).
[0076] On comprend bien que le dispositif 1 de calibration selon l’invention est adapté à mettre en oeuvre les étapes du procédé selon l’invention.
[0077] Les étapes a) et b) du procédé, représentées par les cases E1 et E2 de la figure 1 , ont déjà été largement détaillées en référence à la description du dispositif 1.
[0078] Pour que la calibration de la caméra 10 soit optimale, il importe que le capteur de référence 20 acquiert à l’étape a) une pluralité de positions réelles différentes dans son champ de vision, c’est-à-dire les positions d’une pluralité d’objets distincts. Autrement dit, les coordonnées du point précis représentant un des objets détectés par le capteur de référence 20 doivent être différentes des coordonnées du point précis représentant un autre des objets qu’il détecte, dans le référentiel Rv associé au véhicule.
[0079] Ici, le capteur de référence 20 acquiert au moins 5 positions réelles différentes d’objets, réparties dans l’ensemble de la partie du champ de vision dudit capteur de référence 20 qui recoupe le champ de vision de la caméra 10. Le capteur de référence 20 acquiert par exemple entre 5 et 20 positions réelles différentes, préférentiellement 10 positions réelles différentes. Plus le nombre de positions réelles différentes acquises est élevé, plus la calibration de la caméra 10 sera précise. Idéalement, les positions réelles des objets détectés sont dispersées dans le champ de vision du capteur de référence 20 qui recoupe le champ de vision de la caméra 10. Autrement dit, les positions réelles sont situées dans le champ de vision qui est commun à la caméra 10 et au capteur de référence 20, mais idéalement, elles ne sont pas concentrées toutes au même endroit dans ce champ de vision commun. Encore plus préférentiellement, les positions sont réparties de manière homogène dans le champ de vision du capteur de référence 20 qui recoupe celui de la caméra 10.
[0080] Pour permettre au capteur de référence 20 d’acquérir assez de positions réelles différentes d’objets, le temps de roulage du véhicule doit être suffisant à l’étape a).
[0081 ] Comme le montre la figure 1 , il est prévu une étape additionnelle aux étapes a) et b), représentée par la case E3, qui est une étape de synchronisation des acquisitions du capteur de référence 20 et de la caméra 10. Lors de cette étape additionnelle, l’unité de mémoire 11 apparie la prise de vue 15 prise par la caméra 10 à l’instant t avec toutes les positions réelles d’objets acquises par le capteur de référence 20 à cet instant t. Ainsi, lorsque l’unité de traitement 12 traite les prises de vue 15 lors de l’étape c) (représentée par la case E4), elle sait combien d’images d’objets doivent être détectées dans chaque prise de vue 15 traitée : il y a autant d’images à détecter que de positions réelles acquises par le capteur de référence 20 à l’instant t.
[0082] L’étape c) du procédé, représentée par la case E4 de la figure 1 , est une étape de traitement d’images qui comprend, la sélection éventuelle des prises de vue 15 à traiter, la détection des images d’objet dans chaque prise de vue 15 sélectionnée, et la détection de la position de chacune de ces images d’objet dans le référentiel Ri associé à ladite prise de vue 15.
[0083] Cette étape de traitement d’images est mise en œuvre par l’opérateur assisté du logiciel implémenté dans l’ordinateur de l’unité de traitement d’images 12. [0084] Plus précisément, l’unité de traitement d’images 12 communique avec l’unité de mémoire 11 pour récupérer les prises de vue 15 acquises. L’opérateur de l’unité de traitement d’images 12 sélectionne ensuite, parmi les prises de vue 15 récupérées dans l’unité de mémoire 11 , celles qui doivent être traitées. Les prises de vue 15 sélectionnées par l’opérateur pour le traitement sont celles dans lesquelles, l’image de la route est en ligne droite et plane, dans lesquelles les conditions météorologiques semblent idéales pour le capteur de référence 20, et dans lesquelles les images d’objets sont bien séparées les unes des autres. De préférence, ces critères de sélection par l’opérateur sont cumulatifs.
[0085] Comme le montre la figure 4, l’opérateur traite ensuite manuellement chacune des prises de vue 15 sélectionnées afin de déterminer quelles sont les images d’objets lm(01), lm(02), lm(03) dans ces prises de vue 15.
[0086] Par convention, on choisit ici que l’image de l’objet est une forme géométrique, par exemple un carré, un rectangle ou un trapèze. Ici, comme le montre la figure 4, la forme géométrique représentant l’image de l’objet suit le contour de la vue arrière d’une voiture. Ainsi, pour matérialiser les images des objets dans les prises de vue 15, l’opérateur entoure à l’aide du contour géométrique adapté, une zone prédéterminée (ici la vue arrière) de l’image de chaque objet. Dans la figure 4, l’opérateur entoure à l’aide de trois carrés lm(01), lm(02), lm(03), la face arrière de trois voitures. Le logiciel VGG Image Annotator® est par exemple utilisé par l’opérateur pour réaliser cette opération de détourage des images d’objets avec une forme géométrique.
[0087] A l’étape c), l’unité de traitement d’images 12 détermine ensuite la position de chaque image d’objet lm(01), lm(02), lm(03) ainsi matérialisée dans les prises de vue 15 sélectionnées. Pour ce faire, l’unité de traitement d’images 12 détermine les coordonnées (u1, v1), (u2, v2), (u3, v3) d’un point précis M1, M2, M3 de chaque image d’objet lm(01), lm(02), lm(03) dans le référentiel Ri associé à la prise de vue 15. En général, c’est l’opérateur qui détermine manuellement la position du point précis de l’image de l’objet dans la prise de vue 15, en repérant les coordonnées d’un point précis de la forme géométrique matérialisant ladite image de l’objet, dans le référentiel Ri associé à la prise de vue 15. En variante, on peut envisager que la position de l’image de chaque objet dans ladite prise de vue soit déterminée automatiquement par un logiciel capable de repérer un point précis dans une forme géométrique représentant l’image de l’objet.
[0088] Par convention, on choisit que le point précis fournissant la position de l’image de l’objet lm(01), lm(02), lm(03) est le point M1, M2, M3 situé au niveau du sol, au milieu d’une droite au sol reliant deux points extrêmes de l’image de l’objet lm(01), lm(02), lm(03).
[0089] Par exemple, dans la figure 4, le point précis M1 , M2, M3 donnant la position d’un des carrés lm(01), lm(02), lm(03), est le milieu du côté de ce carré reposant au sol. Il suffit ensuite de déterminer les coordonnées (u1, v1), (u2, v2), (u3, v3) de ce point précis dans le référentiel Ri associé à la prise de vue 15 traitée. Pour cela, on choisit ici que l’origine du référentiel Ri associé à la prise de vue 15 est le point situé en haut à gauche de la prise de vue 15 (voir figures 3 et 4).
[0090] L’étape d) du procédé, représentée par la case E5 de la figure 1 , revient à former des paires de positions en associant la position réelle d’un objet détecté par le capteur de référence 20 à un instant t à la position de l’image de cet objet dans le référentiel Ri associé à la prise de vue 15 acquise au même instant t.
[0091 ] Pour ce faire, l’unité de traitement d’images 12 apparie la position (u1 , v1 ), (u2, v2), (u3, v3) de l’image de l’objet lm(01), lm(02), lm(03) dans le référentiel Ri associé à la prise de vue 15 à la position réelle (X1 , Y1 , Z1 =0), (X2, Y2, Z2=0), (X3, Y3, Z3=0) dudit objet 01, 02, 03 dans le référentiel Rv associé au véhicule, à l’instant d’acquisition de la prise de vue 15.
[0092] Plus précisément, l’unité de traitement 12 récupère dans l’unité de mémoire 11 chaque position réelle d’objet détecté par le capteur de référence 20 à l’instant d’acquisition de la prise de vue 15 traitée.
[0093] Lorsqu’un seul objet a été détecté à cet instant par le capteur de référence 20, la position réelle de l’objet dans le référentiel Rv associé au véhicule est directement appariée à la position de la seule image d’objet identifiée dans la prise de vue 15. [0094] Lorsque plusieurs objets ont été détectés par le capteur de référence 20 à cet instant, l’unité de traitement 12 retrouve quelle position réelle acquise correspond à quelle position d’image d’objet identifiée dans la prise de vue 15. En pratique, l’opérateur de l’unité de traitement d’images 12 reconnaît dans la prise de vue 15 la nature des objets photographiés, et la compare avec la nature des objets détectés par le capteur de référence 20 qui est enregistrée dans l’unité de mémoire 11 avec la position réelle de chacun de ces objets. En variante, ou lorsque cela ne suffit pas à distinguer les objets dans la prises de vue 15, l’opérateur peut scinder l’environnement du véhicule en différentes zones, par exemple en zones latérales (zones à gauche, à droite ou en face du véhicule), et/ou en zones longitudinales (zone proche, médiane ou éloignée du véhicule). Avec cet environnement scindé, l’opérateur retrouve, à partir de sa position réelle, dans quelle zone est situé un objet détecté par le capteur de référence 20, et il en déduit dans quelle zone de la prise de vue se trouve l’image de cet objet, de sorte que l’opérateur peut alors apparier la position réelle acquise à l’instant d’acquisition de la prise de vue 15 avec la position de l’image de cet objet dans la prise de vue 15.
[0095] Par exemple, dans la prise de vue 15 de la figure 4, l’unité de traitement d’images 12 identifie trois positions d’images d’objets (u1, v1), (u2, v2), (u3, v3). L’unité de traitement d’images 12 récupère ensuite les trois positions réelles acquises par le capteur de référence 20 pour ces trois objets à l’instant d’acquisition de la prise de vue 15. A partir des positions réelles de ces trois objets, l’opérateur déduit qu’un des objets est situé dans une zone à gauche du véhicule et éloignée du véhicule, un autre est situé dans une zone à gauche du véhicule et proche du véhicule et un troisième est situé dans une zone en face du véhicule. L’opérateur déduit alors que l’objet situé dans la zone à gauche du véhicule et proche du véhicule a pour image lm(01 ) de position (u1 , v1 ), que l’objet situé dans la zone à gauche du véhicule et éloignée du véhicule a pour image lm(03) de position (u3, v3), et enfin que l’objet situé en face du véhicule a pour image lm(02) de position (u2, v2). [0096] L’étape e) du procédé, représentée par la case E6 de la figure 1 , est une étape de calcul visant à déterminer les paramètres de calibration de la caméra 10. Elle est ici mise en oeuvre par le calculateur de l’unité de calcul 13.
[0097] Parmi les paramètres de calibration de la caméra 10, on retrouve les paramètres extrinsèques Pe qui sont toujours déterminés par le procédé selon l’invention, et les paramètres intrinsèques Pi qui sont soit connus, soit déterminés, au moins en partie, par le procédé selon l’invention.
[0098] Les paramètres extrinsèques Pe de la caméra 10 sont formés par les coefficients d’une matrice de rotation et/ou de translation décrivant le passage du référentiel Rv associé au véhicule à un référentiel Rc associé à la caméra 10. [0099] Cette matrice de rotation et/ou de translation, appelée matrice de paramètres extrinsèques Pe, s’écrit sous la forme générale suivante.
[0100] [Math. 1] LI G12 *13 t
Pe r21 r22 r23 t2 -r31 r32 r33 t3_
[0101] Dans cette matrice de paramètres extrinsèques Pe, les coefficients r représentent les coefficients de rotation entre les deux référentiels Rv et Rc tandis que les coefficients tk représentent les coefficients de translation entre lesdits deux référentiels Rv et Rc.
[0102] Les paramètres intrinsèques Pi de la caméra 10 comprennent, d’une part, des coefficients de distorsion liés à la lentille de la caméra 10, en particulier des coefficients de distorsion radiale (majoritaires) et des coefficients de distorsion tangentielle (minoritaires), et, d’autre part, des coefficients physiques liés au centre optique de la lentille et aux distances focales de cette lentille. On considère généralement que lesdits coefficients physiques peuvent être regroupés sous forme d’une matrice, dite matrice de coefficients intrinsèques Pi, qui s’écrit sous la forme générale suivante.
[0103] [Math. 2]
0 c x
Pi = 0 fy C y
L0 0 1
[0104] Dans cette matrice de paramètres intrinsèques Pi, les coefficients fx, fy sont associés aux distances focales de la lentille de la caméra 10, et les coefficients ex et cy sont associés au centre optique de la lentille de la caméra 10.
[0105] Dans l’hypothèse où on connaît les paramètres intrinsèques Pi de calibration, le procédé selon l’invention vise uniquement à déterminer les paramètres extrinsèques. Pour ce faire, initialement, les coefficients de la matrice de paramètres extrinsèques sont tous initialisés à une valeur prédéterminée. De préférence, lorsque les coefficients de cette matrice sont inconnus, on choisit que lesdits coefficients soient initialisés à une valeur constante, par exemple égale à 1 . Ainsi, lorsque tous les coefficients de la matrice sont inconnus, on choisit que ry = tk
= 1.
[0106] Les coefficients de cette matrice de paramètres extrinsèques Pe sont ensuite modifiés progressivement par l’unité de calcul 13, à l’aide d’un procédé d’optimisation.
[0107] Plus précisément, l’étape e) de détermination desdits paramètres extrinsèques Pe comporte les sous-étapes suivantes : e1 ) pour chaque couple de positions formé à l’étape d), une position théorique de l’image de l’objet est calculée à partir de la position réelle dudit objet et des coefficients de la matrice de paramètre extrinsèques, puis, l’écart entre, d’une part, la position théorique ainsi calculée, et, d’autre part, la position de l’image dudit objet dans la prise de vue 15, est évalué ; e2) la moyenne de tous les écarts évalués à l’étape e1 ) est calculée ; e3) les coefficients de la matrice sont modifiés ; et, e4) les sous-étapes e1) à e3) sont itérées jusqu’à ce que la moyenne des écarts calculée à la sous-étape e2) soit minimisée. [0108] A la sous-étape e1 ), la position théorique de l’image d’un objet, donnée par les coordonnées (uth, vth), est calculée à partir de la position réelle dudit objet, donnée par les coordonnées (X, Y, Z=0). Plus précisément, la position théorique de l’image (uth, vth) est calculée en effectuant la succession d’opérations suivantes :
- transformation, à l’aide de la matrice de paramètres extrinsèques, de la position réelle (X, Y, Z) de l’objet dans le référentiel Rv associé au véhicule en une position (x’, y’, z’) de cet objet dans le référentiel Rc associé à la caméra 10,
- correction, à l’aide d’une équation de distorsion connue faisant intervenir les coefficients de distorsion décrits précédemment, de ladite position (x’, y’, z’) de l’objet dans le référentiel Rc associé à la caméra 10 en une position corrigée (x”, y”, z”) rattrapant le phénomène de distorsion de la lentille de la caméra 10, et
- transformation, à l’aide de la matrice de paramètres intrinsèques, de la position corrigée (x”, y”, z”) de l’objet dans le référentiel Rc associé à la caméra 10 en la position théorique (uth, vth) de l’image dans le référentiel associé à la prise de vue 15.
[0109] La transformation de la position réelle (X, Y, Z) de l’objet dans le référentiel Rv associé au véhicule en une position (x’, y’, z’) de cet objet dans le référentiel Rc associé à la caméra 10 est calculée à l’aide de l’équation suivante.
[0110] [Math. 3]
[0111] La correction de la position (x’, y’, z’) de l’objet dans le référentiel Rc associé à la caméra 10 en une position corrigée (x”, y”, z”) pour rattraper le phénomène de distorsion de la lentille de la caméra 10 est calculée à l’aide des coefficients de distorsion décrits précédemment, selon l’équation de distorsion connue, reproduite ci-après.
[0112] [Math. 4]
[0113] Dans cette équation, ki, k2, k3, k4, ks et k6 sont les coefficients de distorsion radiale pi et p2 sont les coefficients de distorsion tangentielle, et on considère que r remplit les conditions de l’équation suivante.
[0114] [Math. 5] r2 = x'2 + ÿ2
[0115] Il faut noter que, comme la position réelle (X, Y, Z) de l’objet est choisi de manière à remplir la condition Z=0, la position (x’, y’, z’) dudit objet dans le référentiel Rc associé à la caméra 10 et la position corrigée (x”, y”, z”) de cet objet sont également telles que z’=z”=0, raison pour laquelle l’équation de distorsion pour z” n’est pas décrite ici.
[0116] La transformation de la position corrigée (x”, y”, z”) de l’objet dans le référentiel Rc associé à la caméra 10 en la position théorique (uth, vth) de l’image dans le référentiel associé à la prise de vue 15 est calculée selon l’équation suivante.
[0117] [Math. 6]
[0118] Dans une variante simplifiée, selon laquelle on ne tient pas compte du phénomène de distorsion de la lentille, c’est-à-dire selon laquelle les coefficients de distorsion sont tous nuis, la position théorique de l’image (uth, vth) est calculée à l’aide de l’équation simplifiée suivante :
[0119] [Math. 7] uth fx 0 cx Vu V12 -X-
*13 ti r21 r22 r Y vth 0 fy Cy 23 t-2 z
1 0 0 1 r31 r32 r33 t-3- 1
[0120] Dans cette équation, les coefficients fx, fy, ex et cy représentent alors les seuls paramètres intrinsèques Pi de calibration de la caméra 10 (puisqu’on considère qu’il n’y a aucune distorsion). On considère ici que ces coefficients fx, fy, ex et cy sont connus. Lors du calcul de la position théorique (uth, vth), les coefficients fx, fy, ex et cy sont remplacés par leurs valeurs connues, et les coefficients ry, tk de la matrice de paramètres extrinsèques Pe sont pris égaux à leur valeur initiale, par exemple égaux à 1 .
[0121] Quelle que soit la variante envisagée pour calculer la position théorique de l’image de l’objet, une fois ladite position théorique (uth, vth) calculée, l’unité de calcul 13 évalue, à la sous-étape e1 ), l’écart entre cette position théorique (uth, vth) et la position (u, v) de l’image dudit objet dans la prise de vue 15, déterminée par l’unité de traitement d’images 12 à l’étape c). La position (u, v) de l’image de l’objet dans la prise de vue 15 n’est autre que celle appariée, lors de l’étape d), à la position réelle (X, Y, Z=0) de l’objet utilisée pour le calcul de la position théorique (uth, vth). [0122] En pratique, l’écart entre ces positions est évalué comme la distance « L » séparant les points de coordonnées respectives (uth, vth) et (u, v). Ainsi, l’écart est obtenu par la formule suivante :
[0123] [Math. 8]
[0124] L’unité de calcul 13 procède ainsi pour tous les couples de positions établis à l’étape d), à savoir pour au moins 5 couples de position.
[0125] A la sous-étape e2), l’unité de calcul 13 calcule la moyenne arithmétique des écarts L ainsi obtenus.
[0126] A la sous-étape e3), les coefficients ry, tk de la matrice de paramètres extrinsèques Pe sont progressivement modifiés par un procédé d’optimisation. [0127] Après chaque modification de la matrice de paramètres extrinsèques Pe, les sous-étapes e1) à e3) sont itérées.
[0128] A la sous-étape e4), l’itération des sous-étapes e1 à e3) s’arrête lorsque la moyenne des écarts L, calculée à la sous-étape e2), est minimisée. Ainsi, lorsque l’itération s’arrête, pour chaque image d’objet, la position théorique (uth, vth) calculée s’approche au plus près de la position (u, v) déterminée à l’étape c) du procédé par l’unité de traitement d’images 12. Les coefficients de la matrice de paramètres extrinsèques Pe retenus sont donc ceux qui correspondent à l’obtention de la moyenne minimale calculée pour les écarts entre positions théoriques et positions des images des objets déterminées par l’unité de traitement d’images 12 à l’étape c).
[0129] Le procédé d’optimisation mis en oeuvre lors des sous-étapes e1 à e4) est ici un procédé classique dit à descente de gradient.
[0130] La présente invention n’est nullement limitée aux modes de réalisation décrits et représentés, mais l’homme du métier saura y apporter toute variante conforme à l’invention. Le modèle de distorsion et le modèle des paramètres intrinsèques précédemment décrits sont des exemples de modèles. Ce sont les plus courants mais il y en a d’autres tels que ceux utilisés par les caméras grand angle (aussi appelée caméras de type « fish eye ») pour la distorsion. Cela ne change pas la validité de la méthode.
[0131] En pratique, il est envisageable que les coefficients de translation tk de la matrice de paramètres extrinsèques Pe soient connus, auquel cas, on utilise les valeurs connues de ces coefficients tk dans la matrice Pe dès l’initialisation et tout au long du procédé d’optimisation mis en oeuvre dans les sous-étapes e1) à e4). Seuls les coefficients de rotation r inconnus sont initialisés à la valeur de 1 puis modifiés progressivement lors du procédé d’optimisation des sous-étapes e1) à e4). [0132] Comme il a été dit précédemment, il est également envisageable que la matrice de coefficients intrinsèques Pi soit inconnue, auquel cas les coefficients fx, fy, ex et cy de la matrice de paramètres intrinsèques Pi sont déterminées par le procédé d’optimisation des sous-étapes e1) à e4). On procède comme décrit ci- avant, en initialisant la valeur des coefficients fx, fy, ex et cy de la matrice de paramètres intrinsèques Pi à une valeur prédéterminée, puis on modifie ces coefficients, au même titre que les coefficients ry, tk de la matrice de paramètres extrinsèques Pe, jusqu’à ce que la moyenne des écarts entre la position théorique et la position déterminée de chaque image d’objet, dans chaque prise de vue 15 soit la plus faible possible. En pratique, les valeurs initiales prédéterminées des coefficients fx, fy, ex, cy de la matrice de paramètres intrinsèques Pi ne seront pas choisies égales à 1, comme c’est le cas pour les coefficients de la matrice de paramètres extrinsèques Pe, mais choisies égales à des valeurs plus réalistes. Ainsi, en considérant par exemple que l’image du centre optique de la caméra 10 est généralement proche du milieu de la prise de vue 15, il est possible d’initialiser les coefficients ex et cy en les choisissant égaux aux coordonnées du point central de la prise de vue 15. Les coefficients fx et fy peuvent quant à eux être initialisés en prenant les valeurs moyennes des distances focales données par le fabriquant de la caméra 10. [0133] Plus le nombre de coefficients inconnus qu’il convient de déterminer à l’aide du dispositif 1 et/ou du procédé selon l’invention est important, plus le nombre de couples de positions formés lors des étapes a) à d) du procédé devra être élevé. [0134] Par ailleurs, pour s’affranchir de l’étape de sélection des prises de vue par l’unité de traitement d’images 12, il est envisageable de choisir l’environnement dans lequel roule le véhicule pour acquérir les positions réelles et les prises de vue 15. Cela garantit que le capteur de référence 20 acquiert la position réelle d’un seul objet à chaque instant, de sorte que la prise de vue acquise par la caméra au même instant comporte une seule image d’objet.
[0135] En pratique, il est possible de faire rouler le véhicule dans lequel sont embarqués le capteur de référence 20 et la caméra 10, en ligne droite, à une vitesse prédéterminée, sur une route plane et dégagée de tout objet, à l’exception de l’unique objet que l’on veut détecter, par exemple d’une voiture. Cet objet évolue autour dudit véhicule pour se placer en des endroits déterminés du champ de vision du capteur de référence 20, à des instants choisis. La voiture objet peut par exemple être pilotée par un conducteur qui sait à quels endroits il doit se positionner à des instants précis au cours du temps.
[0136] L’unité de traitement d’images 12 récupère les prises de vue 15 enregistrées dans l’unité de mémoire 11 auxdits instants précis auxquels le conducteur de l’objet a positionné ledit objet à la position réelle voulue. [0137] L’unité de traitement d’images 12 forme alors directement les couples de positions en associant la position réelle de l’objet à l’instant t avec la position de l’image de cet objet dans la prise de vue 15 prise à cet instant t.
[0138] Le reste du procédé est inchangé.
[0139] D’autre part, il est envisageable que le dispositif 1 et le procédé selon l’invention soient entièrement automatisés, c’est-à-dire que l’on puisse se passer de l’opérateur de l’unité de traitement d’images 12.
[0140] Dans ce cas, l’unité de traitement d’images 12 est automatisée. En sus de l’ordinateur, elle comporte alors un processeur capable d’analyser automatiquement des images, tel qu’un réseau de neurones, notamment un réseau de neurones à convolution (ou réseau de neurones convolutifs). Le réseau de neurones YOLO® est un exemple de réseau qui peut être utilisé à cet effet. Dans ce cas, l’unité de traitement 12 détecte automatiquement les images des objets lm(01), lm(02), lm(03) dans les prises de vue 15 acquises par la caméra et les associe à une forme géométrique (carré, rectangle ou trapèze généralement). Le réseau de neurones est entraîné à reconnaître lesdites formes géométriques à partir d’images d’objet de référence telles que des images de voitures, de camions ou de piétons. L’unité de traitement d’images 12 détermine ensuite les coordonnées (u1, v1), (u2, v2), (u3, v3) du point précis donnant la position desdites formes géométriques représentant les images d’objets lm(01), lm(02), lm(03) dans le référentiel Ri associé à la prise de vue 15. Le point précis étant par exemple ici choisi comme milieu du côté reposant au sol de la forme géométrique.
[0141] Pour faciliter la détection des images d’objet par l’unité de traitement d’images automatisé, il est préférable que l’acquisition des positions réelles et des prises de vue 15 soit mises en oeuvre dans le même type d’environnement que celui décrit ci-dessus et permettant de s’affranchir de l’étape de sélection des prises de vue 15. Le reste du dispositif 1 et du procédé sont inchangés.

Claims

REVENDICATIONS
[Revendication 1] Procédé de calibration d’une caméra (10) embarquée dans un véhicule automobile à partir d’un capteur de référence (20) embarqué dans ledit véhicule, selon lequel il est prévu de déterminer des paramètres de calibration (Pe, Pi) de la caméra au moyen des étapes suivantes : a) acquisition, par le capteur de référence (20), d’une pluralité de positions réelles ((X, Y, Z)) d’au moins un objet dans l’environnement du véhicule, b) acquisition, par la caméra (10), d’une prise de vue (15) à chaque instant auquel une des positions réelles est acquise par le capteur de référence (20), c) détermination de la position ((u, v)) de l’image de chaque objet dans les prises de vue (15) acquises par la caméra (10), d) formation de couples de position en appariant chaque position réelle ((X, Y, Z)) de chaque objet avec la position ((u, v)) de l’image dudit objet dans la prise de vue (15) acquise par la caméra (10) à l’instant de l’acquisition de ladite position réelle de cet objet, e) détermination, par une unité de calcul (13), des paramètres de calibration (Pe, Pi) de la caméra (10), à partir de l’ensemble des couples de position formés.
[Revendication 2] Procédé selon la revendication 1 , selon lequel, à l’étape e), lesdits paramètres de calibration de la caméra sont des paramètres extrinsèques (Pe) formés par les coefficients (r , tk) d’une matrice de rotation et/ou de translation décrivant le passage d’un référentiel (Rv) associé au véhicule à un référentiel (Ri) associé à la caméra.
[Revendication 3] Procédé selon la revendication 2, selon lequel, à l’étape e), la détermination desdits paramètres extrinsèques (Pe) de calibration comporte les sous-étapes suivantes : e1 ) pour chaque couple de positions formé, une position théorique ((uth, vth)) de l’image de l’objet est calculée à partir de la position réelle ((X, Y, Z)) dudit objet déterminée à l’étape a) et des coefficients (ry, tk) de la matrice, puis, l’écart (L) entre, d’une part, la position théorique ((uth, vth)) ainsi calculée, et, d’autre part, la position ((u, v)) déterminée à l’étape c) de l’image dudit objet dans la prise de vue (15), est évalué ; e2) la moyenne de tous les écarts (L) évalués à l’étape e1) est calculée ; e3) les coefficients (r , tk) de la matrice sont modifiés ; et, e4) les sous-étapes e1) à e3) sont itérées jusqu’à ce que la moyenne des écarts (L) calculée à la sous-étape e2) soit minimisée.
[Revendication 4] Procédé selon la revendication 3, selon lequel, avant la sous- étape e1), les coefficients (ry, tk) de la matrice de rotation et/ou de translation sont tous initialisés à une valeur prédéterminée, de préférence égale à 1.
[Revendication 5] Procédé selon l’une des revendications 1 à 4, selon lequel, les étapes a) et b) d’acquisition sont effectuées en condition de roulage du véhicule en ligne droite et sur une chaussée sensiblement horizontale et plane.
[Revendication 6] Procédé selon l’une des revendications 1 à 5, selon lequel à l’étape a), le capteur de référence (20) acquiert au moins 5 positions réelles différentes d’objets, dispersées dans l’ensemble du champ de vision dudit capteur de référence (20) recouvrant le champ de vision de la caméra (10).
[Revendication 7] Procédé selon l’une des revendications 1 à 6, selon lequel, l’étape c) de détermination de la position ((u,v)) de l’image de chaque objet dans chaque prise de vue (15) acquise par la caméra (10) est effectuée manuellement par un opérateur.
[Revendication 8] Procédé selon l’une des revendications 1 à 6, selon lequel, l’étape c) de détermination de la position ((u, v)) de l’image de chaque objet dans chaque prise de vue (15) acquise par la caméra (10) est effectuée par une unité de traitement d’images (12) comportant un réseau de neurones.
[Revendication 9] Dispositif (1) de calibration d’une caméra (10) embarquée dans un véhicule automobile, adapté à communiquer avec ladite caméra (10) ainsi qu’avec un capteur de référence (20) embarqué dans le véhicule, ledit capteur de référence (20) étant prévu pour acquérir une pluralité de positions réelles ((X, Y, Z)) d’au moins un objet dans l’environnement du véhicule, ledit dispositif (1) comportant :
- une unité de mémoire (11) dans laquelle sont enregistrées la position réelle ((X, Y, Z)) de chaque objet dans un référentiel (Rv) associé au véhicule à un instant donné et une prise de vue (15) acquise par la caméra (10) à cet instant donné,
- une unité de traitement d’images (12) adaptée à déterminer la position ((u, v)) de l’image de chaque objet dans les prises de vue (15) acquises par la caméra (10) et à former des couples de positions en appariant ladite position (u, v)) de l’image de l’objet dans la prise de vue avec la position réelle ((X, Y, Z)) dudit objet à l’instant de l’acquisition de la prise de vue (15), et, - une unité de calcul (13) adaptée à calculer des paramètres de calibration (Pe, Pi) de la caméra (10), à partir de l’ensemble des couples de position formés par l’unité de traitement d’images (12).
[Revendication 10] Dispositif (1) selon la revendication 9, dans lequel le capteur de référence (20) est choisi parmi la liste de capteurs suivante : une caméra, une caméra stéréoscopique, un système de détection par ondes électromagnétiques, notamment un radar ou un Lidar, ou encore un système de détection par ondes ultrasonores.
EP21728586.5A 2020-06-12 2021-05-31 Procede de calibration d'une camera et dispositif associe Pending EP4165601A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2006169A FR3111464B1 (fr) 2020-06-12 2020-06-12 Procédé de calibration d’une caméra et dispositif associé
PCT/EP2021/064559 WO2021249809A1 (fr) 2020-06-12 2021-05-31 Procede de calibration d'une camera et dispositif associe

Publications (1)

Publication Number Publication Date
EP4165601A1 true EP4165601A1 (fr) 2023-04-19

Family

ID=72644367

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21728586.5A Pending EP4165601A1 (fr) 2020-06-12 2021-05-31 Procede de calibration d'une camera et dispositif associe

Country Status (5)

Country Link
US (1) US20230306638A1 (fr)
EP (1) EP4165601A1 (fr)
KR (1) KR20230023763A (fr)
FR (1) FR3111464B1 (fr)
WO (1) WO2021249809A1 (fr)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques

Also Published As

Publication number Publication date
FR3111464A1 (fr) 2021-12-17
US20230306638A1 (en) 2023-09-28
FR3111464B1 (fr) 2022-11-18
KR20230023763A (ko) 2023-02-17
WO2021249809A1 (fr) 2021-12-16

Similar Documents

Publication Publication Date Title
EP2884226B1 (fr) Procédé de calibration angulaire de la position d'une caméra video embarquée dans un véhicule automobile
FR2867567A1 (fr) Systeme et procede de detection de l'etat d'un vehicule
EP2133237B1 (fr) Procédé d'affichage d'aide au parking
FR2899332A1 (fr) Dispositif de mesure de champ de visibilite pour vehicule et systeme d'assistance a la conduite pour vehicule
EP2043044B1 (fr) Procédé et dispositif d'assistance au parcage d'un véhicule automobile
EP3579191A1 (fr) Estimation dynamique du tangage instantané et du roulis instantané d'une caméra embarquée dans un véhicule automobile
FR3054673B1 (fr) Fusion de donnees de detection et de suivi d'objets pour vehicule automobile
FR3120040A1 (fr) Procédé d’activation d’un système d’évitement d’obstacle pour véhicule automobile
FR3106560A1 (fr) Système de détermination de la position angulaire d’un véhicule à deux points de pivot
EP4165601A1 (fr) Procede de calibration d'une camera et dispositif associe
FR3052581B1 (fr) Procede de realisation d'une carte de profondeurs a partir d'images successives d'une camera unique (mono) embarquee dans un vehicule automobile
EP3682320B1 (fr) Procédé d'affichage sur un écran d'un environnement d'un véhicule automobile, et véhicule automobile dans lequel un tel procédé est mis en oeuvre
WO2021156026A1 (fr) Procédé de calibration des caractéristiques extrinsèques d'un lidar
FR2911678A1 (fr) Procede d'evaluation de la distance entre un vehicule et un objet et systeme d'assistance de conduite mettant en oeuvre ce procede
EP3704625A1 (fr) Procédé de traitement de données pour système d'aide à la conduite d'un véhicule et système d'aide à la conduite associé
FR3092545A1 (fr) Assistance à la conduite d’un véhicule, par détermination de la voie de circulation dans laquelle est situé un objet
FR3093311A1 (fr) Assistance à la conduite d’un véhicule, par détermination de la contrôlabilité de sa conduite
EP3931741A1 (fr) Assistance à la conduite d'un véhicule, par détermination fiable d'objets dans des images déformées
WO2017216465A1 (fr) Procédé et dispositif de traitement d'images acquises par une caméra d'un véhicule automobile
EP4227912A1 (fr) Procede de detection d'une ligne centrale d'une voie de circulation
FR3082485A1 (fr) Dispositif d'affichage pour l'aide a la conduite d'un conducteur d'un vehicule
WO2023083821A1 (fr) Procédé d'estimation dynamique du tangage d'un véhicule automobile au moyen d'un capteur d'acquisition d'images
WO2023046776A1 (fr) Procédé de détermination de la position d'un objet par rapport à une ligne de marquage au sol d'une route
WO2024003110A1 (fr) Procédé de détection d'une concavité globale sur une ligne polygonale
FR3080702A1 (fr) Estimation de la distance separant un vehicule automobile d'objets detectes par traitement d'images capturees depuis le vehicule automobile

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221124

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)