FR3043824A3 - METHOD AND DEVICE FOR CALIBRATING EXTRINSIC PARAMETERS OF A CAMERA FOR A MOTOR VEHICLE - Google Patents
METHOD AND DEVICE FOR CALIBRATING EXTRINSIC PARAMETERS OF A CAMERA FOR A MOTOR VEHICLE Download PDFInfo
- Publication number
- FR3043824A3 FR3043824A3 FR1560902A FR1560902A FR3043824A3 FR 3043824 A3 FR3043824 A3 FR 3043824A3 FR 1560902 A FR1560902 A FR 1560902A FR 1560902 A FR1560902 A FR 1560902A FR 3043824 A3 FR3043824 A3 FR 3043824A3
- Authority
- FR
- France
- Prior art keywords
- camera
- vehicle
- positioning
- linked
- extrinsic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Ce procédé d'étalonnage de paramètres extrinsèques d'une caméra placée dans l'habitacle d'un véhicule automobile comporte les étapes suivantes : - détermination du déplacement relatif de la caméra par rapport à l'habitacle du véhicule ; - détermination de variables représentatives du positionnement de la caméra dans un repère lié au véhicule ; - détermination de paramètres extrinsèques d'étalonnage permettant un changement de repère, d'un repère orthonormé lié au véhicule à un repère orthonormé lié à la caméra ; et - mémorisation des variables représentatives du positionnement de la caméra et des paramètres extrinsèques d'étalonnage.This method of calibrating extrinsic parameters of a camera placed in the passenger compartment of a motor vehicle comprises the following steps: determining the relative displacement of the camera relative to the passenger compartment of the vehicle; determination of variables representing the positioning of the camera in a reference frame linked to the vehicle; determination of extrinsic calibration parameters allowing a change of reference from an orthonormal reference linked to the vehicle to an orthonormal reference linked to the camera; and - storage of the variables representative of the positioning of the camera and the extrinsic calibration parameters.
Description
Procédé et dispositif d’étalonnage de paramètres extrinsèques d’une caméra pour habitacle de véhicule automobileMethod and device for calibrating extrinsic parameters of a camera for a passenger compartment of a motor vehicle
La présente invention concerne un système d’aide à la conduite pour véhicule automobile et, en particulier, les systèmes d’aide à la conduite fondés sur l’utilisation d’une caméra placée à l’intérieur de l’habitacle du véhicule. Une telle caméra peut être utilisée, par exemple, pour la détection de l’hypovigilance du conducteurThe present invention relates to a driving assistance system for a motor vehicle and, in particular, to driving assistance systems based on the use of a camera placed inside the passenger compartment of the vehicle. Such a camera can be used, for example, for the detection of driver hypovigilance
Comme on le conçoit, pour ce type d’application, la caméra est braquée vers le conducteur pour détecter des signes d’hypovigilance.As is conceivable, for this type of application, the camera is pointed towards the driver to detect signs of hypovigilance.
Pour pouvoir réaliser des mesures fiables, la caméra doit être parfaitement positionnée.To be able to make reliable measurements, the camera must be perfectly positioned.
En effet, pour pouvoir délivrer des informations précises, il est nécessaire de connaître en permanence la position de la caméra par rapport à un repère lié au véhicule.Indeed, to be able to deliver accurate information, it is necessary to constantly know the position of the camera with respect to a reference linked to the vehicle.
Ce problème se pose de façon accrue lorsque, comme visible sur la figure 1, la caméra C est positionnée sur une coquille supérieure 1 liée à un volant V du véhicule. Dans ce cas, elle n’est pas immobile par rapport au repère lié au véhicule en raison des réglages possibles de la position du volant, tels qu’illustrés par la flèche F.This problem arises more when, as shown in Figure 1, the camera C is positioned on an upper shell 1 connected to a steering wheel V of the vehicle. In this case, it is not stationary relative to the vehicle-related mark because of the possible settings of the steering wheel position, as shown by the arrow F.
En référence à la figure 2, dans un véhicule automobile, plusieurs repères orthonormés peuvent être considérés : - un repère terrestre orthonorméWith reference to FIG. 2, in a motor vehicle, several orthonormal landmarks can be considered: an orthonormal terrestrial landmark
- un repère orthonormé lié au véhicule- an orthonormal reference linked to the vehicle
, qui peut être appelé « repère Véhicule » ; - un repère orthonormé lié à la caméra, which can be called "Vehicle landmark"; - an orthonormal reference linked to the camera
désigné par le terme « repère Caméra » et dans lequel Oc désigne le centre optique de la caméra ; et - un repère orthonormé lié à l’image prise par la caméradesignated by the term "camera mark" and in which Oc denotes the optical center of the camera; and an orthonormal reference linked to the image taken by the camera
appelé également « repère Image ».also called "Image landmark".
Pour pouvoir connaître la position d’un point P par rapport au repère lié au véhicule par la caméra, on détermine la relation entre les coordonnées spatiales (Pxv, Pyv, Pzv) dans le repère véhicule d’un point P de l’espace et les coordonnées (P’ui, P’vi) dans le repère image de son image P’ prise par la caméra.To be able to know the position of a point P with respect to the reference linked to the vehicle by the camera, the relation between the spatial coordinates (Pxv, Pyv, Pzv) in the vehicle reference of a point P of the space is determined the coordinates (P'ui, P'vi) in the image frame of its image P 'taken by the camera.
Pour la mise en œuvre du calibrage de la caméra, on utilise un dispositif d’étalonnage. Le document WO 2009/142921 décrit à cet égard un procédé d’auto-étalonnage d’une caméra pour véhicule automobile, au cours de la conduite. Le déplacement de la caméra est mesuré à partir de l’analyse de points d’intérêt dans des images successives. A partir des points d’intérêt, une modélisation du sol est réalisée, et les mouvements de translation et de rotation de la caméra par rapport au sol sont déterminés.For the implementation of the calibration of the camera, a calibration device is used. WO 2009/142921 describes in this regard a self-calibration method of a camera for a motor vehicle, during driving. The displacement of the camera is measured from the analysis of points of interest in successive images. From the points of interest, a modeling of the ground is carried out, and the movements of translation and rotation of the camera with respect to the ground are determined.
Cette méthode nécessite par conséquent de capturer deux images avec au moins deux points d’intérêt situés au niveau du sol. Si ce procédé convient pour des caméras destinées à filmer vers l’extérieur du véhicule et cadrées vers une partie du sol, il est inadapté pour une caméra située dans l’habitacle dans la mesure où le sol n’est pas directement visible dans le cadre de la caméra.This method therefore requires capturing two images with at least two points of interest located at ground level. If this method is suitable for cameras intended to film towards the outside of the vehicle and framed towards a part of the ground, it is unsuitable for a camera located in the passenger compartment insofar as the ground is not directly visible in the frame. from the camera.
Par ailleurs, l’étalonnage d’une caméra peut s’effectuer en deux étapes.In addition, the calibration of a camera can be done in two steps.
La première étape est appelée étalonnage intrinsèque. Elle permet de relier les coordonnées (Pxc, Pyc, Pzc) du point P dans le repère lié à la caméra, à la position (P’ui, P’vi) de son image P’ dans le repère image. Le résultat est une combinaison d’une projection perspective, permettant de projeter un objet en trois dimensions sur un plan en deux dimensions, et d’une transformation affine, permettant de caractériser le changement d’échelle et la translation entre les deux repères. L’étalonnage intrinsèque dépend uniquement de la composition interne de la caméra : type de capteur, caractéristiques de l’objectif, etc ... On considère que la composition interne de la caméra est figée. En effet, la longueur focale est fixe, le capteur, l’objectif et le positionnement de l’un par rapport à l’autre ne change pas. L’étalonnage intrinsèque n’est donc réalisé qu’une seule fois lors de l’assemblage de la caméra.The first step is called intrinsic calibration. It makes it possible to connect the coordinates (Pxc, Pyc, Pzc) of the point P in the reference linked to the camera, to the position (P'ui, P'vi) of its image P 'in the image reference. The result is a combination of a perspective projection, to project an object in three dimensions on a plane in two dimensions, and an affine transformation, to characterize the change of scale and the translation between the two marks. The intrinsic calibration depends solely on the internal composition of the camera: type of sensor, characteristics of the lens, etc. It is considered that the internal composition of the camera is frozen. Indeed, the focal length is fixed, the sensor, the lens and the positioning of one relative to the other does not change. Intrinsic calibration is therefore only performed once during the assembly of the camera.
La deuxième étape de l’étalonnage de la caméra est appelée étalonnage extrinsèque. Cette étape permet de déterminer la relation entre les coordonnées (Pxv, Pyv, Pzv) du point P dans le repère lié au véhicule et les coordonnées (Pxc, Pyc, Pzc) du même point dans le repère lié à la caméra. Le résultat est une combinaison entre une translation et une rotation entre les deux repères. L’étalonnage extrinsèque dépend donc de la position et de l’orientation de la caméra par rapport aux repères liés au véhicule. Cet étalonnage doit donc être effectué à chaque changement de position relative, lorsque la position de la caméra est modifiée par rapport au repère lié au véhicule.The second stage of camera calibration is called extrinsic calibration. This step makes it possible to determine the relation between the coordinates (Pxv, Pyv, Pzv) of the point P in the reference linked to the vehicle and the coordinates (Pxc, Pyc, Pzc) of the same point in the reference linked to the camera. The result is a combination of translation and rotation between the two marks. Extrinsic calibration therefore depends on the position and orientation of the camera relative to the vehicle-related landmarks. This calibration must therefore be performed at each change of relative position, when the position of the camera is changed relative to the mark related to the vehicle.
Dans l’état de la technique, la technique la plus couramment utilisée pour réaliser l’étalonnage extrinsèque d’une caméra consiste à utiliser une mire placée à une position connue dans le repère lié au véhicule. L’image de cette mire par la caméra permet de calculer la position relative de la caméra par rapport à la mire et, par conséquent, de calculer la relation liant le repère lié au véhicule et le repère lié à la caméra.In the state of the art, the technique most commonly used to perform the extrinsic calibration of a camera is to use a test pattern placed at a known position in the frame linked to the vehicle. The image of this sight by the camera makes it possible to calculate the relative position of the camera with respect to the target and, consequently, to calculate the relation linking the marker linked to the vehicle and the marker linked to the camera.
Comme on le conçoit, cette méthode est contraignante à mettre en œuvre pour le conducteur, qui doit suivre une procédure d’étalonnage à chaque fois que la position relative de la caméra est susceptible d’être modifiée. Lorsque la caméra est montée sur une coquille liée au volant, l’étalonnage extrinsèque doit être effectué chaque fois que la position du volant est modifiée. En outre, si le réglage du volant est effectué lors de la conduite, par exemple suite à une mauvaise manipulation, la caméra n’est plus calibrée et les mesures qu’elle fournit sont faussées.As it is conceived, this method is binding on the driver, who must follow a calibration procedure whenever the relative position of the camera is likely to be modified. When the camera is mounted on a shell attached to the steering wheel, extrinsic calibration should be performed whenever the steering wheel position is changed. In addition, if the steering wheel adjustment is performed while driving, for example due to improper handling, the camera is no longer calibrated and the measurements it provides are distorted.
Ainsi, les solutions disponibles dans l’état de la technique pour réaliser l’étalonnage extrinsèque sont trop contraignantes et engendrent des risques trop élevés de dégradation des prestations d’aide à la conduite réalisées à partir des informations fournies par la caméra.Thus, the solutions available in the state of the art for performing the extrinsic calibration are too restrictive and generate too high risks of degradation of the driving assistance services performed from the information provided by the camera.
Au vu de ce qui précède, le but de l’invention est de palier les inconvénients liés aux procédés d’étalonnage extrinsèque de l’état de la technique et, en particulier, de proposer un procédé et un dispositif d’étalonnage extrinsèque capable de déterminer en permanence le déplacement de la caméra par rapport à une position de référence. L’invention a donc pour objet, selon un premier aspect, un procédé d’étalonnage de paramètres extrinsèques d’une caméra placée dans l’habitacle d’un véhicule automobile comprenant les étapes suivantes : détermination du déplacement relatif de la caméra par rapport à l’habitacle du véhicule ; détermination de variables représentatives du positionnement de la caméra dans un repère lié au véhicule ; détermination de paramètres extrinsèques d’étalonnage permettant un changement de repère, d’un repère orthonormé lié au véhicule à un repère orthonormé lié à la caméra ; et mémorisation des variables représentatives du positionnement de la caméra et des paramètres extrinsèques d’étalonnage.In view of the foregoing, the object of the invention is to overcome the disadvantages associated with the extrinsic calibration methods of the state of the art and, in particular, to propose a method and an extrinsic calibration device capable of permanently determine the displacement of the camera with respect to a reference position. The object of the invention is therefore, according to a first aspect, a method of calibrating extrinsic parameters of a camera placed in the passenger compartment of a motor vehicle comprising the following steps: determining the relative displacement of the camera with respect to the passenger compartment of the vehicle; determining variables representative of the positioning of the camera in a reference frame related to the vehicle; determination of extrinsic calibration parameters allowing a change of reference from an orthonormal reference linked to the vehicle to an orthonormal reference linked to the camera; and storage of the variables representative of the positioning of the camera and the extrinsic calibration parameters.
Ainsi, en cas de détection d’un déplacement relatif de la caméra dans le repère lié au véhicule, on peut utiliser la position relative de la caméra et les paramètres extrinsèques permettant le changement de repère pour traiter en conséquence les images délivrées par la caméra.Thus, in the event of detection of a relative displacement of the camera in the reference linked to the vehicle, it is possible to use the relative position of the camera and the extrinsic parameters allowing the change of marker to consequently process the images delivered by the camera.
Selon une autre caractéristique de ce procédé, les variables représentatives du positionnement de la caméra sont calculées à partir d’une valeur de position précédente, du déplacement du véhicule et du déplacement de la caméra.According to another characteristic of this method, the variables representative of the positioning of the camera are calculated from a previous position value, the displacement of the vehicle and the displacement of the camera.
Selon encore une autre caractéristique, les variables représentatives du positionnement de la caméra sont définies à partir des coordonnées du centre optique de la caméra dans le repère lié au véhicule et des coordonnées d’une base orthonormée d’un repère lié à la caméra.According to yet another characteristic, the variables representative of the positioning of the camera are defined from the coordinates of the optical center of the camera in the reference frame linked to the vehicle and the coordinates of an orthonormal base of a marker linked to the camera.
Par exemple, les variables représentatives du positionnement de la caméra comprennent la localisation et l’orientation de la caméra.For example, the variables representing the positioning of the camera include the location and orientation of the camera.
Dans un mode de mise en œuvre, les variables représentatives du positionnement de la caméra sont délivrées par une centrale inertielle comprenant un ensemble d’accéléromètres et un ensemble de gyromètres.In one embodiment, the variables representing the positioning of the camera are delivered by an inertial unit comprising a set of accelerometers and a set of gyrometers.
Par exemple, les paramètres d’étalonnage extrinsèques comprennent une matrice de rotation et une matrice de translation permettant ledit changement de repère.For example, the extrinsic calibration parameters comprise a rotation matrix and a translation matrix allowing said marker change.
Selon encore une autre caractéristique du procédé d’étalonnage de paramètres extrinsèques, on met en œuvre un étalonnage de référence par acquisition de paramètres extrinsèques d’étalonnage et de variables représentatives de la position de la caméra dans une position de référence de la caméra.According to yet another characteristic of the extrinsic parameter calibration method, a reference calibration is implemented by acquisition of extrinsic calibration parameters and variables representative of the position of the camera in a reference position of the camera.
Dans un mode de mise en œuvre, le procédé comprend en outre une étape de réinitialisation de l’étalonnage en positionnant la caméra dans la position de référence et en affectant aux variables représentatives du positionnement de la caméra et aux paramètres extrinsèques des valeurs extraites de moyens de mémorisation.In one embodiment, the method further comprises a step of resetting the calibration by positioning the camera in the reference position and assigning to the variables representative of the positioning of the camera and the extrinsic parameters of the values extracted from the means. memorisation.
Par exemple, l’étape de réinitialisation est réalisée manuellement à la demande du conducteur.For example, the reset step is performed manually at the request of the driver.
En variante, cette étape peut être réalisée dès qu’un indicateur de confiance représentatif de la qualité de l’étalonnage est inférieur à une valeur de seuil. L’invention a également pour objet, selon un deuxième aspect, un dispositif d’étalonnage de paramètres extrinsèques d’une caméra placée dans l’habitacle d’un véhicule automobile pour la mise en œuvre d’un procédé tel que défini ci-dessus.As a variant, this step can be performed as soon as a confidence indicator representative of the quality of the calibration is lower than a threshold value. The subject of the invention is also, according to a second aspect, a device for calibrating extrinsic parameters of a camera placed in the passenger compartment of a motor vehicle for the implementation of a method as defined above. .
Ce dispositif comporte des moyens pour déterminer un déplacement relatif de la caméra par rapport à l’habitacle du véhicule, un calculateur comprenant un premier étage de calcul de variables représentatives du positionnement de la caméra dans un repère lié au véhicule et un deuxième étage de détermination de paramètres extrinsèques d’étalonnage permettant un changement de repère, d’un repère orthonormé lié au véhicule à un repère orthonormé lié à la caméra et des moyens de mémorisation pour la mémorisation des variables représentatives du positionnement de la caméra et des paramètres extrinsèques d’étalonnage délivrés par le calculateur. D’autres buts, caractéristiques et avantages de l’invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d’exemple nullement limitatif et faite en référence aux dessins annexés sur lesquels : les figures 1 et 2, dont il a déjà été fait mention, sont des schémas illustrant respectivement un exemple de montage d’une caméra sur une coquille de volant de véhicule automobile, d’une part, et les différents repères orthonormés qui peuvent être mis en œuvre pour déterminer la position d’un point à l’intérieur d’un habitable de véhicule automobile ; - la figure 3 est un schéma synoptique illustrant l’architecture générale d’un dispositif d’étalonnage de paramètres extrinsèques selon l’invention ; - la figure 4 illustre les principales phases d’un procédé d’étalonnage conforme à l’invention ;This device comprises means for determining a relative movement of the camera with respect to the passenger compartment of the vehicle, a computer comprising a first variable calculation stage representative of the positioning of the camera in a reference frame linked to the vehicle and a second determination stage. extrinsic calibration parameters allowing a change of reference, an orthonormal reference linked to the vehicle to an orthonormal reference linked to the camera and storage means for storing the variables representative of the positioning of the camera and the extrinsic parameters of calibration delivered by the calculator. Other objects, features and advantages of the invention will become apparent on reading the following description, given solely by way of non-limiting example and with reference to the appended drawings in which: FIGS. 1 and 2, of which it has already been been mentioned, are diagrams respectively illustrating an example of mounting a camera on a motor vehicle steering wheel shell, on the one hand, and the various orthonormal marks that can be implemented to determine the position of a point inside a motor home; FIG. 3 is a block diagram illustrating the general architecture of a device for calibrating extrinsic parameters according to the invention; FIG. 4 illustrates the main phases of a calibration method according to the invention;
La description qui va suivre concerne l’étalonnage de paramètres extrinsèques d’une caméra placée sur la coquille supérieure d’une colonne de direction d’un véhicule automobile, placée au voisinage du volant du véhicule. Toutefois, on ne sort pas du cadre de l’invention lorsque la caméra est placée à toute autre endroit de l’habitacle du véhicule.The following description relates to the calibration of extrinsic parameters of a camera placed on the upper shell of a steering column of a motor vehicle, placed in the vicinity of the steering wheel of the vehicle. However, it is not beyond the scope of the invention when the camera is placed at any other point in the passenger compartment of the vehicle.
En se référant tout d’abord à la figure 3, le dispositif d’étalonnage des paramètres extrinsèques d’une caméra comporte une centrale inertielle 2 destinée à mesurer les mouvements mvt cam de la caméra dans le repère terrestre et un calculateur 3 qui communique avec la centrale inertielle 2 et avec le réseau 4 de bord du véhicule pour recevoir des informations mvt vehic portant sur les mouvements du véhicule, tels que la vitesse du véhicule et l’angle du volant.Referring first to FIG. 3, the device for calibrating the extrinsic parameters of a camera comprises an inertial unit 2 intended to measure the camera's movements in the terrestrial frame and a computer 3 that communicates with the camera. the inertial unit 2 and with the network 4 of the vehicle to receive information about vehicle movements, such as the speed of the vehicle and the steering wheel angle.
Le dispositif comporte encore une mémoire non volatile 5 dans laquelle sont stockées des variables pos t représentatives de la position de la caméra dans un repère lié au véhicule et des paramètres extrinsèques d’étalonnage étai t délivrés par le calculateur 3.The device also comprises a non-volatile memory 5 in which are stored pos t variables representative of the position of the camera in a frame linked to the vehicle and extrinsic calibration parameters were issued by the computer 3.
La centrale inertielle 2 comporte, par exemple, trois accéléromètres et trois gyromètres et est placée dans une position fixe par rapport au repère lié à la caméra, par exemple sur le volant ou directement dans la caméra.The inertial unit 2 comprises, for example, three accelerometers and three gyrometers and is placed in a fixed position relative to the marker linked to the camera, for example on the steering wheel or directly in the camera.
Elle permet de mesurer en temps réel les rotations et les translations réalisées par la caméra dans l’espace. Chaque accéléromètre permet de mesurer une accélération linéaire. La combinaison de trois accéléromètres non coplanaires permet de détecter les accélérations selon trois axes formant le repère lié à la centrale inertielle. Les repères liés à la caméra et liés à la centrale inertielle étant fixes l’un par rapport à l’autre, la combinaison d’une translation et d’une rotation, déterminée à l’aide d’un étalonnage unique lors du montage du dispositif, permet de passer de l’un vers l’autre. Le repère lié à la caméra peut dès lors être écarté, seul le repère lié à la centrale inertielle étant par la suite considéré. Ainsi, la centrale inertielle est destinée à mesurer les rotations et les translations effectuées par la caméra dans le repère terrestre.It allows to measure in real time the rotations and translations made by the camera in space. Each accelerometer makes it possible to measure a linear acceleration. The combination of three non-coplanar accelerometers makes it possible to detect the accelerations along three axes forming the reference linked to the inertial unit. The markings related to the camera and linked to the inertial unit being fixed relative to each other, the combination of a translation and a rotation, determined with the aid of a single calibration during assembly of the device, allows you to switch from one to the other. The reference linked to the camera can therefore be discarded, only the reference linked to the inertial unit being subsequently considered. Thus, the inertial unit is intended to measure rotations and translations made by the camera in the terrestrial reference.
Le calculateur 3 comporte un premier étage 6 destiné à calculer les variables post représentatives de la position de la caméra dans le repère lié au véhicule. Cet étage assure la comparaison entre les mouvements de la caméra et les mouvements du véhicule afin de détecter un éventuel mouvement relatif entre la caméra et le véhicule, et délivrer, en sortie, la variable pos t qui traduit le déplacement relatif entre la caméra et le véhicule.The computer 3 comprises a first stage 6 intended to calculate the post-representative variables of the position of the camera in the frame linked to the vehicle. This stage compares the movements of the camera and the movements of the vehicle to detect a possible relative movement between the camera and the vehicle, and output, the output pos t which reflects the relative displacement between the camera and the camera. vehicle.
Le calculateur 3 comporte un deuxième étage 7 de détermination des paramètres extrinsèques d’étalonnage. Ce deuxième étage reçoit la variable pos t issue du premier étage 6 ainsi que les variables de position pos_t-l et les paramètres extrinsèques d’étalonnage etal_t-l déterminés à l’instant précédent.The computer 3 comprises a second stage 7 for determining the extrinsic calibration parameters. This second stage receives the variable pos t from the first stage 6 as well as the position variables pos_t-1 and the extrinsic calibration parameters etal_t-1 determined at the previous instant.
On va maintenant décrire, en référence, à la figure 4, les principales phases du procédé d’étalonnage conforme à l’invention. Ce procédé est réalisé de manière cyclique.The main phases of the calibration method according to the invention will now be described with reference to FIG. This process is carried out cyclically.
Pour procéder à l’étalonnage, les variables suivantes sont utilisées : post qui représente la localisation et l’orientation actuelle de la caméra dans le repère lié au véhicule. Cette variable contient les coordonnées cartésiennes du centre optique Oc de la caméra ainsi que les coordonnées cartésiennes de la base orthonorméeTo perform the calibration, the following variables are used: post which represents the location and the current orientation of the camera in the reference linked to the vehicle. This variable contains the Cartesian coordinates of the optical center Oc of the camera as well as the Cartesian coordinates of the orthonormal base
du repère lié à la caméra exprimées dans le repère du véhicule :of the camera-related mark expressed in the vehicle mark:
pos_t-l qui représente la localisation et l’orientation précédente de la caméra dans le repère lié au véhicule. Cette variable contient les coordonnées cartésiennes du centre optique Oc de la caméra ainsi aue les coordonnées cartésiennes de la base orthonorméepos_t-1 which represents the location and the previous orientation of the camera in the reference linked to the vehicle. This variable contains the Cartesian coordinates of the optical center Oc of the camera as well as the Cartesian coordinates of the orthonormal base.
du repère lié à la caméra exprimées dans le repère du véhicule :of the camera-related mark expressed in the vehicle mark:
étai t qui représente l’étalonnage extrinsèque actuel. Cette variable contient une matrice de passage 4x4 composée d’une matrice de rotation R.3x3 et d’une matrice de translation t3xi permettant de passer du repère lié au véhicule au repère lié à la camérawas that which represents the current extrinsic calibration. This variable contains a 4x4 passage matrix composed of an R.3x3 rotation matrix and a translation matrix t3xi making it possible to pass from the reference point linked to the vehicle to the reference linked to the camera.
etal_t-l qui représente l’étalonnage extrinsèque précédent. Cette variable contient une matrice de passage 4x4 composée d’une matrice rotation R.3x3 et d’une matrice translation t3xi permettant de passer du repère lié au véhicule au repère lié à la caméra :etal_t-1 which represents the previous extrinsic calibration. This variable contains a 4x4 passage matrix composed of a rotation matrix R.3x3 and a translation matrix t3xi making it possible to go from the reference linked to the vehicle to the reference linked to the camera:
pos_ref qui représente la position de référence enregistrée en usine, lors de la fabrication du dispositif. Cette variable est utilisée pour la réinitialisation du système. Elle contient les coordonnées cartésiennes du centre optique Oc de la caméra ainsi que lescoordonnées cartésiennes de la base orthonorméepos_ref which represents the reference position recorded at the factory, during the manufacture of the device. This variable is used to reboot the system. It contains the Cartesian coordinates of the optical center Oc of the camera as well as the Cartesian coordinates of the orthonormal base
du repère lié à la caméra exprimées dans le repère lié au véhicule :of the camera-related mark expressed in the vehicle-related mark:
etal_ref qui représente l’étalonnage extrinsèque de référence enregistré en usine avec la caméra positionnée dans la position de référence. Cette valeur est utilisée pour la réinitialisation du système. Elle contient une matrice de passage 4x4 composée d’une matrice rotation R.3x3 et d’une matrice translation t3xi permettant de passer du repère lié au véhicule au repère lié à la caméra :etal_ref which represents the reference extrinsic calibration recorded at the factory with the camera positioned in the reference position. This value is used to reboot the system. It contains a 4x4 passage matrix composed of a rotation matrix R.3x3 and a translational matrix t3xi making it possible to go from the reference linked to the vehicle to the reference linked to the camera:
mvt vehic qui correspond aux mouvements du véhicule par rapport aux repères universels. Elle contient la vitesse du véhicule ainsi que l’angle du volant :mvt vehicle which corresponds to the movements of the vehicle with respect to the universal marks. It contains the speed of the vehicle as well as the angle of the steering wheel:
- mvt cam : cette variable permet de déterminer les déplacements de la caméra. Elle contient les accélérations et les vitesses angulaires de la caméra selon les trois axes du repère lié à la centrale inertielle.- mvt cam: this variable is used to determine the movements of the camera. It contains the accelerations and the angular velocities of the camera along the three axes of the reference linked to the inertial unit.
Comme le montre la figure 4, le procédé débute par une première étape 10 correspondant à une détection d’ouverture du véhicule, suivie d’étapes 12, 13 et 14 correspondant respectivement à une activation de la caméra, une activation de la centrale inertielle et une activation du calculateur 3.As shown in FIG. 4, the method starts with a first step 10 corresponding to an opening detection of the vehicle, followed by steps 12, 13 and 14 respectively corresponding to activation of the camera, activation of the inertial unit and an activation of the computer 3.
On notera que le processus illustré à la figure 4 représente le diagramme d’activité du dispositif une fois l’étalonnage de référence effectué en usine, les valeurs pos ref et etal ref étant enregistrées dans la mémoire non volatile 5 et copiées dans les variables post et etal_t.It should be noted that the process illustrated in FIG. 4 represents the device activity diagram once the reference calibration has been carried out at the factory, the values ref and etal ref being stored in the non-volatile memory 5 and copied in the post variables. et et al.
Lors de l’étape 15 suivante, les variables pos t et etal_t sont chargées à partir de la mémoire non volatile. Ces deux variables représentent ainsi la position et l’étalonnage à partir desquels les autres positions et les autres paramètres d’étalonnage seront calculés. Ces variables sont copiées dans les variables pos_t-l et etal_t-l (étape 16).In the next step, the variables pos t and etal_t are loaded from the non-volatile memory. These two variables thus represent the position and the calibration from which the other positions and the other calibration parameters will be calculated. These variables are copied into the variables pos_t-1 and etal_t-1 (step 16).
Lors des étapes 17 et 18, le calculateur récupère les mouvements mvt_cam et mvt_vehic de la caméra et du véhicule et le premier étage 6 du calculateur procède au calcul de la variable pos_t représentative de la position de la caméra dans le repère lié au véhicule (étape 19). En particulier, les déplacements de la caméra et du véhicule sont comparés. S’il est déterminé, lors de l’étape 20 suivante, que la position relative de la caméra n’a pas été modifiée, aucun calcul d’étalonnage n’est réalisé. Dans ce cas, lors de l’étape 21 suivante, on détecte si le véhicule est fermé et éteint. Si tel n’est pas le cas, le procédé retourne à l’étape 16 précédente. Si tel est le cas, les valeurs de position post et les paramètres extrinsèques étai t sont sauvegardés en mémoire (étape 22).During steps 17 and 18, the computer retrieves the mvt_cam and mvt_vehic movements of the camera and the vehicle and the first stage 6 of the calculator calculates the variable pos_t representative of the position of the camera in the reference linked to the vehicle (step 19). In particular, the movements of the camera and the vehicle are compared. If it is determined in the next step that the relative position of the camera has not been changed, no calibration calculation is made. In this case, during the next step 21, it is detected whether the vehicle is closed and turned off. If this is not the case, the process returns to the previous step 16. If this is the case, the post position values and the extrinsic parameters were saved in memory (step 22).
Si un mouvement relatif entre le véhicule et la caméra a été détecté, le calculateur détermine la nouvelle position de la caméra dans le repère lié au véhicule à partir de la valeur des variables pos_t-l, mvtcam et mvtvehic. Cette nouvelle position est copiée dans la variable pos t (étape 23). Au cours de cette étape, le calculateur détermine les nouveaux paramètres extrinsèques d’étalonnage. Il s’agit en particulier de mettre à jour les paramètres des matrices de rotation et de translation permettant de passer du repère lié au véhicule au repère lié à la caméra.If a relative movement between the vehicle and the camera has been detected, the computer determines the new position of the camera in the reference linked to the vehicle from the value of the variables pos_t-l, mvtcam and mvtvehic. This new position is copied into the variable pos t (step 23). During this step, the computer determines the new extrinsic calibration parameters. In particular, it is necessary to update the parameters of the rotation and translation matrices making it possible to go from the reference linked to the vehicle to the reference linked to the camera.
Les nouveaux paramètres extrinsèques d’étalonnage sont ensuite délivrés à la caméra C (étape 24) et les variables pos t et étai t sont sauvegardés dans la mémoire non volatile 5 (étape 25).The new extrinsic calibration parameters are then delivered to the camera C (step 24) and the variables pos t and were stored in the nonvolatile memory 5 (step 25).
Comme indiqué précédemment, cette procédure est répétée de manière cyclique jusqu’à l’extinction et la fermeture du véhicule. Lorsque le véhicule est fermé et éteint, les paramètres pos_t et étai t sont sauvegardés pour qu’au prochain démarrage l’étalonnage correspondant à la position actuelle de la caméra soit chargé.As previously indicated, this procedure is repeated cyclically until the vehicle is shut down and closed. When the vehicle is closed and turned off, the parameters pos_t and were saved so that at the next start the calibration corresponding to the current position of the camera is loaded.
On notera par ailleurs qu’en cas de dysfonctionnement, le dispositif d’étalonnage extrinsèque peut être réinitialisé. Il s’agit de récupérer les paramètres d’étalonnage extrinsèques réalisés lors de l’assemblage du dispositif et sauvegardés en tant qu’étalonnage de référence. Cet étalonnage est effectué dans une position de la caméra particulière appelée position de référence. Cette position doit pouvoir être trouvée aisément et doit être parfaitement reproductible. Par exemple, si la caméra se trouve sur la coquille de la colonne de direction liée au volant, la position de référence peut correspondre à un angle extrême de rotation du volant, en butée. Les coordonnées de la caméra, exprimées dans le repère lié au véhicule dans cette position de référence, ainsi que les paramètres d’étalonnage extrinsèques, correspondent à un étalonnage de référence et sont sauvegardés dans la mémoire non volatile. La procédure de réinitialisation consiste à replacer la caméra dans la position de référence et à récupérer l’étalonnage de référence à partir de la mémoire non volatile.Note also that in case of malfunction, the extrinsic calibration device can be reset. It is a question of recovering the extrinsic calibration parameters realized during the assembly of the device and saved as calibration of reference. This calibration is performed in a position of the particular camera called reference position. This position must be easy to find and must be perfectly reproducible. For example, if the camera is on the shell of the steering column connected to the steering wheel, the reference position may correspond to an extreme angle of rotation of the steering wheel, in abutment. The coordinates of the camera, expressed in the vehicle-related coordinate system in this reference position, as well as the extrinsic calibration parameters, correspond to a reference calibration and are stored in the non-volatile memory. The reset procedure consists of returning the camera to the reference position and recovering the reference calibration from the non-volatile memory.
Cette réinitialisation peut être faite manuellement, à la demande de l’utilisateur. Toutefois, comme illustré sur la figure 4, cette réinitialisation peut être commandée à partir de la valeur d’un indicateur de confiance Conf qui traduit la qualité de l’étalonnage. Cet indicateur de confiance est fourni par la caméra au calculateur (étape 26). Lors de l’étape 27 suivante, cet indicateur de confiance est comparé à une valeur de seuil.This reset can be done manually, at the request of the user. However, as illustrated in FIG. 4, this reset can be controlled from the value of a confidence indicator Conf which reflects the quality of the calibration. This confidence indicator is provided by the camera to the computer (step 26). In the next step 27, this confidence indicator is compared with a threshold value.
Comme on le voit, si l’indicateur de confiance Conf devient inférieur à cette valeur de seuil, une alerte est émise par le calculateur pour requérir une réinitialisation.As can be seen, if the confidence indicator Conf becomes lower than this threshold value, an alert is issued by the computer to require a reset.
Dans ce cas, l’utilisateur positionne le volant dans la position de référence (étape 28). On fournit alors à la caméra les valeurs de position de référence pos ref et les paramètres d’étalonnage de référence etal ref (étape 29) et l’on sauvegarde en mémoire les variables de position pos t et pos_t-l.In this case, the user positions the steering wheel in the reference position (step 28). The reference position values pos ref and the reference calibration parameters etal ref (step 29) are then supplied to the camera and the position variables pos t and pos_t-1 are saved in memory.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1560902A FR3043824A3 (en) | 2015-11-13 | 2015-11-13 | METHOD AND DEVICE FOR CALIBRATING EXTRINSIC PARAMETERS OF A CAMERA FOR A MOTOR VEHICLE |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1560902A FR3043824A3 (en) | 2015-11-13 | 2015-11-13 | METHOD AND DEVICE FOR CALIBRATING EXTRINSIC PARAMETERS OF A CAMERA FOR A MOTOR VEHICLE |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3043824A3 true FR3043824A3 (en) | 2017-05-19 |
Family
ID=55486781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1560902A Withdrawn FR3043824A3 (en) | 2015-11-13 | 2015-11-13 | METHOD AND DEVICE FOR CALIBRATING EXTRINSIC PARAMETERS OF A CAMERA FOR A MOTOR VEHICLE |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3043824A3 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180150976A1 (en) * | 2016-11-25 | 2018-05-31 | Continental Teves Ag & Co. Ohg | Method for automatically establishing extrinsic parameters of a camera of a vehicle |
| FR3082038A1 (en) * | 2018-06-04 | 2019-12-06 | Continental Automotive France | DYNAMIC ESTIMATION OF THE INSTANT TANGAGE OF A CAMERA ON BOARD IN A MOTOR VEHICLE |
| FR3086385A1 (en) * | 2018-09-21 | 2020-03-27 | Valeo Schalter Und Sensoren Gmbh | METHOD AND SYSTEM FOR CALIBRATION OF SENSORS ON-BOARD IN A MOVING MOTOR VEHICLE |
| CN112489111A (en) * | 2020-11-25 | 2021-03-12 | 深圳地平线机器人科技有限公司 | Camera external parameter calibration method and device and camera external parameter calibration system |
| CN114827571A (en) * | 2021-01-20 | 2022-07-29 | 赫克斯冈技术中心 | Model-based compensation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070033999A1 (en) * | 2003-04-24 | 2007-02-15 | Hans-Dieter Bothe | Device and method for calibrating an image sensor |
| DE102013209156A1 (en) * | 2013-05-16 | 2014-12-04 | Continental Automotive Gmbh | A camera with a housing for use in a motor vehicle surround view system and method for calibrating and monitoring the calibration of such a camera |
| EP2942951A1 (en) * | 2014-05-06 | 2015-11-11 | Application Solutions (Electronics and Vision) Limited | Image calibration |
-
2015
- 2015-11-13 FR FR1560902A patent/FR3043824A3/en not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070033999A1 (en) * | 2003-04-24 | 2007-02-15 | Hans-Dieter Bothe | Device and method for calibrating an image sensor |
| DE102013209156A1 (en) * | 2013-05-16 | 2014-12-04 | Continental Automotive Gmbh | A camera with a housing for use in a motor vehicle surround view system and method for calibrating and monitoring the calibration of such a camera |
| EP2942951A1 (en) * | 2014-05-06 | 2015-11-11 | Application Solutions (Electronics and Vision) Limited | Image calibration |
Non-Patent Citations (2)
| Title |
|---|
| SCHNEIDER SEBASTIAN ET AL: "Odometry-based online extrinsic sensor calibration", 2013 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, IEEE, 3 November 2013 (2013-11-03), pages 1287 - 1292, XP032537865, ISSN: 2153-0858, [retrieved on 20131226], DOI: 10.1109/IROS.2013.6696515 * |
| TATSUNORI HIRATA ET AL: "Automated updating of camera parameters for user-friendly driver monitoring system", VEHICULAR ELECTRONICS AND SAFETY (ICVES), 2009 IEEE INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 11 November 2009 (2009-11-11), pages 91 - 96, XP031619974, ISBN: 978-1-4244-5442-6 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180150976A1 (en) * | 2016-11-25 | 2018-05-31 | Continental Teves Ag & Co. Ohg | Method for automatically establishing extrinsic parameters of a camera of a vehicle |
| US10552982B2 (en) * | 2016-11-25 | 2020-02-04 | Continental Teves Ag & Co. Ohg | Method for automatically establishing extrinsic parameters of a camera of a vehicle |
| FR3082038A1 (en) * | 2018-06-04 | 2019-12-06 | Continental Automotive France | DYNAMIC ESTIMATION OF THE INSTANT TANGAGE OF A CAMERA ON BOARD IN A MOTOR VEHICLE |
| EP3579191A1 (en) * | 2018-06-04 | 2019-12-11 | Continental Automotive France | Dynamic estimation of instantaneous pitch and roll of a video camera embedded in a motor vehicle |
| FR3086385A1 (en) * | 2018-09-21 | 2020-03-27 | Valeo Schalter Und Sensoren Gmbh | METHOD AND SYSTEM FOR CALIBRATION OF SENSORS ON-BOARD IN A MOVING MOTOR VEHICLE |
| CN112489111A (en) * | 2020-11-25 | 2021-03-12 | 深圳地平线机器人科技有限公司 | Camera external parameter calibration method and device and camera external parameter calibration system |
| CN112489111B (en) * | 2020-11-25 | 2024-01-30 | 深圳地平线机器人科技有限公司 | Camera external parameter calibration method and device and camera external parameter calibration system |
| CN114827571A (en) * | 2021-01-20 | 2022-07-29 | 赫克斯冈技术中心 | Model-based compensation |
| CN114827571B (en) * | 2021-01-20 | 2024-04-05 | 赫克斯冈技术中心 | Model-based compensation |
| US12028506B2 (en) | 2021-01-20 | 2024-07-02 | Hexagon Technology Center Gmbh | Model-based compensation of geometrical deformation of a stereo camera by evaluating a calibrated analytic deformation model of the stereo camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR3043824A3 (en) | METHOD AND DEVICE FOR CALIBRATING EXTRINSIC PARAMETERS OF A CAMERA FOR A MOTOR VEHICLE | |
| EP2884226B1 (en) | Method for angle calibration of the position of a video camera on board an automotive vehicle | |
| EP2400460B1 (en) | Method for assessing the horizontal speed of a drone, particularly of a drone capable of hovering on automatic pilot | |
| WO2016156352A1 (en) | Method of determining a direction of an object on the basis of an image of the object | |
| WO2019020945A1 (en) | Method for calibrating a magnetometer | |
| CN108696719B (en) | Method and device for calibrating a vehicle camera of a vehicle | |
| FR2695202A1 (en) | Embedded navigation system for an aerial vehicle comprising a radar with lateral aiming and synthetic aperture. | |
| WO2012175888A1 (en) | Generation of map data | |
| WO2006043003A1 (en) | Sight distance measuring device | |
| US20160163091A1 (en) | Electronic apparatus and method for incremental pose estimation and photographing thereof | |
| CN110194173A (en) | Occupant's monitoring arrangement | |
| FR3007832A1 (en) | NAVIGATION AND POINTING SYSTEM AND METHOD OF CALIBRATING A NAVIGATION AND POINTING SYSTEM | |
| FR2935520A1 (en) | METHOD FOR DETECTING A TARGET OBJECT FOR A MOTOR VEHICLE | |
| CA3100115C (en) | Method for harmonising two inertial measurement units with one another and navigation system implementing this method | |
| EP2476094B1 (en) | Method for installing a vehicle-monitoring apparatus | |
| WO2022079196A1 (en) | Method for locating road objects | |
| FR2938228A1 (en) | Method for measuring distance between obstacle and motor vehicle, involves calculating pitch of camera by coinciding two of images and by retaining position parameters of camera, and determining distance from calculated pitch | |
| EP2791687B1 (en) | Method and system for auto-calibration of a device for measuring speed of a vehicle travelling in a three-dimensional space | |
| EP3899145A1 (en) | Ground treatment assistance method | |
| EP3018625B1 (en) | Method for calibrating a sight system | |
| FR3066303A1 (en) | METHOD FOR CALIBRATING A DEVICE FOR MONITORING A DRIVER IN A VEHICLE | |
| EP4212825B1 (en) | Method for aligning a camera on a road | |
| FR3082936A1 (en) | STEREOSCOPIC PROCESSING OF CONNECTED VEHICLE DATA | |
| FR2981149A1 (en) | Aircraft, has attitude measurement device including optical sensor that captures images of stars, where attitude measurement device measures attitude of aircraft at both day and night from images taken by sensor | |
| EP3300525A1 (en) | Method for estimating geometric parameters representing the shape of a road, system for estimating such parameters and motor vehicle equipped with such a system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| ST | Notification of lapse |
Effective date: 20180731 |