FR2986358A1

FR2986358A1 - METHOD FOR CALIBRATING THE EXTRINSIC CHARACTERISTICS OF A SOLIDARITY CAMERA OF A WINDSHIELD OF A MOTOR VEHICLE

Info

Publication number: FR2986358A1
Application number: FR1200284A
Authority: FR
Inventors: Lucien Garcia; Quellec Jean Michel Le
Original assignee: Continental Automotive GmbH; Continental Automotive France SAS
Current assignee: Continental Autonomous Mobility Germany GmbH; Continental Automotive France SAS
Priority date: 2012-01-31
Filing date: 2012-01-31
Publication date: 2013-08-02
Anticipated expiration: 2032-01-31
Also published as: DE102013201137A1; DE102013201137B4; FR2986358B1

Abstract

L'invention concerne un procédé de calibration des caractéristiques extrinsèques d'une caméra (4) solidaire d'un pare-brise (3) de véhicule automobile (1) en vue de saisir, dans un plan image, des scènes se déroulant au niveau du sol à l'avant du dit véhicule. Ce procédé de calibration consiste, en premier lieu, à disposer devant le véhicule (1) une mire (5) sur laquelle sont matérialisés et repérés des points cibles (6-8) positionnés, chacun, à une hauteur prédéterminée par rapport au sol (S) et alignés le long d'un axe (d), et à fixer la caméra (4) sur le pare-brise (3) de façon qu'elle présente un centre optique s'étendant à une hauteur (hc) déterminée par rapport au sol (S). Ce procédé de calibration consiste, en outre, à calculer, par la résolution d'un système d'équations non linéaires, les relations permettant de calculer le positionnement à l'avant du véhicule (1) d'un point de coordonnées données dans le plan image de la caméra (4), en déterminant, en vue de cette résolution, une des composantes de translation à partir de la valeur de la hauteur de chaque point cible (6-8) et de la hauteur (hc) de la caméra (4).The invention relates to a method of calibrating the extrinsic characteristics of a camera (4) integral with a windshield (3) of a motor vehicle (1) in order to capture, in an image plane, scenes taking place at the level of from the ground to the front of said vehicle. This calibration method consists, in the first place, in arranging in front of the vehicle (1) a pattern (5) on which are marked and marked target points (6-8) positioned, each, at a predetermined height relative to the ground ( S) and aligned along an axis (d), and fixing the camera (4) on the windshield (3) so that it has an optical center extending at a height (hc) determined by ground ratio (S). This calibration method furthermore consists in calculating, by the resolution of a system of non-linear equations, the relations making it possible to calculate the positioning at the front of the vehicle (1) of a point of coordinates given in FIG. image plane of the camera (4), determining, with a view to this resolution, one of the translation components from the value of the height of each target point (6-8) and the height (hc) of the camera (4).

Description

L'invention concerne un procédé de calibration des caractéristiques extrinsèques d'une caméra solidaire d'un pare-brise de véhicule automobile en vue de saisir, dans un plan image, des scènes se déroulant au niveau du sol à l'avant du dit véhicule. The invention relates to a method for calibrating the extrinsic characteristics of a camera integral with a motor vehicle windshield in order to capture, in an image plane, scenes taking place at ground level in front of said vehicle. .

On rappelle que les caméras présentent en effet des caractéristiques intrinsèques et extrinsèques. Les caractéristiques intrinsèques sont constituées, par exemple, par la focale de la caméra, le zoom ... Les caractéristiques extrinsèques sont quant à elles liées à la position de la caméra par rapport au véhicule et / ou par rapport au sol. Ces caractéristiques extrinsèques s'expriment sous la forme de rotations / translations par rapport à une position idéale de la caméra. Le procédé actuel de calibration de telles caméras consiste : - à positionner devant le véhicule une mire sur laquelle sont matérialisés et repérés n points cibles, avec n supérieur ou égal à trois (n - et à saisir chacun des points cibles repérés sur la mire et à calculer, par la résolution d'un système d'équations non linéaires à six inconnues consistant en trois composantes de translation et trois composantes de rotation, les relations permettant de calculer le positionnement à l'avant du véhicule d'un point de coordonnées données dans le plan image de la caméra. De plus, de façon usuelle, les mires utilisées comportent au moins trois points cibles non alignés. La projection sur le plan image de la caméra de trois points cibles ainsi disposés de façon non linéaire permet, en effet, d'obtenir, par exemple par la mise en oeuvre d'une méthode dite de « Carceroni », un système de six équations non linéaires à six inconnues, (trois translations et trois rotations), présentant une solution unique. Pour des raisons diverses telles que principalement maintien de l'utilisation de mires possédant un nombre réduit d'informations spatiales utilisées antérieurement pour des calibrations moins performantes, certains constructeurs souhaitent, par contre, imposer l'utilisation de mires dont les points cibles sont alignés le long d'un même axe. Toutefois, lorsque les points cibles sont disposés de façon linéaire, les équations du système d'équations ne sont plus indépendantes et la résolution de ce système d'équations par les méthodes connues devient impossible. En fait, aucune méthode ne permet actuellement de procéder à la calibration de caméra au moyen de telles mires, sauf à positionner systématiquement chaque véhicule équipé d'une telle caméra de façon très précise (hauteur, distance, alignement) relativement à la mire. De telles contraintes s'avèrent toutefois conduire à des coûts de mise en oeuvre des procédures de calibration inacceptables dans le domaine automobile. It is recalled that the cameras indeed have intrinsic and extrinsic characteristics. The intrinsic characteristics are constituted, for example, by the focal length of the camera, the zoom ... The extrinsic characteristics are related to the position of the camera relative to the vehicle and / or relative to the ground. These extrinsic characteristics are expressed in the form of rotations / translations with respect to an ideal position of the camera. The current method of calibrating such cameras consists in: positioning a target in front of the vehicle on which n target points are materialized and marked, with n greater than or equal to three (n) and each of the target points marked on the target and calculating, by solving a system of nonlinear six-unknown equations consisting of three translation components and three rotational components, the relationships for calculating the positioning at the front of the vehicle of a given coordinate point in the image plane of the camera Moreover, in the usual way, the targets used comprise at least three non-aligned target points The projection on the image plane of the camera of three target points thus arranged in a non-linear manner makes it possible, in fact to obtain, for example by the implementation of a method called "Carceroni", a system of six nonlinear equations with six unknowns, (three translations and three rotations), presenting a unique solution. For various reasons, such as mainly maintaining the use of patterns having a reduced number of spatial information previously used for less efficient calibrations, some constructors wish, on the other hand, to impose the use of targets whose target points are aligned with the along the same axis. However, when the target points are arranged in a linear fashion, the equations of the system of equations are no longer independent and the resolution of this system of equations by the known methods becomes impossible. In fact, no method currently allows the calibration of camera using such sights, except systematically position each vehicle equipped with such a camera very accurately (height, distance, alignment) relative to the test pattern. Such constraints, however, prove to lead to costs of implementing unacceptable calibration procedures in the automotive field.

La présente invention vise à pallier ce problème en fournissant un procédé permettant, sans ajout de contrainte coûteuse de mise en oeuvre, la calibration d'une caméra au moyen d'une mire dotée de points cibles alignés. A cet effet, l'invention vise un procédé de calibration des caractéristiques 5 extrinsèques d'une caméra solidaire d'un pare-brise de véhicule automobile, selon lequel : - on positionne devant le véhicule une mire sur laquelle sont matérialisés et repérés n points cibles, (avec n - et on saisit chacun des points cibles repérés sur la mire et on calcule, par la résolution d'un système d'équations non linéaires à six inconnues consistant en 10 trois composantes de translation et trois composantes de rotation, les relations permettant de calculer le positionnement à l'avant du véhicule d'un point de coordonnées données dans le plan image de la caméra. Selon l'invention, ce procédé de calibration consiste à : - utiliser une mire dont les points cibles sont positionnés, chacun, à une hauteur 15 prédéterminée par rapport au sol, et sont alignés le long d'un axe (d), - fixer la caméra sur le pare-brise du véhicule de façon que la dite caméra présente un centre optique s'étendant à une hauteur (hc) déterminée par rapport à la génératrice inférieure des pneumatiques du véhicule reposant sur le sol, - et à déterminer une des composantes de translation à partir de la valeur de la 20 hauteur de chaque point cible et de la hauteur (hc) de la caméra, en vue de la résolution du système d'équations non linéaires. A titre de contrainte, l'invention impose donc simplement de fixer la caméra sur la face intérieure du pare-brise avec une précision permettant de garantir la valeur de la hauteur du centre optique de cette caméra par rapport au sol (dans la pratique une 25 tolérance d'environ ± 2 cm est admise). Or une telle exigence s'avère peu contraignante dans la pratique du fait que : - le montage de la caméra a lieu sur la chaîne de production des véhicules, et peut être effectué avec une grande précision, - la calibration est effectuée en sortie de chaîne de production sur des véhicules 30 dont la pression des pneumatiques est identique pour les différents véhicules, et dont la hauteur des dits pneumatiques est donc parfaitement déterminée. Le procédé selon l'invention permet, moyennant d'exprimer les valeurs des hauteurs des points cibles et du centre optique de la caméra dans un même repère géométrique, de déterminer une des composantes de translation du système d'équations 35 et d'obtenir un système de cinq équations non linéaires à cinq inconnues (deux translations et trois rotations), présentant une solution unique. The present invention aims to overcome this problem by providing a method allowing, without adding costly implementation constraint, the calibration of a camera by means of a pattern with aligned target points. For this purpose, the invention provides a method for calibrating the extrinsic characteristics of a camera integral with a windshield of a motor vehicle, according to which: - a target is placed in front of the vehicle on which are marked and marked n points targets, (with n - and we seize each of the target points marked on the target and we calculate, by the resolution of a system of nonlinear equations with six unknowns consisting of three translational components and three rotational components, the RELATIONSHIPS FOR CALCULATING THE POSITIONING IN THE VEHICLE OF THE VEHICLE OF A POINT OF SPECIFIC COORDINATES IN THE IMAGE PLANE OF THE CAMERA According to the invention, this calibration method consists of: using a pattern whose target points are positioned, each, at a predetermined height from the ground, and are aligned along an axis (d), - fix the camera on the windshield of the vehicle so that said camera presents a optically extending at a height (hc) determined relative to the lower generatrix of the vehicle tires resting on the ground, - and determining one of the translation components from the value of the height of each target point and the height (hc) of the camera, in order to solve the system of nonlinear equations. As a constraint, the invention therefore simply imposes fixing the camera on the inner face of the windshield with a precision to ensure the value of the height of the optical center of the camera relative to the ground (in practice a 25 tolerance of approximately ± 2 cm is allowed). However, such a requirement is not very restrictive in practice because: - the mounting of the camera takes place on the production line of the vehicles, and can be performed with great precision, - the calibration is performed at the output of the chain production on vehicles 30 whose tire pressure is identical for the various vehicles, and whose height of said tires is perfectly determined. The method according to the invention makes it possible, by means of expressing the values of the heights of the target points and of the optical center of the camera in the same geometrical reference, to determine one of the translation components of the system of equations 35 and to obtain a system of five nonlinear equations with five unknowns (two translations and three rotations), presenting a unique solution.

Le procédé selon l'invention peut, en outre, être mis en oeuvre en utilisant une mire dont les points cibles sont alignés le long d'un axe incliné par rapport à l'horizontale. Toutefois, on utilise avantageusement selon l'invention une mire dont les points cibles sont alignés le long d'un axe (d) au moins sensiblement horizontal. The method according to the invention may, in addition, be implemented using a pattern whose target points are aligned along an axis inclined relative to the horizontal. However, it is advantageous to use according to the invention a pattern whose target points are aligned along an axis (d) at least substantially horizontal.

Une telle disposition conduit à positionner les différents points cibles à une même hauteur par rapport au sol, et permet de déduire la valeur de la composante de translation directement de la différence entre la hauteur des points cibles et la hauteur du centre optique de la caméra. Selon un autre mode de mise en oeuvre avantageux de l'invention, on 10 positionne la mire de façon qu'elle libère une zone de hauteur et largeur adaptées pour autoriser l'évacuation des véhicules équipés d'une caméra calibrée, sans heurter la mire lors de leur passage. Par ailleurs, on applique avantageusement selon l'invention la méthode dite de « Carceroni » en vue de l'obtention du système d'équations non linéaires.Such an arrangement leads to positioning the different target points at the same height relative to the ground, and allows to deduce the value of the translational component directly from the difference between the height of the target points and the height of the optical center of the camera. According to another advantageous embodiment of the invention, the sight is positioned in such a way that it releases an area of suitable height and width to authorize the evacuation of the vehicles equipped with a calibrated camera, without striking the target. during their passage. Furthermore, according to the invention, the so-called "Carceroni" method is advantageously applied in order to obtain the system of non-linear equations.

15 D'autres caractéristiques buts et avantages de l'invention ressortiront de la description détaillée qui suit en référence aux dessins annexés qui en représentent à titre d'exemple non limitatif un mode de réalisation préférentiel. Sur ces dessins : - la figure 1 est une vue schématique d'un poste de calibration pour la mise en oeuvre du procédé de calibration selon l'invention, 20 - et la figure 2 est une vue frontale d'une mire utilisée pour la mise en oeuvre du procédé de calibration selon l'invention. Le poste de calibration représenté à titre d'exemple à la figure 1 est conçu pour la calibration des caractéristiques extrinsèques d'une caméra 4 solidaire de la face intérieure du pare-brise 3 d'un véhicule automobile 1 reposant sur le sol S par 25 l'intermédiaire de pneumatiques 2 présentant une pression de gonflage déterminée identique pour tous les véhicules d'un même modèle. De plus, la position de cette caméra 4 est ajustée de façon que le centre optique de cette dernière s'étende, avec une tolérance de l'ordre de ± 2 cm, à une hauteur (hc) déterminée par rapport à la génératrice inférieure des pneumatiques 2 du 30 véhicule 1 reposant sur le sol S. Ce poste de calibration comporte une mire 5 portée par une suspension 13 fixée sous le plafond P du dit poste, et agencée de façon que la dite mire s'étende dans un plan vertical (y, z) formant un repère orthonormé avec un axe (x) parallèle à l'axe de déplacement des véhicules 1.Other features and advantages and advantages of the invention will become apparent from the following detailed description with reference to the accompanying drawings which represent by way of non-limiting example a preferred embodiment. In these drawings: FIG. 1 is a schematic view of a calibration station for implementing the calibration method according to the invention, and FIG. 2 is a front view of a test pattern used for setting implementation of the calibration method according to the invention. The calibration station represented by way of example in FIG. 1 is designed for the calibration of the extrinsic characteristics of a camera 4 integral with the inside face of the windshield 3 of a motor vehicle 1 resting on the ground S by 25 the intermediary of tires 2 having an identical determined inflation pressure for all vehicles of the same model. In addition, the position of this camera 4 is adjusted so that the optical center of the latter extends, with a tolerance of the order of ± 2 cm, to a height (hc) determined with respect to the lower generatrix of 2 of the vehicle 1 resting on the ground S. This calibration station has a target 5 carried by a suspension 13 fixed under the ceiling P of said station, and arranged so that said target extends in a vertical plane ( y, z) forming an orthonormal coordinate system with an axis (x) parallel to the axis of movement of the vehicles 1.

35 Cette mire 5 comporte trois points cibles 6, 7, 8 (figure 2) alignés le long d'un axe (d) au moins sensiblement horizontal. Chacun de ces points cibles 6-8 constitue le point central d'une cible carrée divisée en quatre secteurs carrés 9-12 de mêmes dimensions alternativement «noirs » (secteurs 9, 10) et blancs (secteurs 11, 12). De plus, la suspension 13 est adaptée pour que la mire 5 s'étende au-dessus d'une zone de hauteur et largeur adaptées pour permettre aux véhicules 1 de sortir du 5 poste de calibration sans heurter la mire. La procédure de calibration des caractéristiques extrinsèques d'une caméra 4, réalisée dans ce poste de calibration, consiste : - à saisir les trois points cibles 6-8 de la mire 5, c'est-à-dire à établir les coordonnées de ces trois points cibles dans le plan de la mire, 10 - à déduire la composante de translation selon l'axe z à partir de la différence (hm - hc) entre les hauteurs respectives des points cibles 6-8 et du centre optique de la caméra 4, - à appliquer la méthode dite de « Carceroni » en vue de l'obtention d'un système de cinq équations non linéaires à cinq inconnues, 15 - et à résoudre le système d'équations en vue de déterminer les caractéristiques extrinsèques de la caméra 4. Il est à noter que, selon l'invention, on entend définir par « méthode de Carceroni », la méthode notamment décrite dans l'article de H.Ara'ujo, R.J Carceroni, et C.M Brown : « A fully projection formulation to improve the accuracy of Lowe's pose 20 estimation algorithm » (Computer Vision and Image Understanding, 70/2 ; 227238, 1998). Le procédé de calibration selon l'invention ci-dessus décrit permet de déterminer les caractéristiques extrinsèques d'une caméra 4 au moyen d'une mire possédant un nombre réduit d'informations spatiales (trois points cibles alignés), sans 25 ajout de contrainte coûteuse de mise en oeuvre du procédé de calibration. This pattern 5 comprises three target points 6, 7, 8 (Figure 2) aligned along an axis (d) at least substantially horizontal. Each of these target points 6-8 constitutes the central point of a square target divided into four square sectors 9-12 of the same dimensions alternately "black" (sectors 9, 10) and white (sectors 11, 12). In addition, the suspension 13 is adapted so that the target 5 extends over an area of height and width adapted to allow the vehicles 1 to leave the calibration station without hitting the target. The procedure for calibrating the extrinsic characteristics of a camera 4, carried out in this calibration station, consists in: - grasping the three target points 6-8 of the test pattern 5, that is, establishing the coordinates of these three target points in the plane of the test, 10 - to deduce the translation component along the z axis from the difference (hm - hc) between the respective heights of the target points 6-8 and the optical center of the camera 4 - to apply the so-called "Carceroni" method in order to obtain a system of five nonlinear equations with five unknowns, and to solve the system of equations with a view to determining the extrinsic characteristics of the 4. It should be noted that, according to the invention, the term "Carceroni method" is intended to mean the method described in particular in the article by H.Ara'ujo, RJ Carceroni, and CM Brown: "A fully projection formulation to improve the accuracy of Lowe's pose 20 estimatio n algorithm "(Computer Vision and Image Understanding, 70/2; 227238, 1998). The calibration method according to the invention described above makes it possible to determine the extrinsic characteristics of a camera 4 by means of a pattern having a reduced number of spatial information (three aligned target points), without the addition of an expensive constraint. implementation of the calibration method.

Claims

CLAIMS1 / A method for calibrating the extrinsic characteristics of a camera (4) integral with a windshield (3) of a motor vehicle (1) in order to capture, in an image plane, scenes taking place at ground level at the front of said vehicle, said calibration method consisting of: - positioning in front of the vehicle (1) a pattern (5) on which are marked and marked n target points (6-8), with n - to enter each of target points (6-8) identified on the target (5) and to be calculated by solving a system of six-unknown nonlinear equations consisting of three translation components and three rotational components, the relations allowing calculating the positioning at the front of the vehicle (1) of a coordinate point given in the image plane of the camera (4), and the said calibration method being characterized in that: - a target (5) is used whose target points (6-8) are positioned, each at a predetermined height relative to the ground (S), and are aligned along an axis (d), 15 - the camera (4) is fixed on the windshield (3) so that said camera has an optical center extending at a height (hc) determined with respect to the lower generatrix of the tires (2) of the vehicle (1) resting on the ground (S), and determining one of the translation components from the value of the height of each target point (6-8) and the height (hc) of the camera (4), in view of the resolution of the system of non-linear equations. 2 / A calibration method according to claim 1 characterized in that one uses a pattern (5) whose target points (6-8) are aligned along an axis (d) at least substantially horizontal. 3 / Calibration method according to one of claims 1 or 2 characterized in that 25 is positioned the rod (5) so that it releases a zone of height and width adapted to allow the evacuation of vehicles (1). ) equipped with a calibrated camera (4). 4 / calibration method according to one of the preceding claims characterized in that one applies the method called "Carceroni" to obtain the system of nonlinear equations.