FR2884781A1 - Methode et dispositif de calibrage de camera - Google Patents

Abstract

La présente méthode de calibrage de caméra permet de simplifier l'enregistrement par une caméra des points de référence formé sur une surface d'un support grâce à l'utilisation d'une matrice de points de référence lumineux qui est formée sur la surface. Le calcul par ordinateur des paramètres de calibrage à partir d'une seule image enregistrée par la caméra se trouve aussi simplifié et peut être entièrement automatisé. L'invention permet un calibrage complet d'une caméra à partir d'une seule image.

Description

1 2884781 DESCRIPTIF

METHODE ET DISPOSITIF DE CALIBRAGE DE CAMERA

DOMAINE TECHNIQUE

Le domaine technique de l'invention est celui des dispositifs et méthodes de calibrage d'appareils de prise de vues, par exemple des caméras, notamment en vue d'un traitement ultérieur automatique des images enregistrées par de tels appareils calibrés.

ÉTAT DE LA TECHNIQUE ANTÉRIEURE Le calibrage d'une caméra est souvent indispensable dans de nombreux domaines d'application tels que, par exemple, la surveillance vidéo, la vision tridimensionnelle, la reconnaissance de forme ou la sécurité des véhicules à l'aide de caméras embarquées. Dans ces domaines, il est en effet important de pouvoir déduire des informations précises à partir de l'image d'une scène enregistrée par une caméra. Par exemple, l'image enregistrée par une caméra embarquée sur un véhicule est analysée par un ordinateur de bord et sert à ce dernier à calculer la distance entre le véhicule et un obstacle.

Pour que cette image prise par la caméra puisse être exploitée valablement, il convient de préalablement calibrer la caméra, c'est-àdire de pouvoir établir une correspondance entre des positions spatiales (tridimensionnelles ou 3-D) de points dits de référence d'une scène et des positions bidimensionnelles (2-D) des points correspondant dits de contrôle sur l'image enregistrée dans le plan image 2 2884781 de la caméra, tout en tenant compte des distorsions diverses générées par l'optique et/ou le support d'enregistrement de la caméra.

De plus, dans le cas des caméras embarquées sur un véhicule, il est important pour les besoins de l'industrie de pouvoir réaliser les opérations de calibrage de manière concomitante avec les opérations de montage sur le véhicule.

Les méthodes et systèmes connus de calibrage de caméras permettent en général d'effectuer des opérations de calibrage à partir d'une étape de préparation d'une scène de référence composée à l'aide de panneaux plans comportant des figures de référence, telles que des damiers par exemple, ou d'objets de référence aux formes spécifiques et aux dimensions connues. La scène est ensuite enregistrée avec la caméra à calibrer. Suivant les méthodes, il est nécessaire d'enregistrer plusieurs images d'une même scène, voire d'enregistrer plusieurs images de la scène à partir de positions différentes de la caméra.

En général ces méthodes requièrent des conditions particulières d'éclairement de la scène, d'angles de prise de vue, voire des conditions précises de placement des objets de référence ou de la caméra relativement à la scène, pour que l'image enregistrée soit exploitable. L'intervention d'un opérateur humain est alors souvent nécessaire pour réaliser ces conditions "idéales" d'enregistrement ou même pour procéder directement au calibrage de la caméra.

3 2884781 Certains des paramètres de la caméra peuvent être calibrés de manière automatique ou semi-automatique, mais plusieurs interventions successives sont en général nécessaires pour calibrer un ensemble complet de paramètres. Ceci est particulièrement pénalisant en termes de coûts, de fiabilité ou de main d'oeuvre, particulièrement dans le cas d'opérations se déroulant en milieu industriel comme, par exemple, sur une chaîne de montage de véhicules équipés de caméras où le calibrage de caméra embarquée a lieu au cours d'une étape de construction du véhicule.

Les méthodes qui requièrent la détermination de contours de référence sur une image enregistré sont particulièrement sensibles à l'éclairement de la scène d'enregistrement mais aussi à l'état de dégradation ou de propreté des supports des figures de référence ou des objets de référence, et l'entretien de ces supports ou objets est indispensable. Souvent il est nécessaire de procéder à une opération supplémentaire de traitement de l'image enregistrée, telle qu'une opération de seuillage, pour finalement réussir à exploiter l'enregistrement.

Les documents suivants sont cités à titre d'illustration de l'état de la technique: La demande de brevet européen EP 1 087 236 ("Method and system for inspecting a vehicle mounted camera") divulgue une méthode permettant de contrôler la précision de montage d'une caméra sur un véhicule qui fait appel à une cible (ou objet de référence) fixe de 4 2884781 forme spécifique. Cependant, ce document n'enseigne pas comment corriger automatiquement des problèmes de positionnement car un opérateur doit ajuster manuellement la position de la caméra afin de répondre à des spécifications de tolérance données. Le système donne alors des instructions à l'opérateur pour effectuer le réglage. De plus, la qualité des données de cible acquises dépend des conditions d'éclairement au moment de la vérification.

La demande de brevet internationale WO 2004/068864 ("Method and device for adjusting an image sensor system") divulgue comment ajuster au moins un paramètre de l'un des enregistreurs d'image d'une caméra stéréoscopique montée sur un véhicule lorsqu'un disfonctionnement intervient sur cet enregistreur. Cependant, ce document concerne uniquement les caméras stéréoscopiques et, de plus, ne permet pas de procéder à un calibrage complet de la caméra.

Le document GB 2 396 005 ("Calibrating image sensor system in an automotive vehicle") enseigne l'utilisation d'images d'un objet de référence vu à partir de positions différentes résultant du mouvement d'un véhicule sur lequel est montée la caméra. Cependant, l'intervention manuelle d'un opérateur est requise ainsi que l'utilisation de multiples images enregistrées par la caméra. De plus, le calibrage ne porte pas sur les paramètres de distorsion (dues au système de lentilles de la caméra).

2884781 Le document DE10115043 ("Calibration method for vehicle-mounted camera system uses evaluation of reference body image provided by camera for correcting misalignment of camera axis") enseigne seulement comment détecter et corriger un mauvais alignement de l'axe optique d'une caméra mais ne permet pas d'évaluer et de corriger les autres paramètres de la caméra.

Les documents ci-dessus mentionnés, ainsi que d'autres de l'état de la technique, présentent tous d'importants inconvénients parmi lesquels: la nécessité de recourir à une intervention manuelle, l'utilisation de supports ou d'objets de référence très spécifiques, des conditions d'éclairement de la scène rigoureuses, la nécessité d'utiliser plusieurs images enregistrées pour l'extraction des valeurs des paramètres de calibrage, la nécessité de combiner plusieurs méthodes distinctes (ou dispositifs) pour parvenir à effectuer un calibrage d'un ensemble de paramètres de distorsion d'image ou d'un ensemble complet de paramètres d'une caméra. Un tel ensemble complet de paramètres comprend des paramètres de distorsion, des autres paramètres intrinsèques de la caméra tels que ceux liés à la distance focale, la taille de pixel ou la position du centre d'image, ainsi que les paramètres extrinsèques de la caméra liés à la position dans l'espace du centre optique ou aux angles d'inclinaison sur l'axe optique, de rotation autour de l'axe optique et de lacet (ces angles étant liés aux angles d'Euler de l'axe optique).

De plus, les méthodes ou dispositifs de calibrage connus sont difficilement utilisables, voire 6 2884781 inutilisables, dans le contexte d'une chaîne de montage de véhicules pour un calibrage des paramètres de distorsion ou un calibrage complet de caméras embarquées sur ces véhicules, du fait de la complexité résultant des méthodes à combiner ou des interventions d'opérateurs nécessaires.

EXPOSÉ DE L'INVENTION La présente invention a donc pour objectif de remédier aux inconvénients mentionnés ci-dessus, notamment pour les systèmes de calibrage de caméras montées sur des véhicules pendant la phase de construction des véhicules sur une chaîne d'assemblage. Plus précisément, un des objectifs de la présente invention est d'obtenir une méthode, et un dispositif correspondant, de calibrage de caméra qui ne nécessite pas de manipuler des supports ou des objets de référence, qui assure une meilleure visibilité des points de contrôle d'une image d'une scène enregistrée par la caméra sans nécessiter de traitement de seuillage ou de réglage précis des conditions d'éclairement de la scène, et qui permette au moins un calibrage d'un paramètre à partir d'une seule image enregistrée.

Cet objectif est atteint grâce une méthode de calibrage selon l'invention, qui est une méthode de calibrage de paramètres d'une première caméra apte à enregistrer une image d'une zone de calibrage sur une surface, au moyen d'une unité de calcul apte à recevoir et a traiter une image enregistrée par la première caméra, 7 2884781 caractérisée en ce qu'elle comporte les étapes suivantes consistant à: (a) former une matrice de points de référence lumineux sur la zone de calibrage; (b) déterminer les valeurs des coordonnées, dans un repère spatial donné R, des points de référence lumineux de la zone de calibrage et stocker ces valeurs des coordonnées dans une mémoire de l'unité de calcul; (c) enregistrer au moyen de la première caméra une image des points de référence lumineux et transmettre l'image enregistrée à l'unité de calcul; et déterminer au moins un paramètre de la caméra à partir du traitement par l'unité de calcul de l'image des points de référence lumineux reçue.

Avec l'invention, il est aussi possible de ne calibrer que certains paramètres choisis, par exemple les paramètres de distorsion qui sont très utiles pour la correction des images. Cet objectif est atteint grâce à un mode de réalisation particulier de l'invention, c'est-à-dire une méthode de calibrage conforme à la méthode précédente, dans laquelle l'étape de détermination d'au moins un paramètre comporte les étapes suivantes consistant à: (d) déterminer au moyen de l'unité de calcul les valeurs des coordonnées de points de contrôle sur l'image enregistrée reçue dans un repère R' associé au plan de l'image, chaque point de contrôle correspondant à l'image d'un point de référence, les points de contrôle étant au nombre de N et n'étant pas tous alignés, et stocker les valeurs déterminées dans la mémoire de l'unité de calcul; et 8 2884781 (e) calculer au moyen de l'unité de calcul les valeurs des paramètres de distorsion de la première caméra, à partir des valeurs déterminées des coordonnées des points de contrôle et des valeurs des coordonnées des points de référence correspondants, et stocker les valeurs calculées des paramètres de distorsion dans la mémoire de l'unité de calcul.

L'objectif est aussi atteint au moyen d'un dispositif correspondant selon l'invention, à savoir un dispositif de calibrage de paramètres de caméra comprenant une première caméra apte à enregistrer une image d'une zone de calibrage sur une surface, une unité de calcul apte à recevoir et a traiter une image enregistrée par la première caméra et disposant d'une mémoire, caractérisé en ce qu'il comprend en outre: un moyen de formation d'une matrice de points de référence lumineux sur la zone de calibrage; et un moyen de détermination de valeurs des coordonnées, dans un repère spatial donné R, de points de référence lumineux de la zone de calibrage formés par le moyen de formation de matrice de points, apte à stocker ces valeurs des coordonnées dans la mémoire de l'unité de calcul, et dans lequel l'unité de calcul est apte à: déterminer au moins un paramètre de la caméra à partir du traitement d'une image de points de référence lumineux, formés par le moyen de formation de matrice de points lumineux sur la zone de calibrage, enregistrée par la caméra et reçue par l'unité de calcul.

2884781 9 Dans un mode de réalisation particulier, le dispositif de calibrage de caméra selon l'invention permet de ne calculer que certains des paramètres de la caméra, par exemple les paramètres de distorsion. Un tel dispositif de calibrage est conforme au dispositif précédent dans lequel l'unité de calcul est en outre apte à: déterminer les valeurs des coordonnées de points de contrôle sur une image enregistrée par la première caméra dans un repère R' associé au plan de l'image, chaque point de contrôle correspondant à l'image d'un point de référence, les points de référence lumineux ayant été formés sur la zone de calibrage par le moyen de formation de matrice de points, les points de contrôle étant au nombre de N et n'étant pas tous alignés, et à stocker les valeurs déterminées dans la mémoire; et calculer les valeurs des paramètres de distorsion de la première caméra, à partir des valeurs déterminées des coordonnées des points de contrôle et des valeurs des coordonnées des points de référence correspondants, et stocker les valeurs calculées des paramètres de distorsion dans la mémoire.

La formation, selon l'invention, d'une matrice de points lumineux, par exemple par projection d'un ou de plusieurs faisceaux lumineux, sur une zone de calibrage de la surface d'un support élimine la nécessité de manipuler des supports pour les positionner de manière précise et assure une meilleure 2884781 visibilité et donc une meilleure détection des points de contrôle sur l'image enregistrée.

Le calibrage peut être effectué de façon très robuste par rapport à l'état de salissure de la surface du support et n'exige pas que cette surface soit parfaitement plane (il suffit de connaître les valeurs des coordonnées des points de référence), contrairement aux supports de damiers connus. La formation de points lumineux sur une surface est facile à réaliser, par exemple à l'aide de faisceaux laser formant une grille sur la zone de calibrage, et est très peu sensible aux conditions d'éclairement de la scène. Bien sûr, il est possible de former la matrice de points lumineux sur une zone de calibrage qui peut être relativement plane; cependant, la surface support de la zone de calibrage peut sans inconvénient présenter des courbures.

De plus, afin de cerner plus précisément les valeurs des paramètres de calibrage il est avantageux de pouvoir observer sur une même image des directions différentes de l'espace de la scène, pour cela il convient de former la matrice de points lumineux sur une zone de calibrage éventuellement constituée de plusieurs parties plus ou moins planes et qui ne sont pas sensiblement parallèles deux à deux. La matrice de points lumineux est donc simple à réaliser, y compris dans un environnement industriel tel qu'une chaîne de montage de véhicules. La formation d'une telle matrice peut avantageusement être déclenchée ou arrêtée par un dispositif de commande. Ce dispositif de commande, ainsi que l'enregistrement d'images de 11 2884781 calibrage par la caméra, peut luimême être contrôlé par l'unité de calcul chargée de la détermination des paramètres de calibrage.

L'invention autorise donc aussi une automatisation complète du calibrage. Pour cela, il est par exemple avantageux de réaliser la détermination des valeurs des coordonnées des points de référence (voir l'étape (b) de calcul des coordonnées) à l'aide d'un moyen de détermination de valeurs des coordonnées sous la forme d'un théodolite, pour viser un point de référence sur la zone de calibrage, et d'un moyen de calcul pour calculer des valeurs des coordonnées de ce point de référence en utilisant les paramètres de visée obtenus par le théodolite pour ce point. Dans un autre exemple, le moyen de détermination de valeurs des coordonnées comprend une seconde caméra et un moyen de calcul, et la détermination des valeurs des coordonnées des points de référence est réalisée à partir d'au moins une image des points de référence de la zone de calibrage enregistrée au moyen de la seconde caméra, calibrée par rapport à la zone de calibrage, en effectuant le calcul des coordonnées par le moyen de calcul selon un algorithme de géométrie projective classique utilisant les positions de points correspondant aux points de référence détectées sur l'image enregistrée par la seconde caméra et les valeurs données des paramètres de la seconde caméra.

Ce moyen de calcul peut d'ailleurs aussi bien être l'unité de calcul ellemême à laquelle les valeurs des paramètres de calibrage de la seconde caméra on été transmises. D'autres caméras, calibrées 12 2884781 par rapport à la zone de calibrage et de paramètres connus, peuvent aussi être utilisées pour la détermination des coordonnées des points de référence dans le repère R. Un autre objectif de l'invention est de permettre un calibrage complet de la caméra à partir d'une image de la zone de calibrage. Cet objectif est atteint grâce à une méthode de calibrage conforme à l'une quelconque des réalisations de l'invention mentionnées plus haut dans laquelle le nombre N de points de contrôle est au moins égal au nombre M des paramètres extrinsèques et intrinsèques de la première caméra autres que les paramètres de distorsion, comprenant en outre les étapes suivantes consistant à: (f) calculer à l'aide de l'unité de calcul les valeurs des coordonnées, corrigées de l'effet de distorsion, des N points de contrôle dans le repère R', à partir des valeurs des paramètres de distorsion de la caméra, et stocker les valeurs corrigées dans la mémoire de l'unité de calcul; et (g) calculer à l'aide de l'unité de calcul les valeurs des M paramètres de la première caméra par résolution d'un système de N équations à m inconnues obtenu à partir de la correspondance biunivoque établie entre les valeurs calculées des coordonnées, corrigées de l'effet de distorsion, des N points de contrôle dans le repère R' et les valeurs des coordonnées des N points de référence dans le repère R qui correspondent aux N points de contrôle de l'image enregistrée, et 13 2884781 stocker les valeurs calculées des M paramètres dans la mémoire de l'unité de calcul.

Il est aussi possible de réaliser simultanément la détermination des paramètres de distorsion et des autres M paramètres de la caméra, dans ce cas il n'est pas nécessaire de d'abord déterminer les paramètres de distorsion (étape (e)), puis de calculer les valeurs des coordonnées, corrigées de l'effet de distorsion, des N points de contrôle (étape (f)). Il suffit en effet, de manière équivalente, de former directement un système de N équations à M+n inconnues, n désignant le nombre des paramètres de distorsion, à partir de la correspondance biunivoque entre les points de contrôle et les points de référence en tenant compte de la totalité des transformations (incluant la distorsion) subies par un point de référence pour aboutir au point de contrôle correspondant. Bien sûr, dans ce cas, il faut que N soit supérieur ou égal à M+n.

Ainsi l'invention permet-elle de calculer un ensemble complet de valeurs des paramètres de calibrage d'une caméra, à savoir les valeurs des paramètres de distorsion et des M paramètres extrinsèques et intrinsèques restants. Le nombre exact des paramètres de calibrage dépend bien sûr du type de la caméra (par exemple à enregistrement CCD ou bien photographique etc..), de son dispositif optique et de la modélisation adoptée (pour la distorsion et les paramètres). L'invention permet d'obtenir une grande précision dans les valeurs calculées lorsque le nombre N des points de contrôle sur l'image enregistrée est 14 2884781 supérieur au nombre M des paramètres car le système est surdéterminé et sa résolution peut se faire plusieurs fois par blocs de M équations, permettant une exploitation statistique des résultats pour aboutir à des valeurs plus fiables, ou encore en une seule fois par utilisation directe d'un algorithme adapté, par exemple du type gradient conjugué, pour obtenir directement un jeu de valeurs optimal.

L'invention concerne aussi un dispositif de calibrage complet correspondant à la méthode précédente, c'est-à-dire un dispositif conforme à l'un quelconque des modes de réalisation du dispositif de calibrage des paramètres de distorsion mentionné plus haut et dans lequel, le nombre N de points de contrôle étant au moins égal au nombre M des paramètres extrinsèques et intrinsèques de la première caméra autres que les paramètres de distorsion, l'unité de calcul est de plus apte à: calculer les valeurs des coordonnées, corrigées de l'effet de distorsion, des N points de contrôle dans le repère R', à partir des valeurs des paramètres de distorsion de la première caméra, et stocker les valeurs corrigées dans la mémoire; et calculer les valeurs des M paramètres de la première caméra par résolution d'un système de N équations à m inconnues obtenu à partir de la correspondance biunivoque établie entre les valeurs calculées des coordonnées, corrigées de l'effet de distorsion, des N points de contrôle dans le repère R' et les valeurs des coordonnées des N points de référence dans le repère R qui correspondent aux N 2884781 points de contrôle de l'image enregistrée, et stocker les valeurs calculées des M paramètres dans la mémoire.

Selon l'invention, il est possible de monter la première caméra, dont on calcule les paramètres de calibrage, à bord d'un véhicule. Il est aussi possible d'embarquer l'unité de calcul servant au calcul des paramètres dans le véhicule où se trouve la caméra. La méthode de calibrage de la caméra, et le dispositif correspondant, peuvent alors être utilisés sur une chaîne de montage de véhicules.

Enfin, l'invention concerne une méthode de traitement d'image, et un dispositif correspondant de traitement d'image, pour réaliser un traitement de correction d'une image enregistrée par une caméra au moyen d'une unité de calcul de traitement d'image, caractérisée en ce qu'elle comporte une étape préalable de calibrage de la caméra dans laquelle l'unité de calcul de traitement d'image est utilisée comme unité de calcul selon une méthode de calibrage complet mentionnée plus haut, l'unité de calcul de traitement d'image effectuant ensuite le traitement de correction d'image à partir des valeurs des paramètres de distorsion et des autres paramètres extrinsèques et intrinsèques de la caméra obtenues à l'étape de calibrage de la caméra. La caméra pouvant être montée sur un véhicule et l'unité de traitement d'image pouvant aussi être embarquée à bord du véhicule.

Ainsi, l'invention permet-elle d'effectuer à la fois le calibrage d'une caméra et l'exploitation des images de la caméra calibrée. Ceci est 16 2884781 particulièrement avantageux dans le cas de caméras montées sur véhicule car, si l'opération de calibrage doit être répétée après la sortie du véhicule de la chaîne de montage (à cause d'un dérèglement consécutif à l'utilisation du véhicule par exemple), il suffit au conducteur du véhicule d'amener celui-ci dans un lieu équipé d'un support de zone de calibrage et d'un moyen de formation d'une matrice de points lumineux sur cette zone de calibrage pour procéder à la nouvelle opération de calibrage de sa caméra comme indiqué plus haut. Un tel lieu équipé peut être un garage par exemple.

D'autres caractéristiques et avantages de l'invention ressortiront de la description suivante de modes de réalisation particuliers, donnés à titre d'exemples en référence aux dessins annexés.

BRÈVE DESCRIPTION DES DESSINS

La Figure 1 est une représentation simplifiée, correspondant à une vue de dessus, d'une caméra montée sur un véhicule et d'un dispositif de projection d'une matrice de points lumineux.

La Figure 2 est une vue de profil correspondant à la Figure 1.

La Figure 3 est un organigramme d'une réalisation de la méthode de calibrage selon l'invention.

EXPOSÉ DÉTAILLÉ D'UN MODE DE RÉALISATION PARTICULIER Un mode particulier de réalisation de l'invention, décrit en référence aux figures 1, 2 et 3, concerne le calibrage complet d'une caméra (3) montée sur un véhicule (1) avec capable d'effectuer les calibrage et au traitement situé dans une pièce (10) (5). De façon optionnelle, un ordinateur de bord (4) calculs nécessaires au d'image, le véhicule étant munie de projecteurs laser un ordinateur de calibrage (4') situé dans la pièce peut être chargé d'effectuer les calculs de calibrage, l'ordinateur (4') étant relié à l'ordinateur de bord (4) pour la transmission des valeurs calculées des paramètres de la caméra.

Les murs plans de la pièce (10) ainsi que le sol plan peuvent servir de surfaces sur lesquelles une matrice de points lumineux peut être projetée. Les projecteurs (5) sont capables de projeter une grille formée de lignes lumineuses obtenues par balayage des faisceaux laser sur une zone de calibrage (6) à la surface des murs de la pièce et du sol. Avantageusement, la pièce peut être plongée dans une relative obscurité pendant la projection de la grille et l'enregistrement de l'image de cette grille par la caméra (3) de façon à bénéficier d'un meilleur contraste. Si la luminosité de la pièce est telle que les points de contrôle sur l'image enregistrée sont peut contrastés ou si la luminosité fluctue, il est toujours possible de procéder à une opération de seuillage de l'image enregistrée de façon à extraire les points de contrôle avec plus de précision. Cette opération de seuillage est effectuée dans ce mode de 18 2884781 réalisation de l'invention pour assurer la fiabilité des mesures des coordonnées des points de contrôle dans les conditions d'éclairage telles que celles d'une chaîne de montage de véhicules.

Les projecteurs sont disposés de manière précise et connue dans la pièce, ce qui permet de connaître la position des points de référence lumineux projetés sur les parois. Une mesure des coordonnées de ces points, dans un repère lié à la pièce, peut donc être effectuée préalablement à l'opération de calibrage de la caméra et les valeurs des coordonnées des points de référence sont transmises à l'ordinateur dont l'unité de calcul est chargée du calcul des paramètres.

De façon optionnelle, la pièce peut être munie d'un système (2) de positionnement du véhicule, par exemple un système de blocage des roues du véhicule, qui permet de connaître la position précise du véhicule dans le repère lié à la pièce, dans le cas où il est nécessaire de déterminer la position de la caméra (par exemple celle de son centre optique) dans un système de coordonnées centré sur le véhicule (pour utiliser des algorithmes de traitement des images enregistrées par la caméra embarquée, par exemple).

Dans ce mode de réalisation, les points de référence lumineux Pi (avec i = 1,...,N) de la zone de calibrage (6) sont au nombre de N et sont constitués par les noeuds de la grille lumineuse projetée par les projecteurs (5), le nombre N étant très supérieur au nombre total des paramètres de la caméra (3). Les coordonnées des points de référence Pi sont mesurées dans un repère cartésien tridimensionnel R (d'axes x, 19 2884781 y, z) lié à la pièce et sont données sous la forme de coordonnées homogènes pour une formulation matricielle du problème: Pi = [Pix, Piy, Piz, 1] T, = I, ,N.

La caméra (3) est ici une caméra à enregistrement CCD qui est modélisée par une caméra du type à sténopé (voir par exemple F.Duvernay et O. Faugeras, Machine Vision and Applications (13), 14-24 (2001)) pour ce qui relève de la distorsion. Rappelons que dans un tel modèle à sténopé l'enregistrement dans le plan image de la caméra de toute ligne droite de l'espace est une ligne droite.

Les paramètres de calibrage de la caméra (3), autres que ceux de distorsion, sont au nombre de dix, ici M = 10, à savoir: - quatreparamètres intrinsèques a: distance focale horizontale de la caméra, b: distance focale verticale de la caméra, c: coordonnée horizontale du centre optique, d: coordonnée verticale du centre optique.

a représente le produit de la longueur du pixel par la distance focale f de la caméra; b représente le produit de la largeur du pixel par la distance focale f de la caméra.

Les coordonnées c et d dans le repère R' (d'axes u, v) du plan image (plan d'enregistrement de la caméra) représentent la projection du centre optique le long de l'axe optique dans le plan image.

2884781 Ces quatre paramètres constituent les élément d'une a 0 c 0 matrice n (3x4) : II = 0 b d 0 0 0 1 0 - trois paramètres extrinsèques qui constituent le vecteur t formé à partir des origines des repères R et R', t représente la position du centre optique de la caméra dans le repère R. - trois paramètres extrinsèques qui constituent la matrice de rotation r (matrice 3x3) représentant les trois rotations liées respectivement à l'angle d'inclinaison sur l'axe optique, à l'angle de rotation autour de l'axe optique et l'angle de lacet (r est un produit de trois rotations indépendantes).

Dans la modélisation adoptée, les quatre paramètres intrinsèques (autres que ceux de distorsion) sont regroupés dans la matrice II, et les six paramètres extrinsèques sont regroupés dans une matrice K (4x4) avec K = Ici M = 10 (nombre de paramètres autres que ceux de distorsion) Désignons par Ci (i = 1,...,N) les N points de contrôle sur l'image enregistrée qui correspondent aux N points de référence Pi de la zone de calibrage (6). Ces points de contrôle Ci, une fois corrigés de l'effet de distorsion (selon l'une des nombreuses méthodes connues, voir par exemple l'article de F.Devernay et O.Faugeras mentionné plus haut), donnent des points Di (i = 1,...,N) : on a alors Di = F(Ci) , i = 1,...,N, où F désigne une fonction de distorsion formée avec les paramètres de distorsion.

21 2884781 Les coordonnées homogènes d'un point dans R' sont généralement notées [u, v, 1]T (l'exposant T désignant une transposition) et les coordonnées d'un point de contrôle corrigé (correspondant à un point Ci) Di sont ici sous la forme ki. [ui, vi, 1] T, où ki désigne la profondeur sur l'axe optique entre les points correspondants Pi et Di, ki. ui et ki. vi désignant les coordonnées corrigées de la distorsion.

Alors le système (S) de N équations à m inconnues qui résulte de la correspondance biunivoque entre les points de référence et les points de contrôle corrigés des effets de distorsion peut s'écrire sous la forme: (S) : Di = II.K.Pi, i = 1,...,N, dans lequel les points correspondants Di et Pi sont donnés.

Dans le cas où l'on souhaite calculer la totalité des paramètres intrinsèques, extrinsèques et de distorsion en une seule étape, il suffit de former un système (S') incluant la fonction de distorsion F et ses n paramètres pour aboutir à un système de N équations à M+n inconnues: (S') : F(Ci) = fI.K.Pi, i = 1,...,N, dans lequel les points correspondants Ci et Pi sont donnés. Dans ce cas il faut bien sûr avoir N >- M+n.

Les étapes de calibrage sont alors les suivantes: - étape Sl: les projecteurs (5) forment une grille lumineuse sur la zone de calibrage (6) avec N points de référence, - étape S2: les valeurs des coordonnées des N points de référence Pi sur la zone de calibrage 22 2884781 (6) sont calculées et transmises à l'ordinateur (4) , - étape S3: une image de la zone de calibrage (6) et de ses N points de référence est enregistrée par la caméra (3), l'image enregistrée est alors transmise à l'ordinateur (4), - étape S4: l'ordinateur applique un traitement de seuillage à l'image reçue de la caméra (3), détermine les positions des N points de contrôle Ci (i = 1,_,N) correspondant aux N points Pi de référence dans le repère R' du plan de l'image, et calcule la fonction de distorsion F à partir d'une évaluation des paramètres de distorsion selon le procédé de F. Devernay et O.Faugeras (voir plus haut), - étape S5: l'ordinateur calcule les valeurs des coordonnées des points de contrôle corrigées des effets de distorsion Di (i = 1,...,N) à l'aide de la fonction de distorsion F et des valeurs des coordonnées des points de contrôle Ci, selon la relation Di = F(Ci), i = 1,...,N, - étape S6: l'ordinateur calcule les valeurs des dix paramètres de calibrage de la caméra (3) figurant dans les matrices II et K, par résolution du système (S) de N équations à dix inconnues (S) : Di = K.K.Pi, i = 1,...,N, à partir des N points correspondants Di et Pi donnés, selon une méthode de gradient conjugué (le nombre de points N étant très supérieur à dix pour plus de précision).

23 2884781 Lorsque la caméra (3) du véhicule (1) a déjà été calibrée dans la pièce (10) mais que, à la suite d'un dérèglement de la position de la caméra (n'affectant pas l'optique de la caméra), il est nécessaire de procéder à un nouveau calibrage, et il est possible de considérablement simplifier les étapes du calibrage. En effet, si la pièce est équipée d'un dispositif (2) de positionnement du véhicule dans une position définie sensiblement identique à la position du véhicule lors du précédent calibrage, et si les valeurs des coordonnées des points de référence de la grille lumineuse ainsi que les valeurs des coordonnées des points de contrôle correspondant corrigées de la distorsion ont été stockés en mémoire dans l'ordinateur de bord (4) lors du précédent calibrage, alors il suffit d'effectuer l'étape S6 pour re-calibrer la caméra.

Claims (3)

1. 24 2884781 REVENDICATIONS

   1. Méthode de calibrage de paramètres d'une première caméra (3) apte à enregistrer une image d'une zone de calibrage (6) sur une surface, au moyen d'une unité de calcul (4) apte à recevoir et à traiter une image enregistrée par la première caméra (3), caractérisée en ce qu'elle comporte les étapes 10 suivantes consistant à: (a) former une matrice de points de référence lumineux sur la zone de calibrage (6); (b) déterminer les valeurs des coordonnées, dans un repère spatial donné R, des points de référence lumineux de la zone de calibrage et stocker ces valeurs des coordonnées dans une mémoire de l'unité de calcul (4) ; (c) enregistrer au moyen de la première caméra (3) une image des points de référence lumineux et transmettre l'image enregistrée à l'unité de calcul (4) ; et déterminer au moins un paramètre de la caméra (3) à partir du traitement par l'unité de calcul (4) de l'image des points de référence lumineux reçue.

   2. Méthode de calibrage selon la revendication 1, dans laquelle l'étape de détermination d'au moins un paramètre comporte les étapes suivantes consistant à: (d) déterminer au moyen de l'unité de calcul (4) les valeurs des coordonnées de points de contrôle sur l'image enregistrée reçue dans un repère R' associé au 2884781 25 plan de l'image, chaque point de contrôle correspondant à l'image d'un point de référence, les points de contrôle étant au nombre de N et n'étant pas tous alignés, et stocker les valeurs déterminées dans la mémoire de l'unité de calcul; et (e) calculer au moyen de l'unité de calcul (4) les valeurs des paramètres de distorsion de la première caméra (3), à partir des valeurs déterminées des coordonnées des points de contrôle et des valeurs des coordonnées des points de référence correspondants, et stocker les valeurs calculées des paramètres de distorsion dans la mémoire de l'unité de calcul.

   3. Méthode de calibrage selon la revendication 1 ou 2, dans laquelle la matrice de points lumineux est formée par projection d'au moins un faisceau lumineux sur la zone de calibrage.

   4. Méthode de calibrage selon la revendication 3, dans laquelle la projection de lumière forme un réseau de lignes lumineuses suivant deux directions distinctes sur la zone de calibrage.

   5. Méthode de calibrage selon la revendication 3 ou 4, 25 dans laquelle le faisceau lumineux est un faisceau laser.

   6. Méthode de calibrage selon l'une quelconque des revendications 1 à 5, dans laquelle la zone de 30 calibrage est sensiblement plane.
2. 26 2884781 7. Méthode de calibrage selon l'une quelconque des revendications 1 à 5, dans laquelle la zone de calibrage est formée d'une pluralité de parties sensiblement planes et non parallèles deux à deux.

   8. Méthode de calibrage selon l'une quelconque des revendications 1 à 7, dans laquelle à l'étape (b) la détermination des valeurs des coordonnées des points de référence est effectuée à partir d'au moins une image des points de référence de la zone de calibrage enregistrée au moyen d'une seconde caméra, calibrée par rapport à la zone de calibrage, et d'une étape de calcul par un moyen de calcul (4') selon un algorithme de géométrie projective utilisant les positions de points correspondant aux points de référence détectées sur l'image enregistrée par la seconde caméra et les valeurs données des paramètres de la seconde caméra.

   9. Méthode de calibrage selon la revendication 8, dans laquelle l'image enregistrée par la seconde caméra et les valeurs des paramètres de la seconde caméra sont transmises à l'unité de calcul (4) et l'étape de calcul pour déterminer les valeurs des coordonnées des points de référence est réalisée par l'unité de calcul (4).

   10. Méthode de calibrage selon l'une quelconque des revendications 2 à 9, dans laquelle le nombre N de points de contrôle est au moins égal au nombre M des paramètres extrinsèques et intrinsèques de la première caméra (3) autres que les paramètres de distorsion, comprenant en outre les étapes suivantes consistant à: 27 2884781 (f) calculer à l'aide de l'unité de calcul (4) les valeurs des coordonnées, corrigées de l'effet de distorsion, des N points de contrôle dans le repère R', à partir des valeurs des paramètres de distorsion de la caméra (3), et stocker les valeurs corrigées dans la mémoire de l'unité de calcul; et (g) calculer à l'aide de l'unité de calcul les valeurs des M paramètres de la première caméra par résolution d'un système de N équations à m inconnues obtenu à partir de la correspondance biunivoque établie entre les valeurs calculées des coordonnées, corrigées de l'effet de distorsion, des N points de contrôle dans le repère R' et les valeurs des coordonnées des N points de référence dans le repère R qui correspondent aux N points de contrôle de l'image enregistrée, et stocker les valeurs calculées des M paramètres dans la mémoire de l'unité de calcul.

   11. Méthode de calibrage selon l'une quelconque des 20 revendications 1 à 10, dans laquelle la première caméra (3) est montée à bord d'un véhicule (1).

   12. Méthode de calibrage selon la revendication 11, dans laquelle l'unité de calcul (4) est embarquée à bord du véhicule (1).

   13. Méthode de traitement d'image pour réaliser un traitement de correction d'une image enregistrée par une caméra (3) au moyen d'une unité de calcul de traitement d'image, caractérisée en ce qu'elle comporte une étape préalable de calibrage de la caméra (3) dans 28 2884781 laquelle l'unité de calcul de traitement d'image est utilisée comme unité de calcul (4) selon une méthode de calibrage correspondant à la revendication 10, l'unité de calcul de traitement d'image effectuant ensuite le traitement de correction d'image à partir des valeurs des paramètres de distorsion et des autres paramètres extrinsèques et intrinsèques de la caméra obtenues à l'étape de calibrage de la caméra.

   14. Méthode de traitement d'image selon la revendication 13, dans laquelle la caméra (3) est montée à bord d'un véhicule (1).

   15. Méthode de traitement d'image selon la revendication 14, dans laquelle l'unité de calcul de traitement d'image est embarquée à bord du véhicule (1).

   16. Dispositif de calibrage de paramètres de caméra comprenant une première caméra (3) apte à enregistrer une image d'une zone de calibrage (6) sur une surface, une unité de calcul (4) apte à recevoir et a traiter une image enregistrée par la première caméra (3) et disposant d'une mémoire, caractérisé en ce qu'il comprend en outre: un moyen de formation (5) d'une matrice de points de référence lumineux sur la zone de calibrage (6); et un moyen de détermination de valeurs des coordonnées, dans un repère spatial donné R, de points de référence lumineux de la zone de calibrage formés par le moyen de formation de matrice de points, apte à 29 2884781 stocker ces valeurs des coordonnées dans la mémoire de l'unité de calcul, et dans lequel l'unité de calcul (4) est apte à déterminer au moins un paramètre de la caméra (3) à partir du traitement d'une image de points de référence lumineux, formés par le moyen de formation (5) de matrice de points lumineux sur la zone de calibrage (6), enregistrée par la caméra (3) et reçue par l'unité de calcul.

   17. Dispositif de calibrage selon la revendication 16, dans lequel l'unité de calcul (4) est apte à : déterminer les valeurs des coordonnées de points de contrôle sur une image enregistrée par la première caméra dans un repère R' associé au plan de l'image, chaque point de contrôle correspondant à l'image d'un point de référence, les points de référence lumineux ayant été formé sur la zone de calibrage par le moyen de formation de matrice de points, les points de contrôle étant au nombre de N et n'étant pas tous alignés, et à stocker les valeurs déterminées dans la mémoire; et calculer les valeurs des paramètres de distorsion de la première caméra (3), à partir des valeurs déterminées des coordonnées des points de contrôle et des valeurs des coordonnées des points de référence correspondants, et stocker les valeurs calculées des paramètres de distorsion dans la mémoire.

   18. Dispositif de calibrage selon la revendication 16 ou 17, dans lequel le moyen de formation (5) d'une 2884781 matrice de points de référence lumineux est apte à projeter au moins un faisceau lumineux sur la zone de calibrage (6).

   19. Dispositif de calibrage selon la revendication 18, dans lequel le moyen de formation d'une matrice de points de référence lumineux est apte à former un réseau de lignes lumineuses suivant deux directions distinctes sur la zone de calibrage.

   20. Dispositif de calibrage selon la revendication 18 ou 19, dans lequel le faisceau lumineux est un faisceau laser.

   21. Dispositif de calibrage selon l'une quelconque des revendications 16 à 20, dans lequel la zone de calibrage est sensiblement plane.

   22. Dispositif de calibrage selon l'une quelconque des revendications 16 à 20, dans lequel la zone de calibrage est formée d'une pluralité de parties sensiblement planes et non parallèles deux à deux.

   23. Dispositif de calibrage selon l'une quelconque des 25 revendications 16 à 22, dans lequel une seconde caméra calibrée par rapport à la zone de calibrage est apte à enregistrer au moins une image des points de référence de la zone de calibrage; et un moyen de calcul est apte à déterminer les valeurs des coordonnées des points de référence à partir d'au moins une image des points de référence 2884781 31 enregistrée par la seconde caméra selon un algorithme de géométrie projective utilisant les positions de points correspondant aux points de référence détectées sur l'image enregistrée par la seconde caméra et les valeurs données des paramètres de la seconde caméra.

   24. Dispositif de calibrage selon la revendication 23, dans lequel le moyen de calcul est l'unité de calcul (4) . 25. Dispositif de calibrage selon l'une quelconque des revendications 16 à 24, dans lequel, le nombre N de points de contrôle étant au moins égal au nombre M des paramètres extrinsèques et intrinsèques de la première caméra (3) autres que les paramètres de distorsion, l'unité de calcul (4) est de plus apte à: calculer les valeurs des coordonnées, corrigées de l'effet de distorsion, des N points de contrôle dans le repère R', à partir des valeurs des paramètres de distorsion de la première caméra, et stocker les valeurs corrigées dans la mémoire; et calculer les valeurs des M paramètres de la première caméra par résolution d'un système de N équations à m inconnues obtenu à partir de la correspondance biunivoque établie entre les valeurs calculées des coordonnées, corrigées de l'effet de distorsion, des N points de contrôle dans le repère R' et les valeurs des coordonnées des N points de référence dans le repère R qui correspondent aux N points de contrôle de l'image enregistrée, et stocker les valeurs calculées des M paramètres dans la mémoire.
3. 32 2884781 26. Dispositif de calibrage selon l'une quelconque des revendications 16 à 24, dans lequel la première caméra (3) est montée à bord d'un véhicule (1).

   27. Dispositif de calibrage selon la revendication 26, dans lequel l'unité de calcul (4) est embarquée à bord du véhicule (1).

   28. Dispositif de traitement d'image comprenant une caméra (3) apte à enregistrer une image et une unité de calcul de traitement d'image apte à réaliser un traitement de correction d'une image enregistrée par la caméra en fonction de valeurs de paramètres de calibrage de la caméra, caractérisé en ce qu'il incorpore un dispositif de calibrage selon la revendications 25 pour calibrer la caméra dans lequel l'unité de calcul de traitement d'image est apte à être utilisée comme unité de calcul (4) du dispositif de calibrage.

   29. Dispositif de traitement d'image selon la revendication 28, dans lequel la caméra (3) est montée sur un véhicule (1).

   30. Dispositif de traitement d'image selon la revendication 29, dans lequel l'unité de calcul de traitement d'image est embarquée à bord du véhicule (1).