FR2871974A1 - Outil et procede de calibrage d'une camera - Google Patents

Abstract

Outil de calibrage de caméra transparent, dans lequel sont répartis un ensemble de points indicateurs distribués dans l'espace, fixes. Les points indicateurs correspondent aux points d'intersection de minces fils tendus sur un châssis en modifiant la position des minces fils dans la direction de l'épaisseur, et les points indicateurs sont des groupes de points d'intersection des minces fils obtenus par la mise en place de plusieurs groupes de fils minces parallèles dans différentes directions. Les groupes d'indicateurs sont répartis en au moins deux ensembles suivant une relation non coplanaire et sont obtenus en distribuant de petites particules distinctives dans une matière première transparente ou par des repères tracés à la surface de cette matière. Plusieurs caméras disposées séparément l'une de l'autre sont calibrés dans le même système de coordonnées en utilisant l'outil, des plaques et des faisceaux lumineux.

Description

Domaine de l'invention

La présente invention concerne un outil de calibrage de caméra, transparent, utilisé pour calibrer une caméra en vision assistée par ordinateur pour évaluer les paramètres de six degrés de liberté (paramètres extrinsèques) de la position et de l'orientation de la caméra ainsi cue les paramètres (paramètres intrinsèques) tels que la position du centre de l'image et les coefficients de distorsion de l'optique, qui sont des caractéristiques spécifiques à la caméra, ainsi qu'un procédé de calibrage géométrique utilisant l'outil.

Description de l'état de la technique

Dans la vision assistée par ordinateur, il est indispensaDle d'évaluer les paramètres extrinsèques qui traduisent la relation entre le système de coordonnées de la caméra et le système de coordonnées universelles (coordonnées de l'environnement) et les paramètres intrinsèques qui expriment la relation entre le système de coordonnées de l'image et. le système de coordonnées de la caméra. Il est difficile de déterminer la position et l'orientation d'une caméra en s'appuyant sur les caractéristiques de la caméra, sur l'information de la position d'installation et de déterminer la distance focale à partir du calibrage de l'optique si la précision fait défaut dans la pratique; c'est pourquoi, en général, pour calibrer la caméra on prend l'image d'un outil dont on connaît les dimensions et on évalue les paramètres de la position de la caméra et de l'orientation en fonction de l'image. La figure 20 montre schématiquement un procédé de calibrage d'une caméra utilisant un outil classique. En premier lieu on place l'outil à proximité de l'objet et on effectue urne prise de vue avec la caméra comme préparation du procédé de saisie d'image comme présenté dans la partie haute à droite; on obtient l'image de l'outil comme le montre la partie centrale à droite. On analyse l'image, on calcule les paramètres extrinsèques et intrinsèques de la caméra et on les enregistre.

On utilise un procédé selon lequel on enlève l'outil après un certain temps; on prend une image de l'objet comme indiqué dans la partie supérieure gauche et on obtient l'image de l'objet présentée au milieu à gauche; on effectue ensuite une analyse tridimensionnelle de l'image de l'objet en utilisant les paramètres extrinsèques et intrinsèques de la camé- ra, obtenus précédemment. Comme l'analyse de l'image observée se fait en s'appuyant sur les paramètres extrinsèques et intrinsèques de la caméra à partir de l'image de l'outil, on ne peut plus modifier la position et l'orientation de la caméra et sa distance focale ou autres après avoir effectué le calibrage.

Le procédé décrit dans la demande de brevet japonais, publiée H8-86613 Dispositif de calibrage de caméra stéréoscopique (2 avril 1996) utilise une plaque perforée (c) munie d'un ensemble de trous (b) dans sa face supérieure comme le montre la figure 19; on ajoute de manière aléatoire des tiges de calibrage (d) dans des positions de certains trous (b) de la plaque perforée (c). Le côté supérieur de la plaque (a) est muni d'un revêtement noir; le côté inférieur de la plaque perforée (c) est revêtu de gris et le dessus des tiges de calibrage (d) est revêtu de blanc. En outre, on fixe de manière aléatoire la longueur des tiges de calibrage (d). Deux caméras (une caméra gauche et une caméra droite) (e) et (f) sont installées au-dessus d'une table de calibrage avec des axes de visée croisés de façon que les axes optiques de la caméra gauche (e) et de la caméra droite (f) se réunissent grossièrement à un certain point de la table de calibrage. On prend l'image de la face supérieure de la table de calibrage avec la caméra gauche (e) et la caméra droite (f'). Les images de la caméra gauche (e) et la caméra droite (f) sont appliquées à un circuit de coordonnées; on définit les coordonnées à l'aide de ce circuit de coordonnées en utilisant l'ombre des images. L'information du circuit de coordonnées est ensuite introduite dans un circuit de traitement de position tridimensionnelle et on évalue les paramètres de calibrage à l'aide d'un circuit de traitement de paramètres de calibrage qui les fournit à un circuit de traitement de position tridimensionnelle. Le circuit de traitement de posi- tion tridimensionnelle détermine la position tridimensionnelle d'un po nt projeté en s'appuyant sur l'information du circuit de coordonnées et c.es paramètres de calibrage. Ce procédé convient dans le cas d'une prise de vue d'un objet fixe mais pour suivre l'image mobile d'une personne ou objet à l'aide de la caméra il faut un dispositif pour déplacer la caméra de manière précise. On rencontre également une difficulté car l'outil est installé et enlevé mais ne convient pas pour les utilisations en extérieur.

La demande de brevet japonais H5-241626( Procédé de correction de la position détectée , publiée le 21 septembre 1993) décrit un procédé de correction dans le cas de la poursuite d'un objet mobile. Si l'on considère les détails de ce document. H5-241626, on obtient des dcnnées de calibrage (CDA) à l'aide d'un calibrage dans une position (A) avant de déplacer la caméra, et des données de calibrage (CDB) dans une position (B) après déplacement de la caméra, en calculant à partir des dcn- nées de quantités de mouvements (CM) pour la position; on détermine l'orientation de la caméra avec l'objet de la détection de position de la cible, pour chaque position; on détecte la position de la cible dans une plage étendue en effectuant simplement le calibrage une fois dans une po- sition en option. Puis on détecte la position de la cible à partir de cette donnée de calibrage (CDB) et à partir de la donnée d'image (CM) de la cible dans la position (B) de la caméra. Cette technique nécessite que l'on établisse une corrélation entre les coordonnées de la cible et les coordonnées de la caméra également lorsque la caméra est déplacée, une fois le cali- brage effectué. Toutefois, la précision de cette corrélation est uniquement liée au degré de précision de la donnée de quantité de mouvement (C M) pour la position et l'orientation de la caméra. C'est pourquoi il faut un mécanisme d'entraînement extrêmement précis. Cela se traduit par le défaut principal du cumul des erreurs à chaque mouvement successif.

But de l'invention La présente invention a pour but de résoudre ce problème en développant un procédé de calibrage d'une caméra ne nécessitant pas l'installation et l'enlèvement d'un outil comme opération préliminaire et qui, même lorsqu'on change la position et l'orientation de la caméra et sa distance focale, permet une prise de vue en calibrant de manière préci se les paramètres de la caméra selon les variations de position et d'orientation de la caméra, et sa distance focale.

L'invention a également pour but de développer une technique de manipulation des paramètres respectifs de plusieurs caméras iris-25 tallées séparément à des intervalles importants.

Exposé et avantages de l'invention A cet effet, l'invention concerne un outil de calibrage de caméra, transparent comportant un ensemble de points indicateurs, fixes, répartis dans l'espace. Les points indicateurs sont constitués par les points d'intersection de minces fils répartis en plusieurs groupes de min-ces fils parallèles tendus sur un châssis dans différentes directions. Les groupes de points indicateurs sont répartis en au moins deux ensembles suivant une relation non coplanaire.

En variante, les groupes de points indicateurs sont obtenus en distribuant de très petites particules distinctives dans une matière première transparente ou par des repères à la surface de la matière pre- mière. De plus, les points indicateurs peuvent être réalisés par la corn- Di- naison d'une plaque transparente sur laquelle on applique une matière fluorescente et d'une source lumineuse qui émet un faisceau d'excitation.

En outre, on peut avoir un outil composite comprenant an outil formé d'une combinaison d'une plaque transparente portant de la matière fluorescente et d'une source lumineuse qui émet un faisceau d'excitation ainsi qu'un autre tel outil par intégration dans le cas de positions relatives fixes.

Le procédé de calibrage de caméra selon l'invention consiste comme opération préparatoire du procédé de prise de vue d'un objet à installer un outil, avec un ensemble de points indicateurs fixes en position, répartis dans l'espace, cet outil étant placé à proximité immédiate de l'avant de la caméra, en position fixe dans le système de coordonnées universelles; on forme l'image de l'ensemble des points indicateurs en met-tant au point la lentille sur une plage rapprochée pour évaluer les paramètres extrinsèques et intrinsèques de la caméra à partir de l'image correspondante.

Le procédé de calibrage de caméra selon l'invention consiste à définir un ensemble de points indicateurs sous la forme de repères qui se distinguent par un filtre couleur spécifique et à évaluer les paramètres extrinsèques et intrinsèques de la caméra à partir de l'image obtenue en superposant l'image observée et les points indicateurs. De plus, la caméra comporte un filtre de commutation permettant de transmettre ou d'arrêter une couleur déterminée des repères, de façon que l'ensemble des points indicateurs donne une image et permette d'évaluer les paramètres extrin- sèques et intrinsèques de la caméra à partir de cet image.

Dans les cas où un réglage de la focale (ou du foyer) est né- cessaire pour le calibrage utilisant l'outil selon l'invention, les procédés de calibrage proposés comprennent un mode de réalisation selon lequel l'image observée et l'image pour le calibrage s'obtiennent en réglant le foyer d'une caméra, et on saisit l'image observée par l'une des deux carn é- ras dont on connaît déjà la relation de position alors que l'image pour le calibrage est saisie par l'autre caméra, ainsi qu'un mode de réalisation dans lequel on utilise une caméra à foyers multiples dont on règle un foyer sur un objet éloigné et un outil muni d'un ensemble de points indicateurs à proximité immédiate, avec répartition spatiale fixe; on analyse la position et l'orientation de la caméra à l'aide de l'image observée par l'une des caméras et de l'image de calibrage fournie par l'autre caméra. En plus, on a un mode de réalisation utilisant une caméra à foyers multiples ayant une fonction de focale variable (zoom) et on analyse la distance fo-cale et autres, à partir de l'image de calibrage en fonction de la variation du zoom.

Le procédé de calibrage de caméra de la présente invention concerne un mode de réalisation selon lequel on applique un faisceau lumineux à une plaque transparente et on affiche les points indicateurs par réflexion diffusée à la surface de la plaque transparente; on peut égale-ment afficher les points indicateurs en appliquant une matière fluorescente sur la plaque transparente et en utilisant un faisceau lumineux comme faisceau d'excitation. Puis on analyse les paramètres de la caméra à partir de l'image de calibrage obtenue par la prise de vue des points ndicateurs.

Le procédé de calibrage d'une caméra stéréoscopique selon la présente invention consiste à placer un outil, devant deux caméras si- tuées dans des positions différentes avec une relation de position respective, que l'on connaît déjà dans le système de coordonnées universelles; puis on analyse les paramètres des deux caméras à partir de l'image des points indicateurs fournie par l'outil.

En outre, le procédé de calibrage de caméra stéréoscopique selon la présente invention consiste à installer en position fixe dans un système de coordonnées universelles, un outil composite obtenu par la combinaison d'un outil ayant un ensemble de points indicateurs fixes, ré-partis dans l'espace, formé d'une plaque transparente dont la surface est munie d'une matière fluorescente et d'une source lumineuse émettant un faisceau d'excitation, ainsi que d'un autre outil placé devant les deux caméras installées dans des positions différentes puis on analyse les para-mètres des deux caméras à partir de l'image des points correspondan. : à au moins quatre faisceaux lumineux émis par une source de lumière et coupant la plaque transparente, ainsi que d'une image d'indicateur cor- respondant à l'autre outil.

Le procédé de calibrage de caméra selon la présente inven- tion consiste à installer un outil ayant un ensemble de points indicateurs fixes, répartis dans l'espace, à proximité de l'avant de la caméra en posi- tion fixe dans un système de coordonnées universelles, et à prendre une image d'un objet et une image de calibrage, en utilisant les points indica- teurs de calibrage pour effectuer le calibrage de la caméra. Comme lorsque l'image de calibrage est photographiée, on utilise de manière appropriée le foyer et la bande couleur, la présence de l'outil ne constitue en aucun cas un obstacle pour l'image et c'est pourquoi il n'est pas nécessaire de l'enlever. Même si la position ou l'orientation de la caméra ou sa longueur focale changent, l'image de calibrage s'obtient simplement à chaque changement et les paramètres extrinsèques et intrinsèques de la caméra peu- vent être calibrés de manière précise à partir de la nouvelle prise de vue pour le calibrage. Ainsi, même dans le cas d'un objet mobile, on peut faire des mesures d'image pendant la prise de vue et celle de calibrage, de manière alternée tout en permettant à la caméra de poursuivre ou d'agrandir l'objet.

En outre, même si on laisse en place le schéma de calibrage, il ne constitue pas une difficulté en terme de position pour le schéma de calibrage et d'utilisation. Dans ce type de cas on ne prend pas d'image au 60ème, ni d'image de calibrage car on peut réaliser le calibrage avec une seule photographie.

En outre, si on utilise un outil composite comprenant un outil formé de la combinaison d'une plaque transparente munie d'une matière fluorescente et d'une source lumineuse émettant un faisceau d'excitation, ainsi qu'un autre tel outil dans des positions relatives fixées, et si les points d'intersection d'au moins quatre faisceaux lumineux émis par une source lumineuse et de la plaque de l'outil forment les points indicateurs, on peut détecter la position relative de l'orientation des deux côtés de la plaque même si la distance entre les caméras stéréoscopiques est importante. C'est pourquoi on peut réaliser de manière perceptible la vision stéréoscopique d'un objet éloigné.

En outre, l'installation d'une plaque transparente munie de matière fluorescente, à l'avant d'un ensemble de caméras installées dans différentes positions, la combinaison des installations de n'importe quel outil en forme de plaque et d'au moins quatre faisceaux de lumière d'excitation émis par une seule source pour que les faisceaux coupent au moins l'une des autres plaques, et ensuite l'analyse des paramètres de la caméra à partir de la prise de vue des points d'intersection et de l'image d'indicateur de l'autre outil, permettent de prendre un ensemble de relation position/orientation de caméras et ainsi de réaliser une vision stéréoscopique multi-vues, très précise d'un espace important tel que par exemple un terrain de base-ball, un terrain de football, un aéroport cu analogue.

Le procédé de calibrage selon l'invention permet de saisir les variations de position et d'orientation de la caméra résultant du vieillissement engendré par les vibrations ou autre et ainsi d'augmenter la fiabilité. Sans un procédé de calibrage classique, comme on enlève l'outil après l'opération de calibrage, il est difficile de définir l'orientation et la position de l'origine d'un système de coordonnées universelles ce (lui constitue un obstacle pour les applications pratiques alors que la présente invention permet de définir clairement le système de coordonnées universelles représenté par l'outil. Le procédé selon l'invention peut également s'adapter facilement au calibrage des paramètres de la caméra accompagnant les variations de distance focale (zoom) alors que cela constitue une difficulté dans les techniques classiques, si la caméra est équipée d'un zoom.

L'outil selon la présente invention est un outil obtenu par un groupe de points indicateurs répartis dans au moins deux ensemb suivant une relation non coplanaire, les groupes de points indicateurs étant les points d'intersection de minces fils tendus sur un châssis et constituant les points d'intersection des fils minces du fait que les groupes de fils minces parallèles ont des directions différentes et sont répartis dans l'espace; on peut également avoir un ensemble de points indicateurs réalisés par de minuscules particules visibles dans une matière transparente. C'est pourquoi, même si l'outil est placé directement dans la carnéra, sa présence ne constitue pas d'obstacle quel que soit l'objet de la prise de vue et la position des points indicateurs n'apparaissant pas sur l'image.

Dans le cas d'un outil ayant un ensemble de points indica- teurs constitué par la combinaison d'une plaque transparente avec un filtre couleur que l'on peut distinguer et une matière fluorescente dans une matière transparente, et d'une source lumineuse émettant un faisceau d'excitation, l'outil ne gêne pas lors de la prise de vue d'un objet et même si l'outil est disposé à proximité, et il ne crée pas de flou.

Du fait de sa structure compacte, l'outil selon l'invention peut se transporter facilement avec la caméra; sa mise en place est simple et son utilisation dans des systèmes de caméras sous de multiples formes est envisageable de même que son utilisation dans des systèmes de caméras existants.

Dessins La présente invention sera décrite ci-après de manière plus détaillée à l'aide des dessins annexés dans lesquels: - la figure 1 montre dans ses parties lA et 1B un exemple d'outil, selon l'invention, comportant un groupe de points d'intersection de fils tendus sur un châssis et formant les points indicateurs, - la figure 2 montre dans ses parties A et B un exemple d'outil selon l'invention dont le modèle de calibrage est ajouté à une matière transparente pour former les points indicateurs, - la figure 3 montre un exemple d'outil selon l'invention avec un indicateur à filtre couleur ajouté à la matière transparente, - la figure 4 montre un exemple d'outil selon l'invention appliqué à -an système de caméras stéréoscopiques, la figure 5 montre un exemple d'outil selon l'invention dont les points indicateurs sont les points d'intersection d'un ensemble de faisceaux lumineux et de deux plaques transparentes, - la figure 6 montre un procédé d'analyse utilisant l'équation du plan avec quatre droites et des points d'intersection, - la figure 7 montre un procédé d'analyse des positions relatives de chaque plan par rapport aux positions d'au moins trois plaques transparentes et leurs points d'intersection avec un ensemble de faisceaux lumineux, la figure 8 montre dans ses parties 8A et 8B un premier mode de réalisation d'un outil selon l'invention, la figure 9 montre un premier mode de réalisation du procédé de calibrage selon l'invention utilisant l'outil et une caméra, la figure 10 montre un autre mode de réalisation du procédé de cali- brage selon l'invention utilisant l'outil et deux caméras, la figure 11 montre un autre mode de réalisation du procédé de calibrage selon la présente invention, utilisant l'outil et une caméra à foyers multiples, la figure 12 montre l'analyse des paramètres de la caméra variant sui- vant les variations de la distance focale par le procédé de calibrage selon l'invention à l'aide d'une caméra à foyers multiples selon la figure 11, la figure 13 montre dans ses parties 13A, 13B, une scène avec un outil et un objet pour une prise de vue à l'aide de deux caméras fixées côte à côte sur un plateau avec 6 degrés de liberté, - la figure 14 montre dans ses parties 14A-14C un exemple de prise de vue pour le calibrage et de l'image observée correspondant à la scène de la figure 13, la figure 15 montre un exemple de réalisation d'un outil obtenu par l'addition d'indicateurs à une plaque transparente à l'aide d'un filtre couleur ainsi que le procédé de calibrage, - la figure 16 montre une comparaison entre les images obtenues par la sélection du signal RGB de la caméra dans un exemple utilisant l'outil obtenu par l'addition d'indicateurs à une plaque transparente à l'aide d'un filtre couleur, - la figure 17 montre un exemple d'outil de caméra stéréoscopique installé dans un aéroport et son procédé de calibrage, - la figure 18 explicite un diagramme de problèmes à nP points montrant les coordonnées universelles et les coordonnées de la caméra pour le calibrage, - la figure 19 montre un exemple d'outil classique, la figure 20 montre un procédé de calibrage à l'aide de l'outil classique. 15 Description de modes de réalisation préférentiels La base du problème du calibrage d'une caméra classique réside dans l'outil de calibrage. Si l'outil de calibrage pouvait toujours être projeté dans l'image tous les problèmes seraient résolus. Toutefois, cela n'est pas envisageable à cause du travail d'installation et des difficultés d'interférence avec l'image observée. Le concept de base de la présente invention consiste à réaliser un outil de calibrage qui peut être projeté à tout moment et sans interférer avec l'image observée. L'invention concerne également un procédé d'application d'un tel outil de calibrage.

La présente invention résout ce problème à l'aide d'un outil de calibrage de caméra, transparent, appelé ci-après simplement outil transparent. L'outil transparent selon la présente description est un ou til qui permet à la caméra de prendre l'image d'un objet en face de la caméra même si cet outil de calibrage est interposé entre la caméra et l'objet.

L'invention utilise les caractéristiques de l'outil de calibrage transparent et cet outil s'installe directement devant la caméra. Pour utiliser une caméra il faut en général la mettre au point. En l'absence de mise au point, or.. a une image floue dans la zone d'image. L'outil transparent selon la présente invention utilise les caractéristiques de la caméra, et cet outil placé direc- tement devant la caméra, peut donner une image claire si la mise au point de la caméra est faite sur l'outil. Mais si la caméra est mise au point sur un objet éloigné, l'image peut être prise à travers l'outil transparent.

L'outil ne forme pas alors d'image dans la zone d'image car cette image est floue et n'affecte pratiquement pas de l'image de l'objet. C'est pourquoi Io l'outil transparent est intéressant puisqu'il n'est pas nécessaire de l'enlever chaque fois que l'on effectue une prise de vue; il permet une prise de vue sans devoir être enlevé. De plus, même si la position et l'orientation de la caméra changent, dans la mesure où l'image de l'outil de calibrage transparent est acquise, on peut obtenir une réponse concernant le degré de variation entre le système de coordonnées universelles et le système de coordonnées de la caméra en analysant l'image.

La publication de demande de brevet japonais H8-43026 Dispositif et programme de calibrage publiée le 16 février 1996 décrit un dispositif de calibrage avec un système couleur sous la forme d'un:-é- seau en trois dimensions. La structure est analogue à celle d'un outil ayant des points indicateurs sous la forme de groupes de points d'intersection de minces fils qui sont tendus en parallèle et des groupes avec des directions différentes, les groupes de points indicateurs étant:- é- partis en au moins deux ensembles non coplanaires selon la présente:. nvention. Toutefois, comme les groupes de fils dans les directions optiques peuvent être distingués en fonction de la couleur, les conditions de codage couleur sont différentes des conditions de variation de direction selon la présente invention. La signification technique de la notion d'extension de groupes de minces fils dans différentes directions selon la présente invention est considérablement différente non seulement du point de vue de la position dans la direction axiale, mais également en ce que l'angle formé avec les autres groupes de l'image sert d'information de correction.

Le document rappelé ci-dessus ne suggère absolument au- cune solution technique concernant la prise de vue d'un objet photographique et d'une image calibrée en modifiant le foyer pour que par leur coexistence ces deux images ne se gênent pas mutuellement.

Dans une opération de poursuite d'objet faite pendant les réglages de la caméra, telle que l'utilisation du zoom, seules la position et l'orientation (c'est--à-dire les paramètre extrinsèques) de la caméra chan-gent alors que ses paramètres intrinsèques qui sont des qualités spéc:.fiques de la caméra restent invariables. Les paramètres intrinsèques peuvent servir s'ils sont calibrés enregistrés préalablement selon un pro-cédé classique. Lorsqu'on travaille en poursuite d'objet, la conversion du système de coordonnées et les mesures d'image ainsi que l'analyse ut:.lisant les paramètres intrinsèques préalablement calibrés et les paramètres extrinsèques mesurés séquentiellement par les moyens de la présente invention sont alors utilisables.

En outre, la mise au point stricte s'accompagne d'un phénomène de variation de la position du centre optique (centre la lentille, origine des coordonnées de la caméra). Toutefois on peut résoudre ce problème en prenant en compte la variation mesurée et enregistrée au pré- alable.

La présente invention propose un outil de calibrage transparent en utilisant un filtre passe-bande, et en exécutant simultanément la saisie d'une image observée et d'un image de calibrage dans une bande appropriée pour éviter la difficulté de l'enlèvement et de la mise en place de l'outil de calibrage. On dispose d'une bande permettant la transmission sans atténuation grâce au filtre passe-bande. En appliquant comme revêtement une substance ayant des caractéristiques de passe-bande comme schéma de calibrage sur une matière première transparente, la bande formant écran sert d'image calibrée et l'image de la bande de transmission peut servir d'image.

Ce procédé peut s'appliquer à une caméra couleur normale en utilisant un filtre couleur constitué par un filtre bande passante grand angle. Toutefois dans ce cas, comme la bande couleur utilisée comme bande écran est l'image calibrée, l'image observée n'aura pas toutes,,es couleurs. Toutefois comme la vision par ordinateur se fait généralement avec une image dans une seule bande, cette difficulté est réduite si l'image observée est une image en couleur pleine.

La saisie simultanée d'une image de calibrage et d'une image observée est proposée comme procédé pour résoudre la difficulté de l'enlèvement et de l'installation de l'outil de calibrage. Pour éviter des interactions liées à la saisie du schéma de calibrage de l'image observée, on utilise de manière adéquate le foyer et la bande de saisie et on propose des outils de calibrage transparents pour caméra ainsi que les procédés d'utilisation. En outre, ces procédés peuvent également servir efficacement en combinaison avec les conditions.

La présente invention repose sur le calibrage des paramètres d'une caméra pour les positions tridimensionnelles dans l'espace dans un schéma de calibrage projeté dans l'image de calibrage, et pour les positions bidimensionnelles à la surface de l'image. L'explication directe de l'algorithme de calcul des paramètres de la caméra sera donnée ci-après.

Ce calibrage correspond à un total de onze paramètres, à savoir sixparamètres extrinsèques exprimant la position et l'orientation de la caméra et cinq paramètres intrinsèques exprimant les caractéristiques 30 spécifiques de la caméra. Les six paramètres extrinsèques correspondant à la position et à l'orientation de la caméra sont donnés par des relations entre les coordonnées universelles et les coordonnées de la caméra; ces relations peuvent être exprimées par une matrice de rotation et des vecteurs de translation. Le problème de la détermination des six paramètres extrinsèques de l'image obtenue avec une caméra donnant l'image d'un ensemble de n points dont on connaît les coordonnées universelles de la position est connu sous le nom de problème PnP (problème de la perspective à n points) ; cet aspect est représenté à la figure 18. L'étape de calibrage se fait suivant deux niveaux, à savoir un niveau d'évaluation de la matrice de projection P qui définit la projection entre les points à coordonnées tridimensionnelles [X, Y, Z, 1]T correspondant aux coordonnées universelles et une image source bidimensionnelle [u, v, 1]T reposant sur es coordonnées de ces points pour la caméra, et une étape de détermination des paramètres intrinsèques A et des paramètres extrinsèques R et t de cette matrice de projection.

L'équation de projection en perspective est données par les formules suivantes: m PM=A[R t]M (1) m = [u, v,l]T, M = [x, y, Z]T Pl1 P12 P13 P14 p T P14 matrice de projection P= p21 Pzz P23 P24 pT p24 _P31 P32 P33 P34_ P3T P34 Cette matrice de projection P est une matrice 3 x 4 à douze éléments. Deux équations linéaires (2) liées à l'élément P peuvent s'établir à partir de l'information d'un point à trois dimensions et de l'information d'image à deux dimensions.

P2M;-v,P3TM;+P24-v;P34 =0 La matrice de projection P s'obtient en utilisant n points.

PiTM -u.P3 M; +P14 -UiP34 = 0 (2) En utilisant la matrice de projection P on obtient les para-mètres intrinsèques A, les paramètres extrinsèques R représentant l'orientation et le paramètre extrinsèque (t:) représentant la position: a - a COt 0 uo 0 a, /SinO vo 0 0 1 A= (3) R= En outre, si le nombre de points requis pour définir Pest égal à six ou plus et si le nombre n est grand, on aura une augmentation nette de la précision pour les moindres carrés. Toutefois, la condition que tous les points doivent se trouver dans un plan est supprimée. Les coefficients de distorsion de l'optique peuvent: être évalués d'une manière extrêmement précise par un calcul non linéaire dès que l'on a trouvé les paramètres extrinsèques et intrinsèques définis ci-dessus.

L'outil de calibrage transparent pour caméra selon la pré- sente invention sera décrit ci-après. Toutefois une prise de vue d'un objet éloigné par transmission à travers cet outil de calibrage nécessite que la structure de l'outil de calibrage présente six ou plus de points indicateurs, répartis suivant une distribution tridimensionnelle de façon que tous les points ne soient pas coplanaires dans l'espace correspondant à la forme transparente. En outre, l'ensemble des points indicateurs doit être réparti dans une zone donnant une image non floue lorsque la mise au point est faite sur cette zone. C'est pourquoi on envisage fondamentalement un en-semble assimilable à un réseau spatial de particules mélangées à u:ae matière transparente et de repères appliqués comme revêtement sur u:ae matière transparente ou autres.

La structure représentée à la figure lA s'obtient en tendant des minces fils 2 sur un châssis 1 d'épaisseur prédéfinie dans différentes directions de façon à se couper réciproquement et à distribuer les groupes de points d'intersection 3 de deux ensembles de points indicateurs à l'avant et à l'arrière du châssis 1. Il s'agit. d'une structure simple pour des opérations optiques de sorte qu'il n'est: pas nécessaire de prendre I n compte la réfraction car il y a des endroits du châssis n'utilisant pas de matière transparente. La création d'une telle structure est simple et c'est pourquoi on peut facilement avoir des structures de dimensions impor- tantes. Dans ce mode de réalisation on a sept fils 2 tendus en parallèle et de manière équidistante devant le châssis carré 1 et sept fils 2 s'étendant en parallèle et à intervalles équidistants, perpendiculairement à la direction des sept premiers fils. On obtient ainsi 7 x 7 = 49 groupes de points d'intersection 3 qui constituent des points indicateurs. Sur le côté arrière du châssis 1 on a dix fils 2 tendus en parallèle et de manière équidis- tante; ces fils sont respectivement perpendiculaires suivant des directions en diagonale ce qui donne des groupes de points d'intersection avec 10 x 10 = 100 points d'intersection constituant les points indicateurs 3. Comme pour le dispositif de calibrage décrit dans le document H8-43026 on peut facilement identifier deux ensembles de groupes de points indica- lo teurs en modifiant la couleur des fils ou autres. Ainsi, l'installation d'un ensemble de fils parallèles et à intervalles égaux pour que ces fils soient orthogonaux est une solution simplement évoquée pour faciliter l'analyse. Toutefois la constitution requise peut avoir six ou plus de points indicateurs constitués par les points d'intersection de minces fils 3 tendus sur le châssis 1 et qui sont répartis de façon que tous les points indicateurs ne se situent pas dans un même plan.

La structure de la figure 1B est un outil de calibrage transparent pour la vision stéréoscopique permettant de calibrer la relation de position de deux caméras et de corriger les images stéréoscopiques ou autres. Cette structure correspond pour l'essentiel à celle de l'exemple précédent, c'est-à-dire que l'on a une structure dans laquelle des fils m:.nces 2 sont tendus sur un châssis rectangulaire 1 avec une épaisseur p: édéterminée dans différentes directions de manière à coopérer et former ces groupes de points d'intersection 3 constituant deux ensembles de points indicateurs répartis en correspondance par rapport à l'intervalle entre:'. es deux ensembles de caméras côte à côte sur la face avant et la face arrière du châssis 1. On peut ainsi directement calibrer chacune des caméras d'un système de vision stéréoscopique comprenant deux caméras juxtaposées. La réalisation est simple et l'installation d'un ensemble de fils ortho- gonaux et parallèles à intervalles réguliers pour l'analyse se fait comme dans l'exemple précédent.

La structure de la figure 2A est un exemple d'un schéma de calibrage formé sur la face avant et la face arrière d'une matière transpa- rente 4 telle qu'une plage de verre, de résine acrylique ou analogue. Cette structure se fabrique facilement et de manière précise. Pour cela on util:.se une feuille transparente munie d'un ensemble de points indicateurs tels que des repères d'impression 5. Il est intéressant de modifier la couleur pour distinguer les points indicateurs de la face avant et ceux de la face arrière.

La structure de la figure 213 est celle d'un outil de calibrage transparent pour caméra pour une vision panoramique. L'outil donnant les paramètres de position et d'orientation de la caméra lorsqu'on réalise une vision panoramique avec basculement de la caméra. Dans cet exeinple on forme une matière transparente 4 en verre ou en matière acrylique avec une épaisseur égale et sous une forme hémisphérique pour que l'ef:et de la lentille ne change pas quelle que soit la direction de l'axe optique; le lo schéma de calibrage 5 est prévu sur la face extérieure et la face intérieure ou face supérieure et face inférieure. Cette structure se fabrique faci:ement et de manière précise par un procédé consistant à marquer la sur-face de la matière directement ou à fixer une feuille transparente munie d'un ensemble de points indicateurs imprimés. On connaît également un procédé selon lequel on forme des groupes de points indicateurs en rr.élangeant de très petites particules 5 et en les répartissant dans une matière transparente liquide avant de solidifier cette matière.

La description ci-dessus correspond à un mode de réalisation utilisant une cible éloignée de la caméra et dont les indicateurs de calibrage sont à proximité immédiate, les images observées étant saisies par changement de distance focale. Toutefois, on a un procédé de sélection et d'acquisition de l'image observée par la prise de vue photographique et une image de calibrage dont les points indicateurs sont perceptibles sans être soumis à un effacement local. Ces moyens seront décrits ci- après. Ce procédé utilise un filtre couleur comme outil transparent; il consiste à placer deux indicateurs à l'aide d'un filtre couleur spécifique 5 dans de la matière transparente 4 comme le montre la figure 3 en laissant une légère distance entre la caméra et la cible. Pour une prise de vue normale, la cible et l'image avec les indicateurs sont perceptibles et peu- vent s'obtenir. Toutefois, si la prise de vue se fait par l'intermédiaire d'un filtre qui coupe la couleur indicatrice, l'image observée s'obtient sans projection des points indicateurs et si l'image est faite par l'intermédiaire d'un filtre passe-bande qui transmet seulement la couleur indicatrice, alors les points indicateurs apparaîtront clairement. L'analyse des paramètres de la caméra à partir de l'image de calibrage dans laquelle sont projetés les indicateurs se fait comme cela a déjà été décrit.

On décrira ci-après le cas du calibrage d'images stéréoscopiques en utilisant un outil de calibrage tel que celui de la figure 1B. La distance entre les deux caméras est réduite. Comme on connaît déjà la distance entre les régions dans lesquelles se trouvent les indicateurs, avec un mode de réalisation qui relie par une tige de liaison 8 ou analogue les châssis respectifs 1 des deux outils de calibrage munis des points indic a- teurs comme représenté à la figure 4, les hauteurs respectives sont limitées à 10 mètres et c'est pourquoi il n'est pas facile de transporter ou de déplacer la structure.

C'est pourquoi un procédé d'adaptation des conditio ris d'images stéréoscopiques d'un objet éloigné, avec un procédé proposé pour lo fournir une distance adéquate entre les deux caméras et rendant un outil à partir de deux plaques transparentes 9 et d'un faisceau lumineux pénétrant dans les deux plaques transparentes 9 telles que représentées à la figure 5, permet d'acquérir séquentiellement des informations relatives à la position et à l'orientation de chaque caméra.

Il convient d'utiliser un laser comme faisceau de lumière puisque le faisceau est directionnel et qu'on peut le mettre au point de façon que la puissance du faisceau ne tente pas de s'atténuer. Si le faisceau est émis par une source lumineuse, la lumière diffusée réfléchit sur les arêtes à la surface des plaques transparentes 9, lorsque le faisceau les pénètre, signifiant que l'on peut observer les points d'intersection. Pour déplacer les points d'intersection plus clairement, on utilise un mode de réalisation dans lequel la matière fluorescente est appliquée comme revêtement (ou est appliquée à l'aide d'un autre procédé) sur les plaques transparentes et l'émission lumineuse fluorescente est traitée sans excita- tion excessive en utilisant un faisceau lumineux. Si l'ensemble des faisceaux lumineux tombe sur la plaque transparente 9, les points d'intersection peuvent être faits pour afficher les indicateurs correspo:adant à cette quantité et si l'on arrête l'irradiation par le faisceau, on élimine les indicateurs et on ne les retranche pas de l'image objet qui revie:at à la plaque transparente 9. La distance entre les deux plaques transparentes 9 peut se détecter en installant deux plaques transparentes 9, do:at une à chaque fois entre les deux caméras et en donnant l'image de la cible et ensuite en transformant en image d'indicateur et en analysant les deux images.

La relation entre le plan et les points d'intersection de droites à la base du présent procédé d'analyse sera décrite ci-après en réf érence à la figure 6. Les équations du plan s'obtiennent en utilisant deux paires de quatre droites (LA, LB, Lc, LD) passant par l'origine, contenues dans les plans (x-z) et (y-z) et ayant le même angle d'inclinaison (k) par rapport à l'axe z ainsi que les points d'intersection avec le plan H (PA, .'B, Pc, PD).

Si l'équation du plan H est z = ax+by+c (c>O), les quatre 5 droites sont représentées par les équations suivantes: LA:kx=z,y=0 LB:ky=z,x:=0 Lc:kx=z,y=0 LD: -ky = z, x = 0...(4) avec k> O. Le point d'intersection Q du segment de droite PAPI et du segment de droite PBPD dans le plan H est le point d'intersection du plat. H et de l'axe z. Les longueurs PAQ, PBQ, PcQ, PDQ sont respectivement référencées A, B, C, D. L'équation 1 du plan H, c'est-à-dire les coefficients (a, b, c) de l'équation s'obtiennent en utilisant les longueurs A, B, C, D et k. Les coordonnées des points d'intersection PA, PB, Pc et PD sont les suivantes: c kc P O c kc PA (k a' k-a B k-b k-b -c kc -c kc (5) P k+a k+a PD: \O, k+b' k+b Les coordonnées du point Q sont (0, 0, c).

Si le foyer est dirigé vers les segments PAQ, PcQ dans le plan x-z, on obtient les relations suivantes à partir du théorème des 3 car-rés: (k-a)2A2=c2 (1+a2) ... (6) (k+a)2C2=c2 (1+a2) ... (7) Comme les termes à droites des formules 6 et 7 sont égaux, 30 les termes des côtés gauches le sont aussi si bien que la résolution de l'équation au second degré en (a) donne la solution suivante: A+C a = - k (8) A C On obtient deux solutions (a). Toutefois, suivant la relation de position dans le plan (x-z), (a) peut être fixé à 1 à condition que la somme des coordonnées (x) des points d'intersection PA et Pc soit négative: c -c <0....(9) k-a k+a

A-C

a = k (10) A+C La formule 10 est ensuite substituée dans la formule 6 ce qui donne la valeur de (c). Comme (c) est positif, on a: 2ACk c _.(A+C}2+ (A-C)2k2 (11) De même, si le foyer est dirigé vers les segments PBQ et PDQ dans le plan (y-z), on obtient (b) comme suit: b B + D k....(12) En outre, comme dans le cas du plan (x-z), on obtient (c) à partir de k, B et D: 2BDk c _. J(B + D)2 + (B - D)2k2 (13) Comme déjà indiqué, l'équation du plan II peut se déduire de la valeur (k) de l'inclinaison des quatre droites et des distances (A, B, C, 25 D) entre les points d'intersection des droites et le plan.

En outre, le plan II dans l'espace ne possède que des dis- torsions de projection dues à la transformation projective plane sur an plan image. Ainsi, les distances demandées A, B, C, et D dans l'espace ne peuvent se déduire des points PA, PB, Pc, PD à partir de l'équation du plan, points qui sont projetés sur une image observable. Toutefois, si l'on ccn- naît une matrice homographique (représentant une transformation homographique) entre le plan II dans l'espace et l'image plane, on peut trouver des valeurs A, B, C, D. Avec la matrice de la projection on trouve la posi- tion de quatre (ou plus) de points dans le plan H (c'est-à-dire la plaque transparente 9) d'une manière directe en utilisant les points déjà connus.

En outre, si la plaque transparente 9 et le châssis 1 sont fixés à l'aide d'une tige de support 11 (comme à la figure 17 qui sera dé- crite ensuite) on peut trouver la matrice homographique en utilisant les relations de position entre la plaque transparente 9 et l'angle de montage du châssis 1.

Selon la présente invention, on définit quatre droites passant par un point par des faisceaux lumineux émis par une source lumi- neuse; le plan traversé par les quatre droites est une plaque transparente. Avec un faisceau lumineux on peut observer le point d'intersection servant de point indicateur si bien qu'en coupant le faisceau lumineux, on fait disparaître les points indicateurs et seule apparaît la plaque transparente. Ainsi, le mode de réalisation assure la fonction d'un outil réalisable par ce seul moyen. Pour appliquer cette solution à la me-sure de la distance entre les caméras d'un système de caméras stéréoscopiques, on place deux plaques transparentes de manière fixe entre les caméras et l'objet ou cible; on émet quatre faisceaux lumineux suivant un angle égal par la même source lumineuse pour couper les deux plaques transparentes, et on en déduit l'équation des plans des plaques transparentes par la solution donnée dans le paragraphe précédent à partir de l'information d'image des points d'intersection des faisceaux lumineux et de la ou des plaques transparentes. On connaît ainsi les positions relatives et la direction des deux plans.

Le procédé de calibrage selon la présente invention peut être réalisé dans un système de caméras stéréoscopiques multi-vues ut-lisant un ensemble de caméras sur un terrain de base-ball, un terrain de football ou une situation analogue pour modifier la position en fonction du mouvement de la balle. En pratique on se place en position fixe dans le système de coordonnées universelles avec les plaques transparentes 9 évoquées ci-dessus, devant les caméras installées dans différentes positions comme le montre la figure 7; on combine les plaques transparente 9 de façon qu'au moins quatre faisceaux lumineux émis par une source lumineuse coupent au moins l'autre plaque transparente. Les plaques transparentes 9 sont telles qu'au moins quatre faisceaux lumineux A émis par une source lumineuse traversent tous l'autre plaque transparente 9 et donnent ainsi la solution exposée dans le paragraphe précédent, à savoir la position relative et la direction entre les plans.

L'une des plaques contient des points d'intersection avec au moins quatre faisceaux lumineux B communs à un autre plan ce qui défi-nit les positions et les directions relatives entre ces deux plans. Les positions et directions de toutes les plaques transparentes peuvent s'analyser pour définir séquentiellement des relations de positions. Pour distinguer les points d'intersection du faisceau lumineux A et du faisceau lumineux B et d'une plaque transparente 9, on peut utiliser des longueurs d'ondes différentes pour ces faisceaux lumineux. Ainsi on distinguera les faisceaux lumineux par des lumières de couleurs différentes ou par un ensemble de matières fluorescentes générant une lumière fluorescente de couleurs différentes grâce aux différentes longueurs d'onde de la lumière d'excitation. Premier exemple de réalisation La figure 8 dans ses parties 8A et 8B montre un exemple de réalisation d'un outil, pour la vision stéréoscopique. On réalise un châssis rectangulaire en assemblant deux plaques d'aluminium d'une largeur de 29 cm, d'une hauteur de 12 cm et d'une épaisseur de 0,5 cm pour que:.es éléments se chevauchent en laissant entre eux un intervalle de 2 cm en:re la face avant et la face arrière. Puis on fixe des fils d'acier d'un diamètre de 0,083 mm sur un côté à 3 cm d'intervalle (sept fils) en utilisant de la colle de façon que les fils d'acier se coupent les uns les autres verticalement et horizontalement; on fixe les mêmes fils à l'autre côté à des intervalles de 3,54 cm en utilisant onze fils. La fixation se fait par collage pour que:.es fils soient orthogonaux suivant des diagonales.

Deuxième exemple de réalisation On décrira ci-après un mode de réalisation d'un système de calibrage de caméra avec l'outil, selon l'invention. Le mode de réalisation le plus simple en termes d'équipement est celui utilisant une seule caméra. Comme présenté schématiquement à la figure 9, dans ce mode de réalisation on place d'abord un outil directement devant la caméra pour la saisie comme le montre la partie droite supérieure de la figure 9; puis à l'aide de la caméra on prend l'image de l'outil, situé à faible distance; l'image de cet outil est représentée au centre à droite; on analyse cette image. Les paramètres pour la position et l'orientation de la caméra sont ensuite calculés et enregistrés.

Puis on met au point la caméra sur un objet éloigné et on photographie l'objet comme le montre la partie gauche supérieure ce qui donne l'image de l'objet représentée dans la partie gauche au centre; puis on effectue une analyse tridimensionnelle de l'image observée en s'appuyant sur les paramètres de la position précédente de la caméra et de son orientation. La saisie de l'image observée a l'avantage de ne pas nécessiter d'enlever l'outil, et ainsi on a. une efficacité considérablement plus grande que celle des procédés de calibrage classiques. Toutefois, comme l'analyse de l'image observée est faite sur la base des paramètres de la position et de l'orientation de la caméra, obtenus à partir de l'image de calibrage comme indiqué précédemment, il faut saisir l'outil et le calibrer en modifiant la mise au point chaque fois que l'on modifie la position de la caméra et son orientation.

lo Troisième exemple de réalisation Dans le cas de deux caméras, on attribue une caméra spécialement à l'image de calibrage et l'autre pour l'observation de l'image comme le montre schématiquement la figure 10. Dans ces conditions, il est inutile de refocaliser et c'est pourquoi même dans le cas d'une image mobile consistant à suivre un objet mobile, on aura une image observée comme celle représentée au milieu à gauche; l'image de l'outil sera celle représentée au milieu à droite, obtenue séquentiellement en parallèle, c'est-à-dire l'image observée par la caméra et l'image de la caméra de calibrage; ces images peuvent être analysées pour calibrer les positions des caméras, variables dans le temps et leur orientation en même temps que l'observation de l'image en calculant les paramètres de la position et de l'orientation de la caméra. Toutefois, dans ce mode de réalisation, il faut que les deux caméras soient solidaires pour ne pas avoir à les déplacer séparément comme présenté ci-dessus; la position et l'orientation rela.ti- ves de la caméra de calibrage et de la caméra d'observation doivent êTe calibrées au préalable. Cela suppose le calcul de la position et de l'orientation de la caméra d'observation à partir de la position et de l'orientation relatives entre la caméra que l'on connaît déjà et l'image de l'outil, prise par la caméra de calibrage.

Quatrième exemple de réalisation La figure 11 montre un mode de réalisation utilisant une caméra à foyers multiples dont le foyer est réglé sur une position éloignée et sur une position proche. Cette caméra multi foyers a un système opti- que divisé en deux systèmes correspondant à une unique caméra sur le plan image sur lequel se forme l'image de l'objet éloigné et sur un au-Te plan image sur lequel se forme le schéma de calibrage en position rappro- chée. Dans ces conditions, l'image observée présentée au milieu à gauche et l'image de l'outil présentée au milieu à droite peuvent s'obtenir séquen- tiellement en parallèle. C'est pourquoi en analysant ces images on peut calculer les paramètres de position et d'orientation de la caméra et assurer le calibrage de la position de caméra variant dans le temps et l'orientation en même temps que l'image de la scène observée comme dans le troisième mode de réalisation. Toutefois, comme on peut avoir simultanément l'image du calibrage et l'image observée, à l'aide d'une seule caméra, il n'est pas nécessaire de connaître la position relative et l'orientation entre les caméras comme dans le cas de deux caméras. Même en cas de pour-suite, pour l'image d'un objet variant brusquement, ce mode de réalisation donne une réponse en temps réel avec un traitement réduit.

Dans le cas de la vision par ordinateur, bien qu'il soit intéressant d'utiliser une caméra avec une optique à focale variable (zoom) pour une prise de vue avec zoom, lorsque le zoom est réglé il faut calibrer les paramètres de la caméra. Comme le montre la figure 12, si la caméra à zoom. est une caméra multi foyers, le foyer réglé sur l'objet éloigné évoqué ci-dessus et sur un outil, à proximité immédiate, ayant un ensemble de points indicateurs fixes répartis dans l'espace, on peut obtenir des images de calibrage simultanément en parallèle, même si l'on effectue le réglage du zoom. C'est pourquoi on peut analyser séquentiellement les paramètres de la caméra.

Un exemple de prise de vue d'une image de calibrage et d'une image observée sera décrit en utilisant l'outil selon la présente invention présenté dans le premier mode de réalisation. Selon la figure 13A, on fixe cet outil suivant un certain angle et à 20 cm devant deux caméras (caméras de marque Sony et de référence DFW SX900). Ces caméras sont fixées côte à côte sur un socle avec 6 degrés de liberté, c'est-à-dire le dé-placement dans les directions x, y, z et les rotations correspondantes.

On a placé un objet (ici un. dispositif de calibrage classique) à une distance de 1,5 m devant les caméras comme le montre la figure 13B et on a saisi l'objet. Il est confirmé que l'image de la figure 14-A est celle d'un objet donnant une image nette, la caméra à gauche étant mise au point à une distance approximative de 1,5 mètres; l'outil, n'apparaît pas complètement dans l'image. L'image obtenue par la mise au point de la caméra à gauche sur l'outil, est donnée à la figure 14-B. Il est confirmé qu'alors que l'objet est flou, les fils de l'outil apparaissent clairement dans l'image. Le calibrage du deuxième exemple de réalisation peut servir à partir des deux images saisies en commutant le foyer d'une caméra. L'image obtenue par mise au point de la caméra de droite sur l'outil, est représentée à la figure 14-C. Le fait que l'objet apparaisse de manière floue alors que les fils de l'outil apparaissent clairement dans l'image comme à la figure 14-B, ne permet pas de confirmer que la position de l'objet et de l'angle de vue perçu soient différentes. La forme du calibrage du troisième mode de réalisation 3 peut s'obtenir en combinant cette image à la re 14-A.

Cinquième exemple de réalisation Un procédé de calibrage exécuté à l'aide d'un outil, de type filtre couleur, comme celui représenté à la figure 3 sera décrit ci-après en référence à la figure 15. On fixe un filtre couleur avec une fonction de bande passante sur une plaque acrylique transparente pour former un outil, de type filtre couleur. On prépare une caméra couleur et on l'installe en face de la cible; on installe deux outils de caméra, transparents comme celui décrit ci-dessus entre la cible et la caméra dans une position inter- médiaire et non pas à courte distance de la caméra, en laissant une faible distance entre les outils de caméra, transparents. En effectuant alors une prise de vue normale en couleurs; la saisie de la cible par la caméra à travers les outils de caméra transparents se fait dans une position n'engendrant pas de flou. C'est pourquoi la prise de vue se fait avec l'image et les indicateurs l'un au-dessus de l'autre comme le montre la figure 16A. Lorsqu'on prend l'image en extrayant seulement la composante B (bleu) du système de trois couleurs RGB de la caméra couleur à partir de l'image obtenue, on aura une image dont les points indicateurs sont clairement projetés (figure 16B). Si on présente l'image en extrayant seu- lement les composants RG (rouge et vert), on obtient une image sans les points indicateurs comme le montre la figure 16C. S'il n'y a absolument aucune composante bleu dans l'objet et s'il n'y a absolument aucune autre composante que le bleu dans les points indicateurs, il est à prévoir que seuls les points indicateurs apparaîtront comme image et l'objet n'apparaîtra pas dans l'image de la figure 16B; alors qu'à la figure 16C l'image seule de l'objet apparaîtra mais les points indicateurs n'apparaîtront pas. Toutefois, dans ce mode de réalisation, les points indicateurs apparaissent fortement dans le cas de l'image de la figure 16B alors qu'ils sont très pâles dans le cas del'image de la figure 16C, l'image de l'objet étant projetée dans les deux cas.

Cela provient du fait que le filtre bleu utilise un film d'écran de lumière automobile et on juge qu'une image qui est encore plus accentuée s'obtient avec la même constitution que celle d'un filtre couleur en gélatine utilisé pour les essais d'optique; on fabrique un tel filtre en d:.ssolvant une teinte organique comme filtre couleur dans de la gélatine comme matière de base, en appliquant sur un substrat transparent un revêtement de gélatine contenant cette teinte organique et en laissant cher. Toutefois, pour mesurer l'image, l'image objet et les indicateurs sont superposés dans l'image A qui est une photographie couleur normale. C'est pourquoi si les indicateurs ne constituent pas un obstacle particulier, on peut combiner l'image pour le calibrage et l'image observée.

Le schéma calibré de la figure 16 est formé de ronds mais on peut envisager une diversité de schémas calibrés pour l'application tels qu'un schéma de carrés ou de petits points ou des intersections de groupes de fils droits.

Sixième exemple de réalisation Un exemple de réalisation d'un procédé de calibrage d'un système de caméra stéréo utilisant un outil, formé de deux plaques transparentes et de quatre faisceaux lasers traversant les plaques transparentes selon la figure 5 peut servir dans un aéroport, sur un terrain de base-bail, un terrain de football ou autre comme cela sera décrit à l'aide de la figure 17. On utilise des plaques transparentes dont la surface supérieure est revêtue d'un revêtement fluorescent ainsi qu'une source de lumière laser dont la longueur d'onde permet d'exciter la matière fluorescente et un réseau de diffraction. Selon la figure 17, un côté de l'outil portant les points indicateurs de la figure 1 sous la forme de groupes de points d'intersection de fils est obtenu en tendant un ensemble de groupes de minces fils parallèles dans différentes directions sur le côté avant et sur le côté arrière d'un châssis rectangulaire 1, et un côté des plaques transparentes rectangulaires 9 sont mis en contact l'un avec l'autre; les côtés directement opposés sont réunis par des tiges de support 11 et font un angle prédéterminé O. Cette combinaison n'est pas limitée à la structure décrite ci-dessus qui exige que soit fixée:la position relative entre le châssis 1 formé d'un groupe de points d'intersection de fils minces et les plaques transparentes 9.

De plus, la lumière de la source laser 10 génère quatre fais- ceaux lumineux dirigés suivant un même angle à partir de l'origine, par le réseau de diffraction. L'outil ainsi assemblé se place pour que le châssis 1, formé d'un groupe de points d'intersection de minces fils, se trouve devant les caméras respectives à faible distance et que la position de la source lumineuse soit déterminée pour que l'incidence dans les plaques transpa- rentes 9 des deux outils assemblés se fasse selon la relation angulaire clé-finie par les quatre faisceaux lumineux émis par la source de lumière laser.

Une vision stéréoscopique d'aéroport ne constitue qu'un exemple et c'est pourquoi, bien que la distance à l'objectif ou cible soit importante, la distance entre les deux caméras doit être de l'ordre de plu-sieurs dizaines de mètres et les deux outils assemblés ne sont pas liés. C'est pourquoi la distance entre les deux outils assemblés et leur orientation constituent une grandeur inconnue. En utilisant une caméra pour observer les points d'intersection des quatre faisceaux lumineux et des plaques transparentes 9 et les positions d'émission de la lumière fluorescente, on peut déterminer les relations de position entre les plaques transparentes en appliquant la solution décrite ci-dessus. Ainsi on peut obtenir dans le système de coordonnées universelles, la distance entre es deux outils, assemblés, qui constituent des structures distinctes. On con- naîtra également leur orientation. Puis on effectue le calibrage par le pro-cédé de calibrage de vision stéréoscopique du premier exemple de réalisation. Si l'affichage des points indicateurs sur l'image est gênant, on peut commander les points indicateurs photoémetteurs fluorescents ces plaques transparentes pour ne pas émettre normalement de la lumière mais pour émettre une lumière intermittente suivant le mouvement de la caméra.

La présente invention concerne un procédé de recherche en vision assisté par ordinateur. Toutefois, l'invention concerne également l'analyse de base des images (images bi-dimensionnelles) pour obtenir une information tridimensionnelle (information en coordonnées universelles), par exemple en composant une grande image naturelle à partir d'un en-semble d'images correspondant à des situations différentes et permettent une perception d'un corps ou objet mobile tel qu'une automobile sous la forme d'images continues. C'est pourquoi l'invention correspond à une technique applicable à une très grande diversité de domaines tels que la vision robotique.

Claims (24)

REVENDICATIONS

1 ) Outil de calibrage de caméra, transparent, caractérisé en ce qu' il comporte des points indicateurs constitués par un groupe de points d'intersection de minces fils obtenus par la mise en place d'un ensemble de groupes de minces fils parallèles dans différentes directions et d'au moins deux ensembles de groupes de points indicateurs répartis selon une relation non coplanaire.

2 ) Outil de calibrage de caméra, transparent, caractérisé en ce qu' il comporte un ensemble de points indicateurs répartis dans l'espace et de manière fixe sous la forme de minuscules particules distinctes disposées dans une matière transparente.

3 ) Outil de calibrage de caméra, transparent, caractérisé en ce qu' il comporte un ensemble de points indicateurs répartis dans l'espace et fixés par des repères distinctifs réalisés dans une matière transparente.

4 ) Outil selon la revendication 3, caractérisé en ce que les repères distinctifs utilisent un filtre couleur spécifique.

5 ) Outil de calibrage de caméra, transparent, caractérisé par un ensemble de points indicateurs ayant une répartition spatiale fixe formés à l'aide d'une plaque transparente dont la surface porte une matière fluorescente et une source lumineuse qui émet un faisceau d'excitation.

6 ) Outil de calibrage de caméra, composite, caractérisé en ce qu' il combine dans un état avec des positions relatives fixes, l'outil selon la revendication 1 et l'outil selon la revendication 5.

7 ) Outil de calibrage de caméra, composite, caractérisé par la combinaison dans un état avec des positions relatives fixes, de l'outil selon la revendication 2 et l'outil selon la revendication 5.

8 ) Outil de calibrage de caméra, composite, caractérisé en ce qu' il combine dans un état avec des positions relatives fixes, l'outil selon la revendication 3 et l'outil selon la revendication 5.

9 ) Outil de calibrage de caméra, composite, Io caractérisé en ce qu' il combine dans un état avec des positions relatives fixes, l'outil selon la revendication 4 et l'outil selon la revendication 5.

10 ) Procédé de calibrage d'une caméra, caractérisé en ce qu' on installe par une opération préalable un outil de calibrage ayant un ensemble de points indicateurs fixes répartis dans l'espace, dans une position proche de l'avant de la caméra à l'état fixe dans un système de coordonnées universelles puis on effectue une prise de vue d'un objet, on focalise à courte distance, on effectue une prise de vue de l'ensemble des points indicateurs et on évalue les paramètres de la caméra à partir d'une image des points indicateurs.

11 ) Procédé de calibrage d'une caméra, caractérisé en ce qu' on installe l'outil selon la revendication 4 devant la caméra en position fixe dans un système de coordonnées universelles, on superpose l'image observée et un ensemble de points indicateurs et - on évalue les paramètres de la caméra à partir de l'image des points 30 indicateurs.

12 ) Procédé de calibrage d'une caméra, caractérisé en ce qu' - on installe l'outil selon la revendication 4 devant la caméra dans une position fixe dans un système de coordonnées universelles, - on équipe la caméra d'un filtre de commutation permettant de trans- mettre ou de couper des repères couleurs spécifiques et on effectue un pré-traitement pour former l'image d'un objet, on transmet la couleur spécifique, on forme l'image de l'ensemble des points indicateurs et on évalue les paramètres de la caméra à partir de l'image des points indicateurs.

13 ) Procédé de calibrage de caméra, caractérisé en ce qu' il comprend les opérations suivantes: - on évalue les paramètres de la caméra en utilisant deux caméras reliées suivant des positions relatives connues et avec l'une des caméras on fait la mise au point d'un objet pour l'observation et on focalise l'autre caméra sur un outil comportant un ensemble de points indicateurs distribués dans l'espace et fixés pour des opérations de calibrage.

14 ) Procédé de calibrage de caméra, caractérisé en ce qu' - on évalue les paramètres de la caméra en utilisant une caméra à foyers multiples dont on règle le foyer sur un objet éloigné et sur un outil proche ayant un ensemble de points indicateurs fixes répartis dans l'espace, et on recueille l'image observée avec le premier point focal et l'image calibrée avec le second point focal.

15 ) Procédé de calibrage de caméra selon la revendication 14, caractérisé en ce que la caméra à foyers multiples, unique, a une fonction zoom et on évalue les paramètres de la caméra suivant les variations de la focale variable (zoom).

16 ) Procédé de calibrage de caméra, caractérisé en ce qu' on définit un ensemble de points indicateurs fixes, répartis dans l'espace par la distribution de lumière à la surface d'une plaque transparente coupée par un faisceau lumineux émis par une source lumineuse, et - on évalue les paramètres de la caméra à partir de l'image de l'ensem ale des points indicateurs.

17 ) Procédé de calibrage de caméra, caractérisé en ce qu' - on installe l'outil selon la revendication 5 devant une caméra en position fixe dans un système de coordonnées universelles, - on manipule les indicateurs pour les afficher à l'aide de la lumière émise par un faisceau d'excitation, et - on évalue les paramètres de la caméra à partir de l'image des points indicateurs.

18 ) Procédé de calibrage d'une caméra stéréo, caractérisé en ce qu' - on dispose l'outil selon la revendication 1 devant deux caméras placées dans des positions différentes suivant une relation de positions con-nues dans un système de coordonnées universelles, et - on évalue les paramètres des deux caméras à partir de l'image des:.n- dicateurs de l'outil.

19 ) Procédé de calibrage de caméra stéréoscopique, caractérisé en ce qu' on place un outil selon la revendication 2 devant deux caméras placées dans des positions différentes suivant des relations de positions connues dans un système de coordonnées universelles, et on évalue les paramètres des deux caméras à partir de l'image des:.ndicateurs de l'outil.

20 ) Procédé de calibrage d'une caméra stéréoscopique, caractérisé en ce qu' on dispose l'outil selon la revendication 3 devant deux caméras placé es dans des positions différentes selon des relations de positions connu es dans un système de coordonnées universelles, et on évalue les paramètres des deux caméras à partir d'une image des indicateurs de l'outil.

21 ) Procédé de calibrage d'une caméra stéréoscopique, caractérisé en ce qu' on dispose l'outil selon la revendication 4 devant deux caméras disposées dans des positions différentes selon des relations de positions connues dans un système de coordonnées universelles, et on évalue les paramètres des deux caméras à partir de l'image des indicateurs de l'outil.

22 ) Procédé de calibrage d'une caméra stéréoscopique, caractérisé en ce qu' on dispose l'outil selon la revendication 5 devant deux caméras installées dans des positions différentes selon des relations de positions con-nues dans un système de coordonnées universelles, et on évalue les paramètres des deux caméras à partir de l'image des indicateurs de l'outil.

23 ) Procédé de calibrage d'une caméra stéréoscopique, caractérisé en ce qu' - on dispose devant deux caméras placées dans des positions différent s, un outil composite obtenu par la combinaison de l'outil selon la revendication 5 et un autre outil dans un état dans lequel les positions relatives sont fixes, dans un état fixe dans un système de coordonnées universelles et on évalue les paramètres des deux caméras à partir de l'image de saisie des points correspondant aux quatre faisceaux lumineux ou plus émis par une source lumineuse coupant une plaque transparente et un:ndicateur d'image de l'autre outil.

24 ) Procédé de calibrage d'une caméra stéréoscopique multi vues, 25 caractérisé en ce qu' on combine et on dispose devant un ensemble de caméras réparties dans des positions différentes, un outil composite obtenu par la combinaison de l'outil, selon la revendication 5 et un autre outil, dans un état dans lequel les positions relatives sont fixes, dans un état fixe dans un système de coordonnées universelles pour que pour chaque outil en forme de plaque, quatre faisceaux lumineux au moins émis par une source lumineuse coupent au moins un autre outil en forme de plaque et on évalue les paramètres de caméra, combinés à partir de l'image saisie 35 des points d'intersection et d'une image des indicateurs de l'autre outil.