CA2856464A1 - Systeme de tournage de film video - Google Patents

Abstract

Système de tournage de film vidéo dans un espace réel comprenant : - une caméra de tournage (9), - un capteur (16), - un module informatisé de repérage (27) pour déterminer la localisation de la caméra de tournage, - un écran de contrôle (15), - un module informatisé de composition (32) pour générer sur l'écran de contrôle (15) une image composite de l'image réelle et d'une projection d'une image virtuelle, générée selon les données de localisation de la caméra de tournage (9).

Description

SYSTEME DE TOURNAGE DE FILM VIDEO .
La présente invention est relative aux systèmes de tournage de films vidéo.
On tourne depuis longtemps des films vidéo. Depuis quelques décennies, il est de plus en plus fait appel à la réalité augmentée pour représenter, dans le film vidéo diffusé ou projeté, des objets ou évènements qui seraient difficiles à filmer dans le monde réel.
Une méthode classique pour construire un film vidéo présentant une telle séquence à réalité augmentée consiste à commencer par filmer des acteurs dans un environnement neutre calibré, par exemple en studio sur fond monochrome.
Quelques semaines ou mois plus tard, en post-production, des animations tridimensionnelles sont rajoutées, qui donnent l'illusion d'interagir avec l'acteur filmé.
Il est difficile aux acteurs et aux réalisateurs de jouer ou filmer une scène réaliste dans un studio sur fond monochrome. Par conséquent, il a récemment été proposé un système de prévisualisation par lequel une version préliminaire de l'animation est générée, et est montrée au réalisateur et aux acteurs avant de jouer la scène. Ainsi, les acteurs et réalisateurs peuvent plus facilement imaginer leur environnement virtuel et/ou le jeu de leur alter ego virtuel.
Toutefois, ces systèmes sont encore très insuffisants, et de nombreux ajustements doivent encore être faits en postproduction, pour adapter les animations au film enregistré qui est absolument inaltérable à ce stade.
On connait également des systèmes utilisant des mires calibrées pour tenter d'avoir une meilleure idée d'où
la caméra est au cours du tournage. Un système commercialisé sous le nom Lightcraft en est un exemple. Ces systèmes sont toutefois très laborieux à mettre en uvre,

2 car ils nécessitent d'équiper le studio de mires, une opération complexe, et ils sont également limités à être utilisés en studio, ou dans des espaces d'étendue spatiale limitée, celle où les mires sont placées.
La présente invention a notamment pour but de pallier ces inconvénients.
A cet effet, on prévoit un système de tournage de film vidéo dans un espace réel défini dans un référentiel réel, comprenant :
- une caméra de tournage, adaptée pour enregistrer une image réelle pour une pluralité de trames de temps distinctes, - un système de repérage dans l'espace, comprenant :
15. au moins un capteur, présentant des données de localisation par rapport à la caméra de tournage connues pour chaque trame de temps, et adapté pour transmettre à un module informatisé de repérage des informations topographiques naturelles détectées par le capteur, 20. un module informatisé de repérage adapté
pour déterminer, pour chaque trame de temps, des données de localisation dans le référentiel réel de la caméra de tournage à partir des données de localisation du capteur, et d'une comparaison entre les informations topographiques 25 naturelles et un modèle tridimensionnel préétabli de l'espace réel, - un écran de contrôle, - un module informatisé de composition adapté pour générer sur l'écran de contrôle, pour chaque trame de 30 temps, une image composite de l'image réelle, et d'une projection d'une image virtuelle, issue d'une base de données d'animations virtuelles, projection générée selon les données de localisation dans le référentiel réel de la caméra de tournage.

L'affichage sur l'écran de contrôle est généré

3 quasi-instantanément, par exemple dans la seconde, prenant en compte l'éventuel temps de traitement et de latence dû
aux différents composants du système.
Grâce à ces dispositions, on peut visualiser directement sur l'écran de contrôle au moment du tournage, les interactions entre le monde réel et le monde virtuel.
Ceci permet le cas échéant de tourner la même scène jusqu'à
obtenir satisfaction.
En utilisant des informations topographiques naturelles, on s'affranchit des problèmes liés aux mires évoqués plus haut. On a donc plus de liberté pour filmer.
Dans des modes de réalisation préférés de l'invention, on peut éventuellement avoir recours en outre à l'une et/ou à l'autre des dispositions suivantes :
- le capteur du système de repérage est une caméra optique présentant au moins l'une des caractéristiques suivantes :
-un angle solide de prise de vue supérieur à
un angle solide de prise de vue de la caméra de tournage, -une fréquence d'acquisition supérieure à une fréquence d'acquisition de la caméra de tournage, -une acquisition en noir et blanc, -un encombrement au moins deux fois inférieur à un encombrement de la caméra de tournage ;
- un axe optique parallèle à un axe optique de la caméra de tournage, - un champ optique superposé à un champ optique de la caméra de tournage ;
- le système de repérage comprend un module informatisé de génération adapté pour générer ledit modèle tridimensionnel préétabli de l'espace réel, et ledit capteur est adapté pour transmettre au module informatisé
de génération des informations topographiques détectées par le capteur ;
- le capteur est adapté pour transmettre

4 simultanément au module informatisé de repérage et au module informatisé de génération des informations topographiques naturelles détectées par le capteur, et dans lequel le module informatisé de génération est adapté pour enrichir ledit modèle tridimensionnel préétabli de l'espace réel à partir des informations topographiques naturelles détectées par le capteur ;
- les informations topographiques comprennent des informations relatives à des objets géométriques de l'espace réel choisis parmi des points, des lignes, des surfaces et des volumes ;
- en configuration de tournage, la caméra de tournage et le capteur sont attachés fixement l'un à
l'autre ;
- le système comprend en outre un système de localisation comprenant une mire adaptée pour être détectée simultanément par la caméra de tournage et le capteur dans une configuration de localisation, et un module informatisé
de localisation adapté pour déterminer les données de localisation respectives du capteur et de la caméra de tournage à partir de la détection simultanée de la mire ;
- le système comprend en outre un système de calibrage optique comprenant une mire de calibrage optique adaptée pour être détecté par la caméra de tournage, dans une configuration de calibration optique, et le module informatisé de repérage est adapté pour déterminer, pour chaque trame de temps, les données de localisation dans le référentiel réel de la caméra de tournage à partir en outre de données de calibration optique de la caméra de tournage déterminées par le système de calibrage optique ;
- le système comprend en outre au moins l'une des entités suivantes :
-un capteur inertiel fixé sur la caméra de tournage, adapté pour déterminer un mouvement de la caméra de tournage, le module informatisé de repérage étant adapté

pour déterminer les données de localisation dans le référentiel réel de la caméra de tournage en outre à partir de données fournies par le capteur inertiel ;
- un étalon, filmable par la caméra de

5 tournage, le module informatisé de composition étant adapté
pour mettre une image virtuelle à l'échelle de l'espace réel sur la base d'une image de l'étalon acquise par la caméra de tournage ;
- un système de détermination d'un paramètre de grossissement de la caméra de tournage, le module informatisé de composition étant adapté pour générer l'image composite en prenant en compte ledit paramètre ;
- le système comprend en outre un module informatisé d'animation, comprenant une base de données d'animations virtuelles, chaque animation comprenant, pour chacune d'un ensemble de trames de temps, une image tridimensionnelle exprimée dans un référentiel virtuel, le module informatisé d'animations étant adapté pour transmettre lesdites images tridimensionnelles au module de composition ;
- le module informatisé de repérage est adapté
pour transmettre le modèle tridimensionnel préétabli de l'espace réel au module informatisé d'animation ;
- le module informatisé de composition est adapté
pour générer sur l'écran de contrôle, pour chaque trame de temps, une ombre de l'image virtuelle, ombre générée selon les données de localisation dans le référentiel réel de la caméra de tournage, et des données de localisation d'éclairage dans le référentiel réel.
- pour une trame de temps ultérieure, le module informatisé de repérage est adapté pour déterminer, des données de localisation dans le référentiel réel de la caméra de tournage à partir également de données de localisation dans le référentiel réel de la caméra de tournage pour une trame de temps antérieure ;

6 PCT/FR2012/052916 - le module informatisé de repérage comprend un module de sélection adapté pour sélectionner parmi les motifs géométriques des motifs géométriques du modèle tridimensionnel utilisables pour retrouver la position de la caméra de tournage dans l'espace 3D ;
- le module de sélection compare des motifs géométriques d'une image ultérieure avec des motifs géométriques d'une image antérieure, associe des motifs géométriques présents sur les deux images et immobiles dans l'espace réel, et ne conserve pas les autres motifs géométriques pour comparaison avec le modèle tridimensionnel ;
- le système de repérage comprend en outre un deuxième capteur présentant au moins une caractéristique différent du premier capteur, choisie parmi la position, l'orientation, l'angle solide de prise de vue, la fréquence d'acquisition, l'axe optique, le champ optique.
Dans certains modes de réalisation, on peut ainsi utiliser un capteur dédié au repérage, et optimisé pour mettre celui-ci en uvre, ce qui permet de consacrer la caméra de tournage exclusivement à sa fonction première de tournage.
D'autres caractéristiques et avantages de l'invention apparaîtront au cours de la description suivante d'une de ses formes de réalisation, donnée à titre d'exemple non limitatif, en regard des dessins joints.
Sur les dessins :
- la figure 1 est une vue schématique d'un espace réel, - la figure 2 est une vue schématique d'un système de tournage selon un mode de réalisation de l'invention, - la figure 3 est une vue schématique représentant une utilisation du système de la figure 2 dans une configuration d'apprentissage, - la figure 4 est une vue en perspective d'un

7 modèle tridimensionnel de l'espace réel, - la figure 5 est une vue similaire à la figure 2 dans une configuration de localisation, - la figure 5a est une vue similaire à la figure 5 pour la mise à l'échelle, - la figure 6a est une vue schématique du système en configuration de tournage, à un premier instant, - la figure 6b est un schéma représentatif d'une acquisition faite par la caméra de tournage à l'instant représenté sur la figure 6a, - la figure 6c est une vue schématique d'une image composite réalisée sur l'écran de contrôle à ce même instant, - les figures 7a, 7b et 7c correspondent respectivement aux figures 6a, 6b et 6c pour un deuxième instant, - la figure 8 est une vue schématique d'un écran d'une machine programmable comprenant un module informatique d'animation, - la figure 9 est un organigramme d'un procédé de réalisation de film vidéo utilisant les objets décrits précédemment, et - la figure 10 est une vue schématique d'un système d'acquisition selon une variante de réalisation.
Sur les différentes figures, les mêmes références désignent des éléments identiques ou similaires.
La figure 1 représente schématiquement une partie 1 de l'espace réel. La figure 1 donne un exemple très spécifique d'un espace réel 1.
Toutefois, la présente invention pourrait être appliquée dans un très grand nombre d'espaces réels différents.
Un référentiel réel 2 est attaché à l'espace réel 1, et comprend par exemple une origine 0 et trois axes orthonormés X, Y et Z.
Ainsi, chaque point de l'espace réel 1 présente un jeu de coordonnées unique dans le

8 référentiel réel 2.
Dans l'exemple donné purement à titre d'exemple, l'espace réel 1 est un espace extérieur en plein air, comprenant une route 3 horizontale s'étendant sensiblement le long de l'axe Y et un immeuble 4 situé dans la profondeur. L'immeuble 4 peut comprendre diverses fenêtres 5a, 5b, 5c et portes 6a, 6b, 6c et autre. Un trottoir 7 s'étend par exemple entre la route 3 et l'immeuble 4. On peut par exemple noter une voiture 8 stationnée.
A titre d'espace réel, en variante, on pourrait utiliser un espace en intérieur, tel que par exemple, dans un studio.
L'espace réel 1 comporte un certain nombre d'informations topographiques naturelles. Ces informations sont par exemple relatives à des objets géométriques de l'espace réel, tel que des points, des lignes, des surfaces et/ou des volumes.
Comme ligne, on pourra par exemple considérer des arêtes d'une structure, et comme point des intersections de deux de ces arêtes. A titre de surface, on pourra par exemple considérer des surfaces pleines, telles qu'un capot de voiture, ou autre. A
titre de volume, on pourra par exemple se référer à des objets, tels qu'une voiture, ou un autre objet présent dans l'espace réel. Ainsi, les informations topographiques naturelles se distinguent de marqueurs de calibrage rapportés par le(s) fait(s) qu' :
elles sont disposées de manière aléatoire, non ordonnées, elles sont disposées dans un espace de dimensions infinies, le monde entier, et pas limitées à une zone munie de marqueurs, elles sont fortement hétérogènes, pas seulement différentes les unes des autres par un code de type code-barres, elles sont disponibles dans un espace 3D
volumique, pas seulement sur un ou plusieurs

9 plans, elles ne nécessitent pas d'installation compliquée calibrée préalable.
En se référant maintenant à la figure 2, on décrit un système de tournage de film vidéo, selon un mode de réalisation, en configuration de tournage. En ce qui concerne le film vidéo, il s'agit d'une suite d'images diffusées à une fréquence rapide (plusieurs images par seconde, par exemple 24 (cinéma), 25 (PAL) ou 30 (NTSC) images par seconde) à un spectateur. Cette suite d'images est par exemple projetée ou diffusée dans le cadre d'un film cinématographique, d'un téléfilm, d'un message informatif, d'un jeu vidéo, ou autre. En particulier, cette diffusion ou projection peut être différée dans le temps par rapport au tournage.
Cette séquence d'images relate un évènement se déroulant dans l'espace réel 1.
A ce titre, on utilise une caméra de tournage 9 de tout type approprié pour filmer classiquement une telle scène. On utilise en particulier une caméra numérique pouvant acquérir plusieurs images par seconde, par exemple 24 images par seconde.
La caméra 9 comporte une optique 10 pouvant acquérir des images dans un champ optique 11, et reliée à
un système informatique 12. Cette liaison est par exemple faite par un câble 13 adapté, ou sans câble, par exemple par transmission radio ou autre.
La caméra de tournage 9 est de n'importe quel type connu adapté, mais l'invention est particulièrement adaptée s'il est possible de faire varier le champ optique 11 au cours du tournage. En particulier, le champ optique 11 peut être fait varier en déplaçant la caméra de tournage 9 dans l'espace réel 1.
Ceci est en particulier le cas si la caméra de tournage 9 est mobile, de manière guidée, dans l'espace réel 1, en étant par exemple montée sur un rail ou une grue présentant un bras articulé (non représenté) définissant un lieu des possibles pour la caméra de tournage 9.
A titre d'alternative, qui est l'alternative 5 représentée, on utilise une caméra de tournage 9 suffisamment compacte pour être déplaçable dans l'espace réel 1 en étant simplement portée par un opérateur (non représenté).
Selon un exemple de réalisation, la caméra de

10 tournage 9 comporte un moniteur 14 monté sur le boîtier de la caméra et présentant un écran de contrôle 15 visible par l'opérateur filmant, et sur lequel le champ optique 11 acquis par la caméra est affiché.
Le système de tournage comporte également un système de repérage dans l'espace comprenant d'une part un capteur 16 et d'autre part un module informatisé de repérage 17 du système informatique 12, et relié au capteur 16 par un câble 18 ou sans câble, comme indiqué
précédemment.
Le capteur 16 présente la particularité de présenter une localisation connue à tout moment par rapport à la caméra de tournage 9. Par localisation, on entend ici que la position et l'orientation du capteur 16 par rapport à la caméra de tournage 9 sont connues à tout instant. Il s'agit en particulier des positions et orientations relatives des systèmes d'acquisition du capteur et de la caméra 9 (matrice CCD pour celle-ci). Ceci peut par exemple être réalisé de manière simple en fixant le capteur 16 rigidement à la caméra de tournage 9, par exemple par l'intermédiaire d'une bride 19 ou tout autre système mécanique adapté.
Le capteur 16 est caractérisé en particulier par un champ d'acquisition 20. On peut par exemple placer le capteur 16 de sorte qu'aucune partie de la caméra de tournage 9 n'obture une partie du champ d'acquisition 20,

11 et qu'aucune partie du capteur 16 n'obture une partie du champ optique 11, comme représenté sur la figure 2.
Le capteur 16 est adapté pour acquérir des informations relatives à l'espace réel 1, de manière à
pouvoir déterminer la position du capteur 16 dans l'espace réel, à l'aide du module informatisé de repérage 17. En particulier, on peut prévoir, en configuration de tournage, d'acquérir des données de localisation dans l'espace réel 1 avec le capteur 16, et que le module informatisé de repérage 17 puisse déterminer, pour une acquisition faite par le capteur 16, à l'aide d'un modèle tridimensionnel préétabli 21 de l'espace réel, la position du capteur 16 dans l'espace réel.
Ainsi, le module de repérage 17 déterminera la localisation la plus probable du capteur 16 dans l'espace réel, qui permette de faire correspondre les données acquises par le capteur 16 et le modèle tridimensionnel préétabli 21 de l'espace réel.
Connaissant la position du capteur 16 dans l'espace réel, et connaissant la position relative de la caméra de tournage 9 et du capteur 16, le module de repérage 17 peut ainsi déterminer les données de localisation de la caméra de tournage dans le référentiel réel.
On notera que, même si le procédé décrit ci-dessus fait intervenir deux étapes successives de détermination de la position du capteur 16, puis de détermination de la caméra de repérage 9, on pourrait en variante déterminer directement la position de la caméra de tournage 9 sans une détermination explicite de la localisation du capteur 16.
On prévoit d'utiliser un capteur 16 spécifiquement dédié à la tâche de repérage, et présentant des caractéristiques d'acquisition distinctes de la caméra de tournage 9.
Ainsi, la caméra de tournage 9 peut être dédiée à sa tâche propre, qui est de filmer, et le capteur 16 à sa tâche propre, qui est de localiser.
A titre d'exemple, le capteur 16 est un capteur

12 optique. S'il est prévu de fixer le capteur 16 à la caméra de tournage 9, on peut prévoir en particulier pour le capteur 16 une caméra optique de faible encombrement, en particulier d'un encombrement au moins deux fois inférieur à l'encombrement de la caméra de tournage 9.
Ainsi, la gêne pour l'opérateur sera minimale.
A titre de capteur 16, on pourra en particulier choisir une caméra optique spécifiquement dédiée à
l'obtention de la position de la caméra de tournage 9 dans l'espace réel. On peut ainsi par exemple prévoir une caméra optique présentant une fréquence d'acquisition au moins un multiple entier de celle de la caméra de tournage 9, par exemple de l'ordre de 100 images par seconde, permettant ainsi de lisser par calcul la position de la caméra de tournage 9 dans l'espace réel pour chaque trame de temps.
On peut en particulier également choisir une caméra optique présentant un champ optique (angle solide de prise de vue) 20 supérieur à celui de la caméra de tournage 11, afin de maximiser l'information acquise de l'espace réel 1 pouvant servir au calcul du positionnement de la caméra de tournage. Ainsi, on peut par exemple utiliser une lentille grand angle ( fish eye ou il de poisson , en anglais) présentant un angle d'acquisition supérieur à 160 degrés.
On pourra également utiliser une caméra noire et blanc, si nécessaire, au titre de capteur de repérage.
Ainsi le procédé ici décrit peut fonctionner même sans acquérir d'information de couleur.
Le modèle tridimensionnel préétabli de l'espace réel comprend par exemple des informations topographiques naturelles de l'espace réel 1.
Celui-ci est par exemple disponible par tout moyen approprié.
Toutefois, comme représenté sur les figures 3 et 4, on peut par exemple utiliser certains éléments du système qui vient d'être

13 décrit pour générer le modèle tridimensionnel préétabli de l'espace réel.
En particulier, comme représenté sur la figure 3, au cours d'une étape préliminaire, en configuration d'apprentissage, on établit le modèle tridimensionnel 21.
Cette étape est par exemple réalisée peu de temps avant le tournage, afin que l'espace réel, au moment du tournage, corresponde au modèle pré-établi.
Pendant l'étape d'apprentissage, on déplace un capteur d'apprentissage 22 dans l'espace réel 1. Pour un ensemble de trame de temps, le capteur d'apprentissage 22 transmet au système informatique 12, par tout moyen approprié, des informations acquises par le capteur d'apprentissage 22. Ainsi, le système informatique 12 comprend un module informatisé de génération 23 qui, recevant des informations à partir du capteur d'apprentissage 22 selon différents angles de vues, est capable de déterminer le modèle tridimensionnel 21 (à un facteur d'échelle près).
Ainsi, en acquérant, avec le capteur d'apprentissage 22, les mêmes informations topographiques naturelles de l'espace réel 1 selon différents angles de vues, le module de génération 23 est capable de déterminer la position en trois dimensions d'un ensemble d'objets géométriques de l'espace réel. Comme représenté sur la figure 4, le modèle tridimensionnel 21, représenté affiché projeté selon une autre perspective sur un écran d'ordinateur, est constitué d'un ensemble de motifs géométriques (ici des points).
Ces points peuvent être représentés selon n'importe quelle orientation, comme sur la figure 4, une vue en perspective de l'espace réel.
Outre les points 24, le modèle tridimensionnel 21 pourrait également être constitué d'un ensemble d'autres objets géométriques, telles que des lignes, droites ou courbes, des surfaces, planes ou non, des volumes, ... qui sont déterminés soit par le module de génération 23 lui-même,

14 soit par assistance d'un opérateur du module de génération, l'opérateur indiquant au module de génération qu'un ensemble d'objets géométriques appartiennent à la même ligne/surface/volume.
Comme expliqué ci-dessus, le modèle tridimensionnel 21 ainsi généré sera ensuite importé dans le module informatisé de repérage, afin de repérer à tout moment, en configuration de tournage, la position effective dans l'espace réel de la caméra de tournage.
Dans l'exemple décrit, on peut utiliser à titre de capteur d'apprentissage 22, le même capteur 16 que celui qui est utilisé en configuration de tournage.
Ainsi, le même algorithme est utilisé pour déterminer la position tridimensionnelle d'un objet géométrique dans l'espace réel en configuration d'apprentissage, et pour déterminer la position dans l'espace réel de la caméra de repérage 16 à
partir des positions dans l'espace réel des objets géométriques déterminés avec cette même caméra. De plus, en utilisant le même capteur pour les deux étapes, on peut, en configuration de tournage, continuer d'enrichir le modèle tridimensionnel, si celui-ci était amené à changer en cours de tournage (ce qui peut être le cas en cas de tournage extérieur, ou du fait de la présence d'acteur dans le champ du capteur 16 en configuration de tournage).
Ainsi, dans ce cas, le mode d'apprentissage continue pendant le tournage.
Comme expliqué ci-dessus, le modèle tridimensionnel préétabli 21 peut, le cas échéant, être réalisé à un facteur d'échelle près. Dans ce cas, on peut par exemple utiliser un étalon 25, de longueur donnée, qui va être acquis avec le capteur d'apprentissage 22, permettant ainsi de mettre à l'échelle le modèle tridimensionnel 21, comme représenté Fig. 5a.
De plus, on peut mettre en uvre une configuration de localisation, afin de déterminer avant tournage les données de localisation respectives de la caméra de tournage 9 et du capteur de repérage 16. En particulier, un exemple est donné dans le cas où le capteur 16 est fixé
rigidement à la caméra de tournage 9. Au cours de la 5 configuration de localisation, on filme une mire 27 simultanément avec la caméra de tournage 9 et le capteur 16. Les informations recueillies par les deux outils sont transmises à un module informatisé de localisation 26 adapté pour déterminer leur position relative à partir des 10 images acquises de la même mire 27 par les deux outils.
En revenant maintenant sur la figure 2, le système informatisé 12 comprend également un module informatisé
d'animation 28. Ce module d'animation 28 peut par exemple comprendre une base de données d'animation 29 comprenant

15 une ou plusieurs animations virtuelles.
Chaque animation comprend par exemple, pour chacune d'un ensemble de trames de temps correspondant à tout ou partie de la durée du film vidéo à tourner, des caractéristiques d'objets tridimensionnels (point, ligne, surface, volume, texture,...) exprimé dans un référentiel virtuel U, V, W 30.
Chaque animation représente par exemple un évènement de réalité
virtuelle augmentée. Par exemple, on peut prévoir dans la base de données d'animation, des animations représentant un personnage virtuel tridimensionnel, mobile ou non, un effet spécial (pluie, explosion, ...), ou autre. A
titre d'exemple, on a représenté sur la figure 2, pour une trame de temps donné, un objet virtuel 31, caractérisé par des données exprimées dans l'espace virtuel, repéré par le référentiel virtuel U, V, W.
Dans l'exemple illustratif très simple, on a utilisé une colonne verticale à base carrée, fixe dans le temps mais, en pratique, s'il s'agira par exemple d'un lion, marchant, ou autre, ....
Comme représenté sur la figure 2, le système informatique 12 comporte un module de composition 32. Le module de composition 32 importe une animation du module

16 d'animation 28 le long d'un lien 33. Si nécessaire, si l'animation n'est pas déjà exprimée dans le référentiel réel 2, le module de composition 32 relie mathématiquement les référentiels virtuels U, V, W et le référentiel réel X, Y, Z par une matrice de passage adaptée (un exemple est décrit plus loin).
Puis, le module informatisé de composition 32 génère, pour la trame de temps en question, une image composite de l'image réelle acquise par la caméra de tournage 9, et une projection d'une image virtuelle, correspondant à l'objet virtuel 31 pour cette même trame de temps, la projection étant générée selon les données de localisation dans le référentiel réel de la caméra de tournage 9. Ainsi, l'image composite comprend la superposition de l'image réelle, et de l'image virtuelle, comme si cette image virtuelle était l'image d'un objet présent dans l'espace réel, acquise, pour cette trame de temps, par la caméra de tournage 9. L'image composite est alors affichée sur l'écran de contrôle 15.
Ainsi, l'opérateur, filmant, peut, pour chaque trame de temps, visualiser, sur son écran de contrôle, la position et l'orientation de l'objet virtuel dans l'espace réel, selon son propre angle de vue, comme si cet objet virtuel était présent devant lui. Il peut ainsi adapter le cas échéant la position de la caméra de tournage par rapport aux objets.
En variante, le système informatique 12 comporte également un écran de contrôle 15' d'un moniteur 14' permettant, pour le réalisateur, ou pour toute personne intéressée, en temps réel, de visualiser l'image composite depuis l'angle de vue de la caméra de tournage.
Un exemple est en particulier donné aux figures 6a à 7c. Les figures 6a à 6c correspondent à un premier instant, où un opérateur non représenté, filme une partie 34 de l'espace réel correspondant à la partie inférieure

17 arrière de la voiture 8. L'image 35 acquise par la caméra de tournage 9 pour cet instant peut être vue sur la figure 6b. La position de la caméra de tournage 9 pour cette trame de temps est déterminée par le système de repérage.
Comme représenté sur la figure 6c, l'image composite 36 générée sur l'écran de contrôle 15, 15' comprend la superposition de l'image réelle, et de l'objet virtuel 31 vu selon l'angle d'acquisition de la caméra de tournage 9.
Pour ce faire, comme expliqué ci-dessus, connaissant les positions, dans l'espace réel, de la caméra de tournage 9, et de l'objet virtuel 31, à cet instant donné, on peut calculer une projection dans l'image 35 de cet objet.
Les figures 7a à 7c représentent une trame de temps ultérieure (directement ultérieure), et sont expliquées par référence aux figures 6a à 6c. Ainsi, les évènements représentés figures 7a à 7c ont lieu environ à 1/24 seconde après ceux des figures précédentes. Pendant cet espace de temps, l'angle de vue d'une caméra de tournage 9 a changé, de sorte que la caméra de tournage 9 pointe désormais plus vers le haut de la voiture 8. La partie 34' imagée est également représentée sur la figure 7a.
L'image réelle acquise par la caméra de tournage 9 est représentée par la référence 35' sur la figure 7b. La figure 7c représente l'image composite 36' correspondant à la superposition de l'image réelle 35' et de l'objet virtuel 31, exprimé en fonction de la localisation de la caméra de tournage 9 pour cette trame de temps. A noter que, dans cet exemple, l'objet virtuel 31 peut être identique, sur les deux trames de temps. Sa représentation projetée pour les deux trames de temps diffère du fait de la différence d'angle de vue.
Toutefois, s'agissant d'une animation, l'objet virtuel 31 peut également être légèrement différent pour les deux trames de temps.
Les étapes ci-dessus peuvent être répétées en temps réel pour chaque trame de temps du tournage et, le cas

18 échéant pour plusieurs caméras de tournage.
En se référant à nouveau à la figure 6a, pour la trame de temps considérée, l'image de repérage 37 acquise par le capteur 16 peut correspondre à un volume plus grand de l'espace réel, et le module informatisé de repérage est adapté pour extraire de cette image de repérage 37 des informations topographiques naturelles, et pour déterminer la position dans le référentiel réel 2 de la caméra de tournage 9, comme explicité ci-dessus, à partir de ces informations topographiques naturelles détectées, et du modèle tridimensionnel 21. En particulier, on peut ne pas utiliser de marqueurs optiques fixés dans l'espace réel 1, pour une grande simplicité d'utilisation. On utilise alors uniquement les informations topographiques naturelles, ce qui évite d'encombrer l'espace de tournage de marqueurs artificiels. Toutefois, le système ici décrit est également compatible avec les marqueurs artificiels.
Si le champ optique du capteur 16 venait à être obturé (en effet, l'opérateur bouge au cours de l'acquisition) par un élément réel de l'espace réel, le module informatisé de repérage peut présenter plusieurs options afin de déterminer à tout moment la position dans l'espace réel de la caméra de tournage 9. Par exemple, au cas où le module informatisé de repérage n'arrive pas à
repérer suffisamment d'informations topographiques pour déterminer à coup sûr la position dans l'espace réel de la caméra de tournage 9, il peut par défaut considérer que la caméra de tournage 9 est immobile pendant cet instant. En réalité, lorsque les deux appareils 9 et 16 sont très proches l'un de l'autre, comme dans le mode de réalisation présenté, si le capteur 16 n'est pas capable de déterminer l'information topographique, c'est que le champ optique de la caméra de tournage 9 est probablement obturé par un objet réel très proche. A la trame de temps suivante où le capteur 16 pourra déterminer suffisamment d'informations

19 topographiques lui permettant de déterminer la position dans l'espace tridimensionnel de la caméra de tournage 9, une image composite pourra à nouveau être générée pour cette position.
A ce titre, on notera que le module informatisé de repérage comprend un module de sélection adapté pour sélectionner les motifs géométriques du modèle tridimensionnel susceptibles d'être utilisés pour retrouver la position de la caméra de tournage dans l'espace 3D.
D'une part, on sélectionne les motifs géométriques susceptibles d'être dans le champ du capteur 16, par exemple à l'aide d'une connaissance approximative de la position du capteur provenant d'une trame de temps antérieure.
D'autre part, si dans une région de l'image acquise par le capteur 16, l'ensemble de motifs géométriques identifiés est trop différent du modèle tridimensionnel, ces motifs ne sont pas pris en compte pour la détermination de la position de la caméra de tournage.
Ainsi, en comparant deux images proches dans le temps acquises avec le capteur 16, on associe deux à deux les motifs géométriques présents sur les deux images et immobiles dans l'espace réel.
Les autres motifs géométriques sont considérés comme mobiles dans l'espace réel et ne sont pas conservés pour la comparaison avec le modèle tridimensionnel.
Comme représenté sur la figure 2, on peut également, dans ces cas, enrichir le module informatisé de repérage, en adjoignant un capteur inertiel 38 adapté pour fournir au module informatisé de repérage les informations supplémentaires sur la position de la caméra de tournage 9.
Par exemple, le capteur inertiel 38 est fixé à la caméra de tournage 9, où au capteur 16 si celui-ci est fixé à la caméra de tournage 9. Une matrice de passage entre la caméra de tournage et le capteur est associée à chaque grossissement. En configuration de tournage, on utilise l'information provenant de l'encodeur pour sélectionner la matrice de passage appropriée.
Selon un exemple de réalisation, comme représenté
également sur les figures 6a à 6c, le module de composition 5 32 peut également être adapté pour générer une ombre projetée de l'objet virtuel 31 dans l'espace réel 1. Comme cela est visible par exemple sur la figure 6a, on dispose d'un éclairage 39 artificiel (comme représenté) ou naturel, dont la position dans le référentiel réel 2 est connue.
10 Ainsi, comme visible sur la figure 6b, l'image réelle 35 comprend, outre une image de l'objet 8, une image 40 de son ombre réelle. Comme cela est représenté sur la figure 6c, le modèle tridimensionnel personnalisé peut comprendre des informations de surface sur laquelle l'ombre 41 de l'objet 15 virtuel 31 va être projetée, visualisé sous l'angle de prise de vue de la caméra de tournage 9. Les ombres des objets virtuels sont calculées en prenant en compte la position dans l'espace réel de l'objet virtuel 31, et la position dans l'espace réel d'une surface sur laquelle est

20 projetée l'ombre de l'objet virtuel 31, la position de la caméra de tournage, et la position des éclairages. Les ombres réelles et virtuelles sont également visibles sur la figure 7c.
Le système qui vient d'être décrit présente un intérêt particulier lorsque l'animation est déplacée par rapport au champ optique de la caméra de tournage 9. Dans un exemple de réalisation, en configuration de tournage, on tournera un plan fixe d'un espace réel immobile, sur lequel on viendra générer une animation dont la forme change au cours du temps. Ainsi, on pourra vérifier que l'animation est cadrée comme on le souhaite pendant le tournage. Un autre exemple consiste à déplacer la caméra de tournage 9 dans l'espace réel 1, en incorporant une animation mobile ou, le cas échéant, immobile, pour vérifier que celle-ci est cadrée comme on le souhaite pendant l'acquisition.

21 En revenant sur la figure 2, on peut également prévoir que le système comporte un moyen de prendre en compte un changement de focale de l'optique 10 de la caméra de tournage 9.
Ainsi, dans l'exemple présenté ci-dessus, on peut considérer que l'ensemble des opérations ont été mises en uvre pour une focale fixe.
Bien entendu, si on change la focale au cours du tournage, les images réelles 35 et 35' des figures 6b et 7b seront représentées avec un niveau de grossissement différent. On peut ainsi prévoir, comme représenté sur la figure 2, que le zoom 42 porté par la caméra 9 comporte un encodeur 43 permettant de détecter le degré de rotation d'une bague de grossissement 42, et que le module informatisé de repérage 17 prenne en compte le niveau de grossissement déterminé par des données transmises par l'encodeur 43.
Ceci peut être fait, par exemple en répétant l'étape de localisation de la figure 5 pour une pluralité de grossissements différents de l'optique 10 de la caméra de tournage 9.
Dans les modes de réalisation qui ont été décrits ci-dessus, l'objet virtuel 31 est exprimé directement dans le référentiel réel 2 afin d'être directement visualisable sous l'angle de vue de la caméra de tournage 9. Selon un exemple de réalisation, on peut prévoir de coupler le module de génération de modèle tridimensionnel avec le module d'animation 28. Ainsi, le lien 33, qui est décrit en relation avec la figure 2 pour exporter des animations du module d'animation 28 vers le module de composition 32 peut également être utilisé dans l'autre sens, pour transmettre au module d'animation 28 le modèle tridimensionnel 21 établi pour l'espace réel. Ainsi, comme représenté sur la figure 8, on peut représenter sur l'écran 44 du module informatisé d'animation 28 la superposition de l'objet virtuel 31 obtenu à partir de la base de données

22 d'animation et du modèle tridimensionnel 21.
Cette superposition permet d'une part de définir la matrice de passage entre les référentiels virtuel U, V, W et réel X, Y, Z dans lesquels sont exprimés, respectivement, l'objet virtuel 31 et le modèle tridimensionnel 21. Cela peut également permettre de définir ou redéfinir l'animation au cours du tournage.
Ainsi, le module d'animation 28 peut comprendre une application comprenant un ensemble d'outils représentés à l'écran 44 par des icones 45, et permettant de pré-définir l'animation.
Ainsi, il suffit de disposer des points tridimensionnels qui sont générés pendant l'étape d'apprentissage pour générer l'animation directement en prévision de son tournage dans l'espace réel. A titre d'exemple, on a représenté sur la figure 8 des flèches épaisses représentant des ordres de mouvement ou de redimensionnement de l'objet virtuel 31 dans l'espace virtuel U, V, W. On peut également définir une transformation de l'objet virtuel au cours du temps entre un objet de départ, représenté par la référence 31, et un objet d'arrivée, représenté par la référence 46. La déformation entre ces deux représentations de l'objet virtuel au cours du temps peut être paramétrée. Le système qui vient d'être décrit est, bien évidemment, simplifié à l'extrême pour faciliter sa compréhension.
Ainsi, le système qui vient d'être décrit permet, le cas échéant, de retoucher l'animation directement au moment du tournage, dans l'espace réel, après acquisition par le système en configuration d'apprentissage, ce qui permet encore une interaction accrue entre le monde réel et le monde virtuel.
Comme représenté très schématiquement sur la figure 9, le système de tournage peut, dans un mode de réalisation, être utilisé comme suit.
Au cours d'une première étape 101, on met en uvre le système dans une configuration de calibration optique de

23 la caméra de tournage 9, afin de déterminer les éventuelles aberrations optiques de la caméra de tournage. Cette étape préalable est par exemple réalisée à l'aide d'une mire, et des informations recueillies peuvent être utilisées par la suite par le système informatique 12, pour corriger informatiquement l'acquisition de la caméra de tournage 9.
Ensuite, lors d'une étape 102, on utilise le système dans une configuration d'apprentissage, dans laquelle un capteur d'apprentissage est déplacé dans l'espace réel, afin de générer un modèle tridimensionnel de l'espace réel. On procède également à une mise à l'échelle de ce modèle tridimensionnel.
Ensuite, lors d'une étape 103, dans une configuration de localisation, on détermine les positions relatives de la caméra de tournage 9 et d'un capteur de repérage 16.
Puis, au cours d'une étape 104, on fournit une animation à partir d'une base de données d'animations virtuelles, l'animation étant destinée à coopérer avec l'espace réel à filmer.
Au cours d'une étape 105, on utilise le système de configuration de tournage, et on génère, sur un écran de contrôle disponible sur le lieu du tournage, une image composite de l'image réelle obtenue par la caméra optique 9, et une projection générée, pour la même trame de temps, sur l'image réelle, selon les données de localisation dans le référentiel réel de la caméra de tournage 9.
Au cours d'une étape de détermination 106, si le réalisateur considère que la prise de vue est satisfaisante, (flèche 0), en prenant en compte les images composites générées, il met fin au tournage du film vidéo (étape 107).
Si l'étape de détermination 106 montre que le tournage n'est pas satisfaisant (flèche N), on peut profiter du fait de disposer sur place de tous les acteurs

24 et opérateurs pour filmer à nouveau la scène (retour à
l'étape 105). Le cas échéant, on pourra au cours de cette étape avoir modifié l'animation, telle que décrit ci-dessus en relation avec la figure 8.
Les systèmes informatisés qui sont décrits ci-dessus peuvent être réalisés par une ou une pluralité de machines programmables, communiquant entre elles, par le biais de réseaux, permettant le cas échéant d'importer à
distance les animations à partir d'une base de données d'animations 29 distante. Les objets informatiques de type clavier, écran, souris, processeur, câbles etc peuvent être de type classiquement connu. On pourra en particulier prévoir que l'animation issue de la base de données d'animation correspond à une animation simplifiée de l'animation destinée à être présente dans le film vidéo final. Alors, quelques semaines plus tard, dans une étape de post-production, on pourra prévoir de réaliser l'animation finale à partir de l'animation initiale utilisée au cours du tournage, et du film acquis.
L'animation simplifiée comprend un volume de données plus faible (par exemple au moins deux fois plus faible) que l'animation finale.
De la même manière qu'on a décrit, en relation avec les figures 6a-6c, la génération d'une ombre projetée de l'image de l'objet virtuel dans l'espace réel, on pourra utiliser le modèle tridimensionnel, notamment volumique, pour gérer les occultations entre les objets de l'espace réel, et les objets virtuels.
Ainsi, si on détecte que selon l'angle de vue de la caméra de tournage, une partie de l'objet virtuel 31 se situe derrière un objet opaque l'espace réel, tel que défini dans le modèle tridimensionnel, un module informatisé de soustraction pourra être utilisé pour, pour cette trame de temps, soustraire de l'image composite la partie cachée de l'objet virtuel 31. Ceci est possible à l'aide de la position dans l'espace réel de la caméra de tournage, de l'objet virtuel, et d'un objet opaque tel que défini par le modèle tridimensionnel. Ainsi, l'opérateur ou le réalisateur, voyant sur son écran de contrôle 15, 15', que l'objet 5 virtuel 31 n'est peut être pas visible de la façon dont il le souhaite, pourra immédiatement adapter la position de la caméra de tournage.
Dans l'exemple présenté, on a décrit sur la figure 2 que le capteur 16 et la caméra de tournage 9 présentaient 10 des champs optiques se superposant et/ou des axes d'acquisition relativement proches d'être parallèles.
Toutefois, ceci n'est pas du tout une obligation et, en variante, le capteur 16 (dit aussi caméra témoin) pourrait par exemple filmer le plafond ou le sol de l'espace réel, 15 par exemple, alors que l'axe optique de la caméra de tournage 9 serait environ horizontal.
Selon un mode de réalisation tel que représenté sur la figure 10, le système de repérage comprend un deuxième capteur 16' présentant au moins une caractéristique 20 différent du premier capteur 16, choisie par exemple parmi la position, l'orientation, l'angle solide de prise de vue, la fréquence d'acquisition, l'axe optique, le champ optique. Par exemple, un deuxième capteur 16' peut être orienté vers le plafond, et un troisième capteur 16" peut

25 être orienté latéralement. Chaque capteur 16, 16' et 16"
transmet au module informatisé de repérage les informations topographiques naturelles qu'il détecte. Le module informatisé de repérage 17 détermine les données de localisation dans le référentiel réel de la caméra de tournage 9 à partir des données de localisation des capteurs 16, 16', 16" (pris ensemble ou séparément), et d'une comparaison entre les informations topographiques naturelles et le modèle tridimensionnel 21 préétabli de l'espace réel.
Différentes étapes et procédés décrits ci-dessus

26 apparaissent innovants, outre leur utilisation dans le procédé général décrit, et la déposante se réserve le droit de protéger ceux-ci de toute manière adaptée.

Claims (15)

1. Système de tournage de film vidéo dans un espace réel défini dans un référentiel réel, comprenant :
- une caméra de tournage (9), adaptée pour enregistrer une image réelle pour une pluralité de trames de temps distinctes, - un système de repérage dans l'espace, comprenant :
.cndot.au moins un capteur (16), présentant des données de localisation par rapport à la caméra de tournage (9) connues pour chaque trame de temps, et adapté pour transmettre à un module informatisé de repérage des informations topographiques naturelles détectées par le capteur, .cndot. un module informatisé de repérage (17) adapté pour déterminer, pour chaque trame de temps, des données de localisation dans le référentiel réel de la caméra de tournage (9) à partir des données de localisation du capteur, et d'une comparaison entre les informations topographiques naturelles et un modèle tridimensionnel (21) préétabli de l'espace réel, - un écran de contrôle (15), - un module informatisé de composition (32) adapté
pour générer sur l'écran de contrôle (15), pour chaque trame de temps, une image composite de l'image réelle, et d'une projection d'une image virtuelle, issue d'une base de données d'animations virtuelles (29), projection générée selon les données de localisation dans le référentiel réel de la caméra de tournage (9).

2. Système de tournage de film vidéo selon la revendication 1, dans lequel le capteur (16) du système de repérage est une caméra optique présentant au moins l'une des caractéristiques suivantes :
- un angle solide de prise de vue supérieur à un angle solide de prise de vue de la caméra de tournage, - une fréquence d'acquisition supérieure à une fréquence d'acquisition de la caméra de tournage, - une acquisition en noir et blanc, - un encombrement au moins deux fois inférieur à
un encombrement de la caméra de tournage, - un axe optique parallèle à un axe optique de la caméra de tournage (9), - un champ optique superposé à un champ optique de la caméra de tournage (9).

3. Système de tournage de film vidéo selon la revendication 1 ou 2, dans lequel le système de repérage comprend un module informatisé de génération (23) adapté
pour générer ledit modèle tridimensionnel préétabli de l'espace réel, et dans lequel ledit capteur (16) est adapté
pour transmettre au module informatisé de génération des informations topographiques détectées par le capteur.

4. Système de tournage de film vidéo selon la revendication 3, dans lequel le capteur (16) est adapté
pour transmettre simultanément au module informatisé de repérage et au module informatisé de génération des informations topographiques naturelles détectées par le capteur, et dans lequel le module informatisé de génération (23) est adapté pour enrichir ledit modèle tridimensionnel préétabli de l'espace réel à partir des informations topographiques naturelles détectées par le capteur.

5. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 4, dans lequel les informations topographiques comprennent des informations relatives à des objets géométriques de l'espace réel choisis parmi des points, des lignes, des surfaces et des volumes.

6. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 5, dans lequel, en configuration de tournage, la caméra de tournage (9) et le capteur (16) sont attachés fixement l'un à l'autre.

7. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 6, comprenant en outre un système de localisation comprenant une mire (27) adaptée pour être détectée simultanément par la caméra de tournage et le capteur dans une configuration de localisation, et un module informatisé de localisation (26) adapté pour déterminer les données de localisation respectives du capteur et de la caméra de tournage à partir de la détection simultanée de la mire.

8. Système de tournage de film vidéo selon l'une revendications 1 à 7, comprenant en outre un système de calibrage optique comprenant une mire de calibrage optique adaptée pour être détecté par la caméra de tournage, dans une configuration de calibration optique, et dans lequel le module informatisé de repérage est adapté pour déterminer, pour chaque trame de temps, les données de localisation dans le référentiel réel de la caméra de tournage (9) à
partir en outre de données de calibration optique de la caméra de tournage déterminées par le système de calibrage optique.

9. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 8, comprenant en outre au moins l'une des entités suivantes :
- un capteur inertiel (38) fixé sur la caméra de tournage, adapté pour déterminer un mouvement de la caméra de tournage, le module informatisé de repérage étant adapté
pour déterminer les données de localisation dans le référentiel réel de la caméra de tournage en outre à partir de données fournies par le capteur inertiel ;
- un étalon (25), filmable par la caméra de tournage, le module informatisé de composition étant adapté
pour mettre une image virtuelle à l'échelle de l'espace réel sur la base d'une image de l'étalon acquise par la caméra de tournage ;

- un système de détermination (43) d'un paramètre de grossissement de la caméra de tournage, le module informatisé de composition (32) étant adapté pour générer l'image composite en prenant en compte ledit paramètre.

10.Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 9, comprenant en outre un module informatisé d'animation (28), comprenant une base de données d'animations virtuelles (29), chaque animation comprenant, pour chacune d'un ensemble de trames de temps, une image tridimensionnelle exprimée dans un référentiel virtuel, le module informatisé d'animations étant adapté
pour transmettre lesdites images tridimensionnelles au module de composition (32).

11.Système de tournage de film vidéo selon la revendication 10, dans lequel le module informatisé de repérage est adapté pour transmettre le modèle tridimensionnel (21) préétabli de l'espace réel au module informatisé d'animation (28).

12.Système de tournage de film vidéo selon la revendication 10 ou 11, dans lequel le module informatisé
de composition est adapté pour générer sur l'écran de contrôle, pour chaque trame de temps, une ombre (41) de l'image virtuelle, ombre générée selon les données de localisation dans le référentiel réel de la caméra de tournage (9), et des données de localisation d'éclairage dans le référentiel réel.

13.Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 12, dans lequel pour une trame de temps ultérieure, le module informatisé de repérage (17) est adapté pour déterminer, des données de localisation dans le référentiel réel de la caméra de tournage (9) à partir également de données de localisation dans le référentiel réel de la caméra de tournage (9) pour une trame de temps antérieure.

14.Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 13, dans lequel le module informatisé de repérage comprend un module de sélection adapté pour sélectionner parmi les motifs géométriques des motifs géométriques du modèle tridimensionnel utilisables pour retrouver la position de la caméra de tournage dans l'espace 3D.

15.Système de tournage de film vidéo selon la revendication 14, dans lequel le module de sélection compare des motifs géométriques d'une image ultérieure avec des motifs géométriques d'une image antérieure, associe des motifs géométriques présents sur les deux images et immobiles dans l'espace réel, et ne conserve pas les autres motifs géométriques pour comparaison avec le modèle tridimensionnel.16. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 15, dans lequel le système de repérage comprend en outre un deuxième capteur (16') présentant au moins une caractéristique différent du premier capteur (16), choisie parmi la position, l'orientation, l'angle solide de prise de vue, la fréquence d'acquisition, l'axe optique, le champ optique.