FR2963470A1 - Procede et dispositif de montage audiovisuel - Google Patents

Abstract

Le procédé de montage audiovisuel comporte : - une étape (100) d'entrée d'une pluralité de flux de données, au moins un dit flux de données représentant une succession d'images en relief, - une étape (115) de manipulation d'un seul flux de travail formé à partir d'au moins un dit flux de données, dans un espace d'expression visé en 3D+t et - une étape (120) de génération automatique de flux 2D+t correspondant à différents points de vue de l'espace 3D+t. Dans des modes de réalisation, au cours de l'étape de génération automatique, on effectue la génération de flux 2D+t en fonction d'un dispositif de restitution d'images en relief. Dans des modes de réalisation, on associe à chaque flux des métadonnées décrivant les conditions de prise de vue de la scène originale.

Description

PROCEDE ET DISPOSITIF DE MONTAGE AUDIOVISUEL La présente invention concerne un procédé et un dispositif de montage audiovisuel. Elle s'applique, en particulier à l'industrie des programmes télévisuels, vidéo et cinématographiques. On connaît de nombreux programmes de montage audiovisuel adaptés à monter des images en deux dimensions, tels que décrits dans les documents EP 2 172 936, EP 0 709 772 etEP0713174. Le montage audiovisuel en relief est un domaine récent né de l'opportunité offerte par l'émergence des dispositifs de restitution en relief (écran ou projecteurs stéréoscopiques comme auto-stéréoscopiques) pour produire et assurer la diffusion de médias en relief à plus fort impact sur les spectateurs.

L'utilisation de logiciels de montage 2D + temps (aussi appelés « 2D+t ») comme par exemple le logiciel « Premiere Pro » d'Adobe (marques déposées) ne prennent en compte que les médias stéréo deux points de vue et ne sont, par conséquent, pas utilisables pour la production de média auto-stéréoscopiques multipoints de vue. L'un des moyens qui peut être mis en oeuvre pour obtenir un média auto- stéréoscopiques multipoints de vue consiste à utiliser un logiciel dit de « compositing » comme par exemple « After Effect » d'Adobe (marques déposées) avec gestion manuelle d'autant de pistes de sortie que nécessaire pour l'affichage sur le dispositif de diffusion choisi, avec et sans lunettes (de deux à neuf points de vue simultanés, actuellement). Ces outils présentent de nombreux inconvénients : - le maintien manuel, par le monteur, de la cohérence géométrique des flux images 2D+t de sortie est délicat et indispensable pour obtenir une bonne perception du relief des spectateurs. C'est donc le monteur qui doit s'assurer que toute modification de placement spatio-temporel d'un média sur l'un des flux de sortie est opérée de manière cohérente dans tous les autres flux, - ces outils manquent de souplesse vis à vis du dispositif de restitution de relief en aval : le montage est opéré pour un dispositif donné. Ce montage doit être mis à jour si l'on change de dispositif de restitution en relief ou si l'on doit diffuser le média final sur plusieurs dispositifs différents, par exemple une version avec lunettes et une version auto-stéréoscopique, - les opérations nécessaires sont très redondantes et fastidieuses, même pour un seul dispositif de restitution en relief en aval. En effet, il faut répéter, pour chaque flux de sortie, les opérations souhaitées. Cela engendre des risques d'incohérence et, surtout, une surcharge de travail qui nuit à la productivité et au confort du montage, - avec les outils de montage habituellement désignés "compositing", 2D+t, les effets apparents en trois dimensions « 3D+t » sont généralement obtenus par des artifices ou par projection d'objets en « 2D+t », de scenarios prédéfinis en 3D+t. Les possibilités et contrôles de la signification 3D y sont donc limités, - en ce qui concerne les flux audio il est très délicat d'assurer une forte cohérence audio-visuelle des contenus, par des manipulations totalement séparées des pistes sonores et du contenu visuel.

D'une manière générale, le montage en trois dimensions est donc fastidieux et ne permet pas de prendre en compte des caractéristiques visuelles des images en trois dimensions. On note, dès à présent, que l'invention est notamment relative aux images qui sont des entités physiques et/ou représentatives de phénomènes physiques ou de supervision de processus industriels. La présente invention vise à remédier à ces inconvénients. A cet effet, selon un premier aspect, la présente invention vise un procédé de montage audiovisuel, qui comporte : - une étape d'entrée d'une pluralité de flux de données, au moins un dit flux de données représentant une succession d'images en relief, - une étape de manipulation d'un seul flux de travail formé à partir d'au moins un dit flux de données, dans un espace d'expression visé en trois dimensions spatiales plus le temps et - une étape de génération automatique de flux en deux dimensions spatiales plus le temps, correspondant à différents points de vue de l'espace en trois dimensions spatiale plus le temps. Grâce à ces dispositions, on assure automatiquement la cohérence des flux générés parce qu'ils sont générés, en parallèle, à partir du seul et même flux/espace de travail 3D+t. De plus, on évite la redondance des opérations car ces opérations sont appliquées, en une fois, dans le flux/espace de travail 3D+t. On améliore aussi la productivité, la créativité des monteurs, et on démocratise l'accession à ces moyens de production en les rendant utilisables avec une formation au montage « relief » beaucoup plus accessible. Coté visuel, la présente invention permet une variété d'effets sans limite avec une totale maitrise de l'espace naturel de travail qui devient alors véritablement « 4D » (spatio-temporel en 3D + temps).

Selon des caractéristiques particulières, au cours de l'étape de génération automatique, on effectue la génération de flux en deux dimensions spatiales plus le temps en fonction des caractéristiques physiques d'un dispositif de restitution d'images en relief. Ainsi, on offre une grande souplesse vis à vis du dispositif de restitution en relief (stéréo ou auto-stéréoscopique) par la possibilité offerte de tenir compte de ses caractéristiques propres, en aval du processus de création, éventuellement lors de l'affichage du programme audiovisuel. Selon des caractéristiques particulières, le procédé objet de la présente invention comporte une étape de liaison de sources sonores à des médias en mouvement dans l'espace en trois dimensions spatiales plus le temps et une étape de génération de signaux sonores, en fonction de la position en trois dimensions des médias auxquels sont associés des sources sonores. Ainsi, la génération de signaux sonores est facilitée et fait automatiquement correspondre la sensation de position spatiale en trois dimensions, tant au niveau visuel qu'au niveau auditif. Selon des caractéristiques particulières, le procédé objet de la présente invention comporte une étape de définition d'une spatialisation du son à restituer dans l'espace en trois dimensions spatiales plus le temps. Grâce à chacune de ces dispositions, côté bande son, on permet de gérer naturellement la cohérence audio-visuelle des contenus, en 3D+t, en attachant par exemple des sources sonores à des médias en mouvement ou en définissant la spatialisation du son restitué en regard de cet espace de travail 3D+t. Selon des caractéristiques particulières, le procédé objet de la présente invention comporte une étape d'association, à chaque flux, de métadonnées décrivant les conditions de prise de vue de la scène originale. Grâce à ces métadonnées, le procédé peut automatiquement tenir compte des conditions de prise de vue. Selon des caractéristiques particulières, lesdites métadonnées comportent la distance focale mise en oeuvre lors de la prise de vue de la scène originale, la distance à un point fixe de la scène originale et/ou la distance entre les caméras lors de la prise de vue de la scène originale. Selon des caractéristiques particulières, au cours de l'étape de manipulation, on met en oeuvre une caméra virtuelle dont les paramètres dépendent du dispositif de restitution en relief.

Après l'importation, et lors de l'assemblage de média multi points de vue, planaires, ou de « meshes » (objets 3D), cette caméra capture la scène en respectant les conditions et les spécificités de ces médias, y compris des médias pré-calculés, comme les images relief multi-points de vue, grâce aux métadonnées associées. On note que cette faculté de faire cohabiter au sein d'un même environnement les médias pré-calculés avec les médias "dynamiques" (objets 3D) relève de la reconstruction géométrique plutôt que d'un simple processus d'assemblage.

Selon un deuxième aspect, la présente invention vise un dispositif de montage audiovisuel, qui comporte : - un moyen d'entrée d'une pluralité de flux de données, au moins un dit flux de données représentant une succession d'images en relief, - un moyen de manipulation d'un seul flux de travail formé à partir d'au moins un dit flux de données, dans un espace d'expression visé en trois dimensions spatiales plus le temps et - un moyen de génération automatique de flux en deux dimensions spatiales plus le temps, correspondant à différents points de vue de l'espace en trois dimensions spatiale plus le temps.

Les avantages, buts et caractéristiques particulières de ce dispositif étant similaires à ceux du procédé objet de la présente invention, tels que succinctement exposés ci-dessus, ils ne sont pas rappelés ici. D'autres avantages, buts et caractéristiques de la présente invention ressortiront de la description qui va suivre faite, dans un but explicatif et nullement limitatif, en regard des dessins annexés, dans lesquels : - la figure 1 représente, sous forme de logigramme, des étapes mises en oeuvre dans un mode de réalisation particulier du procédé objet de la présente invention, - la figure 2 représente, schématiquement, un mode de réalisation particulier du dispositif objet de la présente invention, - les figures 3 et 4 représentent, schématiquement, deux interfaces utilisateur, affichés sur deux écrans d'ordinateur, pour l'utilisation du procédé objet de la présente invention et - les figures 5 et 6 représentent, schématiquement, des relations d'optique géométrique mise en oeuvre dans un mode de réalisation particulier du procédé objet de la présente invention. Dans toute la description, on utilise des termes dont la définition est donnée ci-dessous : « 3D » : possédant, ou perçu comme possédant, trois dimensions spatiales (largeur, hauteur, profondeur), « Autostéréogramme » : stéréogramme ne nécessitant pas l'utilisation de dispositifs supplémentaires par le spectateur (comme des lunettes polarisantes, par exemple), « Autostéréoscopique » : terme employé pour décrire tout outil permettant la production d'autostéréogrammes, « Co-image » : représentation partielle d'une scène qui s'inscrit dans un ensemble (l'ensemble constitue une image, c'est-à-dire une représentation complète, de la scène), « Disparité » : en stéréoscopie, différence de position entre deux points homologues d'une même scène projetés sur les rétines droite et gauche; la disparité permet de calculer la distance à l'objet perçu; lorsque la différence est présente entre deux points homologues affichés sur un écran, on parlera plutôt de parallaxe, « Distance au point fixe » : distance entre un centre optique et l'intersection de son axe avec le plan de disparité zéro, c'est-à-dire le plan correspondant à l'écran de restitution tel qu'il serait placé dans l'espace de captation, « Distance inter-centre optique » : distance entre deux centres optiques consécutifs (sur l'axe vertical ou horizontal) de l'outil de capture, « Image » : représentation visuelle, ou mentale, d'une entité; du latin « imago », qui signifie « portrait », « représentation », « effigie », et qui désignait les masques mortuaires; par abus de langage, on utilise couramment le terme image pour parler d'une image 2D, « Image 2D », « image planaire » ou « image plate » : image définie dans un espace bi-dimensionnel; une image 2D n'est pas forcément perçue comme plate, elle peut fournir tous les indices extra-stéréoscopiques, « Image cyclopéenne » : image 3D mentale obtenue par le cerveau en combinant les images perçues par les deux yeux, « Image multi-vues » : image d'une scène basée sur une série de co-images; dans le cadre du format MVI (MultiView Image), une image multi-vues est un fichier qui intègre les co-images de la représentation (de façon interne ou externe), et décrit les conditions théoriques de la prise de vue, « Image relief » : image permettant la perception stéréoscopique sans traitement supplémentaire; la perception de la profondeur peut nécessiter l'utilisation d'un dispositif physique (des lunettes polarisantes, ou l'affichage sur un écran autostéréoscopique, par exemple); selon le format, le fichier image peut intégrer des informations sur la nature du procédé stéréoscopique correspondant, « Indices extra-stéréoscopiques » ou « indices monoculaires » : indices sur la profondeur qui peuvent être perçus sans l'usage de la stéréopsis (tels que les occlusions, la taille relative des objets, la perspective, les ombres, ...), « Rendu 3D » : production d'une image basée sur des données 3D; l'image produite n'est pas nécessairement une image 3D, et ne permet donc pas nécessairement la vision 3D, « Séquence d'images » : succession temporelle (avec un espacement temporel fixe) d'images 2D stockées dans des fichiers indépendants, « Séquence d'images multi-vues » : succession temporelle (avec un espacement temporel fixe) de co-images stockées dans des fichiers indépendants, « Stéréo » : préfixe, issu d'une apocope, décrivant divers phénomènes liés à la stéréoscopie, la stéréographie et la stéréophonie; le terme stéréo vient du grec stéréos, qui signifie « ferme », « dur », « solide », et, par extension de solide au sens de « volume », exprime l'idée d'un espace tridimensionnel, « Stéréogramme » : terme général qui désigne une image produisant un effet de vision 3D, « Stéréopsis » : perception de la profondeur par la vision binoculaire; processus physiologique et mental de conversion d'un couple d'images en une image cyclopéenne, « Stéréoscopie » : art et science de la création d'images permettant la perception de la profondeur d'une scène par stéréopsis, « Vision 3D » ou « vision en relief » : perception stéréoscopique et « Carte de profondeur » : image monochromatique, associée à une image 2D et décrivant la profondeur relative des pixels de l'image 2D. On utilise aussi les conventions suivantes, dans la description : Les formes verbales « est » et « doit » ainsi que leurs formes dérivées définissent des obligations. La spécification correspondante doit être respectée. La forme verbale « devrait » ainsi que ses formes dérivées définissent une recommandation. La forme verbale « peut » ainsi que ses formes dérivées définissent une option. Les scalaires utilisés dans les différents champs du média sont exprimés dans les unités de base du Système international d'unités (norme ISO 1000) : les valeurs sont des valeurs décimales; les unités multiples et sous-multiples d'une unité sont exclues. En préambule de la description, on décrit une méthode de stockage de données produites dans le cadre de prises de vues multiscopiques, qu'elles soient réelles ou virtuelles. Ces données peuvent être regroupées en deux parties : les co-images de la scène, et les paramètres théoriques de la capture (décrits par les jeux de méta-données). Le mode de stockage physique des co-images ne sera pas défini dans ce document, et reste au choix de l'utilisateur. Les seules recommandations en la matière sont, lorsque le média peut nécessiter des modifications de post-production, de stocker chaque co-image dans un fichier indépendant; cette méthode permettant d'opérer des traitements indépendants sur les vues de façon plus efficace. Lorsque le média n'est plus sensé être retouché en post-production, les co-images devraient être stockées sous la forme d'un fichier unique (format « TIFF multi-pages », par exemple); cette méthode permet de regrouper toutes les données, et donc de faciliter la transmission du média. Les paramètres théoriques de la capture décrivent la configuration du système de captation d'images. Ces paramètres sont stockés sous la forme d'un document XML (acronyme de « eXtendable Markup Language » pour langage de marquage extensible), selon la norme XML 1.1, en suivant les recommandations du World Wide Web Consortium (http ://www.w3.org/standards/techs/xml). Le choix du langage XML a été retenu pour plusieurs raisons, notamment : - les documents XML sont faciles à créer, - une spécification basée sur XML est facilement extensible, - le traitement d'un fichier XML est relativement simple à implémenter et - les documents XML sont lisibles, et donc éventuellement modifiables, par un humain. Le document XML, nommé « MVI » (pour « MultiView Image ») peut être stocké dans un fichier externe, ou bien être intégré dans la structure interne des co-images. Dans ce dernier cas, il est préférentiellement stocké dans l'entête du fichier (mono- ou multi-page). Une description de la structure (« XML Schema ») et un exemple de document sont respectivement présentées dans les annexes Al et A2. Les parties suivantes du présent document décrivent plus dans le détail les différents éléments de la structure XML.

En ce qui concerne la racine de l'arbre de la structure du document XML, elle doit à minima posséder deux noeuds fils : - « Camera » et - « Matrix ». En ce qui concerne les attributs, le noeud « MVI » doit à minima contenir l'attribut « version » qui représente le numéro de révision de la spécification, c'est-à-dire du document XML. En ce qui concerne le noeud « Camera », il décrit les paramètres propres à l'outil de captation d'image. Le noeud « Camera » peut posséder de 0 à n noeuds fils « Track » (paramètre de multiplicité). Chaque noeud « Track » représente une piste de points-clef (valeur de donnée définissant un état à un instant t donné, tricks faisant l'interpolation en fonction du nombre d'images par seconde) associée à un paramètre du système de capture. Le noeud « Camera » doit, à minima, contenir les attributs suivants : - « horizontal pitch » : pitch horizontal du capteur de la caméra, c'est-à-dire largeur en mètres d'un pixel, - « vertical pitch » : pitch vertical du capteur de la caméra, c'est-à-dire hauteur en mètres d'un pixel et - « fps » : nombre d'images capturées par seconde. Cette valeur doit être mise en rapport avec le nombre d'images affichées par seconde lors de la restitution du média. Le noeud « Camera » peut également contenir l'attribut « frame_count » représentant le nombre d'images successives (valeur par défaut, 1). Mise en rapport avec la valeur de l'attribut « fps », la valeur de l'attribut « frame_count » permet de définir la durée en secondes du média (égale au ratio de la valeur de frame_count / fps). En ce qui concerne la piste de points-clef, une piste est représentée par un noeud « Track ». Elle peut contenir de 0 à n points-clef, chacun représenté par un noeud « Key », noeud qui permet, par interpolation, de définir une animation sur le paramètre associé à la piste. La durée totale de l'animation, en nombre de frames, est définie par l'attribut « frame count » du noeud « Camera ». On note que, par l'intermédiaire d'une animation des paramètres de capture, une animation peut être définie sur une image « fixe » (variation de la région d'intérêt, de la distance au point fixe, etc.).

Le noeud « Track » doit à minima contenir les attributs suivants : - « enum » : identifiant permettant de préciser le paramètre associé à la piste; une liste des identifiants réservés est présentée dans l'annexe A3, - « key_count » : nombre de points-clef contenues dans la piste. Le noeud « Key » doit à minima contenir les attributs suivants : - « value » : valeur associée au point-clef (voir les remarques associées aux différents types réservés dans l'annexe A3), - « frame » : position du point-clef, en nombre d'images et - « interpolation » : mode d'interpolation entre les valeurs du point-clef courante et du point-clef précédent (linéaire, sinusoïdale, ...).

Afin de permettre d'étendre cette spécification en ajoutant de nouveaux types de pistes ou des méthodes d'interpolation supplémentaires, le contenu des attributs « value » et « interpolation » n'est pas contraint dans le schéma XML (les attributs sont de type « string »). En contrepartie, contrôler la validité de ces attributs est à la charge de l'implémentation de cette spécification.

La matrice des éléments est définie par le noeud « Matrix » : c'est la représentation de l'organisation des co-images, c'est-à-dire leur nombre et leurs positions relatives dans le repère de l'outil de capture. Le noeud « Matrix » doit à minima contenir les attributs suivants : - « row_count » : nombre de lignes dans la matrice de caméras, - « column count » : nombre de colonnes dans cette matrice et - « type » : booléen précisant si les images nécessitent d'être recollimatées (valeur « true » ou « 1 » dans le cas d'images non recentrées) ou non (valeur « false » ou « 0 »).

Par exemple, dans le cas d'une prise de vues réelles avec une caméra multicapteurs, chaque cellule correspond à l'image issue d'un capteur optoélectronique ou un capteur virtuel. Un élément de la matrice est représenté par le noeud « Element », qui liste et décrit l'ensemble des attributs caractérisant l'image ou la série d'images. Cet élément doit contenir les informations permettant de définir une vue du média. Le noeud « Element » doit, à minima, contenir les attributs suivants : - « row » : dans la matrice, indice de la ligne où figure l'élément (les indices commencent à la valeur « 0 »), - « column » : dans la matrice, indice de la colonne où figure l'élément (les indices commencent à la valeur « 0 ») et - « index » : dans le ficher image (voir la description de l'attribut « path » ci-dessous), indice de la page contenant les données de l'élément. Le noeud « Element » peut également contenir les attributs suivants : - « path » : chemin relatif ou absolu vers le(s) fichier(s) image contenant les données de l'élément (voir l'exemple fourni en annexe A2 pour plus de précisions); si l'attribut n'est pas renseigné, le chemin utilisé est celui du fichier contenant le document XML, - « depth_map_path » : chemin relatif ou absolu vers le(s) fichier(s) image contenant les données de la carte de profondeur pour l'élément; si l'attribut n'est pas renseigné, le chemin utilisé est celui du fichier contenant le document XML, - « depth_map_index » : dans le ficher image de la carte de profondeur associée à l'élément, indice de la page contenant les données de la carte de profondeur pour l'élément; si l'attribut n'est pas renseigné, l'élément sera considéré comme n'ayant pas de carte de profondeur et - « frame_offset » : décalage avant l'indice de la première image du plan considéré dans le cas d'une séquence d'image (valeur par défaut : « 0 »). Plus de précisions sont données en regard de l'annexe A2. On remarque, dans cette annexe A2 que, contrairement aux autres éléments, dont le champ « path » renvoie à une image simple, le dernier élément (row=1, column=3) renvoie à un dossier contenant plusieurs images. A cet effet, la syntaxe « debut_du_nom%Ondfin_du_nom » est utilisée, syntaxe dans laquelle « n » est le nombre de digits composant l'index dans le nom du fichier (dans cet exemple, en tenant compte des attributs « frame_offset » et « frame_count », les images vont donc de img7/img7_010.bmp à img7/img7_109.bmp.). Comme illustré en figure 1, dans un mode de réalisation particulier, le procédé de montage audiovisuel objet de la présente invention comporte : - une étape 100 d'entrée d'une pluralité de flux de données représentant, chacun, une succession d'images en relief, - une étape 105 d'association, à chaque flux, de métadonnées décrivant les conditions de prise de vue de la scène originale, telles que décrites ci-dessus (ces métadonnées peuvent être fournies avec le flux ou être saisis par l'utilisateur), - une étape 110 de liaison de sources sonores à des médias en mouvement dans l'espace en trois dimensions spatiales plus le temps, - une étape 115 de manipulation d'un seul flux de travail formé à partir d'au moins un dit flux de données, dans un espace d'expression visé en trois dimensions spatiales plus le temps, - une étape 120 de génération automatique de flux en deux dimensions spatiales plus le temps, correspondant à différents points de vue de l'espace en trois dimensions spatiale plus le temps et - une étape 125 de génération de signaux sonores, en fonction de la position en trois dimensions des médias auxquels sont associés des sources sonores. Pour réaliser les co-images, au cours de l'étape 120, on met en oeuvre une caméra virtuelle dont les paramètres dépendent des spécificités de chaque écran de restitution (nombre de points de vue, définition de chaque image élémentaire, mixage des données). Après l'importation, et lors de l'assemblage de médias multi points de vue, planaires, ou de meshes (objets 3D), cette caméra virtuelle capture la scène : - en prenant en compte les conditions de captation originale des médias multi points de vue, à condition que le jeu de méta données MVS soit fourni avec les médias correspondant ou saisi par l'opérateur et - en respectant les conditions et les spécificités de ces médias, y compris des médias pré-calculés (comme les images relief multi points de vue) en mettant en oeuvre le jeu de métadonnées décrites ci-dessus.

Cette faculté de faire cohabiter au sein d'un même environnement les médias pré-calculés et les médias "dynamiques" (objets 3D) relève de la reconstruction géométrique en plus d'un simple processus d'assemblage. Voir, à ce propos, l'annexe A4. On manipule ainsi un seul flux de travail, dans le véritable espace d'expression visé, en 3D+t, plutôt que dans ses "projections 2D+t" et on automatise, à la sortie, la génération des flux 2D+t correspondant à chacune des vues nécessaires à la restitution relief multi points de vue. La mise en oeuvre de la présente invention : - assure la cohérence des flux de sortie : génération automatique de ces flux en sortie à partir du seul et même flux de travail 3D+t, - offre une grande souplesse vis à vis du dispositif de restitution relief (stéréo ou auto-stéréoscopique) par la possibilité offerte de choisir ses caractéristiques propres en aval du processus de création, - annule la redondance opératoire : chaque opération est appliquée en une fois dans le flux 3D+t de travail, - améliore la productivité, la créativité des monteurs, et démocratise l'accession à ces moyens de production en les rendant utilisables avec une formation au montage « relief » beaucoup plus accessible, - coté visuel, 3D Tricks permet une variété d'effets sans limite dans un espace naturel de travail qui devient alors véritablement « 4D » (spatio-temporel : 3D + temps) et - par ailleurs, coté bande son, cela permet aussi de gérer naturellement la cohérence audio-visuelle des contenus, en 4D, en attachant par exemple des sources sonores à des médias en mouvement ou en définissant la spatialisation du son restitué en regard de cet espace de travail 4D. Techniquement : - à la différence des autres outils de "compositing", 3D-Tricks permet de prendre en charge la spécificité géométrique des médias relief multi points de vue (se référer au schéma en annexe A4 ainsi qu'aux spécifications MVI/MVS des autres annexes) grâce à un jeu de métadonnées décrivant les conditions de prise de vue de la scène originale (longueur focale, distance au point fixe, espace inter-caméra), et ce, qu'il s'agisse d'une captation réelle ou virtuelle. Ces informations permettent au logiciel d'assembler des médias différents (objets géométriques 3D, images 2D, images multi-points de vue, modèles géométriques reconstitués à partir de cartes de disparité associées à des images 2D ou des images multipoints de vue), - le logiciel possède sa propre caméra multi points de vue virtuelle dont les caractéristiques sont déterminées par l'ensemble de facteurs évoqués dans le document en annexe, paragraphe 1 et - le logiciel permet également de travailler dans une zone de confort relief appelée « relation complémentaire » (voir annexe A4). Les médias présents au sein de la zone définie par cette relation complémentaire ne présentent pas de disparité trop importante et sont donc « acceptables » par l'oeil humain. Comme illustré en figure 2, dans un mode de réalisation, le dispositif de montage audiovisuel objet de la présente invention comporte : - un moyen 205 d'entrée d'une pluralité de flux de données représentant, chacun, une succession d'images en relief, - un moyen 210 de manipulation d'un seul flux de travail formé à partir d'au moins un dit flux de données, dans un espace d'expression visé en trois dimensions spatiales plus le 35 temps et - un moyen 215 de génération automatique de flux en deux dimensions spatiales plus le temps, correspondant à différents points de vue de l'espace en trois dimensions spatiale plus le temps. Par exemple, ces moyens 205 à 215 sont constitués d'un ordinateur à usage général 220 muni d'une mémoire non volatile conservant un logiciel implémentant le procédé objet de la présente invention, associé à un écran 225 d'affichage en deux dimensions et à un écran 230 d'affichage en trois dimensions. Le dispositif comporte, préférentiellement aussi constitués par l'ordinateur et le logiciel mais non représentés, un moyen de liaison de sources sonores à des médias en mouvement dans l'espace en trois dimensions spatiales plus le temps, un moyen de génération de signaux sonores, en fonction de la position en trois dimensions des médias auxquels sont associés des sources sonores et un moyen d'association, à chaque flux, des métadonnées décrivant les conditions de prise de vue de la scène originale. Comme illustré en figure 3, sur l'écran d'affichage en deux dimensions sont représentés, dans une interface utilisateur : - une représentation 250, depuis un seul point de vue, des éléments constitutifs de la scène animée, - une représentation 255, des médias utilisés et des paramètres généraux de l'animation, communs à tous les médias et - une représentation 260 de l'animation, pour chacun des médias (les « pistes »), et de la succession de points-clefs de la caméra virtuelle. En utilisant les icônes 265 associés à la représentation 250, l'utilisateur peut déplacer, dans les trois dimensions, le point de vue utilisé pour réaliser la représentation 250 et les éléments que représentent chacun des médias ainsi que la position de la caméra virtuelle. En déplaçant la barre verticale 270 représentant la position, dans la durée de la séquence destinée à être restituée, l'utilisateur provoque l'affichage, dans la représentation 250 et dans la représentation de restitution 275 affichée sur l'écran autostéréoscopique 230, de la scène à cet instant de la séquence.

C'est aussi avec la représentation 260 que les points-clefs des objets et des positions de la caméra virtuelle sont définis ou représentés ainsi que les interpolations suivies entre eux. L'étape de manipulation 115 s'effectue ainsi avec les interfaces illustrées en figures 3 et 4. L'étape 120 est, ensuite, basée sur des calculs trigonométriques connus de l'homme du métier et appliqués tant aux objets en trois dimensions qu'aux co-images des médias d'entrée.

La liaison entre des sources sonores et des éléments de l'animation représentés par les médias, étape 110, s'effectue avec les mêmes interfaces illustrées en figures 3 et 4. Enfin, l'étape 125 s'effectue, par exemple, en associant à la caméra virtuelle, des microphones virtuels positionnés de part et d'autre de cette caméra virtuelle. 14 Annexes

Annexe Al : Description de la structure d'un média multi-vues <?xml version="1.0" encoding="iso-8859-1"?> <xs :schema elementFormDefault="qualified" attributeFormDefault="unqualified" xmins :xs="http :fiwww.w3.org/2001/XMLSchema"> <xs :element name="MVI"> <xs :complexType> <xs :sequence> <xs :element ref="Camera" /> <xs :element ref="Matrix" /> <xs :element minOccurs="O" ref="Comment" /> </xs :sequence> <xs :attribute name="version" type="xs :positivelnteger" use="required" /> </xs :complexType> </xs :element> <xs :element name="Camera"> <xs :complexType> 20 <xs :sequence> <xs :element minOccurs="O" maxOccurs="unbounded" ref="Track" /> </xs :sequence> <xs :attribute name="horizontal pitch" type="xs :decimal" use="required" /> <xs :attribute name="vertical_pitch" type="xs :decimal" use="required" /> 25 <xs :attribute default="1" name="frame_count" type="xs :positivelnteger" /> <xs :attribute name="fps" type="xs :decimal" use="required" /> </xs :complexType> </xs :element> <xs :element name="Track"> 30 <xs :complexType> <xs :sequence> <xs :element minOccurs="O" maxOccurs="unbounded" ref="Key" /> </xs :sequence> <xs :attribute name="enum" type="xs :nonNegativelnteger" use="required" /> 35 <xs :attribute name="key_count" type="xs :nonNegativelnteger" use="required" /> </xs :complexType> </xs :element> <xs :element name="Key"> <xs :complexType> <xs :attribute name="value" type="xs :string" use="required" /> <xs :attribute name="frame" type="xs :integer" use="required" /> <xs :attribute name="interpolation" type="xs :string" use="required" /> </xs :complexType> </xs :element> <xs :element name="Matrix"> <xs :complexType> <xs :sequence> <xs :element minOccurs="0" maxOccurs="unbounded" ref="Element" /> </xs :sequence> <xs :attribute name="row_count" type="xs :positivelnteger" use="required" /> <xs :attribute name="column_count" type="xs :positivelnteger" use="required" /> <xs :attribute name="type" type="xs :boolean" use="required" /> </xs :complexType> </xs :element> <xs :element name="Element"> <xs :complexType> <xs :attribute name="row" type="xs :nonNegativeInteger" use="required" /> <xs :attribute name="column" type="xs :nonNegativeInteger" use="required" /> 9/12 <xs :attribute default="" name="path" type="xs :string" /> <xs :attribute name="index" type="xs :nonNegativeInteger" use="required" /> <xs :attribute default="" name="depth_map_path" type="xs :string" /> <xs :attribute default="-1" name="depth_map_index" type="xs :integer" /> <xs :attribute default="0" name="frame_offset" type="xs :nonNegativeInteger" /> </xs :complexType> </xs :element> <xs :element name="Comment" type="xs :string" /> 16 Annexe A2 : Exemple de document MVI

<?xml version="1.1" encoding="iso-8859-1"?> <!DOCTYPE MVI> <MVI version="2" xmins :xsi="http ://www.w3.org/2001/XMLSchema-instance" xsi :schemaLocation="mvi.xsd"> <Camera horizontal_pitch="0.000008" vertical pitch="0.000008" frame_count="100" fps="25.000000"> <Track enum="0" key_count="1 "> <Key value="2.900000" frame="0" interpolation="1.000000"/> </Track> <Track enum="1" key_count="1 "> <Key value="0.065000" frame="0" interpolation="1.000000"/> </Track> <Track enum="2" key_count="1 "> <Key value="0.065000" frame="0" interpolation="1.000000"/> </Track> <Track enum="3" key_count="1 "> <Key value="0.029000" frame="0" interpolation="1.000000"/> </Track> <Track enum="4" key_count="3"> <Key value="0.026596 :0.009500 :0.945479 :0.887000" frame="0" interpolation=" 1.000000"/> <Key value="0.025931 :0.268500 :0.531915 :0.500000" frame="40" interpolation="1.000000"/> <Key value="0.720080 :0.168500 :0.265957 :0.250000" frame="90" interpolation=" 1.000000"/> </Track> </Camera> <Matrix row_count="2" column_count="4" type="1 "> <Element row="0" column="0" path="img0.bmp" index="0" depth_map_path="depth0.bmp" depth_map_index="0"/> <Element row="0" column="1" path="imgl .bmp" index="0" depth_map_path="depth 1.bmp" depth_map_index="0"/> <Element row="0" column="2" path="img2.bmp" index="0" depth_map_path="depth2.bmp" depth_map_index="0"/> <Element row="0" column="3" path="img3.bmp" index="0" depth_map_path="depth3.bmp" depth_map_index="0"/> <Element row="1" column="0" path="img4.bmp" index="0" depth_map_path="depth4.bmp" depth_map_index="0"/> <Element row="1" column="1" path="img5.bmp" index="0" depth_map_path="depth5.bmp" depth_map_index="0"/> <Element row="1" column="2" path="img6.bmp" index="0" depth_map_path="depth6.bmp" depth_map_index="0"/> <Element row="1" column="3" path="img7/img7_%03d.bmp" index="0" depth_map_path="depth7/depth7_%03d.bmp" depth_map_index="0" frameoffset="10"/> </Matrix> <Comment>Ceci est un exemple de document MVI.</Comment> </MVI> Annexe A3 : Table des identifiants de piste réservés et remarques associées Valeur Description Remarques 0 Distance au point Distance du centre optique au plan de collimation de la fixe scène; supérieure à 0 (1 par défaut) 1 Distance inter- Distance entre deux centres optiques consécutifs d'une centre optique même ligne (0 par défaut) horizontale 2 Distance inter- Distance entre deux centres optiques consécutifs d'une centre optique même colonne (0 par défaut) verticale 3 Distance focale Distance du capteur au centre optique; supérieure à 0 (1 par défaut) 4 Région d'intérêt La région d'intérêt est représentée par quatre valeurs réelles (position en x et y, largeur, hauteur) séparé par le caractère « : »; les valeurs correspondent à des coordonnées en pourcentage de la taille de la co-image courante (0:0:1:1 par défaut) Décalage sur la Ce décalage s'ajoute à la distance au point fixe; il peut distance au point permettre de gérer un recentrement en post-traitement sur fixe des images déjà recollimatées (0 par défaut) Annexe A4

1. Modèle de caméra: Soit un système de capture multi-vues à axes optiques parallèles et zones de captation décentrées défini par les paramètres suivants: b écartement binoculaire (environ 65 mm pour les humains adultes). B distance entre centres optiques consécutifs. d distance optimale d'observation de l'écran de restitution d'image. - D distance au point fixe par rapport au plan de collimation. - f distance focale. - 1 largeur de la zone d'intérêt du capteur (I< largeur du capteur). L largeur de la zone d'intérêt de l'écran (L < largeur de l'écran). L - b largeur du plan de collimation. e facteur d'échelle (effet de grossissement global). p facteur de perspective (effet « grand angle »). -disp facteur de disparité (effet d'accentuation/atténuation du relief). Ces paramètres permettent de spécifier la géométrie de capture à partir des relations suivantes: Lb= Le D=dep B=bepdisp f dp L Quand e augmente (ou diminue), la distance au point fixe et la taille du plan de collimation augmentent (ou, respectivement, diminuent), comme illustré en figure 5. Quand P augmente (ou diminue), la distance au point fixe et la distance focale augmentent (ou, respectivement, diminuent), comme illustré en figure 6. Dans ces deux figures, le capteur d'image est représenté à gauche et l'objet à droite.

Le point de croisement des rayons lumineux représente le centre optique de l'objectif. 19 Quand d i s P augmente (ou diminue), la distance inter-centre optique augmente (ou diminue), et le relief est accentué (ou, respectivement, atténué).

En ce qui concerne le décentrement, afin de permettre une visée convergente, chaque capteur est décentré de son centre optique d'une valeur d e ci définie par: 5 dec; = (i- (n-1)12) x a

Où i est le numéro de l'optique, n est le nombre total d'optique et a est la valeur de décentrement unitaire obtenue par la relation: a= B f D Relation complémentaire : soit un point (x, y, z, 1) dans l'espace de l'écran et un point 10 (X, Y, Z, 1) dans l'espace de la scène, z et Z sont liés par la relation : Z = de/(disp (1 + d/z) - 1/p) soit disp = «de/Z) + 1/p) / (1 + d/z)

Claims (10)

1. REVENDICATIONS1. Procédé de montage audiovisuel, caractérisé en ce qu'il comporte : - une étape (100) d'entrée d'une pluralité de flux de données, au moins un dit flux de données représentant une succession d'images en relief, - une étape (115) de manipulation d'un seul flux de travail formé à partir d'au moins un dit flux de données, dans un espace d'expression visé en trois dimensions spatiales plus le temps et - une étape (120) de génération automatique de flux en deux dimensions spatiales plus le temps, correspondant à différents points de vue de l'espace en trois dimensions spatiale plus le temps.
2. 2. Procédé selon la revendication 1, dans lequel, au cours de l'étape (120) de génération automatique, on effectue la génération de flux en deux dimensions spatiales plus le temps en fonction des caractéristiques physiques d'un dispositif de restitution d'images en relief.
3. 3. Procédé selon l'une quelconque des revendications 1 ou 2, qui comporte une étape (110) de liaison de sources sonores à des médias en mouvement dans l'espace en trois dimensions spatiales plus le temps et une étape (125) de génération de signaux sonores, en fonction de la position en trois dimensions des médias auxquels sont associés des sources sonores.
4. 4. Procédé selon l'une quelconque des revendications 1 à 3, qui comporte une étape de définition d'une spatialisation du son à restituer dans l'espace en trois dimensions spatiales plus le temps.
5. 5. Procédé selon l'une quelconque des revendications 1 à 4, qui comporte une étape (105) d'association, à chaque flux, de métadonnées décrivant les conditions de prise de vue de la scène originale.
6. 6. Procédé selon la revendication 5, dans lequel lesdites métadonnées comportent la distance focale mise en oeuvre lors de la prise de vue de la scène originale, la distance à un point fixe de la scène originale et/ou la distance entre les caméras lors de la prise de vue de la scène originale.
7. 7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel, au cours de l'étape (115) de manipulation, on met en oeuvre une caméra virtuelle dont les paramètres dépendent du dispositif de restitution en relief.
8. 8. Dispositif de montage audiovisuel, caractérisé en ce qu'il comporte : - un moyen (205) d'entrée d'une pluralité de flux de données, au moins un dit flux de données représentant une succession d'images en relief, - un moyen (210, 225 à 275) de manipulation d'un seul flux de travail formé à partir d'au moins un dit flux de données, dans un espace d'expression visé en trois dimensions spatiales plus le temps et - un moyen (215) de génération automatique de flux en deux dimensions spatiales plus le temps, correspondant à différents points de vue de l'espace en trois dimensions spatiale plus le temps.
9. 9. Dispositif selon la revendication 8, qui comporte un moyen de liaison de sources sonores à des médias en mouvement dans l'espace en trois dimensions spatiales plus le temps et un moyen de génération de signaux sonores, en fonction de la position en trois dimensions des médias auxquels sont associés des sources sonores.
10. 10. Dispositif selon l'une quelconque des revendications 8 ou 9, qui comporte un moyen d'association, à chaque flux, de métadonnées décrivant les conditions de prise de vue de la scène originale.15