FR3083413A1

FR3083413A1 - Procede de montage audiovisuel

Info

Publication number: FR3083413A1
Application number: FR1855825A
Authority: FR
Inventors: Lena Roudaut
Original assignee: My Movieup
Current assignee: My Movieup
Priority date: 2018-06-28
Filing date: 2018-06-28
Publication date: 2020-01-03

Abstract

L'invention concerne un procédé de montage audiovisuel comportant ; - une étape (100) d'entrée d'une pluralité de flux de données, - une étape (105) de manipulation d'une première couleur définit par trois valeurs numériques compris entre 0 et 255 dans l'espace colorimétrique RVB correspond respectivement à la couleur Rouge, Vert et Bleu, la première valeur étant défini comme étant Rc1, la deuxième valeur étant défini comme étant Vc1, la troisième valeur étant défini comme étant Bci, - une étape (110) de calcul de la proportion de rouge, vert et bleu à partir des valeurs numériques Rc1, Vc1, et Bc1 pour une première couleur issues de l'étape b); - une étape (115) d'application des valeurs calculées à l'étape c) à un flux de données à coloriser, - une étape (120) de génération du flux de données colorisées par-dessus au moins un des flux de données de l'étape a).

Description

DOMAINE TECHNIQUE DE L’INVENTION

La présente invention concerne un procédé de montage audiovisuel.

Elle concerne plus précisément le domaine du montage vidéo. De façon connue, le montage vidéo consiste à réaliser la composante visuelle d'un film à partir d'une pluralité de contenus audiovisuels.

ÉTAT DE LA TECHNIQUE

On connaît de nombreux programmes de montage audiovisuel adaptés à monter des images en deux dimensions.

L'un des moyens qui peut être mis en oeuvre pour obtenir un media auto-stéréoscopiques multipoints de vue consiste a utiliser un logiciel dit de «compositing», comme par exemple «After Effect», d'Adobe (marques déposées).

Ces outils présentent de nombreux inconvénients :

- le montage manuel, par le monteur, de la cohérence géométrique des flux images en deux dimensions et la gestion des couleurs pour obtenir un bon rendu spectateur. C'est le monteur qui doit s'assurer que toute modification de placement spatio-temporel, couleur d'un média sur l'un des flux de données, retouche colorimétrique et sonore. La maîtrise du logiciel est donc indispensable, ce qui n’est pas possible pour quelqu’un qui n’a pas de réelles notions de montage et de compositing,

- les opérations nécessaires sont très redondantes et fastidieuses et les temps de délivrance aux clients sont donc très élevés,

- avec les outils de montage habituellement désignés par deux dimensions plus le temps comme par exemple le logiciel « Première Pro », d'Adobe (marques déposées), sont généralement obtenus par des artifices ou par projection d'objets en deux dimensions avec des scénarios prédéfinis en trois dimensions plus temps. Les possibilités de modifier les couleurs ou gérer un environnement 3D est impossible ou complexe,

- des outils de montage sur deux dimensions spatiales plus le temps, ne permettent pas le mapping 3D d’un panorama dans une sphère, il n’est donc pas possible d’y réaliser des rush (défini ci-après) vidéos à partir de contenu panoramique,

- les outils de montage utilisant les 3 dimensions plus le temps (Comme After Effects) sont souvent très complexes à utiliser car il est souvent nécessaire de réaliser soi-même la définition des clés sans être contraint par des règles. Il est tout aussi nécessaire d’avoir des connaissances sur la gestion des textures. Il nécessite par conséquent de nombreuses actions successives par le monteur et souvent de nombreux ajustements pour obtenir le résultat voulu.

D'une manière générale, le montage en deux dimensions plus le temps est donc fastidieux et ne permet ni de prendre en compte des caractéristiques visuelles des images en trois dimensions ni de modifier des couleurs. La transformation de couleurs sur des logiciels de ce type est possible mais encore une fois complexe et fastidieuse. L’utilisation de design réalisé avec des couleurs non primaire ne permettrait pas l’obtention des couleurs de nos utilisateurs, mais il est possible de s’en rapprocher avec certains de leurs outils. Cependant seul l’œil humain pourra alors définir si la couleur est conforme ou non.

Il existe le rendu Pré-calculé qui permet d’obtenir les meilleurs résultats possible en calculant tous les éléments de la scène (éléments 3D, lumières, textures). Pour chaque position de la caméra, le calcul va se réaliser exactement de la même manière et donc dans les mêmes délais. Ce type de rendu est très utilisé dans le cinéma car il permet de s’approcher au mieux d’une qualité dite “Photo-Réaliste” (le plus réaliste possible et proche de ce que l’on pourrait obtenir par une photo dans la réalité). Cependant il est très chronophage, en effet une seule image prend souvent plusieurs heures de calcul, en sachant qu’une seconde de vidéo dans un système classique contient 30 images par secondes, une animation d’environ 4 secondes nécessite 120 images, le rendu de cette animation prendrai donc au moins 2 jours de calcul. Il n’était donc pas envisageable que nous choisissions ce type de solution, trop coûteuse en temps.

On note, dès à présent, que l'invention est notamment relative aux images qui sont des entités physiques et/ou représentatives de phénomènes physiques ou de supervision de processus industriels.

OBJET DE L’INVENTION

La présente invention vise à remédier à ces inconvénients.

A cet effet, la présente invention vise un procédé de montage audiovisuel remarquable en ce qu’il comporte :

- a) une étape d’entrée d’une pluralité de flux de données, au moins un dit flux de données représentant une image, un panorama, une vidéo ou réalisée à partir d’image à 360°,

- b) une étape de manipulation d’une première couleur définit par trois valeurs numériques compris entre 0 et 255 dans l’espace colorimétrique RVB correspond respectivement à la couleur Rouge, Vert et Bleu, la première valeur étant défini comme étant Rci, la deuxième valeur étant défini comme étant Vci, la troisième valeur étant défini comme étant Bci,

- c) une étape de calcul de la proportion de rouge, vert et bleu à partir des valeurs numériques Rci, Vci, et Bci pour une première couleur issues de l’étape b) selon la matrice M1 suivante :

Rci

25? = ^KC[O]

Vc.

M¹'¹

Bci

M¹² (1 - fic[0]) (1 - MO]) = 7c[0] = Bc[0] (1 - fic[l]) (1 ~/?c[l]) = Vc[l] = Bc[l] (1 - «C[2D (1 - 7?c[2]) = Vc[2] = Bc[2]

- d) une étape d’application des valeurs calculées à l’étape c) à un flux de données à coloriser, au moins un dit flux de données à coloriser représentant une image ou une expression, selon un filtre colorimétrique constitué de la manière suivante :

filtre colorimétrique = Rf : Vf : Bf avec Rf étant défini par les valeurs de la matrice Rc[0] : Vc[0] : Bc[0], Vf étant défini par les valeurs de la matrice Rc[1 ] : Vc[1] : Bc[1 ], et Bf étant défini par les valeurs de la matrice Rc[2] : Vc[2] : Bc[2], le flux de données à coloriser devenant le flux de données colorisées,

- e) une étape de génération du flux de données colorisées par-dessus au moins un des flux de données de l’étape a).

Grâce à ces dispositions, il est possible de monter n'importe quel type de média provenant de sources différentes (Vidéo, images et visite virtuelle) sans avoir de compétence particulière. Il y a un gain de temps et de nombreuses possibilités.

L'avantage de n'utiliser qu'une seule couleur est que la cohérence graphique est respectée, la couleur principale de notre usager est conservée sans accompagnement de couleurs qui potentiellement ne vont pas ensemble.

Le filtre colorimétrique s’écrit de la manière suivante filtre colorimétrique = Rc [0] : Vc[0] : Bc[0] : Rc[1] : Vc[1] : Bc[1] : Rc[2] : Vc[2] : Bc[2],

L’image colorisée est par exemple un bandeau sur lequel est mentionné une indication. Selon un exemple, il est possible d’indiquer sur des images représentant un bien immobilier de situer l’intérieur de l’extérieur. La police de cette expression (intérieur ou extérieur) peut également être colorisée pour aller avec la cohérence graphique de l’ensemble de la vidéo.

L’invention est avantageusement mise en œuvre selon les modes de réalisation et les variantes exposées ci-après, lesquelles sont à considérer individuellement ou selon toute combinaison techniquement opérante.

Dans un mode de réalisation, à l’étape b), si une valeur numérique d’une couleur est donnée en hexadécimal composée de six chiffres mémorisés sur trois octets, ladite valeur est transformée en trois valeurs numériques dans l’espace colorimétrique RVB.

La notation colorimétrique la plus courante sur les navigateurs web est la notation hexadécimale. Les sociétés créant des chartes graphiques fournissent aussi toujours ces données, que ce soit hexadécimal ou RVB. Il est donc relativement aisé pour nos clients de trouver les informations. Il existe aussi de nombreux plugin sur les navigateurs permettant le pipetage dans une photo de la couleur d'un logo par exemple. Les résultats sont là aussi donnés en général en hexadécimal et en RVB.

Dans un mode de réalisation, le procédé comporte :

- l’étape b) de manipulation comporte une deuxième couleur définit par trois valeurs numériques compris entre 0 et 255 dans l’espace colorimétrique RVB correspondant respectivement à la couleur Rouge, Vert et Bleu, la première valeur étant définie comme étant Rc2, la deuxième valeur étant défini comme étant Vc2, la troisième valeur étant défini comme étant Bc2,

- l’étape c) est remplacée par une étape de calcul de la proportion de rouge, vert et bleu à partir des valeurs numériques Rci, Vci, Bci, Rû2, Vc₂, et Bc₂ pour une première couleur et une deuxième couleur issues de l’étape b) selon la matrice M2 suivante :

ffCi

255 = ^{Re 101}

Rc_{2 r} ,

255 = ^1/2101 .1 — Æc[0] -Fc[0] = Bc[0] ^=^R211] â^=M1] — Æc[l] - Fc[l] = Bc[l] ^BC1 r 1 1

255 = ^RC121

Bc₂

255 = ^1/2121

-ffc[2] -Fc[2] = Bc[2]_

L'utilisation de deux couleurs permet une plus grande variété dans les templates. En effet, une charte graphique est souvent composée de deux ou trois couleurs principales qui sont cohérentes. L’utilisateur peut alors améliorer la qualité des habillages en utilisant ces deux couleurs et adapter le rendu vidéo à ses propres couleurs.

Dans un mode de réalisation, le procédé comporte :

- l’étape b) de manipulation comporte une quatrième valeur numérique alpha compris entre 0 et 1, la quatrième valeur étant défini comme étant Ac,

- la matrice M1 de l’étape c) est remplacée par la matrice suivante : Γ «G

255 = ^⁰¹

M2 _{= Kc[0]}

----= Bc[0] = Ac[0] et la matrice M2 de l’étape c) est remplacée par la matrice suivante :

Γ ^Rcr r 1 ^=^R2[01

Rc_{2 r Ί} ^1/2101 — 7?c[0] - Vc[0] = Bc[0] = 4c[0]

Vc.

^™ = v_c[1]

-----= Bc[l] = Ac[l]

Ben

25h^Kc[2] ^12 = W] _{= M2]} =Ac[2] = Æc[3] = 7c[3] = Bc[3] = Ac[3]_ ^Vci

255 =*^C[1]Vc₂

25I^=VC[1] — 7?c[l] - Vc[l] = Bc[l] 0 =4c[l]

Bc,

TST=^R2[21

Bc₂sf=^1/2121 — 7?c[2] - Vc[2] = Bc[2] 0 = Ac[2] = 7?c[3] = Vc[3] = Bc[3] = 4c[3].

le filtre colorimétrique de l’étape d) est complété avec les valeurs de Ac soit :

filtre colorimétrique = Rf : Vf : Bf : Af avec Rf étant défini par les valeurs de la matrice Rc[0] : Vc[0] : Bc[0] de la matrice Rc[1] : Vc[1] : Bc[1] de la matrice Rc[2] : Vc[2] : Bc[2]

Ac[0], Vf étant défini par les valeurs

Ac[1], Bf étant défini par les valeurs

Ac[2], Af étant défini par les valeurs de la matrice Rc[3] : Vc[3] : Bc[3] : Ac[3].

Cette quatrième valeur permet de définir la transparence dans une image. La grande majorité du temps, les éléments des templates contiennent de la transparence. Si un template fait 200x200 pixels, c'est toute cette zone qui deviendrait opaque, et donc tous les éléments derrière seraient invisibles. Hors il est important de conserver un maximum de visibilité sur les médias.

Dans un mode de réalisation, le procédé comporte :

- une étape de manipulation d’un seul flux de travail formé à partir d’au mois un dit flux de données de l’étape a), dans un espace d’expression visé en trois dimensions spatiales plus le temps, au cours de cette étape il est utilisé une caméra virtuelle qui a soit :

une première capacité de réaliser des rotations selon les trois axes, lesdits trois axes étant horizontal, vertical et profondeur, et est fixe sur lesdits trois axes, soit, une deuxième capacité de se mouvoir sur les trois axes, horizontal, vertical et profondeur et fixe sur les rotations desdits trois axes.

Dans un mode de réalisation, le procédé comporte :

- une étape de gestion d’un environnement à 360° utlisant la première capacité de la caméra virtuelle et d’un flux de données en trois dimensions spatiales à partir d’un panorama ou d’une vidéo à 360°, au cours de cette étape de gestion d’un environnement à 360° il est définit un point de départ P1 (x1, y1 et z1 ), un point d’arrivé P2(x2, y2 et z2) sur ledit flux en trois dimensions spatiales, et un temps,

- une étape de calcul de positions intermédiaires, correspondant à différents points de vue de l’espace en trois dimensions spatiales plus le temps entre le point de départ et le point d’arrivé sur le flux en trois dimensions spatiales.

L'avantage est que nous pouvons recréer l'environnement à 360° sans déformation de l'image. Nous pouvons donc générer une vidéo de qualité dans laquelle nos utilisateurs peuvent choisir les positions les plus intéressantes. Certains de nos clients choisissent avec soin ces plans pour ne pas montrer des éléments indésirables.

Dans un mode de réalisation lié au précédent, au cours de l’étape du calcul des positions intermédiaires, soit un écart identique entre les différentes positions du flux en trois dimensions spatiales, soit une augmentation du nombre des positions intermédiaires à proximité du point de départ et du point d’arrivé.

Le calcul des positions intermédiaires permet la fluidité de l'animation. Que ce soit sur une animation linéaire ou amortie, la gestion des positions intermédiaires garantie la qualité de la vidéo finale. L'avantage de l'animation linéaire et qu'elle conserve la dynamique, l'animation avec amortie, elle conserve une certaine esthétique en début ou en fin de séquence vidéo. Les séquences intermédiaires sont donc toujours linéaires.

Dans un autre mode de réalisation, le procédé comporte :

- une étape de gestion d’un environnement en trois dimensions utilisant au moins un objet planaire utilisant la deuxième capacité de la caméra virtuelle et d’un flux de données en deux dimensions spatiales à partir d’une vidéo ou d’une image, au cours de cette étape de gestion d’un environnement en trois dimensions utilisant au moins un objet planaire il est définit un point de départ P1 (x1, y1 et z1 ), un point d’arrivé P2(x2, y2 et z2) sur ledit flux en deux dimensions spatiales, et un temps,

- une étape de calcul de positions intermédiaires, correspondant à différents points de vue de l’espace en trois dimensions spatiales plus le temps entre le point de départ et le point d’arrivé sur le flux en deux dimensions spatiales.

Dans un mode de réalisation lié au précédent, au cours de l’étape du calcul des positions intermédiaires, soit un écart identique entre les différentes positions du flux en deux dimensions spatiales, soit une augmentation du nombre des positions intermédiaires à proximité du point de départ et du point d’arrivé.

Concernant la gestion des panoramas 360, nous mappons sur une sphère car c'est l'élément 3D qui représente notre environnement à 360°. La base d'une sphère c'est que tous les points de cette sphère sont à égale distance du point central, et dans notre cas du capteur de l'appareil photo. La création d'un panorama sphérique se réalise par l'assemblage de multiple photo de points de vue différents mais dont le point commun est l'origine dans l'espace physique. Chaque prise de vue est prise exactement au même endroit si ce n'est avec un angle différent.

Concernant la gestion d'une image, il s'agit d'un seul point de vue, et ce point de vue contient déjà en parti des déformations liées à l'objectif de l'appareil photo. II n'est donc pas nécessaire d'y ajouter une déformation. Et il ne faut donc pas toucher à la distance focale car celle-ci altérerai la focale initiale, celle utilisée lors de la prise de vue. Donc nous utilisons une caméra avec une focale standard. Etant donné qu'il s'agit d'une photo, elle est donc plate d'où l'environnement en trois dimensions utilisant au moins un objet planaire.

Dans un mode de réalisation le procédé comporte :

- une étape de stockage du flux de données sur un serveur à distance,

- une étape de rendu à partir des données stockées à distance et des informations du point de départ P1, du point d’arrivé P2 et du temps, ladite étape de rendu traite le calcul de chaque image sur le serveur créant un environnement graphique selon la spécification OpenGL(marque déposée).

Ainsi la solution est le rendu Temps-réel qui permet de réaliser un rendu de manière quasi immédiate, c’est-à-dire à au moins 30 images par secondes. II s’agit d’un type de rendu qui permet le rendu de manière fluide et très rapide. En utilisant ce type de rendu, nous avons un gain de temps conséquent nous permettant d’offrir un service de qualité.

BRÈVE DESCRIPTION DES FIGURES

D’autres avantages, buts et caractéristiques de la présente invention ressortent de la description qui suit faite, dans un but explicatif et nullement limitatif, en regard des dessins annexés, dans lesquels :

- la figure 1 représente, sous forme de logigramme, des étapes mises en oeuvre dans un mode de réalisation particulier du procédé objet de la présente invention,

- la figure 2 représente, sous forme de logigramme, des étapes mises en oeuvre dans un deuxième mode de réalisation particulier du procédé objet de la présente invention,

- la figure 3 représente un schéma avec des éléments d’un mode de réalisation particulier du procédé de montage audiovisuel objet de la présente invention,

- la figure 4 représente un autre schéma avec des éléments d’un mode de réalisation particulier du procédé de montage audiovisuel objet de la présente invention,

- la figure 5 représente un autre schéma avec des éléments d’un mode de réalisation particulier du procédé de montage audiovisuel objet de la présente invention.

DEFINITIONS

Dans toute la description, on utilise des termes dont la définition est donnée ci-dessous :

« 3D >> : possédant, ou perçu comme possédant, trois dimensions spatiales (horizontal, vertical, profondeur).

« Color channel mixer >> : pour mélangeur de canal de couleur en français, qui est un filtre permettant la modification de couleurs en utilisant une matrice.

« Distance focale >> : La distance focale défini la distance entre le foyer et la lentille de la caméra. Le foyer est le point de convergence des rayons lumineux dirigés depuis la lentille. Modifier cette distance permet de modifier l’aspect de l’image et la réalisation d’un zoom ou l’inverse.

« FFMPEG >> : collection de logiciels libres destinés au traitement de flux vidéo et audio (enregistrement, lecture ou conversion d'un format à un autre).

« Image >> : représentation visuelle, ou mentale, d'une entité; du latin « imago », qui signifie « portrait >>, « représentation >>, « effigie >>, et qui désignait les masques mortuaires; par abus de langage, on utilise couramment le terme image pour parler d'une image 2D.

« Image 2D », « image planaire », ou « image plate » : image définie dans un espace bi-dimensionnel.

« Panorama » : représente une vue en largeur d'un espace physique. Le panorama 360° se distingue par la représentation de la totalité de l’espace physique depuis le point de prise de vue.

« Rush » (terme anglophone pour média original en français): Document original ou flux de données sorti directement depuis la caméra.

« Rendu » : production d'une image basée sur un flux de données.

« Séquence d'images » : succession temporelle (avec un espacement temporel plus ou moins fixe) d'images stockées dans des fichiers indépendants.

«Templates»: en français modèles, désignent des modèles comprenant plusieurs éléments de design liés par un même univers graphique.

« Vidéo à 360° » : une vidéo 360° permet de visuafcer depuis tous les points de vue l’environnement physique entourant le caméraman.

La forme verbale « peut », ainsi que ses formes dérivées définissent une option.

DESCRIPTION D’EXEMPLES DE REALISATION DE L’INVENTION

Comme illustré en figure 1, dans un premier mode de réalisation particulier, le procédé de montage audiovisuel objet de la présente invention comporte :

- a) une étape (100) d’entrée d’une pluralité de flux de données, au moins un dit flux de données représentant une image, un panorama, une vidéo ou réalisée à partir d’image à 360°,

- b) une étape (105) de manipulation d’une première couleur définit par trois valeurs numériques compris entre 0 et 255 dans l’espace colorimétrique RVB correspond respectivement à la couleur Rouge, Vert et Bleu, la première valeur étant défini comme étant Rci, la deuxième valeur étant défini comme étant Vci, la troisième valeur étant défini comme étant Bci,

- c) une étape (110) de calcul de la proportion de rouge, vert et bleu à partir des valeurs numériques Rci, Vci, et Bci pour une première couleur issues de l’étape b) selon la matrice M1 suivante :

Rex

25? = ^KC[O]

Vc.

Μ™

Bex

255 = ^flc[2] (1 - fic[0]) (1 - MO]) = 7c [0] = Bc[0] (1 - fic[l]) (1 ~/?c[l]) = 7c[l] = Bc[l] (1 - «C[2D (1 - 7?c[2]) = Vc[2] = Bc[2]

- d) une étape (115) d’application des valeurs calculées à l’étape c) à un flux de données à coloriser, au moins un dit flux de données à coloriser représentant une image ou une expression, selon un filtre colorimétrique constitué de la manière suivante :

- e) une étape (120) de génération du flux de données colorisées pardessus au moins un des flux de données de l’étape a).

Dans une variante, le procédé comporte une étape de stockage du flux de données sur un serveur à distance.

Dans une autre variante, le procédé comporte une étape de rendu à distance à partir de données utilisateurs. Le serveur de rendu distant traite le calcul de chaque image via un environnement graphique créé selon la spécification OpenGL. Un flux de données colorisées peut alors être appliqué par dessus ce flux nouvellement créé.

En effet, diverses bibliothèques connues conformes à OpenGL peuvent être utilisées.

Dans une autre variante, le procédé comporte une étape d’ajout d’une bande sonore sélectionnée parmi une liste.

Pour l’étape b), si une valeur numérique d’une couleur est donnée en hexadécimal composée de six chiffres mémorisés sur trois octets, ladite valeur est transformée en trois valeurs numériques dans l’espace colorimétrique RVB.

Dans un autre exemple, l’étape b) (105) de manipulation comporte une deuxième couleur définit par trois valeurs numériques compris entre 0 et 255 dans l’espace colorimétrique RVB correspondant respectivement à la couleur Rouge, Vert et Bleu, la première valeur étant définie comme étant Rc₂, la deuxième valeur étant définie comme étant Vc₂, la troisième valeur étant définie comme étant Bc₂, l’étape c) est alors remplacée par une étape de calcul de la proportion de rouge, vert et bleu à partir des valeurs numériques Rci, Vci, Bci, Rc₂, Vc₂, et Bc₂ pour une première couleur et une deuxième couleur issues de l’étape b) selon la matrice M2 suivante :

ffci Vq _ _{= M}01 - = M11

Rc_{2 r} , Vc₂ — _{= M}o] ^ = r_c[1] ^BC1 r 1

255=^RC[21

Bc₂

255 = ll-7?c[0]-7c[0] = 5c[0] 1-ffc[l]-Lc[l] = Bc[l] 1 - ffc[2] - Vc[2] = Bc[2]J

Dans un autre exemple, l’étape b) (105) de manipulation comporte une quatrième valeur numérique alpha compris entre 0 et 1, la quatrième valeur

Vci

255 = ^^[1]

----= Bc[l] = Ac[l]

Ben

25h^Kc[2] _{= Fc[2]}

2^» = m2] = Ac[2] = Æc[3] = 7c[3] = Bc[3] = Ac[3]_ = 7?c[3] étant défini comme étant Ac, la matrice M1 de l’étape c) est remplacée par la matrice suivante :

Γ R^ci

5s5 = ^Kc[0]M2 = r_c[o] (1 — 7?c[0])

----2“^ = ^Sc[0] = Ac[0] et la matrice M2 de l’étape c) est remplacée par la matrice suivante :

Γ ^Rci r ^Vci _r ^Bcir — = = ^ = ^Rc[21

Rc₇ Vc₇Bc

255 = ^°¹ 2SS ⁼ ^¹¹ 2SS ⁼ ^²¹° =

1-Æc[0] - Vc[0] = Bc[0] 1 - Æc[l] - Ml] = Ml] 1 - l?c[2] - Ec[2] = Bc[2] 0 = Bc[3] = Ac[0] 0 = Ac[l] 0 = Ac[2] 1 = Ac[3]_

- le filtre colorimétrique de l’étape d) est complété avec les valeurs de Ac soit :

filtre colorimétrique = Rf : Vf : Bf : Af avec Rf étant défini de la matrice de la matrice de la matrice par par par par les valeurs les valeurs les valeurs les valeurs

Rc[0] : Vc[0] : Bc[0] : Ac[0], Vf étant défini

Rc[1] : Vc[1] : Bc[1] : Ac[1], Bf étant défini

Rc[2] : Vc[2] : Bc[2] : Ac[2], Af étant défini de la matrice Rc[3] : Vc[3] : Bc[3] : Ac[3].

La colorisation permet un apport qualitatif très important. Il est possible de réaliser à peu prêt toutes les animations possibles en les colorisant. Nous combinons donc un habillage personnalisable pour un rendu optimal.

De manière conventionnelle, les couleurs sont définies via l’espace colorimétrique (Représentation des couleurs dans un système de synthèse des couleurs) RGBA (Acronyme pour Red Green Blue Alpha, pour RVBA rouge vert bleu alpha en français est un système de codage informatique des couleurs, le plus proche du matériel et comprenant le taux d’opacité), comprenant quatre canaux pouvant chacun comprendre une valeur comprise entre 0 et 255. Les écrans d’ordinateurs reconstituent une couleur par synthèse additive à partir de trois couleurs primaires, une rouge, une verte et une bleu.

Nous gérons aussi l’utilisation du triplet hexadécimal (nombre hexadécimal à 6 chiffres mémorisé sur trois octets). Chaque octet du triplet correspond à une teinte RVB, l’alpha n’étant pas géré. Par exemple, si nous prenons la couleur #B8202F, nous pouvons la décomposer de cette manière :

1. B8 -> 184

2. 20 -> 32

3. 2F -> 47

La traduction de #B8202F est donc RVBA (184, 32, 47, 1), l’alpha étant dans notre cas toujours 100% opaque. Peu importe donc l’espace colorimétrique en entrée, nous convertissons toujours en notation RVBA.

Nous allons via une matrice et des quantités de couleurs dans chaque canal transposer les valeurs colorimétriques de nos utilisateurs en utilisant une image ou une expression, de type templates comprenant les couleurs primaires. Par exemple des bandeaux qui sont positionnés sur une partie de la vidéo.

Pour cela, nous avons adapté le Color channel mixer présent dans la bibliothèque du logiciel FFMPEG. Cette bibliothèque permet justement la transformation de couleurs, nous avons donc mis au point un système de calcul de transposition de couleurs qui a ensuite été automatisé. Les couleurs de l’utilisateur reflètent une identité visuelle. II est donc nécessaire que les couleurs soient parfaitement identiques à la demande. Le calcul est très précis.

Pour que la transformation se réalise, il est nécessaire que les fichiers vidéos des templates soit réalisés avec des couleurs dites primaires pour qu’ensuite ces couleurs puisses être modifiées.

Dans un premier temps, nous souhaitons réaliser une transformation à une couleur, nous allons utiliser le Red Channel, ou encore Couche rouge. En plus des couleurs à transformer, nos templates peuvent contenir des tonalités de gris (du blanc au noir), les valeurs dans chaque canaux doivent être égaux. L’objectif est donc de pouvoir transformer la couleur rouge en la couleur de notre utilisateur sans transformer les tonalités de gris. Nous pouvons donc intégrer les éléments graphiques avec un fond comprenant par exemple un effet d’ombrage, celui-ci n’étant pas impacté. Si les notions de gris sont légèrement tintées, alors elles sont aussi soumises à la modification.

Exemple pour une couleur :

Un utilisateur sélectionne la couleur RVBA (80, 136, 207, 1) que nous plaçons dans la variable C1. Cette variable est vue comme un tableau composé de quatre valeurs.

	R	V	B	A
C1	80	138	207	1

La transposition nécessite un calcul utilisant chaque valeur du tableau. Chacune d’entre elles est divisée par 255, valeur maximum qu’elle peut atteindre dans cet espace de couleur.

Matrice présentant les couleurs primaires :

	Rouge	Vert	Bleu	Alpha
Primaire rouge	255	0	0	0
Primaire vert	0	255	0	0
Primaire bleu	0	0	255

Le Primaire rouge est une couleur que l’on pourrait qualifier de rouge au maximum, c’est-à-dire que ses canaux de couleur sont composés de la valeur maximum dans le canal Rouge et du minimum dans les autres canaux. Les deux autres couleurs primaires se forment de la même manière. Le canal Alpha est particulier car il s’agit d’une proportion allant de 0 à 1 (0 indiquant l’opacité minimum et 1 maximum). Nos templates sont toujours créés à partir des trois couleurs primaires, nécessaires à la transposition.

C1 est une couleur non primaire, il s’agit donc d’une nuance de couleur dans l’espace colorimétrique RVBA. Le rouge des templates initiaux se transforme donc en nuance de couleurs lorsque l’on applique les proportions calculées.

L’étape du calcul de la proportion de rouge, bleu et vert dans chaque

canal à utiliser dans le filtre FFMPEG. II est nécessaire de commencer par calculer la transposition de la première couleur sur tous les canaux. La valeur totale par colonne doit être de 1, il est donc nécessaire de compenser les autres canaux pour que les nuances de gris ne soient pas impactées. Dans le cas suivant, la répartition est équilibrée entre les deux canaux restants (V & B), mais il est possible de compenser sur un seul canal en déclarant nul le dernier.

	Rouge Vert Bleu Alpha Rci Vci B Ci
Rc	_ _{= Rc[0]} _ _{= Rc[1]} _ _{= Rc[2]} 0 = Rc[3]
Vc	(l-Rc[O]J (1 — Rc[l]) (1-Rc[2]) ₂ = ^Vc[°] 2 ⁼ 2 ^{= VC}[²] ° ^{= VC}[³1
Bc	(l-Rc[0]) _{K rnl} (1-Rc[l]> (1-Rc[2]) 2 = ^Bc[°] 2 ^{= Bc}[¹] 2 ^{= BC}[²] ° ^{= BC}[³]
Ac	0 = Ac[0] 0 = Ac[l] 0 = Ac[2] l=Ac[3]_

Application au cas d’espèce :

R	V	B	A-
0.314	0.541	0.812	0
0.343	0.2295	0.094	0
0.343	0.2295	0.094	0
0	0	0	1

Il reste à appliquer les valeurs calculées dans le filtre FFMPEG qui se compose de la manière suivante :

Rf = Rc[0] :Vc[0] :Bc[0] :Ac[0]

Vf = Rc[1] :Vc[1] :Bc[1] :Ac[1]

Bf = Rc[2] :Vc[2] :Bc[2] :Ac[2]

Af = Rc[3] : Vc[3] : Bc[3] : Ac[3]

Filtre colorchannelmixer = Rc:VC:Bc:Ac

Filtre colorchannelmixer = 0.314 : 0.343 : 0.343 : 0 : 0.541 : 0.2295 : 0.2295 : 0 :0.812:0.094:0.094:0

L’opération de colorisation est terminée, l’étape suivante étant le montage par-dessus un flux de données.

Dans une variante non représentée, le procédé comporte une étape de stockage du flux de données sur un serveur à distance.

Exemple pour deux couleurs :

Nous allons utiliser dans cette nouvelle démonstration deux couleurs, il est nécessaire de compenser uniquement le Canal bleu. Notre utilisateur à choisis les couleurs RVBA (80, 136, 207, 1) et RVBA(207, 80, 172, 1), placées respectivement dans les variables Colorl et Color2.

	R	V	B	A
C1	80	138	207	1
C2	207	80	172	0

Réalisons le même calcul que pour une seule couleur, avec le canal bleu en plus, soit la matrice suivante :

Rc, _{Γ Ί}

25S ^{= SC}^

Rc₂ r i —Æc[0] — Vc[0] =Bc[0] = 4c[0]

Vc.

^=^BC[1]

Vc₂ ^=^vcm —Æc[l] - Vc[l] =Bc[l] =4c[l]

Bq r i ^=^Be[2]

Bc_{2 r Ί} ^=¹^²¹

1-Æc[2] - Vc[2] = Bc[2] = Ac[2] = Æc[3] = Vc[3] = £?c[3] =4c[3].

Application au cas d’espèce :

R V BA0.314 0.541 0.8120

0.812 0.314 0.6750

-0.126 0.145 -0.4870

0 01Filtre colorchannelmixer = 0.314 : 0.812 : -0.126 : 0 : 0.541 : 0.314 : 0.145 : 0 : 0.812 : 0.675 : -0.487 : 0

Comme illustré en figure 2, dans un deuxième mode de réalisation particulier, le procédé de montage audiovisuel objet de la présente invention comporte :

- une étape (125) de manipulation d’un seul flux de travail formé à partir d’au mois un dit flux de données de l’étape a), dans un espace d’expression visé en trois dimensions spatiales plus le temps, au cours de cette étape il est utilisé une caméra virtuelle qui a soit :

une première capacité de réaliser des rotations selon les trois axes, lesdits trois axes étant horizontal, vertical et profondeur, et est fixe sur lesdits trois axes, soit une deuxième capacité de se mouvoir sur les trois axes, horizontal, vertical et profondeur et fixe sur les rotations desdits trois axes.

- une étape (130) de gestion d’un environnement à 360° utilisant la première capacité de la caméra virtuelle et d’un flux de données en trois dimensions spatiales à partir d’un panorama ou d’une vidéo à 360°, au cours de cette étape (130) de gestion d’un environnement à 360° il est définit un point de départ P1(x1, y1 et z1), un point d’arrivé P2(x2, y2 et z2) sur ledit flux en trois dimensions spatiales, et un temps,

- une étape (135) de calcul de positions intermédiaires, correspondant à différents points de vue de l’espace en trois dimensions spatiales plus le temps entre le point de départ et le point d’arrivé sur le flux en trois dimensions spatiales.

Au cours de l’étape (135) du calcul des positions intermédiaires soit un écart identique entre les différentes positions du flux en trois dimensions spatiales, soit une augmentation du nombre des positions intermédiaires à proximité du point de départ et du point d’arrivé.

Selon un autre exemple, le procédé comporte les étapes suivantes :

- une étape (130) de gestion d’un environnement en trois dimensions utilisant au moins un objet planaire utilisant la deuxième capacité de la caméra virtuelle et d’un flux de données en deux dimensions spatiales à partir d’une vidéo ou d’une image, au cours de cette étape (130) de gestion d’un environnement en trois dimensions utilisant au moins un objet planaire il est définit un point de départ P1(x1, y1 et z1), un point d’arrivé P2(x2, y2 et z2) sur ledit flux en deux dimensions spatiales, et un temps,

- une étape (135) de calcul de positions intermédiaires, correspondant à différents points de vue de l’espace en trois dimensions spatiales plus le temps entre le point de départ et le point d’arrivé sur le flux en deux dimensions spatiales.

Au cours de l’étape (135) du calcul des positions intermédiaires soit un écart identique entre les différentes positions du flux en deux dimensions spatiales, soit une augmentation du nombre des positions intermédiaires à proximité du point de départ et du point d’arrivé.

Dans un exemple, le procédé comporte

- une étape de stockage du flux de données sur un serveur à distance,

Le serveur à distance sur lequel nous créons un environnement graphique OpenGL permet le rendu en temps réels de nos rushs audiovisuel. Le client réalise selon les étapes du procédé une animation dans son navigateur en utilisant un outil webgl (OpenGl dans le navigateur) et envoi les différentes informations pour qu’elles soient cohérentes dans l’environnement OpenGL du serveur à distance.

La figure 3 montre un schéma avec des éléments d’un mode de réalisation particulier du procédé de montage audiovisuel objet de la présente invention.

Pour gérer les panoramas à 360°, nous utilisons une caméra virtuelle (dans l’espace 3D) qui peut réaliser des rotations, mais elle ne peut pas se mouvoir sur les trois axes, horizontal, vertical et profondeur. La gestion du rapprochement dans la texture se réalise à l’aide de la distance focale, celle-ci permettant un aspect photographique fidèle.

Sur cette figure, trois axes (x, y et z) permettent à la caméra la réalisation de rotation. La caméra est bloquée sur des mouvements de translation, elle ne peut donc pas sortir de la sphère et reste toujours à la même distance de chaque point la composant. L’utilisateur va alors jouer sur l’inclinaison de la caméra sur ces axes pour définir un point de départ P1 (x1, y1 & z1) et un point d’arrivé P2(x2, y2 & z2). Une fois ces deux clés définies, une animation va être réalisée. Le système calcule automatiquement une durée optimale permettant une animation esthétique du rush vidéo. Pour chaque image du rush final, une position intermédiaire entre P1 et P2 est calculée. La caméra va alors réaliser entre ces clés une animation dite Linéaire (l’écart entre les différentes positions est toujours identique) ou ease-in-out pour facilité l’entrée en français pour une animation ralentie sur le début et la fin, faisant un effet d’amortissement. Une fois toutes les images réalisées, le montage de toutes ces images est effectué et compose donc le rush vidéo final.

Un traitement avec ajout de bande noir est réalisé si le format n’est pas 2 :1 et la texture de la sphère est appliquée vers l’intérieur de l’objet.

La figure 4 représente un autre schéma avec des éléments d’un mode de réalisation particulier du procédé de montage audiovisuel objet de la présente invention.

Pour gérer les rushs vidéos à partir d’images, nous utilisons une caméra virtuelle qui n’a pas la capacité de réaliser des rotations, mais elle peut se mouvoir sur les trois axes, horizontal, vertical et profondeur. Dans ce cas de figure, la focale de la caméra n’est pas utilisée car elle déformerait l’objet 2D.

Les axes représentent les possibilités de mouvement de la caméra. Nous allons alors réaliser une animation sur la durée définie par l’utilisateur entre les deux positions de caméras. L’utilisateur peut créer des animations uniquement à partir de translation. Qu’elle soit verticale (Y), horizontale(X) ou dans la profondeur(Z), l’utilisateur peut combiner les différentes translations. Il sera limité en profondeur pour qu’il ne puisse pas dépasser les limites de l’image qu’il souhaite rendre.

La figure 5 représente un autre schéma avec des éléments d’un mode de réalisation particulier du procédé de montage audiovisuel objet de la présente invention.

Sur cette figure, la première position dite P1 composée des positions X1, Y1, Z1 et la position dite P2 composée de X2, Y2 et Z2 permettent de définir une animation. La caméra va alors réaliser entre P1 et P2 une animation dite Linéaire ou ease-in-out . Comme pour les panoramas, les étapes intermédiaires sont calculées permettant la composition du rush vidéo final.

NOMENCLATURE

100 Entrée de flux

105 Manipulation de couleur(s)

110 Calcul de la proportion

115 Application des valeurs calculées à un flux de données à coloriser

120 Génération d’un flux colorisé par-dessus des flux de données

125 Manipulation d’un seul flux de travail

130 Gestion d’un environnement à 360° ou en trois dmensions utilisant au moins un objet planaire

135 Calcul de positions intermédiaires

Claims

REVENDICATIONS

1. Procédé de montage audiovisuel caractérisé en ce qu’il comporte :

- a) une étape (100) d’entrée d’une pluralité de flux de données, au moins un dit flux de données représentant une image, un panorama, une vidéo ou réalisée à partir d’image à 360°,

- b) une étape (105) de manipulation d’une première couleur définit par trois valeurs numériques compris entre 0 et 255 dans l’espace colorimétrique RVB correspond respectivement à la couleur Rouge, Vert et Bleu, la première valeur étant défini comme étant Rci, la deuxième valeur étant défini comme étant Vci, la troisième valeur étant défini comme étant Bci,

- c) une étape (110) de calcul de la proportion de rouge, vert et bleu à partir des valeurs numériques Rci, Vci, et Bci pour une première couleur issues de l’étape b) selon la matrice M1 suivante :

Ren
2sW^C[0]

M2 _{= Vc[0]}M12 = Mo]

VCi

2T5 = ^RCÎ1]

Ben

255 = ^flC[2] (1 - WD (1 ~/?c[l]) = Vc[l] = Bc[l] (1 - M2]) (1 - 7?c[2]) = Vc[2] = Bc[2]

- d) une étape (115) d’application des valeurs calculées à l’étape c) à un flux de données à coloriser, au moins un dit flux de données à coloriser représentant une image ou une expression, selon un filtre colorimétrique constitué de la manière suivante :

filtre colorimétrique = Rf : Vf : Bf avec Rf étant défini par les valeurs de la matrice Rc[0] : Vc[0] : Bc[0], Vf étant défini par les valeurs de la matrice Rc[1 ] : Vc[1] : Bc[1 ], et Bf étant défini par les valeurs de la matrice Rc[2] : Vc[2] : Bc[2], le flux de données à coloriser devenant le flux de données colorisées,

- e) une étape (120) de génération du flux de données colorisées pardessus au moins un des flux de données de l’étape a).

2. Procédé selon la revendication 1, dans lequel à l’étape b), si une valeur numérique d’une couleur est donnée en hexadécimal composée de six chiffres mémorisés sur trois octets, ladite valeur est transformée en trois valeurs numériques dans l’espace colorimétrique RVB.
3. Procédé selon la revendication 1, dans lequel :

- l’étape b) (105) de manipulation comporte une deuxième couleur définit par trois valeurs numériques compris entre 0 et 255 dans l’espace colorimétrique RVB correspondant respectivement à la couleur Rouge, Vert et Bleu, la première valeur étant définie comme étant Rc₂, la deuxième valeur étant définie comme étant Vc₂, la troisième valeur étant définie comme étant Bc₂,

- l’étape c) est remplacée par une étape de calcul de la proportion de rouge, vert et bleu à partir des valeurs numériques Rci, Vci, Bci, Rc₂, Vc₂, et Bc₂ pour une première couleur et une deuxième couleur issues de l’étape b) selon la matrice M2 suivante :

ffCi

255 = ^RC101

Rc_{2 r} ,

255 = ^{Ve 101} .1 — Æc[0] - 7c[0] = 5c[0] ^BC1 r 1 1

255 = ^RC

Bc₂

255 = ^1,2121

1 — ffc[2] - Vc[2] = Bc[2]_ ⁸²¹¹¹ â^=M1]

1 -ffc[l] - Ec[l] = Bc[l]
4.

Procédé selon la revendication 3, dans lequel :

l’étape b) (105) de manipulation comporte une quatrième valeur numérique alpha compris entre 0 et 1, la quatrième valeur étant défini comme étant Aç la matrice M1 de l’étape c) est remplacée par la matrice suivante :

Ren

2SW^C[O] (1 — Æc[0])

----= Bc[0]

0 = ric[0] et la matrice M2 de l’étape c) est remplacée par la matrice suivante :

Rc, _{r Ί}

Tsi = ^R2101

Rc₂ r i

Tsi =^1,2101

1 -Æc[0] - Vc[0] = Bc[0]

0 = 4c[0]

Vc.

2SW^C[1] (l-/?c[l])

--— MU

0 = Ac[l]

Ben

2sh^Kc[2] = _Bcl2]

0 =Ac[2]

0 = Æc[3]

0 = 7c[3]

0 = Bc[3]

1 =ric[3]_ v_C1
5TS=⁸²¹¹¹

Vc₂

Tsi=^1,2111

1 — 7?c[l] - Vc[l] = Bc[l]

0 = 4c[l]

Bq r 1

Tsi = ^R2[21

Bc₂ r i

Tsi =^1,2121

1 — Æc[2] - Vc[2] = Bc[2]

0 = Ac[2]

0 = 7?c[3]

0 = Vc[3]

0 = Bc[3]

1 = 4c[3]_

- le filtre colorimétrique de l’étape d) est complété avec les valeurs de Ac soit :

filtre colorimétrique = Rf : Vf : Bf : Af avec Rf étant défini par les valeurs de la matrice Rc[0] : Vc[0] : Bc[0] : Ac[0], Vf étant défini par les valeurs de la matrice Rc[1] : Vc[1] : Bc[1] : Ac[1], Bf étant défini par les valeurs de la matrice Rc[2] : Vc[2] : Bc[2] : Ac[2], Af étant défini par les valeurs de la matrice Rc[3] : Vc[3] : Bc[3] : Ac[3].

5. Procédé selon la revendication 1, qui comporte :

- une étape (125) de manipulation d’un seul flux de travail formé à partir d’au mois un dit flux de données de l’étape a), dans un espace d’expression visé en trois dimensions spatiales plus le temps, au cours de cette étape il est utilisé une caméra virtuelle qui a soit :

une première capacité de réaliser des rotations selon les trois axes, lesdits trois axes étant horizontal, vertical et profondeur, et est fixe sur lesdits trois axes, soit une deuxième capacité de se mouvoir sur les trois axes, horizontal, vertical et profondeur et fixe sur les rotations desdits trois axes.
6. Procédé selon la revendication 5, qui comporte :

- une étape (130) de gestion d’un environnement à 360° utilisant la première capacité de la caméra virtuelle et d’un flux de données en trois dimensions spatiales à partir d’un panorama ou d’une vidéo à 360°, au cours de cette étape (130) de gestion d’un environnement à 360° il est définit un point de départ P1(x1, y1 et z1), un point d’arrivé P2(x2, y2 et z2) sur ledit flux en trois dimensions spatiales, et un temps,

- une étape (135) de calcul de positions intermédiaires, correspondant à différents points de vue de l’espace en trois dimensions spatiales plus le temps entre le point de départ et le point d’arrivé sur le flux en trois dimensions spatiales.
7. Procédé selon la revendication 6, qui comporte au cours de l’étape (135) du calcul des positions intermédiaires soit un écart identique entre les différentes positions du flux en trois dimensions spatiales soit une augmentation du nombre des positions intermédiaires à proximité du point de départ et du point d’arrivé.
8. Procédé selon la revendication 5, qui comporte :

- une étape (130) de gestion d’un environnement en trois dimensions utilisant au moins un objet planaire utilisant la deuxième capacité de la caméra virtuelle et d’un flux de données en deux dimensions spatiales à partir d’une vidéo ou d’une image, au cours de cette étape (130) de gestion d’un environnement en trois dimensions utilisant au moins un objet planaire il est définit un point de départ P1(x1, y1 et z1), un point d’arrivé P2(x2, y2 et z2) sur ledit flux en deux dimensions spatiales, et un temps,

- une étape (135) de calcul de positions intermédiaires, correspondant à différents points de vue de l’espace en trois dimensions spatiales plus le temps entre le point de départ et le point d’arrivé sur le flux en deux dimensions spatiales.
9. Procédé selon la revendication 8, qui comporte au cours de l’étape (135) du calcul des positions intermédiaires soit un écart identique entre les différentes positions du flux en deux dimensions spatiales soit une augmentation du nombre des positions intermédiaires à proximité du point de départ et du point d’arrivé.
10. Procédé selon l’une des revendications 6 ou 8, qui comporte

- une étape de stockage du flux de données sur un serveur à distance,

- une étape de rendu à partir des données stockées à distance et des informations du point de départ P1, du point d’arrivé P2 et du temps, ladite étape de rendu traite le calcul de chaque image sur le serveur créant un environnement graphique selon la spécification OpenGL(marque déposée).