Art antérieur
Les solutions de rendu de volume différentiel (differentiable volume rendering en anglais) et les champs de radiance neuronaux (« Neural Radiance Field » ou NeRF en anglais) sont des solutions permettant notamment de construire/reconstruire/représenter des scènes 3D à partir de points de vue 2D (par exemple des photos ou des vidéos prises à partir d’un nombre de points de vue limités) en générant, après un processus d’apprentissage ou entrainement de scène 3D, l’ensemble des points de vue intermédiaires à ceux fournis a priori.
Certaines représentations, dites implicites, permettent de calculer directement les valeurs de densités et de couleurs pour l’ensemble des voxels de la scène, et ceci pour l’ensemble des points de vue possibles au sein de celle-ci. Ces représentations ont l’avantage d’être attachées à des architectures relativement simples à implémenter et peu gourmandes en espace de stockage. Elles ont toutefois le désavantage d’être très longues à entrainer et offrent des résultats limités comparativement au solutions explicites ou hybrides.
D’autres représentations, dites explicites ou hybrides, utilisent des variables latentes (parfois appelées codes latents ou feature en anglais). Ces variables latentes sont utilisées pour désigner un nombre ou vecteur de nombres, associé à une zone de l'espace 3D. Plusieurs exemples de codes latents sont connus de l’homme du métier comme les "trainable features" de instant-ngp, les "spherical harmonics" de plenoxels, etc.
On connait par exemple la publication Mildenhall, Ben, et al. "Nerf: Representing scenes as neural radiance fields for view synthesis.".
L’ensemble des variables latentes permet de fournir, par l’intermédiaire d’un modèle de calcul, un modèle de scène représentant une scène réelle telle que photographiée selon plusieurs positions (extrinsics) et caractéristiques (intrinsics) d'une caméra virtuelle. Il existe plusieurs modèles de scène connus de l’homme du métier tels que par exemple les modèles : instant-ngp, plenoxels, gaussian splatting, etc.
Le procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle est un processus itératif consistant à déduire, pour chaque itération d’entrainement, un « modèle de scène » du « modèle de scène de l'itération précédente », par évaluation de la qualité du modèle calculée à partir dudit "modèle de scène" précédent.
La qualité du modèle, généralement désignée par le terme de loss en anglais (ou perte en français) est calculée par une fonction mathématique permettant de représenter au moins une qualité attendue du modèle de scène. Des exemples de qualité du modèle sont connus de l’homme du métier notamment la loss colorimétrique ou la loss total variation (perte de variation totale en français) telle que définie dans plenoxels.
Ici, la qualité colorimétrique (loss RGB en anglais) désigne une fonction mathématique calculant la fidélité de la représentation d’une scène 3D en fonction de la vérité/réalité terrain (ground truth en anglais) issue des images connues de la scène et de leurs représentations équivalentes produites par le « modèle de scène ». Des exemples de qualité colorimétrique sont connu de l’homme du métier, par exemple MSE (« Mean Squared Error » en anglais),SSIM (« Structural S imilarity » en anglais).
Dans le cadre du MSE, pour chaque pixel, le carré de différence entre la couleur générée et la couleur d’image issue de la vérité/réalité terrain est calculé puis on calcule la moyenne sur l'ensemble de ces erreurs élémentaires pour tous les pixels de l'itération en cours.
Dans le cas de la similarité structurelle, la comparaison se fait entre l’image reconstruite par l’itération en cours et l’image issue de la vérité/réalité terrain sur des blocs de NxN pixels (plutôt que pixel par pixel). Puis pour chaque bloc, on calcule la moyenne des valeurs, la variance, et la covariance entre les deux images.
Une telle similarité structurelle s’exprime de la façon suivante, pour deux blocs , x et y de même taille NxN :
Avec :
- μx égale à la moyenne de x,
- μy égale à la moyenne de y,
- la covariance de x,
- la covariance de y
- covxy la covariance de x et y,
- c1, c2 et c3 trois variables destinées à stabiliser la division quand le dénominateur est très faible ;
Si les représentations explicites ou hybrides ont l’avantage de requérir un temps d’entrainement beaucoup plus court et un rendu de meilleure qualité comparativement aux représentations implicites, elles présentent l’inconvénient d’être très volumineuses en termes de stockage/mémoire du fait de la très grande variété des variables latentes qui leur sont associées.
Certaines approches permettent de circonvenir en partie à ce problème, par exemple en utilisant des hashtables (table de hachage en français), comme via notamment la solution INGP (« Instant N eural G raphics P rimitives » en anglais). Toutefois, ces représentations demeurent très volumineuses et restent problématiques en termes de stockage comparativement aux représentations implicites.
Objet et résumé de l'invention
L’un des objectifs de l’invention est donc de résoudre au moins l’un de ces inconvénients.
A cet effet, un objet de la présente invention concerne un procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle par des variables latentes, mettant en œuvre un critère de qualité de la représentation de ladite scène, caractérisé en ce que ledit modèle est également entrainé en fonction d'un critère de dispersion de l’ensemble ou d’une partie desdites variables latentes.
Ce procédé offre l’avantage d’améliorer la compressibilité du modèle de représentation permettant ainsi, après compression, de réduire de façon importante le poids du fichier relatif au modèle de représentation, ce qui constitue un inconvénient connu des modèles de représentation explicite ou hybride.
Selon un mode de réalisation particulier, le modèle de représentation d’une scène tridimensionnelle est entrainé en fonction d’un critère global de qualité composé d’un critère de qualité colorimétrique et d’un critère de dispersion , de sorte que où λ est un multiplicateur de Lagrange dépendant de Lrgb.
Ce mode de réalisation prenant en compte à la fois les critères de qualité colorimétrique et de dispersion permet avantageusement d’entrainer le modèle de sorte que la dispersion soit minimale grâce au critère de dispersion tout en maintenant/garantissant une qualité de la représentation/reconstruction de la scène au-dessus d’un seuil minimal, via le critère de qualité colorimétrique.
Selon un mode de réalisation particulier, le critère de qualité de la représentation de la scène met en œuvre, en amont d’une étape de calcul de la qualité de la représentation de la scène, une application d’un bruit aux variables latentes préalablement traitées ou non.
L’ajout d’un bruit aux variables latentes, qu’elles soient préalablement traitées ou non, permet avantageusement d’améliorer la compressibilité du modèle en rendant le modèle robuste à la quantification qui aura lieu après l’entrainement du modèle, ce qui participe à réduire la taille du fichier du modèle de scène.
Selon un mode de réalisation particulier, le critère de dispersion de l’ensemble ou d’une partie desdites variables latentes est approximé comme suit :
- associer la dispersion des variables latentes à un modèle de distribution mathématique, ladite association comprenant ce qui suit :
-- identifier un paramétrage du modèle de distribution des variables latentes optimisant le critère de dispersion,
-- pour toute variable latente parmi lesdites variables latentes, calculer la dispersion en fonction dudit modèle de distribution mathématique.
Le calcul de la qualité de dispersion de tout ou partie des variables latentes permet avantageusement d’optimiser l’amélioration de la compressibilité du modèle de représentation de la scène tridimensionnelle. En approximant les variables latentes issues de l’apprentissage à l’aide d’un modèle de distribution mathématique plutôt qu’en recourant à un réseau de neurones ce mode de réalisation permet d’améliorer le temps d’apprentissage général du modèle.
Selon un mode de réalisation particulier, un bruit est appliqué aux variables latentes, en amont du calcul de la dispersion.
Ce mode de réalisation permet avantageusement d’optimiser davantage l’amélioration de la compressibilité du modèle de représentation de la scène tridimensionnelle et cela pour deux raisons. Premièrement, cela permet de régulariser la valeur des variables latentes apprises avant l’évaluation de la qualité du modèle, notamment au début de l’entrainement du modèle lorsque la majorité des variables latentes ont presque toutes la même valeur et tendent ainsi généralement toutes vers à zéro. Deuxièmement, ce bruit permet de pré-modéliser le bruit de quantification qui pourra résulter de la quantification qui sera appliquée en fin de l’entrainement du modèle.
Selon un mode de réalisation particulier le modèle de distribution mathématique auquel est associée la dispersion des variables latentes est basé sur une distribution de Laplace.
Ce mode de réalisation est particulièrement avantageux lors de la mise en œuvre de modèle destiné à représenter des scènes où il y a plusieurs objets représentés, notamment les scènes réelles (en opposition aux scènes générées numériquement/artificielles) où toute distorsion au sein des variables latentes calculées a un effet important sur la qualité générale du modèle de scène.
Selon un mode de réalisation, la dispersion des variables latentes est associée à un modèle de distribution de Cauchy et le critère de dispersion en fonction duquel le modèle de représentation est entraîné est fixe une fois qu’à l’issue d’une itération de l’entrainement du modèle, la qualité de représentation de la scène dépasse un seuil déterminé.
Ce mode de réalisation présente l’avantage de limiter la dispersion des variables latentes approximées lors de l’association de la dispersion à une distribution de Cauchy.
Selon un mode de réalisation, à l’issue de l’entrainement du modèle, les variables latentes sont quantifiées avec un pas arbitraire (par exemple inférieur à 1, égale à 1 ou supérieur à 1), et compressées.
Ce mode de réalisation permet avantageusement d’aboutir à une compression effective du modèle de représentation de la scène tridimensionnelle reconstruite, ladite compression bénéficiant de la compressibilité accrue/améliorée du modèle.
Les différents modes ou caractéristiques de réalisation précités peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, au procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle tel que défini ci-dessus.
L’invention concerne également un terminal d'entrainement d'un modèle de représentation d’une scène tridimensionnelle par des variables latentes, mettant en œuvre un critère de qualité de la représentation de ladite scène, caractérisé en ce qu’il est configuré pour entrainer également ledit modèle en fonction d'un critère de dispersion de l’ensemble ou d’une partie desdites variables latentes.
Un tel terminal est notamment adapté pour mettre en œuvre le procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle selon l’un quelconque des modes de réalisation décrits précédemment.
L'invention concerne encore un programme d’ordinateur comportant des instructions de code de programme pour la mise en œuvre du procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle, lorsqu'il est exécuté sur un ordinateur.
De telles instructions peuvent être stockées durablement dans un support mémoire non transitoire d’un dispositif mettant en œuvre le procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle.
Ce programme peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
L’invention vise également un support d’enregistrement ou support d’informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur pour la mise en œuvre du procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle tel que mentionné ci-dessus.
Le support d'enregistrement peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM (« Read Only Memory » en anglais), par exemple un CD ROM (« Compact Disc Read-Only Memory » en anglais), un ADN (acide désoxyribonucléique) synthétique ou une ROM de circuit microélectronique, ou encore un moyen d’enregistrement magnétique, par exemple un support mobile, un disque dur ou un SSD (« Solid State-Drive » en anglais).
D'autre part, le support d'enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens, de sorte que le programme d’ordinateur qu’il contient est exécutable à distance. Le programme selon l'invention peut être en particulier téléchargé sur un réseau, par un exemple un réseau de type Internet.
Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle précité.
Selon un exemple de réalisation, la présente technique est mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, dans ce document, le terme « dispositif » ou « module » peut aussi bien correspondre à un composant logiciel, qu'à un composant matériel ou à un ensemble de composants matériels et logiciels.
Description détaillée
Description
d'un
mode de réalisation d’un
modèle de représentation d’une scène tridimensionnelle
En référence à la , est décrit un exemple d’un modèle de représentation de scène MS comprenant :
-- un ensemble de variables latentes F représentant une scène tridimensionnelle,
-- un module de reconstruction de scène tridimensionnelle MR,
-- un module LC de calcul de la qualité globale du modèle.
Selon d’autres modes de réalisation, le module de reconstruction MR comprend également un dispositif d’interpolation des variables latentes (non représenté).
Selon d’autres modes de réalisation, le module de reconstruction MR peut désigner un ou plusieurs perceptrons multicouches (non représenté) ou tout autre dispositif alternatif, tel que par exemple un réseau de neurones convolutif, récurent ou hybride, etc.
La décrit également une boucle itérative I correspondant à la boucle d'entrainement d'un modèle de représentation d’une scène tridimensionnelle consistant à déduire, pour chaque itération d’entrainement, un « modèle de scène » du « modèle de scène de l'itération précédente » généré par le module MR, par évaluation de la qualité du modèle calculée par le module LC à partir dudit "modèle de scène" précédent.
Selon certains modes de réalisation, la qualité du modèle dépend de la qualité colorimétrique, désignée comme , obtenue par la formule suivante :
Où désigne la couleur d’un pixel estimée par le modèle et la couleur connue du pixel r correspondant.
Description
d’un
mode de réalisation
d’un
procédé
d'entrainement d'un modèle de représentation d’une scène tridimensionnelle
La figure représente les étapes mises en œuvre par un procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle, dans un mode de réalisation particulier de l’invention, ledit modèle de représentation étant celui représenté à la figure .
Le procédé d’entrainement comprend une étape E201 dans laquelle ledit module de calcul LC mesure la qualité globale du modèle de représentation, en prenant en compte la qualité colorimétrique
et la qualité de dispersion des variables latentes.
Selon certains modes de réalisation, la qualité globale du modèle est calculée selon la formule et où λ est un multiplicateur de Lagrange qui dépend de
Selon certains modes de réalisation, le critère est évalué avec un pas arbitraire (par exemple inférieur à 1, égale à 1 ou supérieur à 1).
Description d’un autre
mode
de réalisation
d’un
procédé
d'entrainement d'un modèle de représentation d’une scène tridimensionnelle
La figure représente les étapes mises en œuvre par le procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle, dans un autre mode de réalisation particulier de l’invention, ledit modèle de représentation étant celui représenté à la figure .
Le procédé comprend une étape E301 de calcul de la qualité globale du modèle intégrant la qualité de dispersion du modèle, de manière similaire à l’étape E201 illustrée sur la figure .
Le procédé inclut également une étape E302, durant laquelle un bruit est appliqué aux variables latentes, préalablement à une étape de reconstruction de la scène.
Selon les modes de réalisation, ce bruit peut être appliqué directement aux variables latentes ou après un traitement préalable de celles-ci, par exemple après une interpolation linéaire ou non-linéaire.
Selon les modes de réalisation, le bruit appliqué peut être un bruit uniforme, gaussien ou tout autre type de bruit connu de l’homme du métier.
Selon les modes de réalisation, ce bruit est utilisé pour anticiper le bruit lié à la quantification qui sera appliqué au modèle une fois entrainé. Le bruit correspond alors à l’équation suivante où Δ est l’intervalle de quantification.
Description d’un autre mode de réalisation
d’un
procédé
d'entrainement d'un modèle de représentation d’une scène tridimensionnelle
La figure représente les étapes mises en œuvre par le procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle, dans un autre mode de réalisation particulier de l’invention, ledit modèle de représentation étant celui représenté à la figure .
Le procédé comprend une étape E400 de calcul de la qualité de dispersion du modèle de représentation de la scène, en associant la dispersion des variables latentes à un modèle de distribution mathématique.
Selon les modes de réalisation, la dispersion des variables latentes peut être associée à une fonction de distribution de Laplace, de Cauchy ou de toute autre fonction de distribution connue de l’homme du métier.
Cette étape E400 comprend deux sous-étapes E400-1 et E400-2.
L’étape E400-1 consiste à identifier un paramétrage du modèle de distribution des variables latentes optimisant le critère de dispersion.
Selon les modes de réalisation, le paramétrage du modèle de distribution consiste à identifier la moyenne globale μ et l’écart type b de la fonction de distribution retenue.
L’étape E400-2 consiste à calculer la dispersion en fonction dudit modèle de distribution mathématique pour chaque variable latente parmi lesdites variables latentes.
Selon certains modes de réalisation, la qualité de dispersion est calculée par l’équation suivante :
Où :
- est le nombre de variables latentes de la scène,
- Θ l’ensemble des variables latentes,
- θ une variable latente,
- P(θ) est une fonction de densité cumulative de la fonction de distribution utilisée pour approximer la dispersion des variables latentes.
Selon certains modes de réalisation, si la dispersion des variables latentes est approximée par une association à une fonction de distribution de Laplace, la qualité globale du modèle est calculée selon l’équation suivante :
De façon à ce que résulte d’un compromis harmonieux entre la dispersion et la qualité colorimétrique .
Le procédé se poursuit par une étape E401 similaire à l’étape E201 illustrée sur la figure .
Selon certains modes de réalisation, la dispersion des variables latentes peut être approximée en associant cette dispersion à une fonction de distribution de Cauchy. A cet effet, durant l’étape E401, le critère global de qualité est calculé d’abord en fonction d’un critère de dispersion fixe puis en fonction d’un critère de dispersion variable dès lors que le critère de qualité colorimétrique du modèle dépasse un seuil de qualité prédéterminé à l’issue d’une itération de l’entrainement du modèle.
Selon certains modes de réalisation, le calcul de la représentation de la scène sur la base desdites variables latentes n’est pas optimisé pour opérer sur des valeurs discrètes, mais pour travailler avec des variables dont la précision est inférieure à un pas arbitraire (un écart minimum), potentiellement inférieur à 1.
Description d’un autre mode de réalisation
d’un
procédé
d'entrainement d'un modèle de représentation d’une scène tridimensionnelle
La figure représente les étapes mises en œuvre par le procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle, dans un autre mode de réalisation particulier de l’invention, ledit modèle de représentation étant celui représenté à la figure .
Le procédé comprend une étape E500 similaire à l’étape E400 illustrée sur la figure mais comprend en outre une sous-étape E500-0 préliminaire consistant à appliquer un bruit aux variables latentes, en amont de l’évaluation de la dispersion.
Selon les modes de réalisation, le bruit appliqué peut être un bruit uniforme ou gaussien ou tout autre type de bruit connu de l’homme du métier.
Le procédé se poursuit par des sous-étapes E500-1 et E500-2 similaires aux sous-étapes E400-1 et E400-2 illustrées sur la figure et une étape E501 similaire à l’étape E201 illustrée à figure .
Selon un mode de réalisation où la dispersion des variables latentes est associée à une fonction de distribution de Cauchy, durant l’étape E501, le critère global de qualité est calculé d’abord en fonction d’un critère de dispersion fixe puis en fonction d’un critère de dispersion variable dès lors que le critère de qualité colorimétrique du modèle dépasse un seuil de qualité prédéterminé à l’issue d’une itération de l’entrainement du modèle.
Description d’un autre mode de réalisation
d’un
procédé
d'entrainement d'un modèle de représentation d’une scène tridimensionnelle
La figure représente les étapes mises en œuvre par le procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle, dans un autre mode de réalisation particulier de l’invention, ledit modèle de représentation étant celui représenté à la , à la différence qu’il comprend en plus un module MC de compression de données sans perte.
Selon les modes de réalisation, le module de compression MC met en œuvre une compression au format ZIP, ACE, TAR ou tout autre format de compression sans perte connu de l’homme du métier.
Le procédé comprend une étape E601 similaire à l’étape E201 illustrée en figure ainsi qu’une une étape E602 dans laquelle le module de compression reçoit les variables latentes F et produit un fichier compressé contenant lesdites variables latentes.
Selon les modes de réalisation, cette étape inclut une sous étape de quantification précédant la compression.
Selon les modes de réalisation, si la distribution des variables latentes est associée à une distribution de Laplace, cette sous-étape de quantification met en œuvre une fonction de quantification Q du type :
Tandis que si la distribution des variables latentes est associée à une distribution de Cauchy, la sous-étape de quantification met en œuvre une fonction de quantification Q du type :
Selon les modes de réalisation, les variables latentes sont quantifiées avec un pas déterminé arbitrairement (par exemple inférieur à 1, égale à 1 ou supérieur à 1).
Description d’un mode de réalisation
d’
un terminal
d'entrainement d'un modèle de représentation d’une scène tridimensionnelle
La figure représente la structure simplifiée d’un terminal T configuré pour entrainer un modèle de représentation d’une scène tridimensionnelle tel que celui illustré sur la .
Selon un mode particulier de réalisation de l'invention, les étapes du procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle de la présente invention sont mises en œuvre par des instructions d’un programme d'ordinateur PG. Pour cela, le terminal T a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEM, une unité de traitement UTR, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du procédé d'entrainement d'un modèle de représentation d’une scène tridimensionnelle, en particulier le calcul d’un critère de qualité globale du modèle en prenant compte la qualité colorimétrique et la qualité de dispersion des variables latentes.
Selon d’autres modes de réalisation, basés sur une architecture dite de cloud computing (informatique en nuage, en français) le processeur PROC et la mémoire MEM peuvent être associés à un autre terminal, différent du terminal T.