FR2837597A1 - Procede de modelisation d'une scene 3d - Google Patents
Procede de modelisation d'une scene 3d Download PDFInfo
- Publication number
- FR2837597A1 FR2837597A1 FR0203663A FR0203663A FR2837597A1 FR 2837597 A1 FR2837597 A1 FR 2837597A1 FR 0203663 A FR0203663 A FR 0203663A FR 0203663 A FR0203663 A FR 0203663A FR 2837597 A1 FR2837597 A1 FR 2837597A1
- Authority
- FR
- France
- Prior art keywords
- point
- image
- depth
- images
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Abstract
Le procédé est caractérisé en ce qu'il comporte, pour la validation du modèle, les étapes suivantes :- prédétermination d'une distorsion (5) maximum autorisée sur une image synthétisée 2D (4), générée par l'approximation au modèle (2),- calcul, pour un point I d'une image de référence (7) et sur un ensemble d'images synthétisées (4) représentant le point 3D de la scène correspondant à ce point I, des valeurs de profondeur minimum (Zi - Δzi 1) et maximum (zi + Δzi2) de la profondeur z i de ce point I correspondant à cette distorsion maximum,- calcul d'une fourchette autour de la profondeur z i de ce point I, fonction de la valeur minimale de l'erreur Δzi2 et de la valeur minimale de l'erreur Δzi1 parmi les valeurs calculées pour les images synthétisées de l'ensemble.Les applications concernent la construction de modèles pour la synthétisation d'images ou la compression de données.
Description
par l'utilisateur.
L'invention concerne un procédé de modélisation de scène 3D et en particulier un procédé de modélisation ou d'approximation d'un objet 3D par un modèle 3D à facettes planes permettant un contrôle de la distorsion dans les images synthétisées. L'invention s'appuie sur la construction de modèle 3D de scène à partir d'une image de référence possédant une carte de profondeur. La figure 1 représente la surface d'un objet dans l'espace 3D référencée 1. Une approximation de cet objet par facettisation ou triangulation fournit un modèle dont la surface est référencée 2. Une image synthétisée est obtenue par projection du modèle sur un plan 4 à partir d'un point de vue 6. L'erreur 3 due à l'approximation de la surface de l'objet à
celle du modèle se traduit sur l'image par une distorsion 2D référencoe 5.
La figure montre que l'erreur due à l'approximation de la surface d'un objet 3D par des plans peut se traduire par une erreur de position de sa silhouette dans l'image et plus généralement par une distorsion de la forme
de l'objet et des textures dans l'image.
Un type de modèle 3D classique est la représentation par facettes 3D.II existe des méthodes connues pour la facettisation de cartes de profondeur. Une procédure s'appuie sur une méthode itérative basée sur une triangulation initiale de la carte de profondeur. Cette méthode est par exemple mentionnée dans l'article de Xin CHEN and Francis SCHMITT intitulé " Adaptive range data approximation by constrained surface triangulation ", IFIP, Working conference on "Modelling in Computer
Graphics", pages 95-1 13, Genova, Italy, July 93.
La figure 2 illustre une telle facettisation incrémentale de type " grossier à fin ". Plus précisément, les figures 2a à 2d correspondent à des itérations successives, la première itération, figure 2a, consistant à la création de deux triangles à partir de l'image rectangulaire. Il faut noter que la facettisation peut se limiter à une région de l'image, préalablement
polygonisée et triangulée pour constituer le modèle initial.
A chaque itération, une carte d'erreur d'approximation est calculée: cette erreur calculée en tous points de l'image correspond à la différence entre la valeur de profondeur du pixel et sa valeur approximée par la facettisation. A partir de cette carte d'erreur, le point le plus mal
2 2837597
approximé est détecté: c'est celui ayant la plus grande erreur en valeur absolue. Cette erreur est comparée à un seuil: si elle est inférieure au seuil, la procédure de facettisation est terminée; sinon, le point correspondant est introduit comme nouveau sommet de facettes, et la facette à laquelle il appartient est décomposée en 3 nouvelles facettes, comme représenté sur la figure 2b ou bien en 4 nouvelles facettes si le point est situé sur une arête, comme représenté sur la figure 2c pour
l'itération suivante.
Dans les méthodes connues de facettisation par le point le plus mal approximé, un seuil unique est utilisé pour tous les points de l'image. Il en résulte que la qualité obtenue n'est pas homogène. D'autre part, le coût de modélisation, les informations nocessaires à la définition du modèle ou coût de représentation peuvent être importants, pour une qualité
minimum demandée.
L'invention a pour but de pallier les inconvénients précités.
Elle a pour objet un procédé de modélisation 3D d'une scène définie à partir d'images de référence associées à des points de vue et des cartes de profondeur originales, par calcul de cartes de profondeur approximées décrivant un modèle, caractérisé en ce qu'il comporte les étapes suivantes: - prédétermination d'une distorsion maximum autorisée sur une image synthétisée 2D, générée par l'approximation inhérente au modèle, calcul, pour un point I d'une image de référence et à partir d'un ensemble d'images synthétisées représentant le point 3D de la scène correspondant à ce point 1, des valeurs de profondeur minimum (z; - Azj4) et maximum (z; + Azj2) de la profondeur z; de ce point I correspondant à cette distorsion maximum, - calcul d'une fourchette autour de la profondeur z; de ce point 1, fonction de la valeur minimale de l'erreur 4j2 et de la valeur minimale de l'erreur Azj, parmi les valeurs calculées pour les images synthétisées de I'ensemble, et en ce qu'il comporte également une étape de validation d'une carte de profondeur approximée calculée par itération, en fonction de la profondeur de points 3D du modèle correspondant relatifs à des points I de l'image de référence, selon qu'elle appartienne ou pas à la fourchette
calculée pour ces points 1.
3 2837597
Selon une mise en _uvre particulière, le procédé est caractérisé en ce que le calcul des valeurs minimum et maximum de la profondeur d'un point 1, pour une image synthétisée, est effectué en exploitant la droite épipolaire correspondant au point I sur cette image synthétisée, sur laquelle sont rapportées les distances correspondant à la
distorsion maximum autorisée.
Selon une mise en _uvre particulière, le modèle est défini par un ensemble de régions élémentaires et les points 3D dont la profondeur est exploitée pour l'étape de validation sont les points d'une région élémentaire
du modèle.
Selon une mise en _uvre particulière, une région élémentaire est une facette et le calcul par itération est une facettisation des cartes de profondeur, I'itération comportant la création d'un nouveau sommet de facette 3D du modèle ou la suppression d'un sommet de facette 3D du
modèle selon que le procédé est du type "grossier à fin" ou "fin à grossier".
Selon une caractéristique particulière, le procédé, de type "grossier à fin", est caractérisé en ce que l'itération comporte un calcul de la valeur la plus mal approximée parmi les valeurs approximoes relatives à une facette et qui sont en dehors des fourchettes, et en ce que le nouveau
sommet est relatif au point correspondant à cette valeur.
Selon une caractéristique particulière, I'ensemble d'images synthétisées sur lequel est effectué le calcul des erreurs correspond à un échantillon représentatif de l'ensemble des points de vue utilisant i'image de référence. Une autre caractéristique particulière consiste en ce que I'ensemble d'images synthétisées sur lequel est effectué le calcul des erreurs est composé d'images ayant un nombre de points 3D communs avec l'image
de référence, supérieur à un seuil.
Selon une mise en _uvre particulière, la distorsion maximale autorisée est prédéterminée en fonction d'une caractéristique d'une image,
par exemple le gradient de luminance.
L'invention concerne également un procédé de génération d'images, caractérisé en ce que les images sont générées à partir d'une
modélisation de la scène selon le procédé précédemment décrit.
L'invention concerne également un procédé de compression de donnces définissant une scène 3D, ces données étant relatives à des images de référence pour le rendu et à des cartes de profondeur associées,
4 2837597
caractérisé en ce que les cartes de profondeur sont modélisées par facettisation selon ie procédé de la revendication 4 et en ce que les donnces relatives aux images de référence et aux cartes de profondeur sont
remplacées par des données définissant les facettes.
L'invention concerne aussi un procédé de compression de données définissant une scène 3D, ces données étant relatives à des images de référence pour le rendu et à des cartes de profondeur associées, caractérisé en ce qu'il comporte les étapes de modélisation selon le procédé de modélisation de la revendication 3, les régions élémentaires du modèle étant définies par un découpage des cartes de profondeur en blocs d'images, le calcul des cartes de profondeur approximées consistant en une modification d'un pas de quantification de ces blocs pour donner une profondeur quantifiée qui est la profondeur approximée à partir de laquelle
sont déterminés les points mal approximés du bloc.
Selon une mise en _uvre particulière de ce procédé, la modification du pas de quantification est effectuée de manière à obtenir les
mêmes valeurs de profondeur quantifiées pour un bloc.
L'utilisation d'un seuil variable adapté à chaque pixel, et calculé par un processus annexe, permet de matriser la qualité des images
synthétiques obtenues.
Le principe consiste à disposer d'un échantillon représentatif des points de vue qui seront synthétisés à partir du modèle, et à effectuer la construction du modèle en contrôlant la distorsion engendrce dans les différents points de vue de 1'échantillon. Plus précisément, une valeur maximale de distorsion fixce dans les images permet à son tour de fixer en tous points une limite supérieure de l'erreur d'approximation de l'objet 3D par son modèle. Le procédé permet ainsi un contrôle de l'erreur de
distorsion engendrée au cours du rendu.
La présente invention propose en particulier une définition précise du seuil variable lorsque l'espace d'utilisation du modèle 3D résultant de la facettisation est connu, c'est-à-dire lorsque l'ensemble des points de vue qui pourront être générés à partir du modèle est connu, ou bien qu'un échantillon représentatif de ces points de vue est connu. L'erreur d'approximation de la carte de profondeur crcée par le processus de facettisation d'un point de vue se répercute sur le modèle 3D, et va
2837597
généralement se traduire par une distorsion géométrique 2D dans les
images des autres points de vue synthétisées à partir du modèle.
L'invention permet une simplification de la carte de profondeur de façon à obtenir une représentation moins coûteuse, tout en contrôlant la perte de qualité des images reconstruites, ici la distorsion géométrique 2D.
Le coût du modèle est réduit.
D'autres particularités et avantages de l'invention appara'^tront
clairement dans la description suivante donnée à titre d'exemple non
limitatif, et faite en regard des figures annexées qui représentent: - la figure 1 une scène dans 1'espace 3D et sa modélisation, - la figure 2 une facettisation de type "grossier à fin", - la figure 3, une erreur dans 1'image synthétisoe due à la modélisation d'un objet - la figure 4, une projection perspective d'un point d'une image de référence dans une image synthétisoe, - la figure 5, un point projeté sur une image synthétisée à partir de la scène réelle et un point projeté à partir du modèle, - la figure 6, la droite épipolaire relative à un point projeté, - les figures 7a et 7b, I'approximation d'une courbe par des
segments, respectivement à partir d'un seuil fixe et d'un seuil variable.
- la figure 8, une erreur due à la modèlisation d'une scène.
La figure 3 représente 1'erreur dans 1'image synthétisoe, résultant de l'erreur d'approximation de la surface de l'objet 3D, cette approximation correspondant à la facettisation de la carte de profondeur de l'image de référence, référence 7. L'erreur d'approximation de profondeur, référence 3, se traduit, pour une vue latérale à partir d'un point de vue J.
par une erreur de distorsion 2D référence 5.
L'idée est de prendre en compte cette erreur de distorsion sur
une image 2D pour des points de vue connus J ou définis arbitrairement.
Ces points de vue doivent être en quantité suffisante pour correspondre à un échantillon représentatif. Une erreur maximale est définie au niveau de
l'image 2D qui correspond à la tolérance maximale de distorsion de l'image.
L'objectif est de modéliser la carte de profondeur de l'image de référence 7 en limitant la distorsion qu'engendrera cette modélisation dans les images des points de vue J. Pour cela, on va calculer en tous points de l'image de
6 2837597
référence 7 les valeurs minimale et maximale bornant l'erreur d'approximation et assurant ainsi la qualité visée pour les images J. En chaque point de l'image de référence 7, N paires de valeurs sont calculées, correspondant aux N images J qui voient ce point. Puis, la paire de valeurs finales du point est calculée de façon à assurer la qualité de rendu sur les N images J. Pour une image de référence 7, on crée ainsi une carte de valeurs minimales et une carte de valeurs maximales qui correspondent, pour chaque pixel de l'image, à une profondeur minimum et une profondeur maximum au-delà desquelles une distorsion 2D supérieure à la valeur autorisée appara^t sur au moins une image parmi l'ensemble des points de vue J. Ce sont ces seuils, écart entre la profondeur 3D réelle et ces valeurs minimum et maximum, qui sont exploités pour décider de la création de
nouvelles facettes.
Les images de référence 7 doivent être suffisamment nombreuses pour permettre de caractériser l'objet, par exemple réparties autour de l'objet pour en définir ses différentes caractéristiques, ou plus généralement la scène quelle qu'elle soit. L'objet ou la scène ne sont en
effet connus que grâce à ces points de vue de référence.
La figure 4 représente les projections P et Pj respectivement sur les images sélectionnées 4 relatives aux points de vue J et les images de référence 7 relatives aux points de vue 1, d'un point O de l'objet 1. La figure 4 illustre la projection perspective 8 d'un point d'une image de référence 7 ou image de la représentation sur une image sélectionnée ou image rendue 4. Il s'agit de calculer la relation qui unit l'erreur sur la profondeur d'un point Pi dans la représentation et l'erreur sur la position 2D
du point P, résultat de la projection de P' sur une image à reconstruire.
(u,v) sont les coordonnées d'un point dans l'image, z est la valeur de profondeur pour ce point, donc la distance du centre optique (I ou J) à l'objet O. I'indice correspond à l'image assimilée au point de vue I ou J. image que l'on appellera par la suite image I ou image J. Les coordonnées du point P, (u;, v;, z;) s'obtiennent par projection perspective du pixel Pi(ui, v;, z;) sur l'image J. L'équation peut s'écrire sous la forme suivante:
7 2837597
u' al a]2 al3 Uj t, Zj 1 Vj = Zi a21 a22 a23. V; + t2 1 a3 a32 a33_ l _t3_ Les coefficients a et t correspondent aux opérations mathématiques relatives aux changements de repères, rotations, translations, et paramètres intrinsèques de caméra des 2 points de vue. La figure 5 représente un point P dans l'image J. issu de la projection d'un point Pi de l'image 1. Ce point ne correspond généralement pas à un pixel de l'image cible J. Du fait de l'approximation de l'objet rcel au modèle, c'est à dire de la profondeur z; par (zj+Azj) dans l'image de référence, une erreur appara^t sur la position du point projeté. P de coordonnées (u; , v;) est la projection perspective à pa rtir de l'objet réel et P' de coo rdon n ées (uj+su, vj+sv) est la projection perspective à partir du modèle. z; correspond à la
profondeur du point P, et z +sz correspond à la profondeur du point P'.
La relation qui existe entre une approxImation de z; par (zj+Az;) et l'erreur sur la position du point projeté (uj+su, vj+sv), qui correspond à une distorsion de la surface sur l'image rendue est donnée par l'équation suivante: Uj +eu all al2 al3 -ui- t (zj + úz). Vj + éV = (Zi + zi)- a21 a22 a23. vi + t2 I _ a31 a32 a33_ l _t3_ Considérant qu'une distorsion est acceptable si elle n'est pas gênante pour l'observateur, il est possible de définir des intervalles sur les valeurs su et sv à l'intérieur desquels la distorsion est acceptable. A leur tour, ces intervalles permettent de définir les limites inférieure et supérieure acceptables sur zi: (zi -zi) et (zi +i). Ces valeurs se déduisent
facilement de l'équation ci-dessus.
Il est connu que la projection 3D de points de l'espace sur une première image, qui ont un même point de projection sur une deuxième image se trouve sur une droite de cette première image, appelée droite épipolaire. La position du point de projection sur cette droite dépend de la
8 2837597
distance au point de vue de la deuxième image, c'est à dire de la valeur z;.
Cette droite est symbolisée par un trait pointillé sur la figure 6.
L'erreur de position tolérée du point projeté peut être par exemple celle symbolisée par les signes [ et] sur cette figure, o une distance maximale au point projeté est définie. Si par exemple on s'impose une distorsion inférieure à un demi pixel, ces positions correspondent à la plus grande des valeurs de su et sv égale à la demi-distance interpixels, ainsi qu'à la valeur négative correspondante. Ces 2 valeurs limites définissent 2 points sur la droite épipolaire, à partir desquels les valeurs
Zmin (i'i) = (Zi - zj) et Zmax (i, j) = (Zi + j) peuvent être calculées.
Chaque point Pi de la représentation est ainsi projeté sur les images J dont il participe à la reconstruction. Pour un point Pi de l'image de référence, à chaque image J correspond un point Pj associé à un couple (Zmin(i,i) ZmaX(ii)) Les valeurs zmjn(i,j) et ZmaX(i,j) sont calculées pour chacune de ces images J. Parmi ces valeurs sont sélectionnées la valeur maximale zM(i) parmi ies valeurs zmjn(i,j) et la valeur minimale zm(i) parmi les valeurs ZmaX(i,j). Si la valeur de zj+Azj pour le point Pi se trouve dans cette fourchette [zm(i), ZM(i)], quelque soit l'image J. alors on peut en déduire que la distorsion sur 1'ensemble des images J. relative au pixel représentatif du point 1, est inférieure aux limites prédéfinies, ce qui assure ainsi le contrôle
de la qualité de toutes les images reconstruites.
Dans la procédure de facettisation, le seuil adaptatif est employé ainsi: la valeur de profondeur approximée Zapp (i) de chaque pixcl est testée vis à vis de son appartenance à 1'intervalle [zm(i), ZM(i)]. Si tous les pixels sont tels que zapp(i) appartient à cet intervalle, la carte de profondeur est considérée comme bien approximoe ", et la procédure de facettisation est stoppée. Si, par contre, il existe des pixcis dont la valeur Zapp (i) est en dehors de cet intervalle, alors le point Pi le plus mal approximé est sélectionné et introduit en tant que sommet de facette, et la
procédure itérative se poursuit.
Les figures 7a et 7b illustrent le principe de 1'approximation d'une courbe par des segments de droite avec dans le premier cas un seuil fixe, et dans le second un seuil adaptatif. Les courbes à approximer sont
9 2837597
référencées 9, les intervalles ou seuils sont référencés 10 et les courbes
obtenues par approximation sont référencées 11.
Le cas de l'approximation d'une surface par des facettes peut facilement être extrapolé de cette illustration. La carte de profondeur originale correspondant à la scène et la carte de profondeur approximée correspondant au modèle sont à comparer respectivement à la courbe à approximer 9 et aux segments de droite 11. Les fourchettes attribuées aux
pixels de la carte de profondeur correspondent au seuil variable 10.
Le modèle 3D définissant la scène est décrit à partir de régions élémentaires, par exemple des facettes. Une carte de profondeur initiale est facettisée par itérations, comme décrit à la figure 2 pour donner
une carte de profondeur approximée ou carte de profondeur synthétique.
Les itérations sont par exemple réalisées de la manière suivante: A partir d'une carte de profondeur approximoe, pour chaque région de cette carte relative à une région élémentaire ou facette de la scène 3D, la valeur approximée de chaque pixcl est comparée à la fourchette qui lui est attribuée. On compare ainsi la profondeur attribuée aux pixels de la carte de profondeur approximée, calculée de manière connue, par exemple par interpolation à partir des profondeurs des sommets des facettes, à la profondeur des pixels correspondants de la carte de profondeur originale, celle définissant la scène. Si la valeur approximée d'un pixel est en dehors de la fourchette, alors son erreur d'approximation correspondante est calculée. Puis, parmi ces pixcis, celui dont l'erreur est la plus grande est sélectionné. Une nouvelle facettisation est alors décidée pour cette région élémentaire. Il est procédé ainsi pour l'ensemble des régions de la carte de profondeur. Les itérations sur les cartes de profondeur sont arrêtées lorsque, pour une carte de profondeur approximée, les points ont tous leurs profondeurs approximées se trouvant
à l'intérieur des fourchettes attribuées à ces points.
L'intérêt d'un seuil adaptatif appara^t en particulier dans certaines configurations de mouvement de caméra: par exemple, lorsque le mouvement de caméra est de type frontal, le relief de la zone vers laquelle se dirige la caméra peut être approximé de façon grossière. De même, si le mouvement correspond à une rotation, I'information de
2337597
profondeur devient inutile, I'intervalle est donc infini et la représentation par
facettes peut être minimale.
Le seuil adaptatif est défini en chaque point à partir d'une erreur de distorsion maximale tolérce fixe sur tous les points projetés. Cette distorsion peut elle-même être plus ou moins tolérable: - selon que le point projeté, sur une image rendue, se trouve sur la silhouette de l'objet 2D ou à l'intérieur. Il peut en effet être important de conserver une silhouette précise alors que les distorsions intérieures ne
sont par exemple pas visibles.
- selon que le point sur l'image de la représentation est situé sur un trait caractéristique de l'objet, de type géométrique, par exemple un bord saillant rectiligne, ou texturant, dont on veut conserver la précision, ou au contraire dans une zone à texture uniforme o les défauts seront peu
1 5 visibles.
La distorsion que l'on s'autorise peut donc elle-même varier en fonction de tels facteurs. Le seuil de facettisation sera alors calcuié en tenant compte par exemple, pour chaque point, de la valeur de distorsion
maximale attribuée au pixel le plus proche du point correspondant projeté.
Cette valeur de distorsion maximale peut être calculée de manière automatique en fonction de paramètres définissant l'image, par
exemple le gradient de luminance.
La méthode de calcul des seuils décrite ci-dessus s'inscrit dans le contexte de la modélisation d'une ou plusieurs cartes de profondeur, le modèle résultant devant d'une part comprimer l'information, et d'autre part servir à synthétiser des points de vue dont on veut contrôler la qualité de rendu. Dans ce contexte, tout autre mode de modélisation entranant l'approximation des valeurs de profondeur peut aussi s'appuyer sur le seuil adaptatif pour contrôler la qualité du rendu. La facettisation est
un moyen de compression des données relatives aux cartes de profondeur.
En effet, la scène 3D n'est alors plus définie à partir de valeurs de profondeur attribuéss à chaque pixel mais à partir de données définissant les facettes. Un autre moyen, qui exploite la corrélation spatiale, réalise de manière classique un découpage de 1'image en blocs d'image, une transformation cosinus discrète suivie d'une quantification des blocs
1 1 2837597
d'image. Il est par exemple possible de simplifier le contenu des blocs avant transformation, en mettant par exemple tous les points d'un bloc à la même valeur de profondeur si cette approximation respecte en tous points du bloc
les bornes minimales et maximales calculées.
La carte de profondeur originale est découpée en blocs
d'image. Chaque bloc projeté sur l'objet représente la région élémentaire.
L'approximation de la carte de profondeur pour définir le modèle est ici effectuce en quantifiant les valeurs de profondeur composant les blocs d'images. Le pas de quantification est par exemple choisi croissant lors des itérations, I'erreur entre le bloc d'image quantifié et le bloc d'image original représentant l'approximation au modèle. La fourchette relative au pixcl pour lequel la profondeur correspond à l'erreur maximale dans le bloc, est
comparce à l'erreur d'approximation pour décider d'une itération suivante.
En référence à la figure 3, la figure 8 constitue une généralisation de la scène et du modèle associé, qui ne se limitent pas
nécessairement respectivement à un seul objet et à un modèle à facettes.
Le brevet français publié sous le n 2798761, ayant pour titre "procédé de construction d'un modèle de scène 3D par analyse de séquence d'images", dont le titulaire est la demanderesse, décrit la définition d'une scène 3D à partir de masques d'images d'une séquence d'images, qui sont des pixels sélectionnés pour la construction du modèle, et de cartes de profondeur. La facettisation décrite précédemment peut s'appliquer à la construction du modèle. Les représentations 3D construites à partir d'une séquence d'images et qui sont les masques binaires décrivant les régions 2D, les cartes de profondeur et positions des points de vue correspondent alors aux images de référence. La liste de points de vue qui font appel à une même région dans le rendu, c'est à dire qui correspondent aux images ayant des pixels communs à un même point 3D, ou un sous-ensemble pertinent de
cette liste si elle est grande, est exploitée pour le caloul du seuil adaptatif.
L'invention concerne aussi bien une construction de modèle de
type "grossier à fin" que de type "fin à grossier".
La construction incrémentale du modèle de type " grossier à fin " consiste, à partir d'un modèle initial grossier, à l'enrichir en introduisant à chaque itération un nouveau point 3D de l'objet à modéliser. Lors de ce
1 2 2837597
processus, il est possible, à chaque itération, de tester la validité du modèle pour chacun des points de vue d'un ensemble de référence, en calculant la distorsion maximale dans l'image, et d'introduire un nouveau point 3D si celle-ci est supérieure au seuil. Le processus est ainsi stoppé lorsque tous les points de vue de référence ont une distorsion en tous points inférieure au seuil fixé. Il est possible qu'un point de vue ne soit plus pris en compte dès lors que la distorsion dans son image est en tous points inférieure au seuil. La construction incrémentale du modèle de type fin à grossier " consiste, à partir du modèle à résolution maximale, à ôter des points tant que la qualité du modèle est acceptable. Dans ce contexte, il est aussi possible, à chaque itération, de tester la validité du modèle pour chacun des points de vue donnés, et de supprimer un point si la distorsion qui en résulte dans chaque image est inférieure au seuil. Le processus est ainsi stoppé lorsque la suppression d'un point entrane sur au moins N
points de vue une distorsion supérieure au seuil fixé.
Les applications de l'invention concernent entre autres la construction de modèles pour la synthétisation d'images ou la compression
de données.
1 3 2837597
Claims (13)
1 Procédé de modélisation d'une scène 3D (1) définie à partir d'images de référence (7) associées à des points de vue (I) et des cartes de profondeur originales, par calcul de cartes de profondeur approximées décrivant un modèle, caractérisé en ce qu'il comporte les étapes suivantes: - prédétermination d'une distorsion (5) maximum autorisée sur une image synthétisée 2D (4), générce par l'approximation inhérente au modèle (2), - calcul, pour un point I d'une image de référence (7) et à partir d'un ensemble d'images synthétisoes (4) représentant le point 3D de la scène correspondant à ce point 1, des valeurs de profondeur minimum (zj Azj4) et maximum (z; + Azj2) de la profondeur z; de ce point I correspondant à cette distorsion maximum, - calcul d'une fourchette autour de la profondeur z; de ce point 1, fonction de la valeur minimale de l'erreur zj2 et de la valeur minimale de l'erreur Azji parmi les valeurs calculées pour les images synthétisées de l'ensemble, et en ce qu'il comporteégalement une étape de validation d'une carte de profondeur approximoe calculée par itération, en fonction de la profondeur approximoe Zapp de points 3D du modèle correspondant relatifs à des points I de l'image de référence, selon qu'elle appartienne ou pas à la
fourchette calculée pour ces points 1.
2 Procédé selon la revendication 1, caractérisé en ce que le calcul des valeurs minimum et maximum de la profondeur d'un point 1, pour une image synthétisée (4), est effectué en exploitant la droite épipolaire correspondant au point I sur cette image synthétisoe, sur laquelle sont
rapportées les distances correspondant à la distorsion maximum autorisée.
3 Procédé selon la revendication 1, caractérisé en ce que, le modèle étant défini par un ensemble de régions élémentaires, les points 3D dont la profondeur est exploitée pour l'étape de validation sont les points
d'une région élémentaire du modèle.
1 4 2837597
4 Procédé selon la revendication 3, caractérisé en ce qu'une région élémentaire est une facette et en ce que le calcul par itération est une facettisation des cartes de profondeur, I'itération comportant la création d'un nouveau sommet de facette 3D du modèle ou la suppression d'un sommet de facette 3D du modèle selon que le procédé est du type "grossier à fin" ou
"fin à grossier".
Procédé selon la revendication 4, de type "grossier à fin", caractérisé en ce que l'itération comporte un calcul de la vaieur la plus mal approximée parmi les valeurs approximoes relatives à une facette et qui sont en dehors des fourchettes, et en ce que le nouveau sommet est relatif au
point correspondant à cette valeur.
6 Procédé selon la revendication 1, caractérisé en ce que I'ensemble d'images synthétisées (4) sur lequel est effectué le calcul des erreurs correspond à un échantillon représentatif de l'ensemble des points de
vue utilisant l'image de référence (73.
7 Procédé selon la revendication 6, caractérisé en ce que I'ensemble d'images synthétisées sur lequel est effectué le calcul des erreurs est composé d'images ayant un nombre de points 3D communs avec l'image
de référence, supérieur à un seuil.
8 Procédé selon la revendication 1, caractérisé en ce que la distorsion maximale autorisée est prédéterminée en fonction d'une
caractéristique d'une image.
9 Procédé selon la revendication 8, caractérisé en ce qu'une
caractéristique d'une image est le gradient de luminance.
Procédé de génération d'images, caractérisé en ce que les images sont générées à partir d'une modélisation de la scène selon le
procédé de la revendication 1.
3511 Procédé de compression de données définissant une scène 3D, ces données étant relatives à des images de référence pour le rendu et à
1 5 2837597
des cartes de profondeur associées, caractérisé en ce que les cartes de profondeur sont modélisoes par facettisation selon le procédé de la revendication 4 et en ce que les donnces relatives aux images de référence et aux cartes de profondeur sont remplacoes par des donnces définissant les facettes.
12 Procédé de compression de données définissant une scène 3D, ces données étant relatives à des images de référence pour le rendu et à des cartes de profondeur associées, caractérisé en ce qu'il comporte les étapes de modélisation selon le procédé de modélisation de la revendication 3, les régions élémentaires du modèle étant définies par un découpage des cartes de profondeur en blocs d'images, le caloul par itérations d'une carte de profondeur approximée consistant en une modification d'un pas de quantification de ces blocs pour donner une profondeur quantifice qui est la
profondeur approximoe.
13 Procédé selon la revendication 12, caractérisé en ce que la modification du pas de quantification est une augmentation du pas de quantification de manière à obtenir le pas de quantification le plus large ou
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0203663A FR2837597A1 (fr) | 2002-03-25 | 2002-03-25 | Procede de modelisation d'une scene 3d |
| EP03290554.9A EP1349116B1 (fr) | 2002-03-25 | 2003-03-07 | Procédé de modelisation d'une scène tridimensionnelle |
| KR10-2003-0017419A KR20030077985A (ko) | 2002-03-25 | 2003-03-20 | 3ｄ 장면 모델링 방법 |
| JP2003080969A JP4376532B2 (ja) | 2002-03-25 | 2003-03-24 | ３ｄシーンのモデリング方法 |
| US10/396,182 US7113635B2 (en) | 2002-03-25 | 2003-03-25 | Process for modelling a 3D scene |
| CNB031073883A CN100337252C (zh) | 2002-03-25 | 2003-03-25 | 用于建模3d场景的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0203663A FR2837597A1 (fr) | 2002-03-25 | 2002-03-25 | Procede de modelisation d'une scene 3d |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2837597A1 true FR2837597A1 (fr) | 2003-09-26 |
Family
ID=27799215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0203663A Pending FR2837597A1 (fr) | 2002-03-25 | 2002-03-25 | Procede de modelisation d'une scene 3d |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7113635B2 (fr) |
| EP (1) | EP1349116B1 (fr) |
| JP (1) | JP4376532B2 (fr) |
| KR (1) | KR20030077985A (fr) |
| CN (1) | CN100337252C (fr) |
| FR (1) | FR2837597A1 (fr) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| EP1588327B1 (fr) * | 2003-01-17 | 2018-09-26 | Koninklijke Philips N.V. | Acquisition de carte de profondeur complète |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US8072470B2 (en) * | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US7660436B2 (en) * | 2003-06-13 | 2010-02-09 | Sarnoff Corporation | Stereo-vision based imminent collision detection |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| KR100682935B1 (ko) * | 2005-02-17 | 2007-02-15 | 삼성전자주식회사 | 데이터베이스의 비정상샘플 제거 방법 및 장치 |
| US20060233461A1 (en) * | 2005-04-19 | 2006-10-19 | Honeywell International Inc. | Systems and methods for transforming 2d image domain data into a 3d dense range map |
| CN101432776B (zh) * | 2006-05-05 | 2013-04-24 | 汤姆森特许公司 | 用于从二维图像进行三维物体重建的系统和方法 |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US20080158254A1 (en) * | 2006-12-29 | 2008-07-03 | Hong Jiang | Using supplementary information of bounding boxes in multi-layer video composition |
| KR101483659B1 (ko) * | 2008-07-11 | 2015-01-16 | 삼성디스플레이 주식회사 | 입체영상 표시방법, 이를 수행하기 위한 표시장치 |
| KR101556593B1 (ko) * | 2008-07-15 | 2015-10-02 | 삼성전자주식회사 | 영상 처리 방법 |
| US8180167B2 (en) * | 2008-07-16 | 2012-05-15 | Seiko Epson Corporation | Model-based error resilience in data communication |
| US8233664B2 (en) * | 2008-11-12 | 2012-07-31 | Eastman Kodak Company | Determining relative depth of points in multiple videos |
| US8248410B2 (en) * | 2008-12-09 | 2012-08-21 | Seiko Epson Corporation | Synthesizing detailed depth maps from images |
| US8194097B2 (en) * | 2008-12-12 | 2012-06-05 | Seiko Epson Corporation | Virtual masking using rigid parametric modeling |
| US8705852B2 (en) | 2011-01-27 | 2014-04-22 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for defining distortion function for synthesized image of intermediate view |
| KR101332628B1 (ko) * | 2011-11-23 | 2013-11-25 | 에스케이플래닛 주식회사 | 3차원 입체영상의 입체감 측정 장치 및 방법 |
| WO2013077510A1 (fr) * | 2011-11-23 | 2013-05-30 | 에스케이플래닛 주식회사 | Procédé et dispositif pour mesurer un effet stéréoscopique ainsi que la stabilité ou le manque de fiabilité d'une image stéréoscopique en trois dimensions |
| EP2728306A1 (fr) * | 2012-11-05 | 2014-05-07 | Hexagon Technology Center GmbH | Procédé et dispositif pour déterminer les coordonnées tridimensionnelles d'un objet |
| JP2015033047A (ja) * | 2013-08-05 | 2015-02-16 | Kddi株式会社 | 複数カメラを用いた奥行き推定装置 |
| CN104768018B (zh) * | 2015-02-04 | 2016-09-21 | 浙江工商大学 | 一种基于深度图的快速视点预测方法 |
| KR101768532B1 (ko) * | 2016-06-08 | 2017-08-30 | 주식회사 맥스트 | 증강 현실을 이용한 화상 통화 시스템 및 방법 |
| EP3769038A1 (fr) | 2018-03-19 | 2021-01-27 | Ricoh Company, Ltd. | Appareil de traitement d'informations, appareil de capture d'images, système de traitement d'images et procédé de traitement d'informations |
| CN108961404B (zh) * | 2018-06-27 | 2022-02-08 | 衡阳师范学院 | 一种积木式构建不规则模型的方法和系统 |
| CN113096254B (zh) * | 2021-04-23 | 2023-09-22 | 北京百度网讯科技有限公司 | 目标物渲染方法及装置、计算机设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0526881A2 (fr) * | 1991-08-06 | 1993-02-10 | Canon Kabushiki Kaisha | Méthode et appareil de traitement de modèle tri-dimensionel |
| US6198486B1 (en) * | 1998-09-23 | 2001-03-06 | Intel Corporation | Method of using a hybrid error metric for multi-resolution mesh generation |
| FR2798761A1 (fr) * | 1999-09-17 | 2001-03-23 | Thomson Multimedia Sa | Procede de construction d'un modele de scene 3d par analyse de sequence d'images |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2724033B1 (fr) * | 1994-08-30 | 1997-01-03 | Thomson Broadband Systems | Procede de generation d'image de synthese |
| IL113496A (en) * | 1995-04-25 | 1999-09-22 | Cognitens Ltd | Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof |
| US5905500A (en) * | 1997-02-19 | 1999-05-18 | Seiko Epson Corporation | Method and apparatus for adaptive nonlinear projective rendering |
| JP3906615B2 (ja) * | 1999-10-29 | 2007-04-18 | 株式会社明電舎 | 回帰的対応点探索方法、これを利用した三次元位置計測方法、これらの装置、並びに、記録媒体 |
| JP4192377B2 (ja) * | 1999-12-27 | 2008-12-10 | コニカミノルタセンシング株式会社 | 三次元形状データのデータ削減方法及びデータ削減装置 |
-
2002
- 2002-03-25 FR FR0203663A patent/FR2837597A1/fr active Pending
-
2003
- 2003-03-07 EP EP03290554.9A patent/EP1349116B1/fr not_active Expired - Fee Related
- 2003-03-20 KR KR10-2003-0017419A patent/KR20030077985A/ko not_active Application Discontinuation
- 2003-03-24 JP JP2003080969A patent/JP4376532B2/ja not_active Expired - Fee Related
- 2003-03-25 CN CNB031073883A patent/CN100337252C/zh not_active Expired - Fee Related
- 2003-03-25 US US10/396,182 patent/US7113635B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0526881A2 (fr) * | 1991-08-06 | 1993-02-10 | Canon Kabushiki Kaisha | Méthode et appareil de traitement de modèle tri-dimensionel |
| US6198486B1 (en) * | 1998-09-23 | 2001-03-06 | Intel Corporation | Method of using a hybrid error metric for multi-resolution mesh generation |
| FR2798761A1 (fr) * | 1999-09-17 | 2001-03-23 | Thomson Multimedia Sa | Procede de construction d'un modele de scene 3d par analyse de sequence d'images |
Non-Patent Citations (2)
| Title |
|---|
| FITZGIBBON A W ET AL: "Automatic 3D model construction for turn-table sequences", LECTURE NOTES IN COMPUTER SCIENCE, SPRINGER VERLAG, NEW YORK, NY, US, 6 June 1998 (1998-06-06), pages 155 - 170, XP002121436, ISSN: 0302-9743 * |
| X,CHEN;F. SCHMIT: "Adaptive range data approximaion by constrained surface triangulation", WORK. CONF. MODELING IN COMPUTER GRAPHICS, 1 July 1993 (1993-07-01), Genova(IT), pages 95 - 113, XP008010452 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4376532B2 (ja) | 2009-12-02 |
| CN1447288A (zh) | 2003-10-08 |
| US7113635B2 (en) | 2006-09-26 |
| KR20030077985A (ko) | 2003-10-04 |
| EP1349116A1 (fr) | 2003-10-01 |
| EP1349116B1 (fr) | 2018-07-18 |
| JP2003323631A (ja) | 2003-11-14 |
| CN100337252C (zh) | 2007-09-12 |
| US20030179194A1 (en) | 2003-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR2837597A1 (fr) | Procede de modelisation d'une scene 3d | |
| EP3292541B1 (fr) | Procede des simplification de modele de geometrie | |
| JP4880090B2 (ja) | ３ｄテクスチャの超解像のための画像生成装置及び方法 | |
| CN111553858B (zh) | 基于生成对抗网络的图像修复方法、系统及其应用 | |
| GB2555673A (en) | Image patch matching using probabilistic sampling based on an oracle | |
| CN111223059B (zh) | 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法 | |
| FR2798761A1 (fr) | Procede de construction d'un modele de scene 3d par analyse de sequence d'images | |
| CN114627227B (zh) | 基于pbr材质的物体重建方法、设备及计算机可读存储介质 | |
| WO2000008604A1 (fr) | Affinement selectif de mailles | |
| Lawonn et al. | Stylized image triangulation | |
| CN113963010A (zh) | 一种物体轮廓线提取方法及系统 | |
| EP2856424B1 (fr) | Procede de mesures tridimensionnelles par stereo-correlation utilisant une representation parametrique de l'objet mesure | |
| EP1101199B1 (fr) | Simplification et codage d'un maillage source | |
| Xing et al. | Highly parallel algorithms for visual-perception-guided surface remeshing | |
| FR2933520A1 (fr) | Procede et dispositif de restauration d'une sequence video | |
| Sun et al. | SOL-NeRF: Sunlight modeling for outdoor scene decomposition and relighting | |
| EP3482264B1 (fr) | Procédé d'usinage de reliefs | |
| Colom et al. | 3D shape reconstruction from non-realistic multiple-view depictions using NVDiffRec | |
| EP1095358B1 (fr) | Procede de modelisation d'objets ou de scenes 3d | |
| EP1344186B1 (fr) | Procede de representation de scenes 3d en realite virtuelle et dispositif correspondant | |
| Vlachos et al. | An adhoc UW image colour correction method and the impact on image feature matching & SfM-MVS 3D reconstruction | |
| EP1121665B1 (fr) | Procede de codage d'un maillage source, avec optimisation de la position d'un sommet resultant d'une fusion d'arete, et applications correspondantes | |
| le Viet et al. | 3D Depth Map Inpainting for Vietnamese Historical Printing Woodblocks: A Gated Convolution Approach | |
| Pinho | Fast and Robust 3D Reconstruction Solution from Permissive OpenSource Code | |
| EP1069531A1 (fr) | Intégration de lignes de contrainte dans une triangulation de delaunay |