FR3145824A1 - Method of communicating data from a virtual fitting system for an accessory by a digitally represented living being - Google Patents
Method of communicating data from a virtual fitting system for an accessory by a digitally represented living being Download PDFInfo
- Publication number
- FR3145824A1 FR3145824A1 FR2301334A FR2301334A FR3145824A1 FR 3145824 A1 FR3145824 A1 FR 3145824A1 FR 2301334 A FR2301334 A FR 2301334A FR 2301334 A FR2301334 A FR 2301334A FR 3145824 A1 FR3145824 A1 FR 3145824A1
- Authority
- FR
- France
- Prior art keywords
- data
- accessory
- digital twin
- image data
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004891 communication Methods 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013481 data capture Methods 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 241000282693 Cercopithecidae Species 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0621—Item configuration or customization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/16—Cloth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
La présente invention concerne un procédé et dispositif de communication de données d’un système (1) d’essayage virtuel d’au moins un accessoire par un être vivant représenté numériquement basé sur la réalité virtuelle c’est-à-dire un système qui génère un résultat numérique combinant une représentation numérique tridimensionnelle (3D) d’au moins une partie d’un être vivant (10) et une représentation numérique 3D d’un accessoire. Figure pour l’abrégé : Figure 1The present invention relates to a method and device for communicating data of a system (1) for virtual fitting of at least one accessory by a digitally represented living being based on virtual reality, i.e. a system which generates a digital result combining a three-dimensional (3D) digital representation of at least one part of a living being (10) and a 3D digital representation of an accessory. Figure for abstract: Figure 1
Description
La présente invention concerne les procédés et systèmes de communication de données d’un système d’essayage virtuel d’au moins un accessoire par un être vivant représenté numériquement.The present invention relates to methods and systems for communicating data from a system for virtual fitting of at least one accessory by a digitally represented living being.
Il est connu des applications ou services qui permettent à une personne d’essayer un accessoire de manière virtuelle. Ces applications ou services sont basés sur la réalité augmentée (en anglais « augmented reality ») c’est-à-dire, par exemple sur une combinaison entre des images numériques bidimensionnelles (2D) capturées de la personne qui sont combinées avec un rendu tridimensionnel (3D) d’un accessoire. A noter que la réalité augmentée peut aussi être obtenue par une combinaison d’une image volumétrique et d’un rendu d’une scène 3D.Applications or services are known that allow a person to try on an accessory virtually. These applications or services are based on augmented reality, that is, for example, on a combination of two-dimensional (2D) digital images captured of the person that are combined with a three-dimensional (3D) rendering of an accessory. Note that augmented reality can also be obtained by a combination of a volumetric image and a rendering of a 3D scene.
La combinaison de données d’images 2D et 3D des applications basées sur la réalité augmentée limite l’affichage de l’image résultant de la combinaison de ces données à un seul point de vue ou au mieux à différents points de vue dont les axes de vue sont très proches les uns des autres.The combination of 2D and 3D image data in augmented reality-based applications limits the display of the image resulting from the combination of these data to a single viewpoint or at best to different viewpoints whose view axes are very close to each other.
Les applications ou services d’essayage virtuels actuels permettent ainsi à une personne de se forger une opinion concernant l’achat de cet accessoire en visualisant sur un écran une image formée par la combinaison des images 2D de cette personne et de l’accessoire.Current virtual fitting applications or services allow a person to form an opinion regarding the purchase of this accessory by viewing on a screen an image formed by the combination of 2D images of this person and the accessory.
Ces applications ou services basés sur la réalité augmentée sont habituellement limités à rendre des images résultantes d’une vue de face d’un utilisateur. En effet, une capture de données d’images représentant une vue de face de cet utilisateur est généralement faite car l’utilisateur regarde habituellement la caméra qui effectue cette capture de données d’images. L’image résultant de la combinaison de ces données d’images capturées et de données représentant un accessoire est alors une image 2D de cet utilisateur représentant une vue de face de l’utilisateur. Les applications ou services basés sur la réalité augmentée sont donc adaptés lorsque l’accessoire en question est porté sur la face de la personne, par exemple du maquillage. Par contre, lorsque l’accessoire est porté sur un côté de la personne, par exemple des boucles d’oreille, ces applications ou services ne sont pas bien adaptés du fait qu’ils ne proposent que des représentations numériques 2D alors que la personne peut vouloir avoir des vues de face et de côté, par exemple, avant de se décider pour son achat.These augmented reality-based applications or services are usually limited to rendering images resulting from a front view of a user. Indeed, an image data capture representing a front view of this user is generally made because the user usually looks at the camera that performs this image data capture. The image resulting from the combination of this captured image data and data representing an accessory is then a 2D image of this user representing a front view of the user. Augmented reality-based applications or services are therefore suitable when the accessory in question is worn on the person's face, for example makeup. On the other hand, when the accessory is worn on one side of the person, for example earrings, these applications or services are not well suited because they only offer 2D digital representations while the person may want to have front and side views, for example, before deciding on their purchase.
Un des problèmes de ces applications ou services d’essayage virtuels basés sur la réalité augmentée est donc que les images résultantes ne permettent pas à la personne d’obtenir une visualisation d’un accessoire qu’elle porterait si elle l’achetait selon différents points de vue, par exemple de face, de côté ou de trois-quarts. De plus, ces applications ou services d’essayage virtuels basés sur la réalité augmentée ne permettent pas de contextualiser les représentations numériques de la personne et de l’accessoire au gré de la personne en train de visualiser sur un écran le résultat visuel fourni par ces applications ou services alors qu’il serait avantageux en termes de vente que cette personne puisse positionner ce résultat visuel dans différents contextes de luminosité ou d’ambiance et/ou de fournir une mise en contexte et des environnements différents pour mettre en valeur la projection de soi et de l’objet par exemple.One of the problems with these virtual fitting applications or services based on augmented reality is therefore that the resulting images do not allow the person to obtain a visualization of an accessory that they would wear if they purchased it from different points of view, for example from the front, from the side or from a three-quarter view. In addition, these virtual fitting applications or services based on augmented reality do not allow the digital representations of the person and the accessory to be contextualized according to the wishes of the person viewing on a screen the visual result provided by these applications or services, whereas it would be advantageous in terms of sales if this person could position this visual result in different contexts of brightness or ambiance and/or provide a contextualization and different environments to highlight the projection of oneself and the object, for example.
Résumé de la présente inventionSummary of the present invention
Un objet de la présente invention est de résoudre au moins un des inconvénients de l’arrière-plan technologique.An object of the present invention is to solve at least one of the drawbacks of the technological background.
Selon un premier aspect, la présente invention concerne un procédé de communication de données d’un système d’essayage virtuel d’au moins un accessoire par un être vivant représenté numériquement basé sur la réalité virtuelle c’est-à-dire un système qui génère un résultat numérique combinant une représentation numérique tridimensionnelle d’au moins une partie de l’être vivant (personne ou animal) et une représentation numérique 3D d’un accessoire.According to a first aspect, the present invention relates to a method for communicating data from a virtual fitting system for at least one accessory by a digitally represented living being based on virtual reality, i.e. a system which generates a digital result combining a three-dimensional digital representation of at least one part of the living being (person or animal) and a 3D digital representation of an accessory.
Le procédé comprend les étapes suivantes :
- capture, par un premier dispositif, de données d’images représentatives d’au moins une partie de l’être vivant selon différents points de vue ;
- transmission, par le premier dispositif et à destination d’un deuxième dispositif mettant en œuvre au moins en partie une chaine de blocs, de premières données représentatives d’une requête de calcul et de reconstruction pour obtenir des deuxièmes données représentatives d’une vue d’un jumeau numérique tridimensionnel porteur dudit au moins un accessoire selon un point de vue, le jumeau numérique comprenant des données de maillage représentatives d’une structure de maillage tridimensionnelle représentée, dans un espace géométrique tridimensionnel, par un ensemble de sommets de formes polygonales formant une structure, chaque forme polygone partageant au moins un côté avec une autre forme polygonale, le jumeau numérique tridimensionnel comprenant en outre des données de texture représentant une texture des surfaces de la structure de maillage tridimensionnelle, les premières données comprenant les données d’images capturées et des données d’anonymisation permettant de créer un lien entre les données d’images capturées et un propriétaire des données d’images capturées tout en conservant l’anonymat du propriétaire ;
- transmission à destination du deuxième dispositif, de données d’accessoires représentatives d’une représentation tridimensionnelle dudit au moins un accessoire dans l’espace géométrique tridimensionnel ;
- encodage, par le deuxième dispositif, des données d’images capturées et des données d’anonymisation de la requête dans la chaîne de blocs ;
- calcul, par le deuxième dispositif, des données de maillage par modification de données de maillage d’un jumeau numérique initial selon des informations morphologiques extraites des données d’images capturées, et des données de texture du jumeau numérique obtenues à partir de données de texture extraites des données d’images capturées ;
- calcul, par le deuxième dispositif, des deuxièmes données représentatives d’une vue selon le point de vue du jumeau numérique porteur dudit au moins un accessoire à partir des données de maillage et des données de texture du jumeau numérique et des données d’accessoires ;
- transmission des deuxièmes données par le deuxième dispositif à destination d’un troisième dispositif ; et
- calcul, par le troisième dispositif, d’un rendu de la vue du jumeau numérique porteur de dudit au moins un accessoire selon le point de vue à partir des deuxièmes données.The process includes the following steps:
- capture, by a first device, of image data representative of at least part of the living being from different points of view;
- transmission, by the first device and to a second device implementing at least in part a blockchain, of first data representative of a calculation and reconstruction request to obtain second data representative of a view of a three-dimensional digital twin carrying said at least one accessory according to a point of view, the digital twin comprising mesh data representative of a three-dimensional mesh structure represented, in a three-dimensional geometric space, by a set of vertices of polygonal shapes forming a structure, each polygonal shape sharing at least one side with another polygonal shape, the three-dimensional digital twin further comprising texture data representing a texture of the surfaces of the three-dimensional mesh structure, the first data comprising the captured image data and anonymization data making it possible to create a link between the captured image data and an owner of the captured image data while preserving the anonymity of the owner;
- transmission to the second device of accessory data representing a three-dimensional representation of said at least one accessory in the three-dimensional geometric space;
- encoding, by the second device, the captured image data and the query anonymization data in the blockchain;
- calculating, by the second device, the mesh data by modifying mesh data of an initial digital twin according to morphological information extracted from the captured image data, and texture data of the digital twin obtained from texture data extracted from the captured image data;
- calculation, by the second device, of the second data representative of a view according to the point of view of the digital twin carrying said at least one accessory from the mesh data and the texture data of the digital twin and the accessory data;
- transmission of the second data by the second device to a third device; and
- calculation, by the third device, of a rendering of the view of the digital twin carrying said at least one accessory according to the point of view from the second data.
Selon une variante, les données d’images capturées qui correspondent à une image capturée doivent vérifier au moins un critère de qualité pour être conservées.Alternatively, captured image data that corresponds to a captured image must meet at least one quality criterion to be retained.
Selon une variante, les premières données sont authentifiées par la chaîne de blocs avant d’être transmises.Alternatively, the first data is authenticated by the blockchain before being transmitted.
Selon une variante, les données d’images capturées, les données d’anonymisation et une donnée de lien permettant une mise en relation entre les données d’anonymisation et les données d’images capturées sont stockées dans des mémoires et/ou registres distincts.According to one variant, the captured image data, the anonymization data and a link data allowing a connection between the anonymization data and the captured image data are stored in separate memories and/or registers.
Selon une variante, les données d’accessoires sont transmises par le deuxième ou le troisième dispositif.Alternatively, the accessory data is transmitted by the second or third device.
Selon une variante, la requête comprend également des données de paramétrage de vue représentatives d’un point de vue du jumeau numérique porteur dudit au moins un accessoire et/ou de paramétrage d’un contexte de vue du jumeau numérique porteur dudit au moins un accessoire.According to a variant, the request also includes view configuration data representative of a point of view of the digital twin carrying said at least one accessory and/or of configuration of a view context of the digital twin carrying said at least one accessory.
Selon une variante, les données d’images capturées comprennent une information représentative de contenus d’images et/ou une information descriptive de géométrie de ladite au moins une partie de l’être vivant dans l’espace géométrique tridimensionnel.According to a variant, the captured image data comprises information representative of image contents and/or descriptive information of geometry of said at least one part of the living being in the three-dimensional geometric space.
L’information descriptive de géométrie permet l’appropriation de l’espace de ladite au moins une partie de l’être vivant.The descriptive information of geometry allows the appropriation of the space of said at least one part of the living being.
Selon une variante, les données images capturées correspondent à une image ou à plusieurs images.Alternatively, the captured image data corresponds to one or more images.
Selon une variante, les premières données sont encodées dans la chaîne de blocks sous la forme d’un jeton non fongible.Alternatively, the first data is encoded in the blockchain as a non-fungible token.
Selon une variante, les données de maillage et les données de texture du jumeau numérique sont calculées par CPU (de l’anglais « Central Processing Unit » , en français « unité de calcul centrale ») et/ou en GPU (de l’anglais « Graphics Processing unit », en français « unité de calcul graphique » ) et/ou en calcul quantique.According to one variant, the mesh data and the texture data of the digital twin are calculated by CPU (Central Processing Unit) and/or GPU (Graphics Processing unit) and/or quantum computing.
Selon un deuxième aspect, la présente invention concerne un système d’essayage virtuel d’au moins un accessoire par un être vivant représenté numériquement comprenant :
- un premier dispositif comprenant des moyens de communication, au moins un moyen de capture de données d’images et au moins un processeur prévu pour exécuter des instructions pour la mise en œuvre d’au moins une étape du procédé selon le premier aspect de la présente invention ;
- un deuxième dispositif comprenant des moyens de communication, des moyens pour mettre en œuvre au moins une partie d’une chaîne de blocs et au moins un processeur prévu pour exécuter des instructions pour la mise en œuvre d’au moins une étape du procédé selon le premier aspect de la présente invention ;
- un troisième dispositif comprenant des moyens de communication, un écran et au moins un processeur prévu pour exécuter des instructions pour la mise en œuvre d’au moins une étape du procédé selon le premier aspect de la présente invention.According to a second aspect, the present invention relates to a system for virtual fitting of at least one accessory by a digitally represented living being comprising:
- a first device comprising communication means, at least one image data capture means and at least one processor provided for executing instructions for implementing at least one step of the method according to the first aspect of the present invention;
- a second device comprising communication means, means for implementing at least part of a blockchain and at least one processor provided for executing instructions for the implementation of at least one step of the method according to the first aspect of the present invention;
- a third device comprising communication means, a screen and at least one processor provided for executing instructions for the implementation of at least one step of the method according to the first aspect of the present invention.
Selon une variante, le premier dispositif et le troisième dispositif sont un même dispositif.According to a variant, the first device and the third device are the same device.
Selon une variante, le premier dispositif (101) et le troisième dispositif (103) sont :
- un même téléphone ; ou
- une même paire de lunettes équipée d’au moins une caméra et dudit écran ; ou
- une même paire de lentilles de contact oculaire équipées d’au moins une caméra et dudit écran alors adaptatif à une vue d’un utilisateur.According to one variant, the first device (101) and the third device (103) are:
- the same phone; or
- the same pair of glasses equipped with at least one camera and said screen; or
- the same pair of ocular contact lenses equipped with at least one camera and said screen then adaptable to a user's view.
Selon un troisième aspect, la présente invention concerne un programme d’ordinateur qui comporte des instructions adaptées pour l’exécution des étapes du procédé selon le premier aspect de la présente invention, ceci notamment lorsque le programme d’ordinateur est exécuté par au moins un processeur.According to a third aspect, the present invention relates to a computer program which comprises instructions adapted for the execution of the steps of the method according to the first aspect of the present invention, in particular when the computer program is executed by at least one processor.
Un tel programme d’ordinateur peut utiliser n’importe quel langage de programmation, et être sous la forme d’un code source, d’un code objet, ou d’un code intermédiaire entre un code source et un code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.Such a computer program may use any programming language, and may be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
Selon un quatrième aspect, la présente invention concerne un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon le premier aspect de la présente invention.According to a fourth aspect, the present invention relates to a computer-readable recording medium on which is recorded a computer program comprising instructions for carrying out the steps of the method according to the first aspect of the present invention.
D’une part, le support d’enregistrement peut être n'importe quel entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire ROM, une mémoire RAM, un CD-ROM ou une mémoire ROM de type circuit microélectronique, ou encore un moyen d'enregistrement magnétique ou un disque dur.On the one hand, the recording medium may be any entity or device capable of storing the program. For example, the medium may include a storage medium, such as a ROM memory, a RAM memory, a CD-ROM or a microelectronic circuit type ROM memory, or a magnetic recording medium or a hard disk.
D'autre part, ce support d’enregistrement peut également être un support transmissible tel qu'un signal électrique ou optique, un tel signal pouvant être acheminé via un câble électrique ou optique, par radio classique ou hertzienne ou par faisceau laser autodirigé ou par d'autres moyens. Le programme d’ordinateur selon la présente invention peut être en particulier téléchargé sur un réseau de type Internet.On the other hand, this recording medium may also be a transmissible medium such as an electrical or optical signal, such a signal being able to be conveyed via an electrical or optical cable, by conventional or hertzian radio or by self-directed laser beam or by other means. The computer program according to the present invention may in particular be downloaded from a network such as the Internet.
Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme d’ordinateur est incorporé, le circuit intégré étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.Alternatively, the recording medium may be an integrated circuit in which the computer program is incorporated, the integrated circuit being adapted to perform or to be used in performing the method in question.
D’autres caractéristiques et avantages de la présente invention ressortiront de la description des exemples de réalisation particuliers et non limitatifs de la présente invention ci-après, en référence aux figures 1 à 8 annexées, sur lesquelles :Other characteristics and advantages of the present invention will emerge from the description of the particular and non-limiting exemplary embodiments of the present invention below, with reference to the appended figures 1 to 8, in which:
Description des exemples de réalisationDescription of examples of implementation
Un procédé et un dispositif de communication de données d’un système d’essayage virtuel d’au moins un accessoire par un être vivant représenté numériquement vont maintenant être décrits dans ce qui va suivre en référence conjointement aux figures 1 à 8. Des mêmes éléments sont identifiés avec des mêmes signes de référence tout au long de la description qui va suivre.A method and a device for communicating data from a system for virtual fitting of at least one accessory by a digitally represented living being will now be described in the following with joint reference to FIGS. 1 to 8. The same elements are identified with the same reference signs throughout the description which follows.
La
L’environnement 1 comprend par exemple un premier dispositif 101 comprenant un moyen de capture de données d’images.The environment 1 comprises for example a first device 101 comprising a means for capturing image data.
Selon un exemple de réalisation de la présente invention, le premier dispositif comprend au moins une caméra correspondant par exemple à :
- une caméra infrarouge ;
- caméra d’acquisition d’image de type RGB (de l’anglais « Red, Green, Blue » ou en français « Rouge, vert, bleu ») ;
- plateforme (« Rig » en anglais) de caméra (dit Lightfield) ou Rig de caméra Volumétrique de type RGB ;
- caméra d’acquisition de type LIDAR (« détection et estimation de la distance par la lumière » ou « par laser » en français et « light detection and ranging » ou « laser imaging detection and ranging » en anglais) ; ou
- caméra d’acquisition d’image associée à un ou plusieurs dispositifs (par exemple une ou plusieurs LED (de l’anglais « Light-Emitting Diode » ou en français « Diode électroluminescente ») émettant de la lumière dans l’infrarouge ou dans la bande proche de l’infrarouge.
- an infrared camera;
- RGB type image acquisition camera (from the English “Red, Green, Blue” or in French “Rouge, vert, bleu”);
- camera platform (“Rig” in English) (called Lightfield) or Volumetric camera rig of RGB type;
- LIDAR type acquisition camera (“light detection and ranging” or “laser imaging detection and ranging” in English); or
- image acquisition camera associated with one or more devices (for example one or more LEDs (from the English “Light-Emitting Diode” or in French “Electroluminescent Diode”) emitting light in the infrared or in the near infrared band.
Selon des exemples de réalisation de la présente invention, le premier dispositif 101 correspond à un téléphone intelligent ou à une tablette ou à un ordinateur portable.According to exemplary embodiments of the present invention, the first device 101 corresponds to a smartphone or a tablet or a laptop.
Selon un exemple de réalisation de la présente invention, le premier dispositif 101 est un système de numérisation comprenant une pluralité de caméras synchronisées entre elles pour capturer plusieurs images à différents points de vue d’au moins une partie de l’être vivant. Des données d’images capturées représentent alors ces images capturées à différents points de vue.According to an exemplary embodiment of the present invention, the first device 101 is a scanning system comprising a plurality of cameras synchronized with each other to capture several images at different viewpoints of at least a portion of the living being. Captured image data then represents these images captured at different viewpoints.
Selon un exemple de réalisation de la présente invention, le premier dispositif est un dispositif de communication mobile comprenant une caméra.According to an exemplary embodiment of the present invention, the first device is a mobile communication device comprising a camera.
Selon des variantes, les données d’images capturées correspondent alors soit à une image soit à une pluralité d’images obtenues par des captures successives d’images à partir de la caméra selon des points de vue différents.According to variants, the captured image data then corresponds either to one image or to a plurality of images obtained by successive captures of images from the camera according to different points of view.
Dans le cas d’une plateforme de caméra (on parle parfois de cas « Lightfield » en anglais et « données d’image volumiques » en français), les caméras sont positionnées de manière circulaire ou planaire sur le dispositif physique de capture et saisissent en une seule itération ou plusieurs (si capture de mouvement) l’être vivant.In the case of a camera platform (sometimes referred to as "Lightfield" cases in English and "volumetric image data" in French), the cameras are positioned in a circular or planar manner on the physical capture device and capture the living being in a single iteration or several (if motion capture).
Selon un exemple de réalisation de la présente invention, le premier dispositif 101 comprend au moins un capteur volumétrique permettant d’obtenir des données d’images volumétriques (en anglais « lightfield »).According to an exemplary embodiment of the present invention, the first device 101 comprises at least one volumetric sensor making it possible to obtain volumetric image data (in English “lightfield”).
L’environnement 1 comprend en outre un deuxième dispositif 102, un troisième dispositif 107 et plusieurs bases de données ou bases de registres 103, 104 et 105.The environment 1 further comprises a second device 102, a third device 107 and several databases or registers 103, 104 and 105.
Le deuxième dispositif 102 et les bases de données 103 à 105 constituent des nœuds d’un réseau configuré pour l’hébergement de données ou transactions d’une chaîne de blocs 106 (de l’anglais « blockchain ») formée de plusieurs blocs. Le deuxième dispositif 102 et les bases de données 103 à 105 sont connectés via un « cloud » 100 (ou « nuage » en français) qui comprend des équipements pour former un réseau d’entités connectées entre elles.The second device 102 and the databases 103 to 105 constitute nodes of a network configured for hosting data or transactions of a blockchain 106 formed of several blocks. The second device 102 and the databases 103 to 105 are connected via a “cloud” 100 which comprises equipment for forming a network of entities connected to each other.
Selon la présente invention, le deuxième dispositif 102 est adapté pour mettre en œuvre au moins en partie d’une chaine de blocs 106.According to the present invention, the second device 102 is adapted to implement at least in part a blockchain 106.
Selon un exemple de réalisation de la présente invention, le deuxième dispositif 102 est une ensemble de scripts imbriqués entre eux et écrits, par exemple en langage python.According to an exemplary embodiment of the present invention, the second device 102 is a set of scripts nested between them and written, for example in python language.
Cet exemple de réalisation est avantageux car il permet une mise en œuvre rapide du procédé et une évolution facilitée des fonctionnalités du procédé.This example of implementation is advantageous because it allows rapid implementation of the process and easy development of the process functionalities.
Selon des exemples de réalisation de la présente invention, le troisième dispositif 103 est un ordinateur, éventuellement portable, une tablette ou tout autre appareil adapté pour afficher des images à partir de données d’images générées par un moteur de rendu telles que des lunettes de réalité virtuelle ou réalité augmentée ou réalité mixte (permettant de varier le réel sur le virtuel et vice versa).According to exemplary embodiments of the present invention, the third device 103 is a computer, possibly portable, a tablet or any other device suitable for displaying images from image data generated by a rendering engine such as virtual reality or augmented reality or mixed reality glasses (making it possible to vary the real on the virtual and vice versa).
Selon une variante, le premier dispositif 101 et le troisième dispositif 103 sont mis en œuvre dans un même dispositif.According to one variant, the first device 101 and the third device 103 are implemented in the same device.
Selon un exemple de réalisation de cette variante, le premier dispositif 101 et le troisième dispositif 103 sont mis en œuvre dans un même téléphone.According to an exemplary embodiment of this variant, the first device 101 and the third device 103 are implemented in the same telephone.
Selon une variante, le premier dispositif 101 et le troisième dispositif 103 sont mis en œuvre par une même paire de lunettes équipée d’au moins une caméra et d’un écran.According to one variant, the first device 101 and the third device 103 are implemented by the same pair of glasses equipped with at least one camera and one screen.
Selon une variante, le premier dispositif 101 et le troisième dispositif 103 sont mis en œuvre par une même paire de lentilles de contact oculaire équipées d’au moins une caméra et dudit écran alors adaptatif à une vue d’un utilisateur.According to a variant, the first device 101 and the third device 103 are implemented by the same pair of ocular contact lenses equipped with at least one camera and said screen then adaptable to a user's view.
La présente invention n’est pas limitée à cette architecture de communication mais s’étend à toute architecture qui comprendrait, par exemple, plusieurs dispositifs assurant les mêmes fonctions que le deuxième dispositif 102, plusieurs dispositifs assurant les mêmes fonctions que le deuxième dispositif 103, plusieurs bases de données assurant les mêmes fonctions que le base de données 103, plusieurs bases de données assurant les mêmes fonctions que le base de données 104 et/ou plusieurs bases de données assurant les mêmes fonctions que le base de données 105.The present invention is not limited to this communication architecture but extends to any architecture which would comprise, for example, several devices ensuring the same functions as the second device 102, several devices ensuring the same functions as the second device 103, several databases ensuring the same functions as the database 103, several databases ensuring the same functions as the database 104 and/or several databases ensuring the same functions as the database 105.
Les dispositifs 101 et 107 sont par exemple reliés en communication avec le « cloud » 100 via une liaison filaire (par exemple selon Ethernet et/ou via une liaison à fibre optique) et/ou via une liaison sans fil de type Wifi® (selon IEEE 802.11 ou l’une des déclinaisons de IEEE 802.11 ou via une liaison sans fil de type réseau cellulaire 4G et/ou 5G et/ou 6G).The devices 101 and 107 are for example connected in communication with the “cloud” 100 via a wired connection (for example according to Ethernet and/or via a fiber optic connection) and/or via a wireless connection of the Wifi® type (according to IEEE 802.11 or one of the variations of IEEE 802.11 or via a wireless connection of the 4G and/or 5G and/or 6G cellular network type).
Les dispositifs 101 et 107 sont ainsi configurés pour transmettre des données à destination du « cloud » 100 et/ou pour recevoir des données du « cloud » 100.The devices 101 and 107 are thus configured to transmit data to the “cloud” 100 and/or to receive data from the “cloud” 100.
L’infrastructure de communication mobile permettant la communication sans fil de données entre les dispositifs 101et 107 et le « cloud » 100 comprend par exemple un ou plusieurs équipements de communication (non représentés sur la
Le système de communication sans fil permettant l’échange de données entre les dispositifs 101 et 107 et le « cloud » 100 correspond par exemple à un système de communication de type réseau cellulaire, par exemple un réseau de type LTE (de l’anglais « Long-Term Evolution » ou en français « Evolution à long terme »), LTE-Advanced (ou en français LTE-avancé) LTE 4G ou 5G.The wireless communication system enabling the exchange of data between the devices 101 and 107 and the “cloud” 100 corresponds for example to a cellular network type communication system, for example an LTE (Long-Term Evolution), LTE-Advanced (LTE 4G or 5G) type network.
Toute donnée transmise vers le « cloud » 100 est à destination soit du dispositif 102 soit de l’une des bases de données 103 à 105 du « cloud » 100 et toute données transmise par le deuxième dispositif à destination du troisième dispositif 103 est transmise via le « cloud » 100.Any data transmitted to the “cloud” 100 is intended either for the device 102 or for one of the databases 103 to 105 of the “cloud” 100 and any data transmitted by the second device to the third device 103 is transmitted via the “cloud” 100.
Le deuxième dispositif 102 et les bases de données 103 à 105 sont avantageusement configurés pour la mise en œuvre de la chaîne de blocs 106.The second device 102 and the databases 103 to 105 are advantageously configured for the implementation of the blockchain 106.
La chaîne de blocs 106, aussi appelée technologie des registres distribués (de l’anglais « distributed ledger technology »), est un outil numérique de stockage et de communication de données sans organe de contrôle central. La chaîne de bloc 106 est configurée pour permettre à des entités mettant en œuvre la chaîne de blocs 106 (en l’occurrence les dispositif 102 ou les bases de données 103 à 105), de partager des données directement, sans intermédiaire. La chaîne de blocs 106 est un registre ou une grande base de données qui présente la particularité d’être partagée simultanément avec toutes ces entités, toutes également détentrices de ce registre, et qui ont également toutes la capacité d’y inscrire des données, selon des règles spécifiques fixées par un protocole informatique sécurisé par le biais d’une cryptographie.Blockchain 106, also called distributed ledger technology, is a digital tool for storing and communicating data without a central control body. Blockchain 106 is configured to allow entities implementing Blockchain 106 (in this case devices 102 or databases 103 to 105) to share data directly, without an intermediary. Blockchain 106 is a ledger or large database that has the particularity of being shared simultaneously with all of these entities, all of which also hold this ledger, and which also all have the capacity to enter data therein, according to specific rules set by a computer protocol secured by means of cryptography.
Toute transaction (transmission d’une donnée à destination ou en provenance de la chaîne de blocs 106) requiert l’identification de l’utilisateur de la chaîne de blocs 106 (en l’occurrence les dispositifs 101 et 107) s’effectue également par un procédé cryptographique par exemple par échange de clé privé/publique.Any transaction (transmission of data to or from the blockchain 106) requires the identification of the user of the blockchain 106 (in this case the devices 101 and 107) and is also carried out by a cryptographic process, for example by private/public key exchange.
Chaque transaction est envoyée à un réseau (aussi appelé « nœud » de stockage) de dispositifs distants ou de calculs (par exemple des ordinateurs ou serveurs) situés en différentes localisations dans le « cloud » 100.Each transaction is sent to a network (also called a storage “node”) of remote devices or computations (e.g. computers or servers) located in different locations in the “cloud” 100.
Chaque nœud héberge une copie de la base de données dans lequel est inscrit l’historique des transactions effectuées. Toutes les parties prenantes (c’est-à-dire par exemple le dispositif 102 et les bases de données 103 à 105) peuvent y accéder simultanément.Each node hosts a copy of the database in which the history of transactions performed is recorded. All stakeholders (i.e., for example, device 102 and databases 103 to 105) can access it simultaneously.
Le système de sécurisation repose sur un mécanisme de consensus de tous les nœuds à chaque nouvelle transaction. Les données chiffrées de la transaction sont déchiffrées et authentifiées par des centres de données (aussi appelés « mineurs »). Pour chaque transaction ainsi validée, les données chiffrées sont traitées et la base de données partagée est mise à jour.The security system is based on a consensus mechanism of all nodes for each new transaction. The encrypted data of the transaction is decrypted and authenticated by data centers (also called "miners"). For each transaction thus validated, the encrypted data is processed and the shared database is updated.
Ainsi, si une transaction émise par un utilisateur correspond à un encodage de données dans la chaîne de blocs 106, c’est-à-dire à l’ajout de données chiffrées dans la base de données chiffrées, les données chiffrées sont déchiffrées et authentifiées par les mineurs. Une fois la transaction validée, les données chiffrées sont ajoutées dans la base de données partagée sous la forme d’un nouveau bloc de données chiffrées de la chaîne de blocs 106. Une copie de ce nouveau bloc est transmise à tous les nœuds du réseau. L’intégration des nouveaux blocs est chronologique, indélébile et infalsifiable.Thus, if a transaction issued by a user corresponds to an encoding of data in the blockchain 106, that is to say to the addition of encrypted data in the encrypted database, the encrypted data is decrypted and authenticated by the miners. Once the transaction is validated, the encrypted data is added to the shared database in the form of a new block of encrypted data of the blockchain 106. A copy of this new block is transmitted to all the nodes of the network. The integration of the new blocks is chronological, indelible and unfalsifiable.
Si une transaction émise par un utilisateur correspond à un décodage de données de la chaîne de blocs 106, c’est-à-dire à l’obtention de données chiffrées de la base de données chiffrées, les données chiffrées sont déchiffrées et authentifiées par les mineurs. Une fois la transaction validée, les données chiffrées sont récupérées de la base de données partagée sous la forme d’un bloc (de la chaîne de blocs) de données chiffrées. Chaque nouveau bloc ajouté à la chaîne de blocs 106 (ou obtenu de la chaîne de blocs 106) est lié au précédent (sauf pour le premier bloc de la chaîne).If a transaction issued by a user corresponds to a decoding of data from the blockchain 106, i.e. obtaining encrypted data from the encrypted database, the encrypted data is decrypted and authenticated by the miners. Once the transaction is validated, the encrypted data is retrieved from the shared database in the form of a block (from the blockchain) of encrypted data. Each new block added to the blockchain 106 (or obtained from the blockchain 106) is linked to the previous one (except for the first block in the chain).
La décentralisation de la gestion de la sécurité empêche la falsification des transactions.Decentralization of security management prevents tampering of transactions.
La technologie de la chaîne de blocs est connue de l’homme du métier. Elle est par exemple décrite dans un rapport de synthèse de l’assemblée nationale française en date de décembre 2018 et intitulé « Rapport de la mission d’information commune sur la blockchain (chaîne de blocs) et ses usages : un enjeu de souveraineté ».Blockchain technology is known to those skilled in the art. For example, it is described in a summary report from the French National Assembly dated December 2018 and entitled “Report of the joint information mission on blockchain and its uses: a sovereignty issue”.
Les termes relatifs à la chaîne de blocs ont également été normalisé, notamment dans les normes suivantes : ISO 22739:2020, ISO/TR 23244:2020, ISO/TR 23455:2019 et ISO/TR 23576:2020.Blockchain-related terms have also been standardized, including in the following standards: ISO 22739:2020, ISO/TR 23244:2020, ISO/TR 23455:2019, and ISO/TR 23576:2020.
La
Le procédé permet de créer un jumeau numérique tridimensionnel JN d’une partie d’un être vivant 10, d’un ensemble de parties d’un être vivant 10 ou d’un être vivant 10 dans son entier, et de calculer une vue de ce jumeau numérique JN porteur d’un accessoire représenté numériquement.The method makes it possible to create a three-dimensional digital twin JN of a part of a living being 10, of a set of parts of a living being 10 or of a living being 10 in its entirety, and to calculate a view of this digital twin JN carrying a digitally represented accessory.
L’être vivant 10 est soit un être humain soit un animal.Living being 10 is either a human being or an animal.
Le procédé est basé sur la technologie dite de chaîne de blocs et est mis en œuvre dans l’environnement de communication 1.The method is based on the so-called blockchain technology and is implemented in the communication environment 1.
Certaines étapes du procédé sont par exemple mises en œuvre par le premier dispositif 101. D’autres étapes du procédé sont par exemple mises en œuvre par le deuxième dispositif 102 et/ou par au moins l’une des bases de données 103, 104 et/ou 105 et d’autres étapes du procédé sont par exemple mises en œuvre par le troisième dispositif 107.Certain steps of the method are for example implemented by the first device 101. Other steps of the method are for example implemented by the second device 102 and/or by at least one of the databases 103, 104 and/or 105 and other steps of the method are for example implemented by the third device 107.
Dans une première étape 201, le premier dispositif 101 capture des données d’images DIC représentatives d’au moins une partie de l’être vivant 10 selon différents points de vue.In a first step 201, the first device 101 captures DIC image data representative of at least part of the living being 10 from different points of view.
Des données d’images capturées DIC d’au moins une partie de l’être vivant 10 se comprend comme étant des données d’images qui représentent des points de vue d’une seule partie de l’être vivant 10, par exemple la tête, un bras ou une jambe de cet être vivant 10, de plusieurs parties de l’être vivant 10, par exemple la tête et le buste, ou les bras et le buste, ou les jambes ou tout autre combinaison de parties de l’être vivant 10 ou encore l’ensemble de l’être vivant 10.Captured image data DIC of at least one part of the living being 10 is understood to be image data that represents viewpoints of a single part of the living being 10, for example the head, an arm or a leg of this living being 10, of several parts of the living being 10, for example the head and the torso, or the arms and the torso, or the legs or any other combination of parts of the living being 10 or even the whole of the living being 10.
Selon une variante, les données d’images capturées DIC comprennent une information représentative de contenus d’images et/ou une information descriptive de géométrie de ladite au moins une partie de l’être vivant dans un espace géométrique tridimensionnel.According to a variant, the captured image data DIC comprises information representative of image contents and/or descriptive information of geometry of said at least one part of the living being in a three-dimensional geometric space.
Selon un exemple de réalisation, les données d’images capturées DIC sont stockées dans un format compressé par exemple HEVC (ISO/IEC 23008-2 High Efficiency Video Coding, ITU-T Recommendation H.265, https://www.itu.int/rec/T-REC-H.265-202108-P/en), VVC (ISO/IEC 23090-3 Versatile Video Coding, ITU-T Recommendation H.266, https://www.itu.int/rec/T-REC-H.266-202008-I/en) ou MPEGi (ISO/IEC 23090 Coded Representation of Immersive Media).According to an exemplary embodiment, the captured DIC image data is stored in a compressed format such as HEVC (ISO/IEC 23008-2 High Efficiency Video Coding, ITU-T Recommendation H.265, https://www.itu.int/rec/T-REC-H.265-202108-P/en), VVC (ISO/IEC 23090-3 Versatile Video Coding, ITU-T Recommendation H.266, https://www.itu.int/rec/T-REC-H.266-202008-I/en) or MPEGi (ISO/IEC 23090 Coded Representation of Immersive Media).
Les données d’images capturées DIC peuvent aussi être stockées dans les formats glTF (de l’anglais « graphics libraries Transmission Format » en français « format de transmission de libraire graphiques ») en ou USD (de l’anglais Universal Scene Description, en français « description universel de scène »).DIC captured image data can also be stored in glTF (graphics libraries Transmission Format) or USD (Universal Scene Description) formats.
Selon une variante de la première étape 201, les données d’images capturées DIC qui correspondent à une image capturée doivent vérifier au moins un critère de qualité pour être conservées.According to a variant of the first step 201, the captured image data DIC which corresponds to a captured image must verify at least one quality criterion to be retained.
Cette variante est avantageuse car elle permet d’obtenir des données d’images DIC qui soient exploitables pour le calcul du jumeau numérique JN.This variant is advantageous because it allows obtaining DIC image data that can be used for calculating the JN digital twin.
Selon un exemple de réalisation, un critère de qualité est un des critères suivants ou une combinaison d’au moins deux des critères suivants :
- un niveau de colorimétrie de l’image supérieur à un seuil ;
- un niveau de contraste de l’image supérieur à un seuil ;
- un niveau de luminosité de l’image supérieur à un seuil ;
- un niveau de netteté de l’image supérieur à un seuil ;
- un rapport entre la hauteur et la largeur de l’image compris entre une valeur basse et une valeur haute.According to an exemplary embodiment, a quality criterion is one of the following criteria or a combination of at least two of the following criteria:
- an image colorimetry level above a threshold;
- an image contrast level above a threshold;
- an image brightness level above a threshold;
- an image sharpness level above a threshold;
- a ratio between the height and width of the image between a low value and a high value.
Selon une variante, lorsque le premier dispositif 101 est un système de numérisation comprenant une pluralité de caméras, chaque caméra est positionnée spatialement pour pouvoir capturer un nombre requis d’image qui vérifient ledit au moins un critère.According to a variant, when the first device 101 is a scanning system comprising a plurality of cameras, each camera is spatially positioned to be able to capture a required number of images which verify said at least one criterion.
Dans une deuxième étape 202, le premier dispositif 101 transmet à destination du deuxième dispositif 102, des premières données D1 représentatives d’une requête de calcul et de reconstruction pour obtenir des deuxièmes données D2 représentatives d’une vue du jumeau numérique tridimensionnel JN porteur d’au moins un accessoire selon un point de vue.In a second step 202, the first device 101 transmits to the second device 102, first data D1 representative of a calculation and reconstruction request to obtain second data D2 representative of a view of the three-dimensional digital twin JN carrying at least one accessory according to a point of view.
Le jumeau numérique tridimensionnel JN, encore appelé avatar réaliste, est un ensemble de données numériques tridimensionnelles qui représentent dans le métavers une partie, un ensemble de partie(s) de l’être vivant 10 ou l’être vivant 10 dans son entier qui est représenté par les données d’images capturées DIC.The three-dimensional digital twin JN, also called realistic avatar, is a set of three-dimensional digital data which represents in the metaverse a part, a set of part(s) of the living being 10 or the living being 10 in its entirety which is represented by the captured image data DIC.
Le jumeau numérique tridimensionnel JN comprend des données de maillage DM (« mesh » en anglais) représentatives d’une structure de maillage tridimensionnelle représentée dans un espace géométrique tridimensionnel par un ensemble de sommets de formes polygonales formant une structure, chaque forme polygone, par exemple de triangles ou quadrangles, partageant au moins un côté avec une autre forme polygonale. Les quadrangles sont particulièrement avantageux car ils permettent une déformation de la structure de maillage plus précise.The three-dimensional digital twin JN comprises DM mesh data (“mesh” in English) representative of a three-dimensional mesh structure represented in a three-dimensional geometric space by a set of vertices of polygonal shapes forming a structure, each polygon shape, for example triangles or quadrangles, sharing at least one side with another polygon shape. Quadrangles are particularly advantageous because they allow a more precise deformation of the mesh structure.
L’espace géométrique tridimensionnel est un espace dans lequel la partie ou l’ensemble de parties de l’être vivant 10 ou l’être vivant 10 dans son entier est géométriquement représenté à partir des données d’images DIC et de la ou les caméras utilisées pour capturer ces données d’images DIC.Three-dimensional geometric space is a space in which the part or set of parts of the living being 10 or the living being 10 as a whole is geometrically represented from the DIC image data and the camera(s) used to capture that DIC image data.
Le jumeau numérique tridimensionnel JN comprend en outre des données de texture DT représentant une texture des surfaces de la structure de maillage tridimensionnelle c’est-à-dire que la texture générée à partir des données de texture DT qui est plaquée (projetée) sur la structure de maillage tridimensionnelle lorsqu’un rendu d’une vue du jumeau numérique tridimensionnel JN est calculée.The three-dimensional digital twin JN further includes texture data DT representing a texture of the surfaces of the three-dimensional mesh structure, i.e. the texture generated from the texture data DT which is mapped (projected) onto the three-dimensional mesh structure when a rendering of a view of the three-dimensional digital twin JN is calculated.
Les premières données D1 comprennent les données d’images capturées DIC et des données d’anonymisation DA permettant de créer un lien entre les données d’images capturées DIC et un propriétaire des données d’images capturées DIC tout en conservant l’anonymat dudit propriétaire.The first data D1 comprises the captured image data DIC and anonymization data DA allowing to create a link between the captured image data DIC and an owner of the captured image data DIC while maintaining the anonymity of said owner.
Selon une variante de la deuxième étape 202, les premières données D1 doivent être authentifiées par la chaîne de blocs avant d’être transmises.According to a variant of the second step 202, the first data D1 must be authenticated by the blockchain before being transmitted.
Cette variante permet de sécuriser l’accès à la chaîne de blocs dans laquelle sont enregistrées des données d’images d’êtres vivants et des données d’anonymisation de ces données d’images.This variant makes it possible to secure access to the blockchain in which data of images of living beings and data for anonymizing this image data are recorded.
Selon un exemple de réalisation de cette variante, les premières données D1 (données d’images capturées DIC et données d’anonymisation DA) sont avantageusement enregistrées, stockées ou inscrites dans la chaîne de blocs sous la forme d’un jeton non fongible, noté NFT (de l’anglais « Non-Fungible Token). Un NFT est à un jeton cryptographique correspondant à un certificat d’authenticité des premières données D1 qui lui sont attachées, en l’occurrence les données d’images capturées DIC et les données d’anonymisation DA. Une signature numérique est avantageusement associée au NFT, laquelle signature numérique authentifie par exemple le premier dispositif 101 ou le propriétaire du premier dispositif 101.According to an exemplary embodiment of this variant, the first data D1 (captured image data DIC and anonymization data DA) are advantageously recorded, stored or entered in the blockchain in the form of a non-fungible token, denoted NFT (from the English “Non-Fungible Token). An NFT is a cryptographic token corresponding to a certificate of authenticity of the first data D1 attached to it, in this case the captured image data DIC and the anonymization data DA. A digital signature is advantageously associated with the NFT, which digital signature authenticates for example the first device 101 or the owner of the first device 101.
Cette signature numérique est générée lors de la création ou de la génération du NFT dans la chaîne de blocs 106. Une telle opération est appelée « minting » en anglais (ou « frappe » en français) et consiste à associer le NFT aux premières données D1, lesquelles données comprenant l’historique des premières données D1, l’ensemble de ces données étant inscrites dans un ou plusieurs blocs de la chaîne de blocs 106.This digital signature is generated when creating or generating the NFT in the blockchain 106. Such an operation is called “minting” in English (or “struck” in French) and consists of associating the NFT with the first data D1, which data comprises the history of the first data D1, all of this data being recorded in one or more blocks of the blockchain 106.
La génération du NFT (opération de « minting ») associé aux premières données D1 est par exemple déclenchée par le propriétaire du premier dispositif 101 via, par exemple via une application mobile installée sur le premier dispositif 101.The generation of the NFT (minting operation) associated with the first data D1 is for example triggered by the owner of the first device 101 via, for example via a mobile application installed on the first device 101.
Selon cet exemple de réalisation, les premières données D1 (données d’images capturées DIC et données d’anonymisation DA) sont authentifiées via un NFT inscrit dans la chaîne de blocs 106 et associé à un historique de premières données D1. Si les premières données D1 sont authentifiées via un NFT alors la requête est formée avec ces premières données D1 et la requête est transmise à destination du deuxième dispositif 102.According to this exemplary embodiment, the first data D1 (captured image data DIC and anonymization data DA) are authenticated via an NFT recorded in the blockchain 106 and associated with a history of first data D1. If the first data D1 are authenticated via an NFT then the request is formed with these first data D1 and the request is transmitted to the second device 102.
Dans une troisième étape 203, des données d’accessoires DAC représentatives d’une représentation tridimensionnelle dudit au moins un accessoire dans l’espace géométrique tridimensionnel sont transmises à destination du deuxième dispositif 102.In a third step 203, DAC accessory data representative of a three-dimensional representation of said at least one accessory in the three-dimensional geometric space are transmitted to the second device 102.
Ce type de données DAC sont connues de l’homme du métier. Elles représentent tout type d’objets, maquillage. On parle souvent de couche (« layer » en anglais) 2D / 3D qui incorpore une matière, une transparence, un relief et qui est calculée par un procédé d’ombrage (en anglais « shading ») et de rendu (en anglais « rendering »).This type of DAC data is known to those skilled in the art. They represent any type of object, makeup. We often speak of a 2D / 3D layer which incorporates a material, transparency, relief and which is calculated by a shading and rendering process.
Selon un exemple de réalisation de la troisième étape 203, le premier dispositif 101 transmet les données d’accessoires DAC à destination du deuxième dispositif 102.According to an exemplary embodiment of the third step 203, the first device 101 transmits the DAC accessory data to the second device 102.
Selon un exemple de réalisation de la troisième étape, le troisième dispositif 107 transmet les données d’accessoires DAC à destination du deuxième dispositif 102.According to an exemplary embodiment of the third step, the third device 107 transmits the DAC accessory data to the second device 102.
Ces deux derniers exemples de réalisation sont avantageux car ils permettent à une personne d’interagir avec une vue de son jumeau numérique JN et de pouvoir obtenir, par exemple, d’autres vues de ce jumeau numérique JN porteur d’au moins un accessoire. L’interaction peut être de modifier l’accessoire, de le repositionner sur le jumeau numérique JN, d’en changer la couleur et la texture, d’en modifier la forme. L’interaction sur le jumeau numérique par un utilisateur peut être d’en modifier la morphologie, la couleur, les détails, la coiffure, les poils, la texture de peau.These last two examples of implementation are advantageous because they allow a person to interact with a view of their digital twin JN and to be able to obtain, for example, other views of this digital twin JN carrying at least one accessory. The interaction can be to modify the accessory, to reposition it on the digital twin JN, to change its color and texture, to modify its shape. The interaction on the digital twin by a user can be to modify its morphology, color, details, hairstyle, hair, skin texture.
Les premières données D1 et/ou les données DAC sont par exemple transmises selon une connexion sans fil via une infrastructure de réseau cellulaire terrestre tel qu’un réseau 4G (ou 5G) basé sur la norme LTE (de l’anglais Long Term Evolution) définie par le consortium 3GPP.The first D1 data and/or DAC data are for example transmitted via a wireless connection via a terrestrial cellular network infrastructure such as a 4G (or 5G) network based on the LTE (Long Term Evolution) standard defined by the 3GPP consortium.
Selon un autre exemple, les premières données D1 et/ou les données DAC sont transmises via une connexion filaire (par exemple Ethernet), par exemple lorsque le premier dispositif 101 ou le troisième dispositif 107 correspond à un ordinateur portable relié à un réseau LAN (de l’anglais « Local Area Network » ou en français « Réseau local ») en Ethernet par exemple.According to another example, the first data D1 and/or the data DAC are transmitted via a wired connection (for example Ethernet), for example when the first device 101 or the third device 107 corresponds to a laptop connected to a LAN (Local Area Network) network in Ethernet for example.
Les premières données D1 de la requête et/ou les données DAC sont par exemple générées par une application mobile installée sur le premier dispositif 101.The first data D1 of the request and/or the DAC data are for example generated by a mobile application installed on the first device 101.
La requête et/ou les données DAC sont par exemple générées à l’initiative de l’utilisateur du premier dispositif 101 ou du troisième dispositif 107 via l’interface homme-machine (IHM) d’une application mobile, qui correspond par exemple à une IHM graphique et tactile via l’interface tactile de l’écran du premier dispositif 101 ou du troisième dispositif 107.The request and/or the DAC data are for example generated at the initiative of the user of the first device 101 or of the third device 107 via the human-machine interface (HMI) of a mobile application, which corresponds for example to a graphical and tactile HMI via the tactile interface of the screen of the first device 101 or of the third device 107.
Selon un exemple de réalisation les données d’anonymisation DA comprennent un numéro de téléphone.According to an exemplary embodiment, the DA anonymization data includes a telephone number.
Cet exemple de réalisation est avantageux car il permet d’obtenir rapidement une donnée d’anonymisation qui est unique et qui identifie une personne de manière unique.This example of implementation is advantageous because it allows you to quickly obtain anonymization data which is unique and which uniquely identifies a person.
Les données d’anonymisation DA sont par exemple automatiquement ajoutées aux premières données D1 de la requête par l’application mobile.For example, the DA anonymization data is automatically added to the first D1 data of the query by the mobile application.
Dans une quatrième étape 204, le deuxième dispositif 102 reçoit la requête et encode les données d’images capturées DIC et les données d’anonymisation DA de la requête reçue dans au moins un nouveau bloc de la chaîne de blocs 106.In a fourth step 204, the second device 102 receives the request and encodes the captured image data DIC and the anonymization data DA of the received request in at least one new block of the blockchain 106.
Selon une variante de la deuxième étape 202, la requête comprend également des données de paramétrage de vue DPV représentatives d’un point de vue du jumeau numérique JN porteur dudit au moins un accessoire et/ou de paramétrage d’un contexte de vue du jumeau numérique JN porteur dudit au moins un accessoire, c’est-à-dire des paramètres d’éclairage de scène dans laquelle évolue le jumeau numérique ou encore des données qui définissent un choix de scène, etc.According to a variant of the second step 202, the request also includes DPV view configuration data representative of a point of view of the digital twin JN carrying said at least one accessory and/or of configuration of a view context of the digital twin JN carrying said at least one accessory, i.e. scene lighting parameters in which the digital twin operates or even data which define a choice of scene, etc.
Selon une variante du procédé, les données d’images capturées DIC et les données d’anonymisation DA de la requête sont stockées dans la chaîne de blocs 106 en association d’un NFT utilisé pour authentifier ces données d’images capturées DIC et les données d’anonymisation DA.According to a variant of the method, the captured image data DIC and the anonymization data DA of the request are stored in the blockchain 106 in association with an NFT used to authenticate this captured image data DIC and the anonymization data DA.
Par exemple, un nouveau bloc comprenant les données d’images capturées DIC est ajouté à la chaîne de blocs 106 et un deuxième bloc comprenant les données d’anonymisation DA est ajouté à la chaîne de blocs 106.For example, a new block comprising the captured image data DIC is added to the blockchain 106 and a second block comprising the anonymization data DA is added to the blockchain 106.
Selon un exemple de réalisation, les données d’images capturées (DIC), les données d’anonymisation (DA) et une donnée de lien (DL) permettant une mise en relation entre les données d’anonymisation (DA) et les données d’images capturées (DIC) sont stockées dans des mémoires distinctes.According to an exemplary embodiment, the captured image data (DIC), the anonymization data (DA) and a link data (DL) allowing a connection between the anonymization data (DA) and the captured image data (DIC) are stored in separate memories.
Par exemple, les données d’images capturées DIC sont stockées dans la base de données 103 du « cloud » 100 et les données d’anonymisation DA sont stockées dans la base de données 104 du « cloud » 100. Selon cet exemple, la donnée de lien DL est également stockée dans la base de données 105 du « cloud » 100.For example, the captured image data DIC is stored in the database 103 of the “cloud” 100 and the anonymization data DA is stored in the database 104 of the “cloud” 100. According to this example, the link data DL is also stored in the database 105 of the “cloud” 100.
Cet exemple de réalisation est particulièrement avantageux car les données d’images capturées DIC et les données d’anonymisation DA sont protégées dans la chaîne de blocs 106 par des moyens cryptographiques et ces données d’images capturées DIC et d’anonymisation DA sont tout de même liées entre elles par une donnée de lien DL qui est stockée dans la base de données 105, préservant ainsi l’anonymat du propriétaire des données d’images capturées DIC et les échanges de données entre utilisateurs de la chaîne de blocs. Cet exemple permet de respecter le Règlement Général des Protections des Données personnelles (RGPD) car les données d’images capturées DIC et les données d’anonymisation DA reçues par le deuxième dispositif sont mémorisées dans des mémoires distinctes (bases de données 103 et 104 par exemple). Ces mémoires (bases de données 103 et 104 par exemple) peuvent être des éléments de deux dispositifs n’ayant aucun contact entre eux. Seule la donnée de lien DL permet la mise en relation de manière anonyme des données d’images DIC et des données d’anonymisation DA.This exemplary embodiment is particularly advantageous because the captured image data DIC and the anonymization data DA are protected in the blockchain 106 by cryptographic means and these captured image data DIC and anonymization data DA are nevertheless linked together by a link data DL which is stored in the database 105, thus preserving the anonymity of the owner of the captured image data DIC and the data exchanges between users of the blockchain. This example makes it possible to comply with the General Data Protection Regulation (GDPR) because the captured image data DIC and the anonymization data DA received by the second device are stored in separate memories (databases 103 and 104 for example). These memories (databases 103 and 104 for example) can be elements of two devices having no contact between them. Only the DL link data allows the anonymous linking of DIC image data and DA anonymization data.
Dans une cinquième étape 205, le deuxième dispositif 102 calcule des données de maillage DM du jumeau numérique JN par modification de données de maillage DMI d’un jumeau numérique initial JNI selon des informations morphologiques extraites des données d’images capturées DIC, et des données de texture DT du jumeau numérique JN à partir de données de texture extraites des données d’images capturées DIC.In a fifth step 205, the second device 102 calculates mesh data DM of the digital twin JN by modifying mesh data DMI of an initial digital twin JNI according to morphological information extracted from the captured image data DIC, and texture data DT of the digital twin JN from texture data extracted from the captured image data DIC.
Le jumeau numérique initial JNI est une représentation numérique d’un être vivant asexuée, humain ou animal. Cette représentation numérique comprend les données de maillage DMI représentatives d’une structure de maillage tridimensionnelle représentée dans l’espace géométrique tridimensionnel par un ensemble de sommets de formes polygonales formant une structure, chaque forme polygonale partageant au moins un côté avec une autre forme polygonale.The initial digital twin JNI is a digital representation of an asexual living being, human or animal. This digital representation includes DMI mesh data representative of a three-dimensional mesh structure represented in three-dimensional geometric space by a set of vertices of polygonal shapes forming a structure, each polygonal shape sharing at least one side with another polygonal shape.
Selon un exemple de réalisation de la cinquième étape 205, les données DMI sont modifiées en modifiant les positions spatiales des sommets définies dans l’espace géométrique tridimensionnel.According to an exemplary embodiment of the fifth step 205, the DMI data is modified by modifying the spatial positions of the vertices defined in the three-dimensional geometric space.
La structure de maillage tridimensionnelle du jumeau initial JNI est alors déformée (étirée, enfoncée, etc) pour que la structure de maillage tridimensionnelle modifiée du jumeau initial JNI ressemble dans l’espace géométrique tridimensionnel à la géométrie de la partie ou de l’ensemble de parties de l’être vivant 10 ou à l’ensemble de l’être vivant 10.The three-dimensional mesh structure of the initial twin JNI is then deformed (stretched, pressed, etc.) so that the modified three-dimensional mesh structure of the initial twin JNI resembles in three-dimensional geometric space the geometry of the part or set of parts of the living being 10 or the whole of the living being 10.
Les données de maillage DM du jumeau numérique JN sont alors égales aux données DMI modifiées.The DM mesh data of the JN digital twin is then equal to the modified DMI data.
Les données DM du jumeau numérique JN sont obtenues par un procédé itératif de déformation des données DMI d’un jumeau numérique JNI qui embarque toute la connaissance de la morphologie d’un être vivant tel que par exemple toute la morphologie d’un être humain caucasien, afro, asiatique et/ou d’un être animal c’est-à-dire la position, une structure et une déformation des yeux, bouche et plis de la peau, un système musculaire sous-jacent et une série de contrôleurs permettant les déformations.The DM data of the JN digital twin are obtained by an iterative process of deformation of the DMI data of a JNI digital twin which embeds all the knowledge of the morphology of a living being such as for example all the morphology of a Caucasian, Afro, Asian human being and/or an animal being, that is to say the position, a structure and a deformation of the eyes, mouth and folds of the skin, an underlying muscular system and a series of controllers allowing the deformations.
Un procédé itératif de déformation peut être basé sur un réseau de neurones (Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. Mobilenets: Efficient convolutional neural networks for mobile vision applications, arXiv preprint arXiv:1704.04861, 2017) et/ou sur une méthode d’apprentissage profond (en anglais « Deep Learning ») (Ayush Tewari, Michael Zollöfer, Hyeongwoo Kim, Pablo Garrido, Florian Bernard, Patrick Perez, and Theobalt Christian. MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction. In The IEEE International Conference on Computer Vision (ICCV), 2017.)et/ou sur une méthode d’apprentissage par renforcement (en anglais « Reinforcement Learning ») et/ou en utilisant des réseaux antagonistes génératifs (GAN de l’anglais « Generative Adversarial Network »).An iterative deformation process can be based on a neural network (Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. Mobilenets: Efficient convolutional neural networks for mobile vision applications, arXiv preprint arXiv:1704.04861, 2017) and/or on a deep learning method (Ayush Tewari, Michael Zollöfer, Hyeongwoo Kim, Pablo Garrido, Florian Bernard, Patrick Perez, and Theobalt Christian. MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction. In The IEEE International Conference on Computer Vision (ICCV), 2017.) and/or on a reinforcement learning method and/or by using generative adversarial networks (GANs). “Generative Adversarial Network”).
Dans le cas où un jumeau numérique JN est obtenu pour représenter un visage d’un être humain et où une méthode d’apprentissage profond est utilisée pour la reconstruction de ce visage, une modélisation paramétrique du visage dite ”3DMM” peut-être utilisée. Celle-ci est basée sur un modèle statistique des visages humains qui permet de représenter tout visage en une somme pondérée de structure de maillages 3D, structure de maillage 3D qui suppose la création préalable d’une topologie 3D adaptée. Seule la partie frontale du visage - la seule déformable - est prise en compte (on parle de « monkey mask » en anglais). L’aspect géométrique est enrichi par la représentation des déformations correspondant aux expressions du visage. Ce qui s’accompagne d’un nouveau jeu de paramètres aboutissant à un nombre de l’ordre de 150 pour l’identité du visage et 100 pour les expressions. Luan Tran et al. (Nonlinear 3d face morphable model, in Proceedings of the IEEE conférence on computer vision and pattern recognition, pages 7346–7355, 2018) propose une modélisation non linéaire qui étend marginalement la capacité de représentation du système. Pablo Garrido et al. (Reconstruction of Personalized 3D Face Rigs from Monocular Video. {ACM} Trans. Graph., presented at SIGGRAPH 2016), 35(3):28:1–28:15, 2016) introduit une technique d’analyse par la synthèse (d’image) pour estimer itérativement ces paramètres. Ceci requiert, d’une part, une formulation différentiable de l’opération de rendu et, d’autre part, de la modélisation physique la plus complète possible de la scène comprenant le visage. Ceci inclut l’interaction avec l’éclairage ambiant, la pose et les caractéristiques de la caméra. Pour obtenir les meilleurs résultats, cette optimisation utilise des données d’images capturées de la personne cible sous plusieurs angles pour résoudre les auto-occultations. Il peut être utile aussi que la personne fasse des expressions pour exposer un maximum de modes de déformation. L’estimation de ces centaines de paramètres peut être réalisée par régression de ces paramètres en utilisant une méthode d’apprentissage profond (en anglais « Deep Learning ») apprise sur un grand jeu d’images de visages (Ayush Tewari, Michael Zollöfer, Hyeongwoo Kim, Pablo Garrido, Florian Bernard, Patrick Perez, and Theobalt Christian. MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction. In The IEEE International Conference on Computer Vision (ICCV), 2017), et (Ziwei Liu, Ping Luo, Xiaogang Wang, and Xiaoou Tang. Large-scale celebfaces attributes (celeba) dataset. Retrieved August,15:2018, 2018).In the case where a digital twin JN is obtained to represent a human face and where a deep learning method is used for the reconstruction of this face, a parametric modeling of the face called "3DMM" can be used. This is based on a statistical model of human faces that allows to represent any face in a weighted sum of 3D mesh structures, 3D mesh structure that assumes the prior creation of an adapted 3D topology. Only the frontal part of the face - the only deformable one - is taken into account (we speak of "monkey mask" in English). The geometric aspect is enriched by the representation of the deformations corresponding to the facial expressions. Which is accompanied by a new set of parameters resulting in a number of the order of 150 for the identity of the face and 100 for the expressions. Luan Tran et al. (Nonlinear 3d face morphable model, in Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7346–7355, 2018) proposes a nonlinear modeling that marginally extends the representation capacity of the system. Pablo Garrido et al. (Reconstruction of Personalized 3D Face Rigs from Monocular Video. {ACM} Trans. Graph., presented at SIGGRAPH 2016), 35(3):28:1–28:15, 2016) introduces an analysis by synthesis (image) technique to iteratively estimate these parameters. This requires, on the one hand, a differentiable formulation of the rendering operation and, on the other hand, the most complete possible physical modeling of the scene including the face. This includes the interaction with ambient lighting, pose and camera characteristics. To achieve the best results, this optimization uses image data captured from multiple angles of the target person to resolve self-occlusions. It may also be useful for the person to make expressions to expose as many deformation modes as possible. Estimation of these hundreds of parameters can be achieved by parameter regression using a deep learning method learned on a large set of face images (Ayush Tewari, Michael Zollöfer, Hyeongwoo Kim, Pablo Garrido, Florian Bernard, Patrick Perez, and Theobalt Christian. MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction. In The IEEE International Conference on Computer Vision (ICCV), 2017), and (Ziwei Liu, Ping Luo, Xiaogang Wang, and Xiaoou Tang. Large-scale celebfaces attributes (celeba) dataset. Retrieved August,15:2018, 2018).
Ainsi, au cours de ce procédé itératif, une première structure géométrique tridimensionnelle définie par les données DNI vient se positionner dans l’espace géométrique tridimensionnel en rotation, orientation selon les 3 axes XYZ. Cette première structure de maillage 3D est alors comparée à des structures de maillage 3D stockées dans une base de données, chaque structure de maillage 3D stockée représentant au moins une partie d’un être vivant (son visage). Le procédé itératif compare également chaque image 2D calculée à partir de la première structure de maillage 3D à des images 2D calculées à partir d’une structure de maillage 3D stockée dans la base de données. Le procédé de comparaison de ces éléments cherche à rapprocher les images 2D calculées à partir de la première structure de maillage 3D à des images 2D calculées à partir de structures de maillage 3D stockées dans la base de données. Le procédé procède ainsi itérativement à une amélioration des distances entre les sommets de la première structure de maillage et les sommets d’une structure de maillage 3D et par micro-déplacements des sommets de la première structure de maillage 3D dans l’espace géométrique tridimensionnel de manière à optimiser la première structure de maillage 3D résultant. Cette opération spatiale de déformation du de la première structure de maillage 3D procède donc par itérations successives jusqu’à obtenir une ressemblance entre la première structure de maillage 3D et une structure de maillage 3D stockée dans la base de données représentant géométriquement au moins une partie d’un être vivant. La structure géométrique tridimensionnelle ainsi obtenue correspond en ressemblance aux données d’images capturées DIC.Thus, during this iterative process, a first three-dimensional geometric structure defined by the DNI data is positioned in the rotating three-dimensional geometric space, oriented along the 3 XYZ axes. This first 3D mesh structure is then compared to 3D mesh structures stored in a database, each stored 3D mesh structure representing at least one part of a living being (its face). The iterative process also compares each 2D image calculated from the first 3D mesh structure to 2D images calculated from a 3D mesh structure stored in the database. The process of comparing these elements seeks to bring the 2D images calculated from the first 3D mesh structure closer to 2D images calculated from 3D mesh structures stored in the database. The method thus iteratively improves the distances between the vertices of the first mesh structure and the vertices of a 3D mesh structure and by micro-displacements of the vertices of the first 3D mesh structure in the three-dimensional geometric space so as to optimize the resulting first 3D mesh structure. This spatial operation of deformation of the first 3D mesh structure therefore proceeds by successive iterations until a resemblance is obtained between the first 3D mesh structure and a 3D mesh structure stored in the database geometrically representing at least part of a living being. The three-dimensional geometric structure thus obtained corresponds in resemblance to the captured DIC image data.
Selon une variante, une méthode de comparaison peut aussi être utilisée pour corriger d’éventuelles différences entre une capture par plateforme de caméras fixes d’un dispositif mobile et/ou fixe et dans une lumière ambiante contrôlée avec une capture par un téléphone.Alternatively, a comparison method may also be used to correct for possible differences between a capture by a fixed camera platform of a mobile and/or fixed device and in controlled ambient light with a capture by a telephone.
Selon un exemple de réalisation, les données de texture DT sont des données de texture extraites d’une zone définie sur une partie ou un ensemble de parties de l’être vivant ou l’ensemble de l’être vivant à partir des données d’images capturées DIC.According to an exemplary embodiment, the texture data DT is texture data extracted from a defined area on a part or set of parts of the living being or the whole of the living being from the captured image data DIC.
Selon un exemple de réalisation, les données de texture de la zone sont obtenues par assemblage des données d’images capturées DIC, isolées, réparties et assemblées pour reconstituer une seule texture.According to an exemplary embodiment, the texture data of the area is obtained by assembling the captured DIC image data, isolated, distributed and assembled to reconstruct a single texture.
Par exemple, le procédé d’assemblage procède à la déformation de la texture de chacune des images obtenues à partir des données d’images capturées DIC en modifiant la couleur et le contraste des pixels des images de texture, correspondantes à la texture des images obtenues à partir des données d’image capturées DIC, et en corrigeant les frontières entre les images texture pour générer une texture unique.For example, the stitching method deforms the texture of each of the images obtained from the DIC captured image data by changing the color and contrast of the pixels of the texture images, corresponding to the texture of the images obtained from the DIC captured image data, and correcting the boundaries between the texture images to generate a single texture.
Cette texture unique est alors projetée sur la surface de la structure de maillage 3D correspondante aux donnée DM (projection connue sous le terme cartographie UV, les lettres U et V désignant les axes de la texture 2D). Cela permet ensuite une reprojection de la dite texture assemblée sur ladite structure de maillage 3D.This unique texture is then projected onto the surface of the 3D mesh structure corresponding to the DM data (projection known as UV mapping, the letters U and V designating the axes of the 2D texture). This then allows a reprojection of said assembled texture onto said 3D mesh structure.
Par exemple, lorsqu’une partie de l’être vivant 10 est un visage d’une personne, les données de texture peuvent être obtenues à partir d’une surface d’une zone définie entre le front, les oreilles et le menton (« monkey mask » en anglais).For example, when a part of the living being 10 is a face of a person, the texture data can be obtained from a surface of a defined area between the forehead, ears and chin (“monkey mask” in English).
Selon une variante du procédé, les données DM et DT du jumeau numérique JN sont stockées dans une mémoire du deuxième dispositif 102 ou accessible par le deuxième dispositif 102.According to a variant of the method, the data DM and DT of the digital twin JN are stored in a memory of the second device 102 or accessible by the second device 102.
Selon un exemple de réalisation de la cinquième étape 205, cette mémoire est distincte des bases de données 103 et 104 pour conserver l’anonymisation des données.According to an exemplary embodiment of the fifth step 205, this memory is distinct from the databases 103 and 104 to maintain the anonymization of the data.
Dans une sixième étape 206, le deuxième dispositif 102 calcule les deuxièmes données D2 représentatives d’une vue selon le point de vue du jumeau numérique JN porteur dudit au moins un accessoire à partir des données de maillage DM et des données de texture DT du jumeau numérique JN et des données d’accessoires DAC.In a sixth step 206, the second device 102 calculates the second data D2 representative of a view according to the point of view of the digital twin JN carrying said at least one accessory from the mesh data DM and the texture data DT of the digital twin JN and the accessory data DAC.
Selon un exemple de réalisation de la sixième étape 206, le deuxième dispositif 102 comprend un moteur de rendu qui calcule les deuxièmes données D2 représentatives d’une image du jumeau numérique JN porteur dudit au moins un accessoire selon le point de vue.According to an exemplary embodiment of the sixth step 206, the second device 102 comprises a rendering engine which calculates the second data D2 representative of an image of the digital twin JN carrying said at least one accessory according to the point of view.
Selon un exemple de réalisation, le moteur de rendu est un moteur de rendu temps réel.According to an exemplary embodiment, the rendering engine is a real-time rendering engine.
Selon un exemple de réalisation, le moteur de rendu est mis en œuvre sur un serveur de calcul GPU.According to an exemplary embodiment, the rendering engine is implemented on a GPU computing server.
Par exemple, le moteur de rendu temps réel est un moteur de simulation 3D.For example, the real-time rendering engine is a 3D simulation engine.
Dans une septième étape 207, le deuxième dispositif 102 transmet les deuxièmes données D2 à destination du troisième dispositif 107.In a seventh step 207, the second device 102 transmits the second data D2 to the third device 107.
Selon un exemple de réalisation de la septième étape 207, les deuxièmes données D2 sont diffusées en continue (en anglais « streaming ») ce qui évite un téléchargement complet de ces deuxièmes données D2 avant de commencer à les rendre sur un écran par exemple.According to an exemplary embodiment of the seventh step 207, the second data D2 are broadcast continuously (in English “streaming”) which avoids a complete download of these second data D2 before starting to render them on a screen for example.
Selon un exemple de réalisation, les deuxièmes données D2 sont par exemple transmises via une connexion sans fil lorsque la requête a été transmise via une connexion sans fil.According to an exemplary embodiment, the second data D2 are for example transmitted via a wireless connection when the request has been transmitted via a wireless connection.
Selon un exemple de réalisation, les deuxièmes données D2 sont transmises via une connexion filaire, par exemple lorsque la requête a été transmise via une connexion filaire.According to an exemplary embodiment, the second data D2 are transmitted via a wired connection, for example when the request was transmitted via a wired connection.
Selon une variante de la septième étape 207, les deuxièmes données D2 sont transmises avec les données représentatives du NFT pour prouver l’authenticité des deuxièmes données D2 et, par exemple, la propriété du premier dispositif 101 qui a émis la requête.According to a variant of the seventh step 207, the second data D2 are transmitted with the data representative of the NFT to prove the authenticity of the second data D2 and, for example, the ownership of the first device 101 which issued the request.
Dans une huitième étape 208, le troisième dispositif 107 calcule un rendu de la vue du jumeau numérique JN à partir des deuxièmes données D2.In an eighth step 208, the third device 107 calculates a rendering of the view of the digital twin JN from the second data D2.
Selon un exemple de réalisation de la huitième étape 208, les deuxièmes données D2 sont affichées sur un écran d’affichage du troisième dispositif 107.According to an exemplary embodiment of the eighth step 208, the second data D2 are displayed on a display screen of the third device 107.
Selon une variante de la huitième étape 208, les deuxièmes données D2 sont affichées avec le certificat d’authenticité correspondant au NFT.According to a variant of the eighth step 208, the second data D2 are displayed with the certificate of authenticity corresponding to the NFT.
Un tel procédé permet à une personne d’essayer virtuellement des accessoires et de décider de l’achat ou non de ces accessoires.Such a process allows a person to virtually try on accessories and decide whether or not to purchase these accessories.
Au travers d’une IHM mise en œuvre sur le troisième dispositif 107, une personne peut accéder à un site de vente et sélectionner des accessoires. Elle peut également choisir d’essayer virtuellement ces accessoires. L’IHM peut alors être prévue pour que cette personne ajoute les accessoires sélectionnés dans un panier, que l’on peut appeler cabine d’essayage virtuelle. Le procédé décrit ci-dessus est alors mise en œuvre pour qu’un jumeau numérique de cette personne soit calculé et que la personne puisse visualiser une vue de son jumeau numérique alors porteur d’accessoires que cette personne aurait sélectionnés. Ainsi, la personne peut interagir avec son jumeau numérique à partir de cette IHM qui affiche les images de ce jumeau numérique porteur de ces accessoires selon des points de vue pouvant être sélectionnés par cette personne. La personne peut également choisir des conditions de la scène (éclairage, contenu de la scène) dans lequel évolue son jumeau numérique. La personne peut également choisir des conditions d’éclairage de la scène dans lequel évolue son jumeau numérique ou encore changer la scène dans laquelle est présenté le jumeau numérique.Through an HMI implemented on the third device 107, a person can access a sales site and select accessories. He or she can also choose to virtually try on these accessories. The HMI can then be designed so that this person adds the selected accessories to a basket, which can be called a virtual fitting room. The method described above is then implemented so that a digital twin of this person is calculated and the person can view a view of his or her digital twin then wearing accessories that this person would have selected. Thus, the person can interact with his or her digital twin from this HMI which displays the images of this digital twin wearing these accessories according to points of view that can be selected by this person. The person can also choose the conditions of the scene (lighting, content of the scene) in which his or her digital twin evolves. The person can also choose the lighting conditions of the scene in which his or her digital twin evolves or change the scene in which the digital twin is presented.
Les figures 3 à 8 illustrent schématiquement un système d’essayage virtuel d’un accessoire par un être vivant représenté numériquement, selon un exemple de réalisation particulier et non limitatif de la présente invention.Figures 3 to 8 schematically illustrate a system for virtual fitting of an accessory by a digitally represented living being, according to a particular and non-limiting exemplary embodiment of the present invention.
Selon cet exemple, le premier dispositif 101 est un système de capture de données d’images comprenant une pluralité de moyens de capture d’images. Typiquement, ce système est enfermé dans une cabine de capture et les différents moyens de capture d’images sont répartis spatialement autour d’une personne souhaitant essayer virtuellement des accessoires accessibles depuis une IHM du troisième dispositif 103 qui peut être par exemple un téléphone.According to this example, the first device 101 is an image data capture system comprising a plurality of image capture means. Typically, this system is enclosed in a capture cabin and the different image capture means are spatially distributed around a person wishing to virtually try on accessories accessible from an HMI of the third device 103 which may be for example a telephone.
Supposons que le procédé décrit en relation avec la
La
Supposons qu’une personne souhaite essayer virtuellement un accessoire affiché dans une zone 1071 d’une page d’un site de vente affichée sur un écran tactile du téléphone 107.Suppose that a person wishes to virtually try on an accessory displayed in an area 1071 of a page of a sales site displayed on a touch screen of the telephone 107.
Cette personne doit commencer par créer son jumeau numérique JN. Pour cela, elle s’installe dans la cabine de capture au centre du système de capture de données d’images (premier dispositif 101). Un procédé de capture d’images est alors lancé pour capturer des données d’images DIC d’une partie de la personne, par exemple sa tête (première étape 201). Une fois ces données d’images DIC capturées, le système de capture de données d’images (premier dispositif 101) transmet à destination du deuxième dispositif 102, des premières données D1 représentatives d’une requête pour obtenir des deuxièmes données D2 représentatives d’une vue d’un jumeau numérique tridimensionnel JN1 de la tête de la personne selon un point de vue par exemple de face (deuxième étape 202).This person must begin by creating their digital twin JN. To do this, they sit in the capture booth at the center of the image data capture system (first device 101). An image capture method is then launched to capture image data DIC of a part of the person, for example their head (first step 201). Once these image data DIC have been captured, the image data capture system (first device 101) transmits to the second device 102, first data D1 representative of a request to obtain second data D2 representative of a view of a three-dimensional digital twin JN1 of the person's head from a point of view, for example from the front (second step 202).
Le deuxième dispositif 102, qui peut être par exemple un serveur accessible via Internet, reçoit la requête et encode les données d’images capturées DIC et les données d’anonymisation DA de la requête reçue dans au moins un nouveau bloc de la chaîne de blocs 106 (quatrième étape 204).The second device 102, which may be for example a server accessible via the Internet, receives the request and encodes the captured image data DIC and the anonymization data DA of the received request in at least one new block of the blockchain 106 (fourth step 204).
Le deuxième dispositif 102 calcule alors des données de maillage DM selon des informations morphologiques extraites des données d’images capturées DIC, et des données de texture DT du jumeau numérique obtenues à partir de données de texture extraites des données d’images capturées DIC (cinquième étape 205). Le jumeau numérique est avantageusement stocké dans une mémoire du deuxième dispositif 102 ou accessible par le deuxième dispositif 102.The second device 102 then calculates DM mesh data according to morphological information extracted from the captured image data DIC, and DT texture data of the digital twin obtained from texture data extracted from the captured image data DIC (fifth step 205). The digital twin is advantageously stored in a memory of the second device 102 or accessible by the second device 102.
La personne peut alors naviguer sur la page du site de vente pour sélectionner au moins un accessoire en vente sur ce site.The person can then navigate the sales site page to select at least one accessory for sale on this site.
Par exemple, cette personne sélectionne l’accessoire, par exemple des boucles d’oreille, représenté dans la zone 1071 en appuyant sur cette zone tactile de l’écran du téléphone 107. Cet accessoire est ajouté à une cabine d’essayage virtuelle 1072. La personne peut alors vouloir visualiser une vue de son jumeau numérique JN porteur du ou des accessoires qui sont présent(s) dans la cabine d’essayage virtuelle en appuyant, par exemple sur une zone tactile 1072 de l’écran du téléphone 107.For example, this person selects the accessory, for example earrings, represented in the area 1071 by pressing on this touch zone of the screen of the telephone 107. This accessory is added to a virtual fitting room 1072. The person may then wish to view a view of his digital twin JN wearing the accessory(ies) which are present in the virtual fitting room by pressing, for example on a touch zone 1072 of the screen of the telephone 107.
Des données d’accessoires DAC représentatives d’une représentation tridimensionnelle dudit au moins un accessoire sélectionné sont alors transmises par le téléphone 107 à destination du deuxième dispositif 102 (troisième étape 203). Le deuxième dispositif 102 calcule alors des deuxièmes données D2 représentatives d’une vue selon un point de vue du jumeau numérique porteur dudit au moins un accessoire à partir des données de maillage DM et des données de texture DT du jumeau numérique JN et des données d’accessoires DAC (sixième étape 206). Ces deuxièmes données D2 sont alors transmises par le deuxième dispositif 102 à destination du téléphone 107 (septième étape 207). Le téléphone 107 calcule un rendu de la vue du jumeau numérique JN porteur de dudit au moins un accessoire selon le point de vue à partir des deuxièmes données (huitième étape 208). Le téléphone 107 affiche alors cette vue dans une zone 1073 (
La personne peut alors interagir avec le jumeau numérique JN porteur de l’accessoire. Par exemple, le téléphone 107 peut permettre à cette personne de changer le point de vue son jumeau numérique JN et/ou supprimer un accessoire.The person can then interact with the digital twin JN wearing the accessory. For example, the telephone 107 can allow this person to change the point of view of his digital twin JN and/or remove an accessory.
La
La présente invention ne se limite pas à ces quelques exemples de vues d’un jumeau numérique JN car la personne peut choisir des points de vue tout autour du jumeau numérique JN du fait de sa représentation tridimensionnelle évoluant dans une scène elle aussi tridimensionnelle.The present invention is not limited to these few examples of views of a digital twin JN because the person can choose points of view all around the digital twin JN due to its three-dimensional representation evolving in a scene which is also three-dimensional.
La présente invention ne se limite pas non plus à une partie particulière d’un être vivant ni à un accessoire particulier.The present invention is also not limited to any particular part of a living being or to any particular accessory.
La personne peut également choisir des conditions de la scène (éclairage, contenu de la scène) dans lequel évolue son jumeau numérique JN. La personne peut également choisir les conditions d’éclairage de la scène dans lequel évolue son jumeau numérique ou encore changer la scène dans laquelle est présenté le jumeau numérique. Ces interactions peuvent être mise en œuvre par des actions tactiles de la personne sur les zones dédiées de l’écran du téléphone 107. A chaque changement d’interaction, une nouvelle requête porteuse de données représentatives des changements demandés de la vue actuellement affichées dans la zone 1073, est envoyée par le téléphone 107 à destination du deuxième dispositif 102 qui calcule de nouvelles données D2 (sixième étape 206) et qui transmet ces deuxièmes données D2 (septième étape 207) à destination de téléphone 107. Le téléphone 107 calcule alors un nouveau rendu de la vue du jumeau numérique JN éventuellement porteur d’au moins un accessoire selon un point de vue à partir des nouvelles deuxièmes données (huitième étape 208). Le téléphone 107 affiche alors cette nouvelle vue dans une zone 1073 (
Le procédé est également avantageux car le jumeau numérique et les accessoires sont des données numériques tridimensionnelles qui sont définis dans le métavers. Le jumeau numérique porteur des accessoires peut ainsi être un élément de ce métavers et ainsi être mis dans un univers particulier qui peut être défini en rapport avec un site de vente et/ou les accessoires portés par ce jumeau numérique et/ou selon des préférences de cette personne.The method is also advantageous because the digital twin and the accessories are three-dimensional digital data that are defined in the metaverse. The digital twin carrying the accessories can thus be an element of this metaverse and thus be placed in a particular universe that can be defined in relation to a sales site and/or the accessories worn by this digital twin and/or according to preferences of this person.
La chaîne de blocs 106 permet de tracer l’ensemble des opérations ou transactions en relation avec la gestion des données relatives au système d’essayage virtuel d’un accessoire par un être vivant représenté numériquement dans le « cloud.The blockchain 106 makes it possible to trace all operations or transactions relating to the management of data relating to the virtual fitting system of an accessory by a living being represented digitally in the “cloud”.
Le troisième dispositif 103 peut changer au cours du procédé décrit en relation avec la
Parmi les interactions avec son jumeau numérique, la personne peut aussi enregistrer une vidéo d’une évolution temporelle de son jumeau numérique dans une scène.Among the interactions with his digital twin, the person can also record a video of a temporal evolution of his digital twin in a scene.
Bien entendu, la présente invention ne se limite pas aux exemples de réalisation décrits ci-avant mais s’étend à un procédé de communication de données d’un système d’essayage virtuel d’au moins un accessoire par un être vivant représenté numériquement qui inclurait des étapes secondaires sans pour cela sortir de la portée de la présente invention. Il en serait de même d’un système configuré pour la mise en œuvre d’un tel procédé.Of course, the present invention is not limited to the exemplary embodiments described above but extends to a method of communicating data from a virtual fitting system of at least one accessory by a digitally represented living being which would include secondary steps without thereby departing from the scope of the present invention. The same would apply to a system configured for the implementation of such a method.
Claims (13)
- capture (201), par un premier dispositif (101), de données d’images (DIC) représentatives d’au moins une partie de l’être vivant selon différents points de vue ;
- transmission (202), par le premier dispositif (101) et à destination d’un deuxième dispositif (102) mettant en œuvre au moins en partie une chaine de blocs (106), de premières données (D1) représentatives d’une requête de calcul et de reconstruction pour obtenir des deuxièmes données (D2) représentatives d’une vue d’un jumeau numérique tridimensionnel (JN) porteur dudit au moins un accessoire selon un point de vue, ledit jumeau numérique (JN) comprenant des données de maillage (DM) représentatives d’une structure de maillage tridimensionnelle représentée dans un espace géométrique tridimensionnel par un ensemble de sommets de formes polygonales formant une structure, chaque forme polygone partageant au moins un côté avec une autre forme polygonale, le jumeau numérique tridimensionnel comprenant en outre des données de texture (DT) représentant une texture de surfaces de la structure de maillage tridimensionnelle, les premières données (D1) comprenant les données d’images capturées (DIC) et des données d’anonymisation (DA) permettant de créer un lien entre les données d’images capturées (DIC) et un propriétaire des données d’images capturées tout en conservant l’anonymat dudit propriétaire ;
- transmission (203) à destination du deuxième dispositif (102), de données d’accessoires (DAC) représentatives d’une représentation tridimensionnelle dudit au moins un accessoire dans l’espace géométrique tridimensionnel ;
- encodage (204), par le deuxième dispositif (102), des données d’images capturées (DIC) et des données d’anonymisation (DA) de la requête dans la chaîne de blocs ;
- calcul (205), par le deuxième dispositif (102), des données de maillage (DM) par modification de données de maillage (DMI) d’un jumeau numérique initial (JNI) selon des informations morphologiques extraites des données d’images capturées (DIC), et des données de texture (DT) du jumeau numérique obtenues à partir de données de texture extraites des données d’images capturées (DIC) ;
- calcul (206), par le deuxième dispositif, des deuxièmes données (D2) représentatives d’une vue selon le point de vue du jumeau numérique porteur dudit au moins un accessoire à partir des données de maillage (DM) et des données de texture (DT) du jumeau numérique (JN) et des données d’accessoires (DAC) ;
- transmission (207) des deuxièmes données (D2) par le deuxième dispositif (102) à destination d’un troisième dispositif (107) ; et
- calcul (208), par le troisième dispositif (107), d’un rendu de la vue du jumeau numérique (JN) porteur de dudit au moins un accessoire selon le point de vue à partir des deuxièmes données (D2).Method for communicating data from a virtual fitting system for at least one accessory by a digitally represented living being, said method comprising the following steps:
- capture (201), by a first device (101), of image data (DIC) representative of at least part of the living being according to different points of view;
- transmission (202), by the first device (101) and to a second device (102) implementing at least in part a blockchain (106), of first data (D1) representative of a calculation and reconstruction request to obtain second data (D2) representative of a view of a three-dimensional digital twin (JN) carrying said at least one accessory according to a point of view, said digital twin (JN) comprising mesh data (DM) representative of a three-dimensional mesh structure represented in a three-dimensional geometric space by a set of vertices of polygonal shapes forming a structure, each polygonal shape sharing at least one side with another polygonal shape, the three-dimensional digital twin further comprising texture data (DT) representing a surface texture of the three-dimensional mesh structure, the first data (D1) comprising the captured image data (DIC) and anonymization data (DA) making it possible to create a link between the data captured image data (DIC) and an owner of the captured image data while maintaining the anonymity of said owner;
- transmission (203) to the second device (102), of accessory data (DAC) representative of a three-dimensional representation of said at least one accessory in the three-dimensional geometric space;
- encoding (204), by the second device (102), the captured image data (DIC) and the anonymization data (DA) of the request in the blockchain;
- calculation (205), by the second device (102), of the mesh data (DM) by modification of mesh data (DMI) of an initial digital twin (JNI) according to morphological information extracted from the captured image data (DIC), and texture data (DT) of the digital twin obtained from texture data extracted from the captured image data (DIC);
- calculation (206), by the second device, of the second data (D2) representative of a view according to the point of view of the digital twin carrying said at least one accessory from the mesh data (DM) and the texture data (DT) of the digital twin (JN) and the accessory data (DAC);
- transmission (207) of the second data (D2) by the second device (102) to a third device (107); and
- calculation (208), by the third device (107), of a rendering of the view of the digital twin (JN) carrying said at least one accessory according to the point of view from the second data (D2).
- un premier dispositif (101) comprenant des moyens de communication, au moins un moyen de capture de données d’images et au moins un processeur prévu pour exécuter des instructions pour la mise en œuvre d’au moins une étape du procédé selon l’une des revendication 1 à 9 ;
- un deuxième dispositif (102) comprenant des moyens de communication, des moyens pour mettre en œuvre au moins une partie d’une chaîne de blocs et au moins un processeur prévu pour exécuter des instructions pour la mise en œuvre d’au moins une étape du procédé selon l’une des revendication 1 à 9 ;
- un troisième dispositif (103) comprenant des moyens de communication, un écran et au moins un processeur prévu pour exécuter des instructions pour la mise en œuvre d’au moins une étape du procédé selon l’une des revendication 1 à 9;Virtual fitting system for at least one accessory by a digitally represented living being comprising:
- a first device (101) comprising communication means, at least one image data capture means and at least one processor provided for executing instructions for implementing at least one step of the method according to one of claims 1 to 9;
- a second device (102) comprising communication means, means for implementing at least part of a blockchain and at least one processor provided for executing instructions for the implementation of at least one step of the method according to one of claims 1 to 9;
- a third device (103) comprising communication means, a screen and at least one processor provided for executing instructions for the implementation of at least one step of the method according to one of claims 1 to 9;
- un même téléphone ; ou
-une même paire de lunettes équipée d’au moins une caméra et dudit écran ; ou
- une même paire de lentilles de contact oculaire équipées d’au moins une caméra et dudit écran alors adaptatif à une vue d’un utilisateur.System according to claim 11, wherein the first device (101) and the third device (103) are:
- the same phone; or
- the same pair of glasses equipped with at least one camera and said screen; or
- the same pair of ocular contact lenses equipped with at least one camera and said screen then adaptable to a user's view.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2301334A FR3145824A1 (en) | 2023-02-14 | 2023-02-14 | Method of communicating data from a virtual fitting system for an accessory by a digitally represented living being |
| PCT/FR2024/050007 WO2024170830A1 (en) | 2023-02-14 | 2024-01-04 | Method for communicating data on a system for virtually trying on an accessory by a digitally represented living being |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2301334 | 2023-02-14 | ||
| FR2301334A FR3145824A1 (en) | 2023-02-14 | 2023-02-14 | Method of communicating data from a virtual fitting system for an accessory by a digitally represented living being |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3145824A1 true FR3145824A1 (en) | 2024-08-16 |
Family
ID=86469385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2301334A Pending FR3145824A1 (en) | 2023-02-14 | 2023-02-14 | Method of communicating data from a virtual fitting system for an accessory by a digitally represented living being |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3145824A1 (en) |
| WO (1) | WO2024170830A1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020351764A1 (en) * | 2019-09-26 | 2022-04-21 | William Edward Quigley | Distributed ledger lending systems having a smart contract architecture and methods therefor |
| US20220237846A1 (en) * | 2020-12-30 | 2022-07-28 | Spree3D Corporation | Generation and simultaneous display of multiple digitally garmented avatars |
-
2023
- 2023-02-14 FR FR2301334A patent/FR3145824A1/en active Pending
-
2024
- 2024-01-04 WO PCT/FR2024/050007 patent/WO2024170830A1/en unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020351764A1 (en) * | 2019-09-26 | 2022-04-21 | William Edward Quigley | Distributed ledger lending systems having a smart contract architecture and methods therefor |
| US20220237846A1 (en) * | 2020-12-30 | 2022-07-28 | Spree3D Corporation | Generation and simultaneous display of multiple digitally garmented avatars |
Non-Patent Citations (4)
| Title |
|---|
| AYUSH TEWARI, MICHAEL ZOLLΔFER, HYEONGWOO KIM, PABLO GARRIDO, FLORIAN BERNARD, PATRICK PEREZ, AND THEOBALT CHRISTIAN: "MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction", THE IEEE INTERNATIONAL CONFÉRENCE ON COMPUTER VISION (ICCV, 2017 |
| LUAN TRAN ET AL.: "Nonlinear 3d face morphable model", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RE-COGNITION, 2018, pages 7346 - 7355, XP033473654, DOI: 10.1109/CVPR.2018.00767 |
| PABLO GARRIDO ET AL.: "Reconstruction of Personalized 3D Face Rigs from Monocular Video", TRANS. GRAPH., vol. 35, no. 3, 2016, pages 1 - 15, XP055971165, DOI: 10.1145/2890493 |
| ZIWEI LIUPING LUOXIAOGANG WANGXIAOOU TANG, LARGE-SCALE CE-LEBFACES ATTRIBUTES (CELEBA) DATASET, 2018 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024170830A1 (en) | 2024-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12041389B2 (en) | 3D video conferencing | |
| WO2020192568A1 (en) | Facial image generation method and apparatus, device and storage medium | |
| US11765332B2 (en) | Virtual 3D communications with participant viewpoint adjustment | |
| KR102612529B1 (en) | Neural blending for new view synthesis | |
| CN112868224A (en) | Techniques to capture and edit dynamic depth images | |
| US20220189105A1 (en) | 3d Conversations in An Artificial Reality Environment | |
| US11430158B2 (en) | Intelligent real-time multiple-user augmented reality content management and data analytics system | |
| JP2024504012A (en) | Reverse pass-through glasses for augmented reality and virtual reality devices | |
| Fadzli et al. | A systematic literature review: Real-time 3D reconstruction method for telepresence system | |
| WO2024170830A1 (en) | Method for communicating data on a system for virtually trying on an accessory by a digitally represented living being | |
| WO2014170482A1 (en) | Method for generating an output video stream from a wide-field video stream | |
| US20240212106A1 (en) | Photo Relighting and Background Replacement Based on Machine Learning Models | |
| FR3066304A1 (en) | METHOD OF COMPOSING AN IMAGE OF AN IMMERSION USER IN A VIRTUAL SCENE, DEVICE, TERMINAL EQUIPMENT, VIRTUAL REALITY SYSTEM AND COMPUTER PROGRAM | |
| FR3056770A1 (en) | DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT | |
| WO2020128206A1 (en) | Method for interaction of a user with a virtual reality environment | |
| US12051155B2 (en) | Methods and systems for 3D modeling of a human subject having hair based on 2D imagery | |
| US20230298250A1 (en) | Stereoscopic features in virtual reality | |
| US20240303843A1 (en) | Depth estimation from rgb images | |
| WO2024151398A1 (en) | Virtual pose rendering using neural radiance model | |
| TW202349940A (en) | Volumetric avatars from a phone scan | |
| CN116977545A (en) | Three-dimensional model display method, three-dimensional model display device, computer equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20240816 |