FR3116363A1

FR3116363A1 - Procédé d’essayage virtuel réaliste de bijoux ou autre objet de même nature par une personne dans une photographie ou un flux vidéo en temps réel

Info

Publication number: FR3116363A1
Application number: FR2011682A
Authority: FR
Inventors: Alexandre Gauthier; Frédérique Montrésor
Original assignee: Bleu Ebene
Current assignee: Haysoo SAS
Priority date: 2020-11-14
Filing date: 2020-11-14
Publication date: 2022-05-20

Abstract

Procédé d’essayage virtuel réaliste de bijoux ou autre objet de même nature par une personne dans une photographie ou un flux vidéo en temps réel L’intervention concerne un procédé de génération d’une image finale d’une personne à partir d’une image d’origine de la personne acquise par une caméra, l’image étant fixe ou comprise dans un flux vidéo, ledit procédé comprenant des étapes de : Détection d’une zone du port du bijou sur la personne sur l’image d’origine; Positionnement réaliste de bijoux sur la personne ; Elaboration d’un canevas se superposant sur l’image initiale, le canevas comprenant une projection de tout ou partie du bijou virtuel ; Génération de l’image finale en fusionnant le canevas élaboré avec l’image d’origine ; Le procédé comprend également, un dispositif comprenant un programme informatique. [Fig 3]

Description

Procédé d’essayage virtuel réaliste de bijoux ou autre objet de même nature par une personne dans une photographie ou un flux vidéo en temps réel

La présente invention concerne un procédé de réalité augmentée pour l’essayage virtuel de bijoux, placé sur une image d’origine ou sur un flux vidéo d’une personne.

Contexte de l’invention et problème posé

Le contexte de la présente invention est celui de la réalité augmentée pour l’essayage virtuel de bijoux ou autres objets de même nature, en temps réel de façon la plus réaliste possible, ce bijou virtuel étant à incorporer dans une image ou un flux vidéo, représentant l’une des parties du visage soit les oreilles, nez, arcades sourcilières, cou, main, poignet et autre partie du corps (cheville, avant-bras, chevelure, sans être exhaustif) de la personne placé en face de la caméra.

L’essor de la vente sur internet, engendre le besoin d’essayage virtuel de bijoux. Les solutions actuelles se fondant sur la réalité virtuelle ou augmentée ne répondent pas, dans le cadre des bijoux, au besoin de réalisme ou d’interactivité.

L’invention trouve des applications dans le secteur HBJO (Horlogerie-Bijouterie, Joaillerie, Orfèvrerie) de la vente de d’accessoires pour aider les utilisateurs dans leur choix d’un bijou.

Description de l’art antérieur

L’aspect d’un bijou porté est estimé par sa forme, de par son volume relatif et par son port sur l’oreille, le cou ou autres parties du corps.

Il est connu de l’art antérieur des techniques d’essayage virtuel de bracelets, bagues et montres par une personne.

Par exemple, une telle technique est décrite dans le brevet français publié sous le numéro FR 3 068 812. Cette technique cherche à proposer un essayage virtuel d’un bijou qui soit réaliste pour la personne, notamment en projetant une image en fonction de la position des yeux de la personne et de la géométrie de l’environnement de façon à donner l’illusion à la personne de percevoir une montre, une bague ou un bracelet en 3 dimensions directement sur son poignet ou sa main depuis sa perspective.

D’autre part, le détourage de bijoux est traditionnellement effectué automatiquement à l’aide d’un logiciel et d’une boite à lumière, qui ne permet pas un détourage de qualité pour les petits objets.

Certains logiciels comportant un contraste prédéfini de lumière par le fabricant permettent le détourage automatique, mais les résultats sont aléatoires en fonctions des bijoux. La suppression d’arrière-plan pour le détourage de petits objets est un problème très complexe et il n'existe pas actuellement de méthode de détourage automatique satisfaisant pour des bijoux ayant des reflets et des transparences.
La présente invention permet de répondre simultanément à tous les besoins requis, à savoir de proposer un système de détourage du bijou et un essayage dudit bijou par réalité augmentée qui permette d’obtenir un rendu réaliste quelles que soient les caractéristiques des métaux précieux sans limitation de la vision de la personne.

Objectif de l’intervention

L’objectif de cette invention est de proposer un procédé d’essayage virtuel de bijoux, par digitalisation du bijou en plusieurs images 2D en fonction de l’angle et un système d’intégration en temps réel de ces bijoux, de manière la plus réaliste, sur une image d’origine ou un flux vidéo représentant l’une des parties du visage ou une partie du corps de la personne, en optimisant le nombre de données nécessaires.

On définit par intégration, le positionnement et un rendu réaliste d’un bijou virtuel sur une image ou un flux vidéo représentant une personne, obtenant ainsi une nouvelle image de la personne semblable à celle qui serait créé en la prenant en photo avec ce bijou ou devant un miroir.

Exposé de l’intervention

La présente intervention concerne tout d’abord un procédé de digitalisation d’un bijou 3D à partir d’images 2D, prises sous différents angles, permettant de générer par animation un effet 3D.
Ce procédé comprend des étapes :

acquisition d’images 2D du bijou, possédant éventuellement des parties transparentes ou réfléchissantes, cette mise en œuvre permet selon une variante préférée du procédé de capture et de traitement des images de simplifier l’étape informatisée de traitement ;
détourage des images obtenues, par un programme informatique pour obtenir un fond transparent. Les images ainsi détourées peut être enregistrées au format PNG pour être placées sur un une photo ou sur flux vidéo.
suppression par un programme informatique de tout ou partie du bijou, tenant compte essentiellement des parties cachées voir des obstructions.

Ensuite un second procédé de réalité augmentée de génération d’une image finale d’une personne, vise à partir d’une image d’origine de la personne acquise par téléchargement d’un portrait ou par une caméra, comprend des étapes de :

détection d’une zone du port du bijou sur l’une des parties du visage ou le corps de la personne sur l’image d’origine ;
détermination des paramètres réels de positionnement et d’orientation du visage ou du corps de la personne par rapport à la caméra réelle. La détermination des paramètres réels de positionnement et orientation du visage de la personne par rapport à la caméra est généralement effectué en temps réel pour chaque image, ce qui correspond à un suivi du visage en temps réel.
dans des modes de mise en œuvre particuliers de l’invention, un canevas est créé, comprenant une représentation de tout ou partie du bijou virtuel, se superposant sur l’image initiale ;
génération de l’image finale en fusionnant le canevas élaboré à l’étape d) avec l’image initiale pour un rendu proche de la réalité.

L’invention vise également un système comprenant un programme informatique stockant les instructions et les données mettant en œuvre le procédé de détermination d’une image finale selon l’un quelconque des modes de mise en œuvre précédents, lorsque que ledit programme est exécuté sur un ordinateur, tablette ou mobile.

De la sorte, un observateur qui peut-être la personne elle-même peut voir l’une des parties du visage ou une partie du corps de la personne portant le bijou virtuel, avec un rendu proche de la réalité. Les différents détails du bijou sont ainsi visibles et peuvent être appréciés par l’observateur.

L’invention se rapporte également à un procédé de choix de plusieurs modèles, on entend par modèle des portraits de plusieurs images de mannequins et d’ajustement de la position du bijou :

Choix de modèles avec différentes poses enregistrées au programme informatique, pour proposer à la personne un essayage sur photo et non sur elle.
Modification possible par la personne d’une caractéristique de positionnement du bijou et mise à jour en temps réel de la représentation de la scène, la caractéristique de positionnement étant comprise dans la liste :

correction de la position en x et y en mode caméra ;
oriention du bijou ;
zoom pour voir les différents détails du bijou.

Brèves description des figures

D’autres avantages, buts et caractéristiques particulières de la présente invention découleront de la description non limitative qui suit d’au moins un mode de réalisation et procédés de la présente invention, en regard des dessins annexés, dans lesquels :

la figure 1 illustre le principe de prise de vue d’un bijou pour digitalisation dudit bijou ;
la figure 2 représente de manière schématique le procédé du traitement informatique de l’invention ;
la figure 3 représente un système de réalité augmentée mettant en œuvre le procédé d’essayage virtuel de l’invention ;
la figure 4 illustre les interactions possibles par l’utilisateur ;
la figure 5 schématise un programme informatique permettant d’associer une image initiale à un bijou virtuel ;

Description détaillée de modes de réalisation de l’invention
La présente description est maintenant décrite à l’aide d’exemples uniquement illustratifs et nullement limitatifs de la portée de l’invention, et à partir des illustrations ci-jointes, dans lesquelles :

la figure 1illustre le procédé de digitalisation d’un bijou réel (5) en plusieurs images en 2D, en utilisant deux panneaux (2) l’un menu d’une ouverture en fonction du type de bijou et installable au fond de la boite à lumière (1), pour créer une ombre chinoise très précise pour le détourage et l’autre est pourvue d’une ouverture pour l’objectif de l’appareil photo (7) pour focaliser la lumière sur le bijou ;
on réalise une série de prise de vue du bijou réel (5), avec des angles de vues différents (de 60 à 180 degrés), en appliquant sur le fermoir du bijou réel (5) un attribut remarquable (3) pour être supprimé facilement par la suite, et la même série avec une lumière en arrière-plan passant uniquement par le masque de la plaque pour obtenir une ombre chinoise des différents angles.
L’étape de prise de vue avec un plateau tournant (6) pour obtenir plusieurs angles est une étape classique pour l’homme du métier. Une telle technique est par exemple décrite dans le brevet français publié sous le numéro FR 2 963 836 et intitulé « Boite à lumière pour la capture d’image d’un objet et sa visualisation animée ».
la figure 2représente de manière schématique le procédé du traitement informatique qui consiste à extraire l’arrière-plan (7) simultanément de toutes les images des différents angles, en détourant l’image (8) du bijou réel (5) grâce à l’ombre chinoise.
cette étape comprend également des instructions de code pour l’exécution de l’effacement de cet attribut (9) sur toutes les images des différents angles et l’enregistrement des images au format PNG pour alimenter une base de données (10).
La figure 3représente un système (11) de réalité augmentée permettant l’essayage d’un bijou virtuel (19) par une personne (12). Le système utilise la caméra (13) d’un ordinateur acquérant un flux vidéo (14), s’affichant après traitement par un programme informatique inclus dans le système. Ainsi la personne (12) peut voir en temps réel sur l’écran (15), l’une des parties de son visage. La personne a accès à une collection de bijoux (16), aux paramètres de changement d’angle et zoom (17), ainsi qu’à un choix de modèles préenregistrés (18).
ce procédé recherche en amont de critères de reconnaissance d’un lobe d’oreille (21), dans cet exemple, sur un flux vidéo.
Le procédé inclut ensuite une étape de retranscription des paramètres réels de positionnement et d’orientation du visage par rapport à la caméra (13).
La détermination des paramètres réels de positionnement et d’orientation permet notamment de placer le bijou préalablement sélectionné par la personne, via une interface graphique (22), de manière réaliste sur l’image initiale (14) de la personne (12).
La figure 4représente le programme informatique permettant d’associer le bijou virtuel (19) à l’acquisition de l’image initiale (28). Le programme détecte une zone du port (21) du bijou virtuel (19) sur le visage de l’image d’origine (14) ;
détermination des paramètres réels de positionnement et d’orientation (26) du visage ou du corps de la personne (12) par rapport à la caméra (13). La détermination des paramètres réels de positionnement et orientation du visage de la personne (12) par rapport à la caméra (13) est généralement effectué en temps réel pour chaque image, ce qui correspond à un suivi du visage en temps réel.
création d’un canevas (27) comprenant une représentation de tout ou partie du bijou virtuel, se superposant sur l’image initiale (28) reposant sur un programme informatique ;
génération de l’image finale (29) en fusionnant le canevas (27) élaboré avec l’acquisition de l’image initiale (28) pour un rendu proche de la réalité (30).

Autre avantages et caractéristiques optionnelles de l’invention

Dans des variantes de mise en œuvre de l’invention, le procédé de réalité augmentée peut également être utilisé par une personne en zoomant le bijou et/ou en faisant varier l’angle d’observation et de positionnement.

la figure 5illustre les interactions possibles par l’utilisateur pour voir le bijou (5) sous différents angles, d’utiliser le zoom pour voir les détails dudit bijou et de positionner le bijou selon ses souhaits.
L’image affichée à l’écran (15) représente ainsi la partie zoomée (26) de la personne (12) portant le bijou (5). La personne (12) peut alors apprécier les différents aspects dudit bijou (5) et estimer notamment ses caractéristiques avec la variation de l’angle (24) et du zoom (23).

Claims

Procédé de réalité augmentée pour l’essayage virtuel de bijoux (11), placé sur une image d’origine ou sur un flux vidéo (14) d’une personne (12), en temps réel, selon l’orientation de ladite personne, caractérisé en ce qu’il comporte les étapes suivantes :
détection d’une zone du port (21) du bijou virtuel (19) sur le visage ou le corps de la personne (12) sur l’image d’origine (14) ;

détermination des paramètres réels de positionnement et d’orientation du visage (26) ou du corps de la personne par rapport à la caméra (13). La détermination des paramètres réels de positionnement et orientation (26) du visage de la personne (12) par rapport à la caméra (13) est généralement effectué en temps réel pour chaque image, ce qui correspond à un suivi du visage en temps réel.

création d’un canevas (27) comprenant une représentation de tout ou partie du bijou virtuel (19), se superposant sur l’acquisition de l’image initiale (28) reposant sur un programme informatique ;

génération de l’image finale (29) en fusionnant le canevas (27) élaboré avec l’acquisition de l’image initiale (28) pour un rendu proche de la réalité (30).
Procédé de réalité augmentée selon la revendication précédente, caractérisé en ce qu’il comprend des étapes d’acquisition d’un flux vidéo de la personne se positionnant face à la caméra et d’affichage de ce flux vidéo sur un écran, le flux vidéo affichant l’individu portant le bijou virtuel préalablement choisie.
Procédé de réalité augmentée selon l’une des revendications 1 et 2, caractérisé en ce qu’il comprend une étape de modification par la personne d’une caractéristiques et mise à jour en temps réel de la représentation de la scène, les caractéristiques étant comprises dans la liste :
correction de la position en x et y ;

orientation du bijou ;

zoom pour voir les différents détails du bijou.
Procédé de réalité augmentée selon l’une des revendications précédentes, comprenant en outre une étape de prise de vue du bijou avec attribut remarquable, caractérisée par l’utilisation d’une boîte à lumière (1), d’un plateau tournant et de deux panneaux lors de l’acquisition d’images 2D du bijou réel (5), possédant éventuellement des parties transparentes ou réfléchissantes, et comportant les étapes suivantes :
digitalisation d’un bijou réel (5) en plusieurs images en 2D, en utilisant deux panneaux (2) l’un muni d’une ouverture en fonction du type de bijou et installable au fond de la boite à lumière (1), pour créer une ombre chinoise très précise pour le détourage et l’autre est pourvue d’une ouverture pour l’objectif de l’appareil photo (7) pour focaliser la lumière sur le bijou ;

réalisation d’une série de prise de vue du bijou réel, avec des angles de vues différents (de 60 à 180 degrés), en appliquant sur le fermoir du bijou réel (5) un attribut remarquable (3) pour être supprimé facilement par la suite, et la même série avec une lumière en arrière-plan passant uniquement par le masque de la plaque pour obtenir une ombre chinoise des différents angles.
Programme informatique comportant des instructions de code pour mettre en œuvre le procédé de réalité augmenté selon l’une des revendications 1 à 3, lorsque le programme est exécuté sur un ordinateur, une tablette ou un mobile.