FR3105508A1 - Procédé de collecte de données relatives à un parcours d’un utilisateur dans un environnement - Google Patents
Procédé de collecte de données relatives à un parcours d’un utilisateur dans un environnement Download PDFInfo
- Publication number
- FR3105508A1 FR3105508A1 FR1915102A FR1915102A FR3105508A1 FR 3105508 A1 FR3105508 A1 FR 3105508A1 FR 1915102 A FR1915102 A FR 1915102A FR 1915102 A FR1915102 A FR 1915102A FR 3105508 A1 FR3105508 A1 FR 3105508A1
- Authority
- FR
- France
- Prior art keywords
- user
- environment
- face
- list
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012512 characterization method Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000013480 data collection Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000309551 Arthraxon hispidus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Procédé de collecte de données relatives à un parcours d’un utilisateur dans un environnement L'invention concerne un procédé de collecte de données représentatives d’un parcours utilisateur dans un environnement, le procédé comportant les étapes suivantes :- détection et caractérisation (E21) à l’aide d’au moins une caméra située dans l’environnement, d’un visage d’un utilisateur dans l’environnement ;- attribution (E22) d’un identifiant au visage détecté et caractérisé de l’utilisateur;- mise en œuvre (E23) d’une fonction de suivi du regard de l’utilisateur dans l’environnement ;- détermination (E24) d’un emplacement dans l’environnement pointé par une direction du regard de l’utilisateur pendant une première durée ;- enregistrement (E26) d'au moins une liste d’emplacements ainsi déterminés associée à l’identifiant attribué au visage détecté de l’utilisateur et selon un parcours de l’utilisateur dans l’environnement. L’invention se rapporte à un dispositif de collecte mettant en œuvre le procédé décrit. Figure pour l'abrégé : Figure 2
Description
L'invention se rapporte de manière générale à la gestion et à l’analyse de données collectées.
Plus particulièrement, l’invention se rapporte à une collecte de données relatives à un parcours utilisateur dans un environnement. Les données collectées sont relatives à l’intérêt qu’un utilisateur peut porter sur un emplacement, un objet ou produit ou tout autre élément disposé dans l’environnement dans lequel il progresse.
Il est en effet courant pour un utilisateur évoluant dans un environnement par exemple commercial où différents produits sont exposés, de porter son attention à différents objets qui lui sont présentés. Selon le type de magasin, s’il désire acheter les produits, il doit soit les mettre dans son panier de course, soit noter la référence afin de retirer le produit dans un autre endroit.
Ces étapes sont quelquefois fastidieuses ou compliquées pour un utilisateur qui par exemple a du mal à se baisser ou à porter des produits ou bien un utilisateur qui peine à prendre note des références ou qui fait des erreurs dans cette saisie.
D’autre part, il est difficile pour les gestionnaires de ce type d’environnement commercial ou de galerie d’exposition d’obtenir des informations pertinentes et en temps réel de l’intérêt des clients sur les produits exposés ou sur la façon dont sont exposés ces produits dans cet environnement. Un gérant de boutique par exemple doit pour cela effectuer des sondages auprès de ses clients ou bien faire une analyse des achats effectués dans sa boutique.
Dans certains cas, lorsque l’espace dans lequel sont exposés les produits est petit, il est difficile pour le gérant de proposer des produits en stock suffisants et selon une diversité intéressante pour les clients. Il doit pouvoir réapprovisionner rapidement son étalage si le produit est prisé par un grand nombre de clients.
Il existe donc un besoin de proposer d’une part un moyen d’obtenir une liste de produits ou de centres d’intérêt pour l’utilisateur évoluant dans un environnement sans que cela ne nécessite de manutention ou de prise de notes par l’utilisateur. D’autre part, il existe un besoin pour les gestionnaires d’environnements exposants des produits, d’une part d’obtenir des informations pertinentes sur l’intérêt des clients et d’autre part d’éviter d’exposer un trop grand nombre de mêmes produits.
La présente invention vient améliorer la situation.
Elle propose à cet effet un procédé de collecte de données représentatives d’un parcours utilisateur dans un environnement, le procédé comportant les étapes suivantes:
- détection et caractérisation à l’aide d’au moins une caméra située dans l’environnement, d’un visage d’un utilisateur dans l’environnement;
- attribution d’un identifiant au visage détecté et caractériséde l’utilisateur;
- mise en œuvre d’une fonction de suivi du regard de l’utilisateur dans l’environnement;
- détermination d’un emplacement dans l’environnement pointé par une direction du regard de l’utilisateur pendant une première durée;
- enregistrement d'au moins une liste d’emplacements ainsi déterminés associée à l’identifiant attribué au visage de l’utilisateur et selon un parcours de l’utilisateur dans l’environnement.
- détection et caractérisation à l’aide d’au moins une caméra située dans l’environnement, d’un visage d’un utilisateur dans l’environnement;
- attribution d’un identifiant au visage détecté et caractériséde l’utilisateur;
- mise en œuvre d’une fonction de suivi du regard de l’utilisateur dans l’environnement;
- détermination d’un emplacement dans l’environnement pointé par une direction du regard de l’utilisateur pendant une première durée;
- enregistrement d'au moins une liste d’emplacements ainsi déterminés associée à l’identifiant attribué au visage de l’utilisateur et selon un parcours de l’utilisateur dans l’environnement.
Ce procédé permet d’une part d’obtenir une liste d’intérêts dans un environnement pour l’utilisateur qui évolue dans cet environnement. L’obtention de cette liste ne nécessite aucune action fastidieuse pour l’utilisateur qui n’a pas de manutention ni de prises de notes à effectuer lors de son déplacement dans l’environnement. De plus, les données ainsi collectées étant représentatives de l’intérêt porté par l’utilisateur dans l’environnement, cette liste peut être très utile pour le gestionnaire de cet environnement pour proposer des emplacements mieux adaptés ou plus intéressants pour les utilisateurs futurs.
Dans un mode de réalisation particulier, le procédé comporte les étapes suivantes:
- détermination d’un produit associé à l’emplacement déterminé selon une cartographie donnée de produits dans l’environnement;
- enregistrement d’une liste de produits associée à l’identifiant attribué à l’utilisateur.
- détermination d’un produit associé à l’emplacement déterminé selon une cartographie donnée de produits dans l’environnement;
- enregistrement d’une liste de produits associée à l’identifiant attribué à l’utilisateur.
Ainsi, une liste de produits, susceptibles d’intéresser l’utilisateur, est obtenue sans interventions fastidieuses de l’utilisateur. Elle peut permettre à l’utilisateur d’effectuer des actions simples comme l’achat de tels produits ou une demande d’informations sur ces produits.
Dans un mode de réalisation particulier, la liste enregistrée est restituée à l’utilisateur correspondant suite à une reconnaissance du visage de l’utilisateur et de l’identifiant associé.
Ainsi, cette liste restituée correspond au parcours utilisateur dans l’environnement et peut être gérée par celui-ci de façon simple. L’utilisateur peut obtenir cette liste après avoir été reconnu dans l’environnement et que son identifiant de visage ait été retrouvé, par exemple devant une borne munie d’une caméra. Cette borne peut proposer la liste sur un écran ou bien l’envoyer par une liaison sans fils par exemple à un terminal de l’utilisateur.
Dans un mode de réalisation, la reconnaissance du visage de l’utilisateur s’effectue par une comparaison d’une caractérisation du visage capturé par une caméra de l’environnement et une liste de caractérisations de visage enregistrées.
Ainsi, il est possible de retrouver l’identifiant associé au visage de l’utilisateur sans que celui-ci ne soit lui-même identifié. Ce sont les caractéristiques du visage qui sont retrouvées dans une liste de caractéristiques enregistrées pour les visages qui ont été détectés et caractérisés dans l’environnement.
Dans une implémentation possible, la caractérisation du visage de l’utilisateur pour lequel l’étape de restitution a été effectuée est effacée de la liste de caractérisations de visages enregistrées.
Le fait de ne garder ces caractérisations de visages que temporairement en mémoire, permet d’éviter de garder des informations personnelles de l’utilisateur sur une caractérisation de visage et de mettre en œuvre une reconnaissance de visage par une corrélation de cette liste de caractérisations de visage avec une liste d’identifiants de personnes.
Ainsi la liste d’emplacements et/ou de produits obtenue reste anonyme.
Dans une réalisation possible, une seconde liste d’emplacements est déterminée et enregistrée en fonction du regard de l’utilisateur pointée vers une direction selon une seconde durée avec par exemple une seconde durée supérieure à la première.
Ainsi, il est possible de moduler l’intérêt porté par l’utilisateur sur les emplacements proposés ou les produits proposés dans un environnement. La durée de regard portée à un emplacement peut être révélatrice d’une volonté différente de l’utilisateur, par exemple un achat ou une simple demande d’informations.
Dans un mode de réalisation, le procédé comporte en outre une étape de collecte d’un ensemble de listes associées à une pluralité d’utilisateur et une étape d’analyse des données de l’ensemble des listes.
Ainsi, le gestionnaire de l’environnement peut adapter la disposition de son exposition ou de ses produits selon l’intérêt qui a été porté par les utilisateurs. Il peut gérer plus facilement ses stocks de produits qu’il propose. Cette gestion est facilitée puisqu’il n’est plus nécessaire d’interroger les utilisateurs, le regard qu’ils ont porté sur les produits exposés étant révélateur de l’intérêt porté sur le produit en question et de la volonté d’achat de ce produit.
L’invention se rapporte également à un dispositif de collecte de données représentatives d’un parcours utilisateur dans un environnement, le dispositif comportantau moins une caméra, un processeur et une mémoire aptes à:
- détecter et caractériser un visage d’un utilisateur dans l’environnement;
- attribuer un identifiant au visage détectéet caractérisé de l’utilisateur;
- mettre en œuvre une fonction de suivi du regard de l’utilisateur dans l’environnement;
- déterminer un emplacement dans l’environnement pointé par une direction du regard de l’utilisateur pendant une première durée;
- enregistrer au moins une liste d’emplacements ainsi déterminés associée à l’identifiant attribué au visage de l’utilisateur et selon un parcours de l’utilisateur dans l’environnement.
- détecter et caractériser un visage d’un utilisateur dans l’environnement;
- attribuer un identifiant au visage détectéet caractérisé de l’utilisateur;
- mettre en œuvre une fonction de suivi du regard de l’utilisateur dans l’environnement;
- déterminer un emplacement dans l’environnement pointé par une direction du regard de l’utilisateur pendant une première durée;
- enregistrer au moins une liste d’emplacements ainsi déterminés associée à l’identifiant attribué au visage de l’utilisateur et selon un parcours de l’utilisateur dans l’environnement.
Ce dispositif présente les mêmes avantages que le procédé de collecte de données décrit précédemment, qu’il met en œuvre.
L’invention vise un module logiciel incorporé dans un dispositif de collecte et comportant des instructions de programme pour la mise en œuvre des étapes du procédé de collecte de données tel que décrit, lorsque ces instructions sont exécutées par un processeur.
Enfin l’invention se rapporte à un support de stockage, lisible par un processeur, intégré ou non au dispositif, éventuellement amovible, sur lequel est enregistré un programme informatique mettant en œuvre un procédé de collecte de données tel que décrit précédemment.
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante de modes de réalisation particuliers, donnés à titre de simples exemples illustratifs et non limitatifs, et des dessins annexés, parmi lesquels:
Lafigure 1illustre un environnement dans lequel un utilisateur U1 peut évoluer. L’environnement tel qu’illustré ici expose une pluralité de produits P1 à P27 sur des étagères. Chaque produit est à un emplacement donné sur les étagères selon un rayonnage vertical représenté par une lettre A, B, C, … L et un rayonnage horizontal représenté par un chiffre 1, 2, …, 3.
L’utilisateur se déplace dans cet environnement et ce déplacement est représenté sur cette figure d’une part par les flèches en pointillée et d’autres part par des positions potentiellement prises par l’utilisateur: P1, P2, P2 et P4.
Dans cet environnement, sont situées des caméras représentées ici en C1, C2, C3 et C4. Ces caméras sont disposées de façon à filmer un utilisateur et notamment son visage, lorsqu’il regarde les produits exposés.
Une seule caméra à 360° pourrait également être utilisée et serait dans ce cas située par exemple au plafond de cet espace d’exposition. Ce type de caméra peut convenir pour un environnement de petite taille mais sera d’une efficacité plus limitée dans un environnement plus important en taille.
L’environnement illustré ici représente un espace d’exposition de produits tel que par exemple un supermarché ou de façon plus générale une boutique commerciale, un hall d’exposition, une galerie d’exposition d’œuvres d’art, un musée, etc…
Les caméras de l’environnement sont contrôlées par un dispositif de collecte représenté ici en D. Les caméras sont connectées à ce dispositif de collecte soit par une liaison sans fils de type WiFi ou Bluetooth™ soit de façon filaire lorsque l’environnement s’y prête. Ces caméras peuvent aussi être intégrées au dispositif de collecte D. Ce dispositif peut lui-même être intégré à un ordinateur ou un serveur de gestion. Il comporte les modules fonctionnels suivants:
- un module de communication (COM) d’entrée/sortie destiné à communiquer avec un réseau de communication R, à recevoir les données filmées des caméras de l’environnement, C1 à C4, et à transmettre des données à restituer à l’utilisateur par exemple sur une borne représentée ici en BOou sur un terminal de l’utilisateur ;
- un module de traitement (µP) comprenant un processeur pour piloter les interactions entre les différents modules du dispositif;
- un module mémoire (MEM) dans lequel est stocké un programme informatique (Pg) comprenant des instructions pour l’exécution des étapes du procédé de collecte de données selon un mode de réalisation de l’invention et tel que décrit par exemple en référence à la figure 2 et à la figure 3.
- un module de traitement (µP) comprenant un processeur pour piloter les interactions entre les différents modules du dispositif;
- un module mémoire (MEM) dans lequel est stocké un programme informatique (Pg) comprenant des instructions pour l’exécution des étapes du procédé de collecte de données selon un mode de réalisation de l’invention et tel que décrit par exemple en référence à la figure 2 et à la figure 3.
Les données collectées selon le procédé décrit ultérieurement en référence à la figure 2, peuvent être stockées dans la mémoire du dispositif de collecte D ou bien dans une base de données DB du réseau de communication.
Le module de traitement du dispositif D met en œuvre un procédé de collecte de données représentatives d’un parcours utilisateur dans l’environnement et décrit maintenant en référence à lafigure 2.
Ainsi, à l’étape E21, le module de traitement met en œuvre un programme de détection et de caractérisation d’un visage d’un utilisateur dans l’environnement, par exemple à son entrée.
Pour cela, il contrôle les caméras situées en entrée de l’environnement, ici, par exemple un magasin ou bien l’unique caméra de l’environnement.
Une analyse des données filmées est effectuée par ce module de traitement pour détecter et caractériser le visage d’un utilisateur. Pour cela, des caractéristiques de constitution d’un visage sont mesurées et analysées. Il existe plusieurs techniques d’analyse du visage. Ces techniques se basent sur des éléments du visage qui sont le moins susceptibles aux changements : les grands traits supérieurs des orbites, les secteurs entourant les pommettes, les côtés de la bouche et d’autres caractéristiques similaires de façon à ignorer les changements comme la coupe de cheveux. Ces techniques permettent de caractériser les visages pour pouvoir ensuite les reconnaître.
Les méthodes de type «traitement automatique de visage», «Eigenface», analyse de points particuliers ou réseaux de neurones sont par exemple utilisées par les fabricants de systèmes biométriques.
A titre d’exemple, le traitement automatique de visage est une technologie éprouvée, qui caractérise les visages par des distances et des proportions entre des points particuliers comme les yeux, le nez, les coins de la bouche, les sourcils, etc… Ces mesures constituent alors la caractérisation du visage, c'est-à-dire une sorte d’empreinte du visage analysé.
En E22, un identifiant est attribué au visage ainsi détecté et caractérisé.
L’identifiant associé au visage analysé est par exemple un numéro d’identification (Num.V-U1), il est donné au visage de l’utilisateur U1. Ce numéro d’identification est décorrélé de l’identité de l’utilisateur puisque ici, seules les caractéristiques du visage détecté importent, il n’y a pas de notion d’appartenance associée à ce visage.
Ainsi, un identifiant, anonyme par rapport à l’identité de l’utilisateur, est attribué au visage détecté de l’utilisateur.
La caractérisation du visage détecté et le numéro d’identification donné sont enregistrés en mémoire. Cette mise en mémoire des mesures caractérisant ce visage servira ensuite à reconnaitre le visagede l’utilisateur dans l’environnement quand celui-ci se déplace dans l’environnement et se retrouve devant une autre caméra de l’environnement.
Ainsi, cette étape E22 met en œuvre également une vérification que le visage détecté n’a pas déjà reçu un numéro d’identification. Pour cela une comparaison des caractéristiques du visage détecté est effectuée avec des caractéristiques déjà mesurées pour des identifiants déjà attribués. Si la comparaison révèle des caractéristiques communes avec un identifiant de visage d’utilisateur déjà attribué, alors les étapes suivantes sont effectuées pour cet identifiant reconnu, l’étape d’attribution de l’identifiant correspond alors à l’attribution de l’identifiant ainsi retrouvé.
Dans un mode de réalisation particulier, la mémorisation de l’identifiant de visage et de sa caractérisation n’est effectuée que de façon provisoire de sorte que les informations personnelles de caractérisation de visage ne puissent pas être utilisées pour identifier un utilisateur.
A l’étape E23, un algorithme de suivi du regard de l’utilisateur du visage détecté est mis en œuvre par le module de traitement du dispositif D par le pilotage des caméras de l’environnement. Cet algorithme de suivi du regard détecte à la fois les mouvements de tête de l’utilisateur et le mouvement des yeux pour détecter la direction du regard de l’utilisateur dans cet environnement 3D.
Différentes techniques de suivi du regard peuvent être utilisées.
Une façon de procéder peut être la suivante: l’algorithme va déterminer en utilisant les techniques connues de reconnaissance du visage, les yeux de l’utilisateur. Les pupilles sont déterminées comme étant les deux cercles foncés au centre des zones précédemment déterminées. Ensuite, le système caméra – logiciel va déterminer les deux angles d’inclinaison (verticaux et horizontaux) des pupilles en mesurant le rapport du petit diamètre sur le grand diamètre des ellipses faisant le contour des pupilles. Les deux angles calculés permettent de connaître la direction du regard. Avec la position de l’utilisateur et la direction de son regard le logiciel détermine l’emplacement visé sur une scène cible, par exemple un mur d’exposition ou un rayonnage de produits.
Une technique d’estimation de la position de la tête d’un utilisateur dans l’environnement peut être mise en œuvre par l’utilisation de techniques telles que décrites dans le documentintitulé «Supervised Learning for Head Pose Estimation Using SVD and Gabor Wavelets» des auteurs Adel Lablack, Zhongfei (Mark) Zhang and Chabane Djeraba, dans «1st international Workshop on Multimedia Analysis of user behaviour and Interactions (MAUBI) in conjunction with the 10th IEEE International Symposium on Multimedia (ISM)», pages 592-596, Berkeley, California-USA, Decembre 2008.
Pour obtenir l’emplacement visé par le regard d’un utilisateur sur une scène cible, un mode de réalisation combinant les techniques telles que l’estimation de l’orientation de la tête décrite dans le document cité ci-dessus, l’estimation du mouvement des yeux et une projection du champ visuel sur une scène cible pour localiser une région d’intérêt est par exemple décrit dans le document intitulé «Visual Gaze Estimation by Joint Head and Eye Information» des auteurs Roberto valenti, Adel Lablack, Nicu Sebe, Chabane Djeraba et Theo Gevers dans «20th International Conference on Pattern Recognition (ICPR)», Istanbul-Turkey, Aout 2010. D’autres techniques connues peuvent bien sûr être utilisées.
Ainsi, les caméras permettent de suivre le regard de l’utilisateur et de détecter une direction du regard pointée par l’utilisateur et ce pendant une première durée (tempo1).
Par exemple, si l’utilisateur fixe son regard sur le produit P5 du rayonnage C1, et ce pendant un temps d’une durée supérieure à 5s par exemple, alors l’algorithme de suivi du regard de l’utilisateur détermine à l’étape E24, la direction du regard par rapport à l’environnement et détermine un point d’intérêt donné par un emplacement (ici C1) dans cet environnement. Une cartographie de l’environnement, par exemple du magasin, donne les différentes scènes cibles comme les rayonnages du magasin où un utilisateur peut porter son regard et les différents produits mis en place dans ces rayonnages relativement à un emplacement dans ce rayonnage ou dans cette scène cible.
La temporisation mise en œuvre ici peut varier selon le type d’informations que l’on souhaite collecter.
Par exemple, dans le but de collecter des données d’intérêt d’un utilisateur sur tel ou tel produit, une durée de quelques secondes peut suffire pour montrer que l’utilisateur n’est pas resté indifférent à ce produit.
Par contre si l’utilisateur veut acheter un produit en particulier, il peut fixer son regard sur ce produit pendant une durée plus longue, de 5 à 10 secondes par exemple ou de quelques dizaines de secondes. Ces différentes durées de temps peuvent être paramétrées différemment selon l’application mise en œuvre.
Dans un mode de réalisation simplifié, un seul seuil de temporisation est mis en œuvre pour collecter les emplacements correspondants aux directions du regard de l’utilisateur.
Ces déterminations d’emplacements correspondants aux directions pointées par l’utilisateur pendant une première durée sont effectuées le long du parcours utilisateur dans l’environnement. Ainsi, une liste d’emplacements est constituée à l’issue du parcours utilisateur. Par exemple, dans l’illustration de la figure 1, les emplacements collectés aux positions Pos1, Pos2 et Pos3 de l’utilisateur sont les emplacements C1, E2 et K3 des différents rayonnages.
Cette liste d’emplacements est stockée en mémoire du dispositif ou bien dans une base de données accessible par le dispositif D.
Dans un mode de réalisation particulier, ces emplacements sont associés à des produits, par exemple selon une cartographie enregistrée de produits dans l’environnement. Cette cartographie est par exemple stockée par le gestionnaire de l’environnement qui associe à un emplacement, un produit. Il peut modifier l’agencement de son environnement selon les remontées d’intérêt qu’il aura suite à la mise en œuvre du procédé de collecte de données ainsi décrit.
Ainsi, une étape supplémentaire de détermination d’un produit associé à l’emplacement peut être mise en œuvre en consultant une cartographie de produits dans l’environnement et un enregistrement d’une liste de produits peut être sauvegardée en association avec l’identifiant donné au visage de l’utilisateur.
Dans l’exemple illustré, la liste de produits correspondants aux emplacements C1, E2 et K3 pointés par l’utilisateur U1 est alors P5, P10 et P25.
Cette liste correspond par exemple aux produits que l’utilisateur veut acheter ou bien tout simplement une liste de produits qui ont intéressés l’utilisateur lors de son déplacement dans l’environnement.
Lorsque l’environnement est grand, plusieurs caméras peuvent donc être nécessaires pour pouvoir suivre l’évolution d’un utilisateur dans cet environnement.
Dans ce cas, une détection de visage est effectuée par chacune des caméras et une vérification de l’existence d’une identification de ce visage est effectuée afin de mettre à jour par exemple une liste d’emplacements que l’utilisateur a déjà pointés dans cet environnement. Afin de vérifier cela, une comparaison d’une caractérisation du visage de l’utilisateur capturé par la caméra est effectuée sur une liste de caractérisations de visages enregistrées pour l’environnement. Lorsque la comparaison révèle une similitude de caractérisation de visage, l’identifiant de visage associé à la caractérisation de visage similaire trouvée est attribuée à l’utilisateur devant la caméra. Ainsi, la collecte de données correspondants aux emplacements pointés par le regard de cet utilisateur est associée au bon identifiant de façon à collecter les bonnes informations d’intérêt pour un même utilisateur.
Lorsque l’utilisateur a fini son parcours dans l’environnement, il se présente par exemple en position Pos 4 sur la figure 1, à une borne représentée en BO sur la figure 1. Cette borne comprend un écran d’affichage EC et une caméra C4. Cette caméra C4 est contrôlée par le dispositif D qui met en œuvre les étapes illustrée enfigure 3. Ainsi, à l’étape E31, une détection de visage de l’utilisateur devant la borne est effectuée.
Comme expliqué ci-dessus, une étape de vérification que les caractéristiques de ce visage correspondent à un identifiant de visage déjà enregistré est effectuée en E32.
Si par comparaison, les caractéristiques sont les mêmes qu’un visage identifié, alors l’étape E33 va consulter la mémoire ou la base de données pour vérifier qu’il existe une liste attribuée à l’identifiant ainsi retrouvé. Si une liste est enregistrée, alors, à l’étape E34, la borne affiche cette liste à l’utilisateur sur l’écran EC de la borne pour qu’il la valide ou bien qu’il la modifie si elle ne correspond pas à ce qu’il veut par exemple acheter. Pour cela, une interface utilisateur est prévue sur la borne.
Si l’utilisateur n’est pas reconnu ou bien s’il n’a pas de listes attribuées à son identifiant, alors la borne ne propose rien à l’utilisateur ou lui indique qu’aucune liste ne lui est attribuée.
Dans une variante de réalisation, la borne peut transmettre la liste obtenue à un terminal de l’utilisateur. Pour cela, l’utilisateur peut donner des informations de transmission pour recevoir cette liste ou bien peut l’obtenir par un échange de donnée via une liaison en champ proche comme par exemple une liaison BluetoothTMou bien NFC (pour «Near Field Communication» en anglais).
Dans un mode optionnel de réalisation, après avoir restitué la liste à l’utilisateur, une étape E35 supprime de la mémoire MEM, les données d’identifiant et de caractérisation du visage de l’utilisateur U1. En effet, l’utilisateur U1 a fini son parcours dans l’environnement, il n’est donc plus nécessaire de collecter de données pour cet identifiant et donc de conserver ses données de caractérisations de visage.
Cela permet de restreindre les données enregistrées en mémoire et de ne faire les comparaisons de caractérisations de visage que sur un nombre restreints de caractérisations, c'est-à-dire que sur les caractérisations de visages d’utilisateurs présents dans l’environnement.
La capacité du processeur est ainsi préservée pour effectuer l’étape de comparaison susmentionnée.
De plus, une suppression de caractéristiques personnelles relatives au visage de l’utilisateur évite une utilisation non désirée de ces données et un risque de diffusion ou de récupération de ces données à des fins d’identification non désirée pour ce type d’application.
La validation de la liste obtenue par l’utilisateur peut engendrer des actions différentes selon l’environnement dans lequel l’utilisateur se trouve.
Par exemple, dans un environnement commercial où les produits exposés sont en vente, alors la liste peut être une liste d’achat de ces produits.
Si plusieurs temporisations sont mises en œuvre, alors l’utilisateur peut récupérer plusieurs listes correspondant à des temporisations différentes. Il peut par exemple recevoir une liste de produits qui l’ont intéressé lors de son parcours dans l’environnement et une seconde liste de produits que l’utilisateur veut acheter et devant lesquels il a intentionnellement fixé son regard plus longtemps.
Dans un environnement de type exposition d’art, les produits exposés sont par exemple des tableaux que l’utilisateur a plus ou moins longtemps regardé. Les œuvres devant lesquelles il s’est plus attardé sont alors listées et proposées à l’utilisateur. Cette liste peut alors être utilisée par l’utilisateur pour acquérir ou demander plus d’informations ou d’explications sur ces œuvres.
L’intérêt pour un utilisateur d’un tel procédé et système est multiple. Dans une optique d’achat dans un environnement commercial, l’intérêt est d’une part de ne pas avoir à prendre les produits un par un dans les rayons où les produits sont en libre-service mais d’obtenir une liste d’achat final sans manutention, cette liste pouvant alors être gérée par le commerçant.
Un autre avantage pour l’utilisateur est de ne pas avoir à noter des références de produits dans des environnements où les produits sont exposés mais non disponibles en libre-service. Les risques d’erreur de prise de notes sont ainsi limités puisque la liste finale est effectuée de façon automatique, par la détection des regards portés aux produits, de l’utilisateur.
L’intérêt est aussi important pour les gérants des environnements ainsi décrits.
En effet, une fois les données collectées et enregistrées pour une pluralité d’utilisateurs se déplaçant dans l’environnement, ces données peuvent être analysées par le dispositif de collecte. Par exemple, l’emplacement le plus souvent regardé dans cet environnement peut être détecté et inversement l’emplacement le moins souvent regardé dans et environnement peut être détecté.
Ces données représentent l’intérêt que les utilisateurs ont sur le produit à cet emplacement mais aussi l’efficacité de la présentation des produits dans l’environnement.
En fonction de ces données collectées, le gestionnaire de l’environnement peut adapter la disposition de ses produits ou bien enlever des produits qui n’ont déclenchés que peu d’intérêt aux utilisateurs. Il peut également gérer plus facilement le stockage de ses produits.
Un avantage non négligeable de la mise en œuvre de ce procédé dans la mise en place d’un tel environnement est également de pouvoir ne disposer que d’un petit espace d’exposition aux utilisateurs puisque ceux-ci n’ont pas à retirer en rayon les produits exposés. La gestion d’un tel espace d’exposition est alors beaucoup plus simple seule la gestion d’un stock de produits dans un espace de stockage plus adapté est à gérer.
Claims (11)
- Procédé de collecte de données représentatives d’un parcours utilisateur dans un environnement, le procédé comportant les étapes suivantes:
- détection et caractérisation (E21) à l’aide d’au moins une caméra située dans l’environnement, d’un visage d’un utilisateur dans l’environnement;
- attribution (E22) d’un identifiant au visage détectéet caractérisé de l’utilisateur;
- mise en œuvre (E23) d’une fonction de suivi du regard de l’utilisateur dans l’environnement;
- détermination (E24) d’un emplacement, dans l’environnement, pointé par une direction du regard de l’utilisateur pendant une première durée;
- enregistrement (E26) d'au moins une liste d’emplacements ainsi déterminés associée à l’identifiant attribué au visage de l’utilisateur et selon un parcours de l’utilisateur dans l’environnement. - Procédé selon la revendication 2, comportant en outre les étapes suivantes:
- détermination d’un produit associé à l’emplacement déterminé selon une cartographie donnée de produits dans l’environnement;
- enregistrement d’une liste de produits associée à l’identifiant attribué à l’utilisateur. - Procédé selon l’une des revendications 1 à 2, dans lequel la liste enregistrée est restituée à l’utilisateur correspondant suite à une reconnaissance du visage de l’utilisateur et de l’identifiant associé.
- Procédé selon la revendication 3, dans lequel la reconnaissance du visage de l’utilisateur s’effectue par une comparaison d’une caractérisation du visage capturé par une caméra de l’environnement et une liste de caractérisations de visage enregistrées.
- Procédé selon la revendication 4, dans lequel la caractérisation du visage de l’utilisateur pour lequel l’étape de restitution a été effectuée est effacée de la liste de caractérisations de visages enregistrées.
- Procédé selon l’une des revendications 1 à 5, dans lequel une seconde liste d’emplacements est déterminée et enregistrée en fonction du regard de l’utilisateur pointée vers une direction selon une seconde durée.
- Procédé selon la revendication 6, dans lequel la seconde durée est supérieure à la première.
- Procédé selon l’une des revendications 1 à 5, comportant en outre une étape de collecte d’un ensemble de listes associées à une pluralité d’utilisateur et une étape d’analyse des données de l’ensemble des listes.
- Dispositif de collecte de données représentatives d’un parcours utilisateur dans un environnement, le dispositif comportantau moins une caméra, un processeur et une mémoire aptes à:
- détecter et caractériser un visage d’un utilisateur dans l’environnement;
- attribuer un identifiant au visage détectéet caractériséde l’utilisateur;
- mettre en œuvre une fonction de suivi du regard de l’utilisateur dans l’environnement;
- déterminer un emplacement dans l’environnement pointé par une direction du regard de l’utilisateur pendant une première durée;
- enregistrer au moins une liste d’emplacements ainsi déterminés associée à l’identifiant attribué au visage de l’utilisateur et selon un parcours de l’utilisateur dans l’environnement. - Programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de collecte de données selon l'une quelconque des revendications 1 à 8, lorsque le programme est exécuté par un processeur.
- Support d’informations lisible par un processeur sur lequel est enregistré un programme informatique comprenant des instructions pour l’exécution des étapes du procédé de collecte de données selon l’une des revendications 1 à 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1915102A FR3105508B1 (fr) | 2019-12-20 | 2019-12-20 | Procédé de collecte de données relatives à un parcours d’un utilisateur dans un environnement |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1915102 | 2019-12-20 | ||
| FR1915102A FR3105508B1 (fr) | 2019-12-20 | 2019-12-20 | Procédé de collecte de données relatives à un parcours d’un utilisateur dans un environnement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3105508A1 true FR3105508A1 (fr) | 2021-06-25 |
| FR3105508B1 FR3105508B1 (fr) | 2023-04-14 |
Family
ID=69743579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1915102A Active FR3105508B1 (fr) | 2019-12-20 | 2019-12-20 | Procédé de collecte de données relatives à un parcours d’un utilisateur dans un environnement |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3105508B1 (fr) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008012717A2 (fr) * | 2006-07-28 | 2008-01-31 | Koninklijke Philips Electronics N. V. | Interaction d'un regard fixe et attentif pour afficher des informations d0'rticles regardés |
-
2019
- 2019-12-20 FR FR1915102A patent/FR3105508B1/fr active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008012717A2 (fr) * | 2006-07-28 | 2008-01-31 | Koninklijke Philips Electronics N. V. | Interaction d'un regard fixe et attentif pour afficher des informations d0'rticles regardés |
Non-Patent Citations (2)
| Title |
|---|
| ADEL LABLACKZHONGFEI (MARK) ZHANGCHABANE DJERABA: "Supervised Learning for Head Pose Estimation Using SVD and Gabor Wavelets", LST INTERNATIONAL WORKSHOP ON MULTIMEDIA ANALYSIS OF USER BEHAVIOUR AND INTERACTIONS (MAUBI) IN CONJUNCTION WITH THE LOTH IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA (ISM, December 2008 (2008-12-01), pages 592 - 596, XP031403598 |
| ROBERTO VALENTIADEL LABLACKNICU SEBECHABANE DJERABATHEO GEVERS: "Visual Gaze Estimation by Joint Head and Eye Information", 20TH INTERNATIONAL CONFÉRENCE ON PATTERN RE-COGNITION (ICPR, August 2010 (2010-08-01) |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3105508B1 (fr) | 2023-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107909443B (zh) | 信息推送方法、装置及系统 | |
| US11282133B2 (en) | Augmented reality product comparison | |
| US10726465B2 (en) | System, method and computer program product providing eye tracking based cognitive filtering and product recommendations | |
| US20180024631A1 (en) | Interactive Display System with Eye Tracking to Display Content According to Subject's Interest | |
| US11288727B2 (en) | Content creation suggestions using failed searches and uploads | |
| CN108197519A (zh) | 基于二维码扫描触发人脸图像采集的方法和装置 | |
| CN107862557B (zh) | 顾客动态追踪系统及其方法 | |
| US20170053365A1 (en) | Content Creation Suggestions using Keywords, Similarity, and Social Networks | |
| US20130166372A1 (en) | Utilizing real-time metrics to normalize an advertisement based on consumer reaction | |
| US12033190B2 (en) | System and method for content recognition and data categorization | |
| US11392788B2 (en) | Object detection and identification | |
| US10841482B1 (en) | Recommending camera settings for publishing a photograph based on identified substance | |
| AU2021232718A1 (en) | Media content tracking | |
| FR3105508A1 (fr) | Procédé de collecte de données relatives à un parcours d’un utilisateur dans un environnement | |
| US20180040031A1 (en) | Facilitating detection of bid data misuse | |
| WO2020099400A1 (fr) | Procede de detection automatique de l'usurpation de visage | |
| US20230080055A1 (en) | System and method for product placement | |
| KR102162337B1 (ko) | 관람객에 관한 데이터를 이용한 미술품 경매 시스템 및 이를 이용한 미술품 경매 방법 | |
| WO2023275477A1 (fr) | Systeme, dispositif et procede d'activation d'une fonction d'un dispositif de restitution de contenu | |
| FR3146009A1 (fr) | Système, procédé et dispositif de détection automatique et en temps réel de satisfaction des visiteurs à un établissement recevant du public (ERP) | |
| US20170236151A1 (en) | Systems, devices, and methods of providing targeted advertising | |
| FR3122763A1 (fr) | Procédé automatisé de réglage d’un paramètre de visualisation d’un dispositif d’imagerie en magasin | |
| FR3078188A1 (fr) | Procede de verification d'un achat dans un magasin, et dispositif de verification correspondant | |
| FR3061791A1 (fr) | Systeme et procede de gestion de relations avec des clients presents dans un espace connecte |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210625 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |