FR2909202A1

FR2909202A1 - Procede d'analyse de la disposition de produits dans un lineaire de magasin.

Info

Publication number: FR2909202A1
Application number: FR0610269A
Authority: FR
Inventors: Jean Philippe Raynaud
Original assignee: Inc 01 SOC PAR ACTIONS SIMPLIF
Current assignee: Inc 01 SOC PAR ACTIONS SIMPLIF
Priority date: 2006-11-23
Filing date: 2006-11-23
Publication date: 2008-05-30
Anticipated expiration: 2026-11-23
Also published as: US20080144934A1; FR2909202B1; WO2008062068A1

Abstract

L'invention concerne un procédé d'analyse de la disposition de produits dans un linéaire à partir d'une photo numérique d'au moins une partie du linéaire, chaque produit à analyser étant défini préalablement par une signature des caractéristiques visuelles de celui-ci. Il comporte en outre les étapes de :. découpage (26) de la photo numérique en zones comportant des produits visuellement identiques, et,. pour au moins une zone,. comparaison (32) des caractéristiques visuelles de la zone avec les signatures des produits, la comparaison étant basée sur une métrique de proximité des caractéristiques visuelles de la zone avec les signatures des produits, et. détermination (34) du ou des produits appartenant à la zone en tant que produit ayant une signature minimisant la métrique de proximité.

Description

1 PROCEDE D'ANALYSE DE LA DISPOSITION DE PRODUITS DANS UN LINEAIRE DE

MAGASIN. La présente invention concerne un procédé et un dispositif d'analyse de la disposition de produits dans un linéaire de magasin et programme d'ordinateur mettant en oeuvre le procédé. Elle concerne également une structure de données représentative d'une photographie. Dans le domaine de la mercatique, les sociétés qui produisent des produits de grande consommation attachent une importance particulière à l'emplacement de vente de ces produits. En particulier, elle cherche à obtenir la meilleure visibilité possible des produits dans les rayonnages de vente, ou linéaires, afin que ces produits attirent l'oeil des consommateurs et déclenchent un acte d'achat. Souvent, l'installation des produits sur les linéaires donnent lieu à des clauses contractuelles entre fabricant et commerçant. Pour vérifier cette disposition des produits, les sociétés ont l'habitude de demander à leurs équipes commerciales, ou à des sous-traitants, de faire des relevés des dispositions réellement constatées lors de visite de ces commerciaux dans les magasins. Ces relevés manuels sont consommateurs de temps et sont sujets à de nombreuses erreurs lors du relevé ou de la transmission du relevé aux 20 équipes chargées des analyses de ceux-ci. Pour automatiser cette tache, la demande de brevet 1=R 2 851 833 propose que le commercial se contente de prendre une photo numérique de la zone de rayonnages concernée lors de sa visite du magasin. Puis cette photographie est transmise, par un réseau de données, à un centre de 25 traitement d'images. Ce centre de traitement d'images détermine le linéaire du produit en mesurant ce linéaire sur la photographie numérique, puis, les informations obtenues sont transmises à un centre d'analyse fournissant ainsi au fabricant toutes les informations pertinentes concernant la disposition de ses produits sur les rayonnages des commerçants ainsi que des informations 30 sur les produits des concurrents lui permettant de mieux appréhender son univers concurrentiel.

2909202 2 Ainsi, le temps passé par les équipes commerciales aux relevés des dispositions des produits est réduit à la prise des photographies. Le traitement des images, dans la demande de brevet: précitée, est effectué soit manuellement, c'est-à-dire qu'un opérateur repère visuellement 5 sur la photographie les produits recherchés puis effectue les mesures de linéaires, soit automatiquement en utilisant un algorithme de reconnaissance de formes et de couleurs. Cet algorithme est basé sur l'extraction de points pertinents par le détecteur de Harris, l'indexation et la recherche dans l'espace des couleurs à partir des invariants de Hilbert.

10 Or l'utilisation de traitement manuel ou totalement automatique présente de nombreux inconvénients. Concernant le traitement manuel, l'opérateur doit apprendre une grande liste de caractéristiques visuelles des produits. Ainsi, avec des produits ayant des aspects visuels très proches, des photographies parfois de 15 qualité moyenne et une grande liste de produits, la détection pair un opérateur du bon produit correspondant à la photographie de la zone de rayonnages peut nécessiter plusieurs dizaines de minutes. Bien que ce temps puisse être réduit en principe par un bon apprentissage de l'opérateur, la multiplicité des produits et les variations permanentes d'emballage rendent cet apprentissage difficile. Pour le traitement automatique, la difficulté principale provient des grandes variations dans la qualité des photographies des zones de rayonnages liées à l'opérateur, aux conditions d'éclairage du magasin, etc. alors que, à l'inverse, les photographies des produits constituant la base de données de référence des produits sont réalisées en studio dans des conditions de prise de vue parfaite. Ainsi, par exemple, la couleur de la photographie du produit ne correspondra pas à la couleur de l'image du même produit dans une photographie prise par un commercial clans une allée de supermarché. De plus, comme il est bien connu, les produits sont souvent manipulés par les clients du magasin et peuvent donc être déplacés de telle sorte qu'ils ne présentent pas leurs faces avant, souvent appelées facings , bien alignées le long du rayonnage. Ainsi, un traitement automatique doit prendre en compte la mauvaise disposition des facings , le fait que les images de référence n'existent pas dans la base de données, que des 2909202 '3 facings se ressemblent mais dans des conditionnements différents ou que des obstacles occultent partiellement les facings . Tous ces éléments rendent le traitement automatique très complexe. De plus, les expériences menées ont montrées, qu'en l'état actuel de la 5 technique, et en particulier en utilisant les algorithmes d'analyse locale de l'image préconisés par le document précité, le taux de réussite du traitement automatique est relativement faible malgré des temps de calcul importants. II est donc souhaitable de disposer d'un procédé de traitement d'images qui optimise la grande puissance de calcul tout en ayant un taux de 10 réussite dans la reconnaissance des produits qui soit proche de 100%, c'est-à-dire qui soit robuste vis-à-vis de la qualité et des contraintes de prise de vue des photographies prises en magasin. II est également souhaitable de disposer d'un procédé de traitement d'images qui permette l'intervention d'un opérateur lors d'étapes 15 intermédiaires soit pour corriger les résultats d'une étape précédente, soit pour accélérer le traitement. Afin d'aborder au mieux une ou plusieurs de ces préoccupations, dans un aspect de l'invention, un procédé d'analyse de la disposition de produits dans un linéaire à partir d'une photo numérique d'au moins une partie du 20 linéaire, chaque produit à analyser étant défini préalablement par une signature des caractéristiques visuelles de celui-ci, comporte en outre les étapes de : • découpage de la photo numérique en zones comportant des produits visuellement identiques, et, 25 • pour au moins une zone, • comparaison des caractéristiques visuelles de la zone avec les signatures des produits, la comparaison étant basée sur une métrique de proximité des caractéristiques visuelles de la zone avec les signatures des produits, et 30 • détermination du ou des produits appartenant à la zone en tant que produit ayant une signature minimisant la métrique de proximité. Selon un autre aspect de l'invention, un produit programme d'ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par 2909202 4 ordinateur et/ou exécutable par un processeur, comprend des instructions de code de programme pour la mise en oeuvre du procédé d'analyse précédent. Selon un autre aspect de l'invention, une structure de données représentative d'une photographie comporte des champs de données 5 représentatifs de zones de la photographie, chaque champ permettant de définir des caractéristiques visuelles de la zone adaptées pour être comparées avec des signatures de produits sous la forme d'une métrique de proximité des caractéristiques visuelles de la zone avec les signatures de produits.

10 Selon un autre aspect de l'invention, un dispositif d'analyse de la disposition de produits dans un linéaire à partir d'une photo numérique d'au moins une partie du linéaire, chaque produit à analyser étant défini préalablement par une signature des caractéristiques visuelles de celui-ci, comporte : 15 • des moyens de stockage des signatures desdits produits, • des moyens de découpage de la photo numérique en zones comportant des produits visuellement identiques, et, • pour au moins une zone, • des moyens de comparaison des caractéristiques visuelles de la 20 zone avec les signatures des produits, la comparaison étant basée sur une métrique de proximité des caractéristiques visuelles de la zone avec les signatures des produits, et • des moyens de détermination du ou des produits appartenant à la zone en tant que produit ayant une signature minimisant la métrique de 25 proximité. D'autres caractéristiques et modes de réalisations particuliers sont décrits dans les revendications dépendantes. L'invention sera mieux comprise à la lecture de la description qui suit, donnée uniquement à titre d'exemple, et faite en référence aux figures en 30 annexe dans lesquelles : - la figure 1 est une vue schématique d'un système d'analyse selon un mode de réalisation de l'invention ; - la figure 2 est un ordinogramme d'un procédé selon un mode de réalisation de l'invention ; et 2909202 5 - la figure 3 est une vue schématique d'un dispositif d'analyse selon un mode de réalisation de l'invention. En référence à la figure 1, un système complet d'analyse comporte un appareil photographique numérique 1 manipulé par un opérateur 2 pour la 5 prise de photographie de linéaires 3 d'un magasin. L'opérateur 2 est, par exemple, un agent commercial d'un fabricant, un sous-traitant ou l'employé d'un distributeur. Un réseau de données 4 permet le transfert des photographies numériques, sous forme de fichiers, de l'appareil photographique 1 vers un 10 serveur 5 de traitement d'images. Le serveur 5 de traitement d'images comporte une console 6 servant d'interface homme-machine avec un opérateur de traitement 7. Il comporte également une base de données 8 contenant les caractéristiques visuelles de tous les produits à étudier. II est à noter que cette 15 base de données 8 n'est pas limitée aux seuls produits du fabricant cherchant à connaître la disposition de ces produits mais regroupe les produits de l'ensemble des fabricants du ou des marchés concernés. En effet, celui-ci est souvent aussi très intéressé à connaître ce type d'informations pour les produits de ses concurrents. Aussi, dans un domaine donné, par exemple les 20 produits capillaires, la base de données 8 peut contenir jusqu'à plusieurs dizaines de milliers de références. Les caractéristiques visuelles de chaque produit sont extraites préalablement de photographies de ce produit. Dans ces photographies, prises le plus souvent en studio, le produit est isolé de tout environnement, 25 dans un emballage en parfait état. De plus, la photographie est parfaitement cadrée pour présenter la face avant du produit, même si, parfois, des photographies complémentaires montrant d'autres faces du produit sont jointes au dossier. On comprend donc que par caractéristique visuelle du produit en entend le produit dans son emballage tel qu'il se présente lors de 30 la vente, éventuellement disposé dans/sur un support de présentation. Le serveur 5 comporte en outre des moyens 9 de calcul permettant le traitement numérique d'images. Le serveur 5 de traitement d'images est connecté à un serveur 12 d'analyse par un réseau de données 13. Le réseau de données 13, comme le 2909202 6 réseau de données 4, est un réseau classique comme, par exemple, le réseau internet, un réseau privé virtuel de type VPN ou un réseau téléphonique publique. Le serveur 12 d'analyse comporte des moyens de stockage 14, par 5 exemple une base de données, des résultats du traitement d'images des différentes photographies prises, des moyens 15 d'analyse statistique de ces résultats et des moyens 16 de présentation des analyses statistiques. Le fonctionnement de ce système est le suivant, figure 2. Dans une étape préalable 18, la base de données 8 du serveur 5 est 10 remplie avec les caractéristiques visuelles des produits, ou plus exactement des emballages des produits tels qu'ils se présentent lors de la vente. Ces caractéristiques visuelles des produits sont extraites des photographies de ceux-ci Elles comportent deux grandes catégories : 15 les caractéristiques visuelles globales c'est-à-dire qui concernent l'ensemble du produit sans distinction de zone visuelle, et les caractéristiques visuelles spatiales, ou locales, qui concernent des zones particulières du produit ou la relation 20 entre des zones particulières. Les caractéristiques visuelles globales sont élaborées en calculant un vecteur dont les composantes sont représentées par des caractéristiques de signaux discrets extraits de l'image. Par exemple, elles regroupent les caractéristiques colorimétriques de l'image du produit et, en premier lieu, la 25 chrominance de celle-ci. Cela correspond à la couleur moyenne de l'image. Dans le découpage traditionnel des couleurs en trois couleurs primaires Rouge, Vert, Bleu, codification traditionnellement nommée RVB, cela correspond au ratio des couleurs primaires entre elles. En traitement numérique d'images, cette chrominance est codée traditionnellement sur 24 30 ou 32 bits pour obtenir une profondeur colorimétrique préservant la variété naturelle des couleurs. Outre la chrominance, les caractéristiques visuelles globales peuvent également comprendre notamment les premiers moments de l'histogramme à palette couleur labellisée et de l'autocorrélogramme couleurs à palette 2909202 7 labellisée, cette autocorrélogramme décrivant le voisinage des couleurs entre elles Les caractéristiques visuelles spatiales sont particulièrement représentées par l'histogramme chromatique spatial (en anglais SCH pour 5 Spatial Chromatic Histogram) qui définit la position relative des couleurs, par exemple, que le rouge se trouve principalement en bas et à droite de l'image. Une description complète de l'utilisation de ce type d'histogramme se trouve dans L. Cinque et al.

Color-Based Image Retrieval Using Spatial-Chromatic Histograms , Proceedings of the IEEE International Conference on 10 Multimedia Computing and Systems Volume II-Volume 2 - Volume 2, p. 969, 1999. L'histogramme chromatique spatial utilise avantageusement une palette de couleurs labellisées, permettant ainsi un traitement plus pertinent des couleurs par rapport à la perception de celles-ci dans un éclairage de qualité variable.

15 L'ensemble des caractéristiques visuelles globales détermine une signature du produit en ce que il caractérise visuellement et discrimine un produit des autres produits. Cette signature est, par exemple, une valeur de hachage du vecteur des caractéristiques visuelles et est alors constituée d'une unique valeur numérique. De façon préférentielle, le calcul de cette 20 signature respecte la proximité visuelle des images dans le sens où deux images ayant des caractéristiques visuelles proches ont des signatures également proches de telle sorte que la signature puisse servir de métrique de la proximité visuelle des images. Dans un mode de réalisation, la base de données 8 des produits est 25 une base de données relationnelle et cette signature est utilisée pour créer un index de cette base de données. L'opérateur 2 prend en 20 une ou plusieurs photographies numériques de la portion de linéaire 3 qui l'intéresse. Il est à noter que la prise de photographies peut utiliser des photographies argentiques qui sont, par la 30 suite numérisées. Les photographies numériques sont envoyées en 22 au serveur 5 de traitement d'images en utilisant le réseau de données 4. Arrivées sur le serveur 5 de traitement d'images, les photographies subissent un premier traitement préliminaire 24 consistant principalement en 2909202 8 un équilibrage des blancs de façon à minimiser les fluctuations de qualité des photographies liées aux conditions de prise de vue. Différentes techniques bien connues de l'homme du métier sont utilisables pour cela. Pour les plus précises, elles se basent sur l'utilisation d'un échantillon calibré déposé dans 5 le champ de prise de vue par l'opérateur 2 lors de la prise des photographies. D'autres techniques utilisent les dominantes des couleurs de la photographie. Ces dernières techniques doivent être utilisées avec précaution dans le procédé décrit dans la mesure où la dominante d'une couleur peut provenir justement de la couleur majoritairement utilisée par le produit ou la gamme de 10 produits présent dans le linéaire photographié. L'assistance de l'opérateur 11 s'avère alors nécessaire pour obtenir le résultat le plus proche des conditions optimales. D'autres traitements préparatoires peuvent également être utilisés comme, par exemple, un redressement géométrique de la photographie 15 permettant de représenter le linéaire en vue de face sans déformation. Puis la photographie est découpée en 26 en zones homogènes regroupant des produits visuellement identiques. Ce découpage est le plus souvent rectangulaire de part la disposition traditionnelle des linéaires en rayons superposés sur lesquels sont rangés les 20 produits. II peut être réalisé par l'opérateur 11 en utilisant les outils de sélection des logiciels de traitement d'images ou par un traitement automatique classique basé sur l'homogénéité visuelle de la zone. Puis chaque zone est traitée séparément avec l'objectif de déterminer quel est le produit visible sur cette zone.

25 Pour la zone étudiée, la chrominance et l'histogramme à palette de celle-ci sont calculés en 28. En utilisant le même mode de calcul que pour les produits, la chrominance et l'histogramme à palette génèrent en 30 la signature de la zone étudiée.

30 Cette signature de la zone est comparée en 32 aux signatures des produits contenues dans la base de données 8. La signature ayant été constituée de façon à ce que deux signatures proches correspondent à deux images ayant des caractéristiques visuelles globales proches, il est possible de définir une métrique définissant une distance de proximité entre deux 2909202 9 images. La comparaison consiste à rechercher alors le ou les produits dont la signature est la plus proche de celle de la zone étudiée au sens de la métrique. L'utilisation d'une base de données relationnelle indexée sur la 5 signature permet alors une extraction extrêmement rapide des enregistrements de la base de données minimisant cette métrique. Suite à cette comparaison, zéro, un ou plusieurs produits sont extraits en 34 et considérés comme visuellement proches de la zone étudiée. En effet, les signatures des zones étant rarement parfaitement identiques à celle d'un 10 produit, on définit un seuil de proximité en dessous desquels la distance entre signatures est considérée comme suffisamment proche pour que le produit correspondant soit potentiellement le produit photographié dans la zone. Si aucun produit n'est trouvé, l'étape 32 de comparaison est relancée en augmentant en 36 le seuil de proximité jusqu'à ce qu'au moins un produit 15 soit extrait. Si plusieurs produits sont extraits en 34, une comparaison séquentielle portant sur les histogrammes chromatiques spatiaux est effectuée en 38 afin d'extraire le produit correspondant à la zone étudiée. Ainsi, soit directement après l'étape 32 de comparaison des signatures, 20 soit après l'étape 38 de comparaison des histogrammes chromatiques spatiaux, un unique produit est défini en 40 comme étant le produit représenté dans la zone étudiée. Une bijection ayant été effectuée entre une zone et un produit et cette opération ayant été renouvelée pour toutes les zones d'intérêt de la 25 photographie, les caractéristiques d'exposition du linéaires sont extraites en 42. Ces caractéristiques sont principalement la longueur de rayonnage occupée par le produit ainsi que le positionnement du produit dans le linéaire. Ces caractéristiques sont envoyées en 44 au serveur d'analyse 12 afin d'être traitées statistiquement et présentées dans une interface de restitution 30 aux personnes concernées. Ces étapes sont effectuées de façon classique telles que décrites, par exemple, dans la demande de brevet précité. On a ainsi décrit un procédé d'analyse qui permet d'obtenir un bon taux de mise en relation de produit avec une zone de photographie tout en ne 2909202 10 nécessitant que des traitements numériques relativement peu consommateurs de puissance de calcul. Le procédé décrit s'avère en particulier robuste aux variations de qualité des photographies prises en magasin.

5 L'homme du métier sait, à partir des descriptions de ces modes de réalisation et des revendications, réaliser d'autres variantes de réalisation. Par exemple, lorsque l'étape 32 de comparaison des signatures extrait plusieurs produits comme correspondant potentiellement au produit représenté dans la zone étudiée, l'étape 38 de comparaison des 10 histogrammes chromatiques spatiaux peut être remplacée par une analyse visuelle effectuée par un opérateur. Ceci est particulièrement intéressant quand la liste des produits possibles comporte peu de membres, l'opérateur pouvant rapidement déterminer alors le produit correspondant à la zone. L'étape 32 de comparaison se comporte alors comme une étape de pré 15 filtrage permettant à l'opérateur de ne travailler que sur un petit nombre de candidats. On comprend que le procédé d'analyse peut être mis en oeuvre par un produit programme d'ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou 20 exécutable par un processeur. Les photographies de linéaire se présentent comme des structures de données représentatives de la photographie et comportant des champs de données représentatifs de zones de la photographie, chaque champ permettant de définir des caractéristiques visuelles de la zone adaptées pour 25 être comparées avec des signatures de produits sous la forme d'une métrique de proximité des caractéristiques visuelles de la zone avec les signatures de produits. En référence à la figure 3, un dispositif, tel que le serveur 5 de la figure 1, d'analyse de la disposition de produits dans un linéaire à partir d'une photo 30 numérique d'au moins une partie du linéaire, chaque produit à analyser étant défini préalablement par une signature des caractéristiques visuelles de celui-ci, comporte : • des moyens 8 de stockage des signatures desdits produits, 2909202 11 • des moyens 50 de découpage de la photo numérique en zones comportant des produits visuellement identiques, et, • pour au moins une zone, • des moyens 52 de comparaison des caractéristiques visuelles 5 de la zone avec les signatures des produits, la comparaison étant basée sur une métrique de proximité des caractéristiques visuelles de la zone avec les signatures des produits, et • des moyens 54 de détermination du ou des produits appartenant à la zone en tant que produit ayant une signature minimisant la métrique de 10 proximité.

Claims

REVENDICATIONS

1. Procédé d'analyse de la disposition de produits dans un linéaire à partir d'une photo numérique d'au moins une partie du linéaire, chaque produit à analyser étant défini préalablement par une signature des caractéristiques visuelles de celui-ci, caractérisé en ce qu'il comporte en outre les étapes de : • découpage (26) de la photo numérique en zones comportant des produits visuellement identiques, et, • pour au moins une zone, • comparaison (32) des caractéristiques visuelles de la zone avec les signatures des produits, la comparaison étant basée sur une métrique de proximité des caractéristiques visuelles de la zone avec les signatures des produits, et • détermination (34) du ou des produits appartenant à la zone en tant que produit ayant une signature minimisant la métrique de proximité.

2. Procédé selon la revendication 1, caractérisé en ce que la signature d'un produit est une fonction d'au moins les caractéristiques visuelles globales dudit produit.

3. Procédé selon la revendication 2, caractérisé en ce que les caractéristiques visuelles globales d'un produit sont représentées par un vecteur dont les composantes sont calculées à partir de signaux discrets extraits de l'image dudit produit.

4. Procédé selon la revendication 3, caractérisé en ce que le vecteur comporte au moins des composantes représentatives de la chrominance et de l'histogramme à palette de l'image du produit.

5. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape de détermination du produit comporte en 2909202 13 outre, quand plusieurs produits minimisent la métrique de proximité pour une zone, une sous étape de comparaison de l'histogramme chromatique spatial desdits produits avec l'histogramme chromatique spatial de la zone pour déterminer le produit ayant l'histogramme 5 chromatique spatial le plus proche de celui de la zone.

6. Procédé selon la revendication 5, caractérisé en ce que l'histogramme chromatique spatial utilise une palette de couleurs labelli:,ées. 10

7. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que la liste des produits à analyser est stockée dans une base de données relationnelle dont un index est constitué de la signature des produits. 15

8. Produit programme d'ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur, caractérisé en ce qu'il comprend des instructions de code de programme pour la mise en oeuvre du procédé d'analyse selon l'une au moins des revendications 1 à 7. 20

9. Structure de données représentative d'une photographie caractérisée en ce qu'elle comporte des champs de données représentatifs de zones de la photographie, chaque champ permettant de définir des caractéristiques visuelles de la zone adaptées pour être comparées 25 avec des signatures de produits sous la forme d'une métrique de proximité des caractéristiques visuelles de la zone avec les signatures de produits.

10. Dispositif d'analyse de la disposition de produits dans un linéaire à 30 partir d'une photo numérique d'au moins une partie du linéaire, chaque produit à analyser étant défini préalablement par une signature des caractéristiques visuelles de celui-ci, caractérisé en ce qu'il comporte : • des moyens (8) de stockage des signatures desdits produits, 5 10 2909202 14 • des moyens (50) de découpage de la photo numérique en zones comportant des produits visuellement identiques, et, • pour au moins une zone, • des moyens (52) de comparaison des caractéristiques visuelles de la zone avec les signatures des produits, la comparaison étant basée sur une métrique de proximité des caractéristiques visuelles de la zone avec les signatures des produits, et • des moyens (54) de détermination du ou des produits appartenant à la zone en tant que procluit ayant une signature minimisant la métrique de proximité.