FR2785698A1 - Automatic location and identification method for products on shelf in self-service store, involves comparing every signature of product with references signatures to recognize and locate every product on shelf - Google Patents
Automatic location and identification method for products on shelf in self-service store, involves comparing every signature of product with references signatures to recognize and locate every product on shelf Download PDFInfo
- Publication number
- FR2785698A1 FR2785698A1 FR9813928A FR9813928A FR2785698A1 FR 2785698 A1 FR2785698 A1 FR 2785698A1 FR 9813928 A FR9813928 A FR 9813928A FR 9813928 A FR9813928 A FR 9813928A FR 2785698 A1 FR2785698 A1 FR 2785698A1
- Authority
- FR
- France
- Prior art keywords
- product
- shelf
- signature
- products
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 19
- 239000003086 colorant Substances 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 235000019557 luminance Nutrition 0.000 description 6
- 235000014121 butter Nutrition 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
Description
PROCEDE ET APPAREIL POUR LE REPERAGE ET L'IDENTIFICATION
AUTOMATIQUES DE PRODUITS EN RAYON
La présente invention concerne un procédé et un appareil pour le repérage et l'identification automatiques de produits, autrement dit des"références"se trouvant sur un rayon c'est-à-dire un linéaire ou une gondole de présentation dans un magasin de détail, notamment un libreservice.METHOD AND APPARATUS FOR LOCATION AND IDENTIFICATION
AUTOMATIC RADIUS PRODUCTS
The present invention relates to a method and an apparatus for the automatic tracking and identification of products, in other words "references" located on a shelf, that is to say a shelf or a display gondola in a retail store. , including self-service.
Pour la gestion des linéaires ou gondoles, par la suite appelés par l'unique vocable"rayons", il est courant d'analyser périodiquement les ventes ou les stocks des références ou produits, se trouvant sur les rayons d'un magasin de détails ou d'un libre-service, en vue d'obtenir la rentabilité ou le rendement maximum dans l'offre des produits, ainsi que de prévoir le réassortiment en temps opportun des rayons. For the management of shelves or gondolas, subsequently called by the single term "departments", it is common to periodically analyze sales or stocks of references or products, found on the shelves of a retail store or self-service, with a view to obtaining maximum profitability or yield in product offerings, as well as providing for the timely reassortment of departments.
Jusqu'à présent, la reconstitution de la visualisation et de l'occupation des références sur les linéaires d'un magasin était effectuée par un relevé manuel nécessitant le déplacement d'une personne, le long de chaque rayon, cette personne relevant la nature des produits ou des références, leur nombre en exposition, leur position dans le rayon, leur prix de vente consommateur, sur des fiches papier qui seront ressaisies de façon informatique ultérieurement, d'où une double saisie de l'information. Until now, the reconstruction of the display and the occupation of the references on the shelves of a store was carried out by a manual reading requiring the movement of a person, along each ray, this person taking note of the nature of the products or references, their number on display, their position on the shelf, their consumer selling price, on paper sheets which will be re-entered in a computerized manner later, hence a double entry of information.
Cette façon de faire présente l'inconvénient de n'tre pas fiable et en outre d'exiger beaucoup de temps et d'tre particulièrement onéreuse. This procedure has the drawback of being unreliable and furthermore requiring a lot of time and being particularly expensive.
La présente invention vise à remédier à ces inconvénients en procurant un procédé et un appareil permettant un relevé et une saisie automatique simultanée très rapide des informations relatives aux différents produits ou références se trouvant, à un instant donné, répartis sur les rayons. The present invention aims to remedy these drawbacks by providing a method and an apparatus allowing very rapid simultaneous reading and automatic entry of information relating to the various products or references located, at a given instant, distributed on the shelves.
A cet effet, ce procédé de repérage et d'identification automatiques de produits se trouvant en façade sur un rayon de présentation dans un magasin de détail, notamment en libre-service est caractérisé par le fait que l'on prend, sur toute la longueur du rayon une succession d'images de zones partielles adjacentes du rayon et des produits se trouvant dans ces zones, on produit des signaux numériques correspondant respectivement à chaque image prise, on traite chaque signal numérique de manière à produire, pour chacun des produits apparaissant sur cette image, un signal codé numérique ou signal"signature"d'un produit et on compare chaque signal"signature"avec des signaux"signature"de références préétablis, correspondant respectivement aux différents produits préalablement identifiés, afin de reconnaitre et de situer chaque produit présent sur le rayon à partir du résultat de cette comparaison. To this end, this method of automatic identification and identification of products on the front on a display shelf in a retail store, in particular self-service, is characterized by the fact that it takes, over the entire length of the ray a succession of images of adjacent partial zones of the ray and of the products being in these zones, digital signals are produced corresponding respectively to each image taken, each digital signal is processed so as to produce, for each of the products appearing on this image, a digital coded signal or “signature” signal of a product and each “signature” signal is compared with “signature” signals of pre-established references, corresponding respectively to the various previously identified products, in order to recognize and locate each product present on the shelf from the result of this comparison.
L'invention a également pour objet un appareil pour le repérage et l'identification automatiques de produits se trouvant sur un rayon de présentation dans un magasin de détail, notamment en libre-service, caractérisé en ce qu'il comprend un capteur d'images numériques connecté à une unité de traitement, cette unité comportant un convertisseur pour convertir le signal numérique correspondant à l'image de chaque produit, en un signal codé numérique ou signal"signature"caractérisant le produit, une banque de données pour conserver en mémoire des signaux"signature"de référence, correspondant à différents produits préalablement identifiés, et un comparateur pour comparer chaque signal"signature"d'un produit issu du convertisseur et les signaux"signature"de référence de la banque de données, afin d'identifier chaque produit à partir du résultat de cette comparaison. The invention also relates to an apparatus for the automatic tracking and identification of products located on a display shelf in a retail store, in particular self-service, characterized in that it comprises an image sensor connected to a processing unit, this unit comprising a converter for converting the digital signal corresponding to the image of each product, into a digital coded signal or "signature" signal characterizing the product, a data bank for storing in memory reference "signature" signals, corresponding to different previously identified products, and a comparator to compare each "signature" signal of a product from the converter and the reference "signature" signals from the database, in order to identify each produced from the result of this comparison.
On décrira ci-après, à titre d'exemples non limitatifs, diverses formes d'exécution de la présente invention en référence aux dessins annexés sur lesquels :
-la figure 1 est un schéma synoptique d'un appareils de repérage et d'identification automatiques de produits suivant l'invention ;
-la figure 2 est un schéma synoptique plus détaillé de l'appareil représenté sur la figure 1 ;
-les figures 3 et 4 sont des vues en élévation schématique de diverses formes d'exécution de l'appareil de repérage et d'identification de produits.Various embodiments of the present invention will be described below, by way of non-limiting examples, with reference to the appended drawings in which:
FIG. 1 is a block diagram of an automatic product tracking and identification apparatus according to the invention;
FIG. 2 is a more detailed block diagram of the apparatus shown in FIG. 1;
FIGS. 3 and 4 are diagrammatic elevation views of various embodiments of the device for locating and identifying products.
Ainsi qu'il est représenté sur la figure 1, le procédé et l'appareil suivant l'invention sont destinés à repérer et à identifier automatiquement des produits 1 se trouvant répartis en façade sur les divers niveaux d'un linéaire ou d'une gondole 2 de présentation de ces produits dans un magasin libre-service. Les produits 1 ont des orientations, des couleurs, des formes différentes, ils portent des marques différentes, sont de prix différents... etc et l'invention vise à les identifier et à repérer leurs positions spatiales respectives et ce, d'une manière totalement automatique. A cet effet, il est prévu un appareil de saisie d'informations pouvant tre déplacé le long de la gondole 2, afin de prendre des vues successives de la façade de cette gondole et de traiter automatiquement les images obtenues pour en extraire les informations permettant d'identifier chacun des produits 1 se trouvant exposés. As shown in Figure 1, the method and apparatus according to the invention are intended to automatically identify and identify products 1 located on the front on the various levels of a shelf or a gondola 2 presentation of these products in a self-service store. The products 1 have different orientations, colors, shapes, they bear different brands, are of different prices ... etc and the invention aims to identify them and to locate their respective spatial positions in a way fully automatic. For this purpose, there is provided an apparatus for entering information which can be moved along the gondola 2, in order to take successive views of the facade of this gondola and to automatically process the images obtained in order to extract the information allowing '' identify each of the products 1 being exposed.
L'appareil dont certaines formes d'exécution non limitatives seront décrites plus loin en référence aux figures 3 et 4, comporte essentiellement un ou plusieurs capteurs d'images numérique 3, tel que notamment un appareil photographique ou encore une caméra du type CCD,
CMOS ou similaire, lequel est connecté à une unité 4 de traitement des signaux numériques fournis par le capteur d'images 3. Le capteur d'images 3 et l'unité de traitement 4 sont montés sur un seul et mme support roulant, comme il sera précisé plus loin. L'unité de traitement 4 est également connectée à une unité d'entrée d'informations 5 qui peut tre constituée par un clavier associé à l'unité de traitement 4 ou bien encore, par une tablette PC permettant une communication à distance avec l'unité de traitement 4. Une telle tablette de communication à distance permet à l'utilisateur de l'appareil de se déplacer librement lorsque le traitement des données aura lieu, par exemple pour préparer un rayon suivant. L'unité d'entrée 5 permet de déclencher la prise de vue et d'informer l'appareil du début et de la fin des opérations de capture des signaux numériques. L'unité d'entrée d'informations 5 permet également d'échanger avec l'appareil pour le contrôle, la vérification et dénombrement des images prises en hauteur, en fonction de la hauteur de la gondole 2, de renseigner l'appareil sur des produits inconnus ou non reconnus et de renseigner également l'appareil sur des demandes de vérification.The device, certain non-limiting embodiments of which will be described below with reference to FIGS. 3 and 4, essentially comprises one or more digital image sensors 3, such as in particular a photographic device or even a CCD type camera,
CMOS or similar, which is connected to a unit 4 for processing the digital signals supplied by the image sensor 3. The image sensor 3 and the processing unit 4 are mounted on one and the same rolling support, as it will be explained later. The processing unit 4 is also connected to an information input unit 5 which can be constituted by a keyboard associated with the processing unit 4 or even by a tablet PC allowing remote communication with the processing unit 4. Such a remote communication tablet allows the user of the device to move freely when the data processing takes place, for example to prepare a next department. The input unit 5 makes it possible to trigger the shooting and to inform the apparatus of the start and the end of the operations for capturing digital signals. The information input unit 5 also makes it possible to exchange with the apparatus for the control, verification and counting of the images taken at height, as a function of the height of the gondola 2, to inform the apparatus on unknown or unrecognized products and also inform the device about verification requests.
L'unité de traitement 4 comporte essentiellement un convertisseur de signaux 6, une banque de données 7 et un comparateur 8. Le convertisseur de signaux 6 qui sera décrit d'une façon plus détaillée en référence à la figure 2, reçoit les signaux numériques produits par le ou les capteur (s) d'images 3 et il délivre, à sa sortie, pour chacun des produits dont l'image a été prise, un signal codé numérique ou"signature"caractérisant d'une manière univoque le produit considéré. Ce signal est établi à partir de plusieurs critères tels que les couleurs de la face exposée du produit et plus précisément la somme moyenne des différentes couleurs dominantes, leur situation et leur répartition, l'orientation du produit, sa forme, la marque du fabricant, la position de cette marque, le prix... etc. Chaque signal"signature"produit par le convertisseur 6 est appliqué à une entrée du comparateur 8 lequel reçoit, sur une seconde entrée, un signal signature de référence provenant de la banque de données 7. Cette banque de données 7 contient en mémoire des signaux"signatures"des différents produits susceptibles d'etre stockés sur les niveaux de la gondole 2. Le comparateur 8 effectue donc une comparaison entre chaque signal"signature"fourni par le convertisseur 6 et le signal"signature"de référence obtenu à partir de la banque de données 7 et lorsqu'il y a concordance totale ou très voisine entre les deux signaux, il valide le signal"signature"du produit et l'envoie à une unité de sortie 9. Cette unité de sortie 9 peut tre de tous types appropriés et elle a pour rôle de fournir, sur un support matériel, la liste de tous les produits se trouvant sur les niveaux de la gondole 2, en indiquant pour chaque produit son nom, leur nombre en exposition (autrement appelé"facing"), sa position sur le niveau et son prix. Si le signal"signature"fourni par le convertisseur 6 ne correspond à aucun des signaux "signature"de référence de la banque de données 7, le comparateur 8 le signale à une unité 10 qui permet à l'utilisateur de compenser la lacune existante et d'établir, au moyen de l'unité d'entrée 5, une fiche de renseignements correspondant au produit détecté précédemment comme étant inconnu, pour l'introduire dans la banque de données 7, afin de compléter celle-ci. The processing unit 4 essentially comprises a signal converter 6, a database 7 and a comparator 8. The signal converter 6 which will be described in more detail with reference to FIG. 2, receives the digital signals produced by the image sensor (s) 3 and it delivers, at its output, for each of the products whose image has been taken, a digital coded signal or "signature" characterizing unequivocally the product considered. This signal is established on the basis of several criteria such as the colors of the exposed face of the product and more precisely the average sum of the different dominant colors, their location and their distribution, the orientation of the product, its shape, the manufacturer's brand, the position of this brand, the price ... etc. Each "signature" signal produced by the converter 6 is applied to an input of the comparator 8 which receives, on a second input, a reference signature signal coming from the data bank 7. This data bank 7 contains in memory signals " signatures "of the various products likely to be stored on the levels of the gondola 2. The comparator 8 therefore performs a comparison between each" signature "signal supplied by the converter 6 and the reference" signature "signal obtained from the bank data 7 and when there is total or very close agreement between the two signals, it validates the "signature" signal of the product and sends it to an output unit 9. This output unit 9 can be of any suitable type and its role is to provide, on a material support, the list of all the products on the levels of gondola 2, indicating for each product its name, their number on display (otherwise called "facing"), its position on the level and its price. If the "signature" signal supplied by the converter 6 does not correspond to any of the reference "signature" signals from the database 7, the comparator 8 signals it to a unit 10 which allows the user to compensate for the existing gap and to establish, by means of the input unit 5, an information sheet corresponding to the product previously detected as being unknown, in order to introduce it into the database 7, in order to complete the latter.
Comme il a été indiqué précédemment, les gondoles 2 ont en général une grande longueur supérieure à 10 mètres ; il n'est donc pas possible de traiter l'ensemble d'une telle gondole en une seule prise d'images et par conséquent, l'appareil 3,4 suivant l'invention, doit tre déplacé le long de la gondole, du fait que le capteur d'images 3 ne peut pas prendre une image d'une largeur supérieure à une valeur donnée. L'ensemble 3,4 est donc déplacé de manière à prendre successivement des images Il, in... In de toute la hauteur de la gondole 2, comme il est indiqué sur la figure 2. Ces images doivent permettre de retrouver l'ensemble des produits se trouvant sur les rayons, mais elles doivent également éviter de comptabiliser deux fois un mme produit qui se trouverait sur deux prises de vue adjacentes. As previously indicated, the gondolas 2 generally have a great length greater than 10 meters; it is therefore not possible to treat the whole of such a gondola in a single image capture and therefore, the device 3,4 according to the invention, must be moved along the gondola, because that the image sensor 3 cannot take an image of a width greater than a given value. The assembly 3,4 is therefore moved so as to take successively images Il, in ... In of the entire height of the gondola 2, as indicated in FIG. 2. These images must make it possible to find the assembly products on the shelves, but they must also avoid counting twice the same product which would be on two adjacent shots.
Le traitement des images par l'unité 4 peut s'effectuer de deux façons différentes :
-on traite les images directement après chaque prise de vue et alors le procédé et l'appareil doivent tre prévus pour assister l'utilisateur afin que celui-ci ne prenne pas deux fois la mme vue d'un produit ;
-on reconstitue l'image entière de la totalité de la gondole 2 à partir des différentes prises de vue et on traite ensuite l'image globale ainsi reconstituée.Image processing by unit 4 can be done in two different ways:
the images are processed directly after each shot and then the method and the apparatus must be provided to assist the user so that the latter does not take the same view of a product twice;
-the whole image of the entire gondola 2 is reconstructed from the different shots and the overall image thus reconstructed is then processed.
Le premier procédé permet d'obtenir un traitement plus rapide des données et l'utilisateur a ainsi rapidement accès aux produits non reconnus par l'appareil. Pour résoudre le problème de la redondance éventuelle de la prise de vues, on peut prévoir d'ajouter à l'appareil un système d'aide, afin que l'utilisateur puisse visualiser la zone qui se situera sur l'image. Ce système peut tre constitué, par exemple, par une grille laser ou similaire projetée sur le rayon, ce qui permet de bien délimiter l'image lors de son acquisition. De plus, ce système de grille laser peut tre également utilisé pour la calibration de la prise de vues : les déformations des grilles laser correspondent en effet à des différences de profondeur à partir desquelles la position de la caméra peut tre déduite. Enfin, ce système permet également de reconnaitre les produits qui ne se trouvent pas sur le bord du rayon mais dans le fond de celui-ci. The first method allows faster processing of the data and the user thus quickly has access to products not recognized by the device. To solve the problem of possible redundancy of the shots, one can plan to add to the device a help system, so that the user can visualize the zone which will be located on the image. This system can be constituted, for example, by a laser grid or the like projected onto the ray, which makes it possible to clearly delimit the image during its acquisition. In addition, this laser grid system can also be used for calibrating the shooting: the deformations of the laser grids correspond in fact to differences in depth from which the position of the camera can be deduced. Finally, this system also makes it possible to recognize products that are not on the edge of the shelf but in the bottom of it.
Le deuxième procédé nécessite le respect d'une procédure de prise d'images stricte. L'utilisateur doit faire alors une acquisition de l'ensemble des images correspondant aux niveau, ensuite, en fonction de la hauteur et de la longueur de la gondole, l'image complète est reconstituée à partir des images stockées. Une fois l'image totalement reconstituée, il est alors possible de la traiter. The second method requires compliance with a strict image taking procedure. The user must then acquire all the images corresponding to the level, then, depending on the height and length of the gondola, the complete image is reconstructed from the stored images. Once the image has been completely reconstructed, it is then possible to process it.
On décrira maintenant d'une façon plus détaillée, en se référant à la figure 2, les étapes principales du procédé suivant l'invention qui sont mises en oeuvre dans le convertisseur de signaux 6. Les signaux numériques, transmis à partir du capteur d'images 3, sont soumis tout d'abord à une étape de pré-traitement éventuelle 11 pour effectuer des corrections optiques (déformations géométriques). Ensuite a lieu une étape 12 de séparation des niveaux. Cette étape peut comporter des sous-étapes de filtrage par un filtre passe-haut horizontal, de tri des contours (reconnaissance des transitions correspondant aux différents niveaux), de comptage des niveaux, de calibration de l'image et de vérification de la cohérence des résultats. We will now describe in a more detailed manner, with reference to FIG. 2, the main steps of the method according to the invention which are implemented in the signal converter 6. The digital signals, transmitted from the sensor images 3, are first of all subjected to a possible preprocessing step 11 to make optical corrections (geometric deformations). Then takes place a step 12 of separation of the levels. This step may include sub-steps of filtering by a horizontal high-pass filter, sorting of the contours (recognition of the transitions corresponding to the different levels), counting of the levels, calibration of the image and verification of the consistency of the results.
L'étape suivante 13 est une étape de séparation et d'identification des produits sur chaque niveau et elle comprend des sous-étapes de filtrage par un filtre passehaut multidirectionnel pour la détection des contours, de suppression des faux-contours (bruit, produits non fermés), de comptage et d'étiquetage des produits, de classement des produits (conservation des produits englobants), et de traitement de chaque produit isolé et de classement de la codification utilisée pour la production du signal "signature". The next step 13 is a step of separation and identification of the products on each level and it includes sub-steps of filtering by a multidirectional high-pass filter for the detection of contours, of elimination of false contours (noise, non-contiguous products). closed), counting and labeling of products, classification of products (conservation of all encompassing products), and processing of each isolated product and classification of the codification used for the production of the "signature" signal.
La dernière étape 14 est une étape de reconnaissance et d'attribution du prix de chaque produit. Elle comprend des sous-étapes successives de reconnaissance de caractères sur les bandes d'affichage des prix sur les rayons, de localisation des prix horizontale (position) et verticale (signes), de calcul de distance produit-prix, d'attribution du prix et de vérification de la cohérence. The last step 14 is a step of recognizing and awarding the price of each product. It includes successive substeps of character recognition on the price display strips on the shelves, localization of horizontal (position) and vertical (signs) prices, calculation of product-price distance, award of price and consistency check.
On décrira ci-après, à titre d'exemple non limitatif, un type de codification qui peut tre avantageusement utilisé pour caractériser chaque produit, appelé codification COFEP signifiant"Couleur, Orientation, Forme,
Ecriture, Prix". Chaque produit est codé en fonction de ces cinq critères. Sur la figure 2 sont représentés des signaux "signature"Si, Si+i, correspondant à deux produits respectifs voisins sur un mme rayon Rl, à savoir le rayon supérieur, de la gondole 2 qui comporte deux autres rayons
R2, R3. Chaque signature Si, Si+l... est constituée de cinq codes élémentaires correspondant respectivement aux critères de couleur, d'orientation, de forme, d'écriture et de prix.A type of coding which will be advantageously used to characterize each product, called COFEP codification meaning "Color, Orientation, Shape," will be described below, by way of non-limiting example.
Write, Price ". Each product is coded according to these five criteria. In FIG. 2 are represented" signature "signals Si, Si + i, corresponding to two respective neighboring products on the same radius Rl, namely the upper radius , from gondola 2 which has two other spokes
R2, R3. Each signature Si, Si + l ... is made up of five elementary codes corresponding respectively to the criteria of color, orientation, shape, writing and price.
On expliquera maintenant, à titre d'exemple, comment sont établis les codes numériques a-e affectés aux cinq critères précités. We will now explain, by way of example, how the numerical codes a-e assigned to the five aforementioned criteria are established.
Le code ~, caractérisant la couleur du produit, est établi à partir d'une hiérarchie des luminances des trois canaux rouge, vert et bleu résultant de la décomposition spectrale de chaque pixel. Le codage est totalement arbitraire et par exemple, on peut affecter la valeur 0 au code a si les luminances des trois canaux sont égales entre elles, des valeurs 1 à 6 si les trois luminances sont différentes, chacune des valeurs 1 à 6 correspondant à une hiérarchie différente des luminances, et d'autres valeurs à deux chiffres lorsque deux luminances sont égales et la troisième luminance est supérieure ou inférieure aux précédentes. Pour réduire la taille du fichier, on n'effectue pas la reconnaissance de la couleur sur la totalité du produit, mais on se limite, de préférence, à une reconnaissance sur une grille qui est en fait un masque que l'on applique sur le produit afin d'en déterminer les caractéristiques essentielles et de ne mémoriser dans la banque de données 7 des produits de référence que le minimum nécessaire. The code ~, characterizing the color of the product, is established from a hierarchy of luminances of the three red, green and blue channels resulting from the spectral decomposition of each pixel. The coding is completely arbitrary and for example, the value 0 can be assigned to code a if the luminances of the three channels are equal to each other, values 1 to 6 if the three luminances are different, each of the values 1 to 6 corresponding to a different hierarchy of luminances, and other two-digit values when two luminances are equal and the third luminance is higher or lower than the previous ones. To reduce the size of the file, we do not perform color recognition on the entire product, but we limit ourselves, preferably, to recognition on a grid which is in fact a mask that we apply on the product in order to determine its essential characteristics and to store in the database 7 reference products only the minimum necessary.
Cette grille/masque limite la surface du produit à reconnaître, ce qui permet de stocker un grand nombre d'articles en un minimum d'espace mémoire afin d'accélérer aussi le processus de recherche, de comparaison et de reconnaissance. This grid / mask limits the surface of the product to be recognized, which makes it possible to store a large number of articles in a minimum of memory space in order to also speed up the process of search, comparison and recognition.
En pratique, l'application de cette grille/masque sur le produit détermine un carré d'un minimum de 20 X 20 pixels ou plus représentant une somme moyenne des différentes couleurs dominantes du produit en isohélie. In practice, the application of this grid / mask on the product determines a square of a minimum of 20 X 20 pixels or more representing an average sum of the different dominant colors of the product in isohélie.
Accessoirement, la grille/masque peut tre soit pleine soit constituée de bandes verticales et horizontales, par exemple trois lignes trois colonnes, que l'on plaque sur l'image de l'objet pour résumer la répartition de couleur (dont la symétrie). Incidentally, the grid / mask can either be full or consist of vertical and horizontal bands, for example three lines three columns, which are placed on the image of the object to summarize the color distribution (including the symmetry).
Le second code élémentaire b est affecté au critère orientation du produit. Ce code indique la vue à laquelle il correspond : par exemple, le code b est égal à 1 pour une vue de face, 2 pour une vue de profil, 3 pour une vue de dessus. Le code b peut également comporter un second chiffre pour indiquer la préférence de la disposition du produit sur le rayon. The second elementary code b is assigned to the product orientation criterion. This code indicates the view to which it corresponds: for example, the code b is equal to 1 for a front view, 2 for a profile view, 3 for a top view. The code b can also include a second digit to indicate the preference of the arrangement of the product on the shelf.
Le troisième code élémentaire c caractérise la forme du produit. On détermine la forme géométrique élémentaire du polygone enveloppant le produit, tels que cercle, rectangle, trapèze, hexagone... etc et on lui affecte un code à un chiffre. Par exemple, un cercle est indiqué par le chiffre 1, un trapèze par 2, un triangle par 3... etc. The third elementary code c characterizes the shape of the product. We determine the elementary geometric shape of the polygon surrounding the product, such as circle, rectangle, trapezoid, hexagon ... etc and we assign a code to a number. For example, a circle is indicated by the number 1, a trapezoid by 2, a triangle by 3 ... etc.
Le code élémentaire peut comporter d'autres chiffres définissant un rapport tel que, par exemple, un rapport dimensionnel hauteur/largeur, un rapport surfacique entre la surface du produit et la surface du polygone enveloppant et un rapport de symétrie par rapport aux axes du polygone enveloppant. Ces rapports affinent la reconnaissance de la forme, les rapports de surface et de symétrie établissant les tolérances, notamment en ce qui concerne la position des écritures. La valeur de chaque rapport appartient à un intervalle que traduit un indice (0 à 8) sur une échelle de grandeur établie pour chaque type de forme.The elementary code may include other figures defining a relationship such as, for example, a dimensional aspect ratio, a surface relationship between the surface of the product and the area of the enveloping polygon and a ratio of symmetry with respect to the axes of the polygon. enveloping. These reports refine the recognition of the shape, the surface and symmetry reports establishing the tolerances, in particular with regard to the position of the scriptures. The value of each ratio belongs to an interval that translates an index (0 to 8) on a scale of magnitude established for each type of shape.
Le quatrième code élémentaire d correspond au logo de la marque du produit et à la position de ce logo sur la face verticale apparente du produit, et plus particulièrement sur la forme enveloppante prise pour référence. Le code élémentaire ~d comprend donc, dans une première position, une identification définissant la classe de produit et, dans une seconde position, un code définissant la position du logo. Par exemple, si le logo est au centre de la face exposée, le code de position est 1, si le logo est dans le quadrant supérieur gauche, le code est 00, dans le quadrant supérieur droit 02, dans le quadrant inférieur gauche 20 et dans le quadrant inférieur droit 22. The fourth elementary code d corresponds to the logo of the brand of the product and to the position of this logo on the apparent vertical face of the product, and more particularly on the enveloping shape taken for reference. The elementary code ~ d therefore comprises, in a first position, an identification defining the product class and, in a second position, a code defining the position of the logo. For example, if the logo is in the center of the exposed face, the position code is 1, if the logo is in the upper left quadrant, the code is 00, in the upper right quadrant 02, in the lower left quadrant 20 and in the lower right quadrant 22.
Le cinquième code élémentaire e correspond au prix du produit qui est inscrit, sur le bord du rayon, sur des étiquettes de hauteur et de longueur variables. Le chiffre affecté au code g correspond au classement du produit par ordre de grandeur par comparaison aux produits de mme marque, suivant leur nature ou leur volume. A titre d'exemple, le code e est égal à un 1 pour le prix du beurre doux 500 grammes lequel est supérieur au prix du beurre salé 250 grammes (code égal à 2), lequel est supérieur au prix du beurre allégé 250 grammes (code égal à 3)... etc. The fifth elementary code e corresponds to the price of the product which is written, on the edge of the shelf, on labels of variable height and length. The figure assigned to the code g corresponds to the classification of the product in order of magnitude by comparison with products of the same brand, according to their nature or their volume. For example, the code e is equal to a 1 for the price of sweet butter 500 grams which is greater than the price of salted butter 250 grams (code equal to 2), which is greater than the price of light butter 250 grams ( code equal to 3) ... etc.
Comme il a été indiqué lors de la description faite en référence à la figure 1, les codes"signature"Si, Si+i... sont comparés aux codes"signature"de référence stockés dans la banque de données pour permettre d'identifier avec précision les divers produits auxquels sont affectés ces codes. As indicated in the description given with reference to FIG. 1, the "signature" codes Si, Si + i ... are compared to the reference "signature" codes stored in the database to allow identification with precision the various products to which these codes are assigned.
A partir des mesures ainsi effectuées, on peut déterminer aisément la répartition spatiale de chaque type de produit sur la façade des différents niveaux d'une gondole d'un magasin libre-service. From the measurements thus carried out, one can easily determine the spatial distribution of each type of product on the facade of the different levels of a gondola of a self-service store.
La figure 3 représente sous forme schématique, une forme d'exécution d'un appareil suivant l'invention. Cet appareil comporte un socle 15 roulant sur le sol au moyen de roulettes 16 et portant une colonne verticale 17. Sur un côté de cette colonne est monté le capteur d'images 3 dont la position peut tre réglée verticalement sur l'autre côté de la colonne 17 est également fixée une étagère horizontale 18 sur laquelle repose l'unité de traitement 4 connectée au capteur d'images 3. Figure 3 shows in schematic form, an embodiment of an apparatus according to the invention. This device comprises a base 15 rolling on the ground by means of rollers 16 and carrying a vertical column 17. On one side of this column is mounted the image sensor 3 whose position can be adjusted vertically on the other side of the column 17 is also fixed a horizontal shelf 18 on which the processing unit 4 connected to the image sensor 3 rests.
L'appareil représenté sur la figure 3 peut tre aisément déplacé le long d'un linéaire ou d'une gondole 2 dont les produits doivent tre repérés et identifiés. Le capteur d'images 3 peut tre mis en position en plusieurs emplacements fixes présélectionnés, afin d'assurer que les prises de vue sont toujours réalisées à la mme hauteur. The apparatus shown in FIG. 3 can be easily moved along a straight line or a gondola 2, the products of which must be located and identified. The image sensor 3 can be positioned in several fixed preselected locations, in order to ensure that the shots are always taken at the same height.
L'unité de traitement 4 est située à proximité du capteur 3 pour faciliter le transfert des données. L'appareil représenté sur la figure 3 offre l'avantage d'tre autonome, de pouvoir tre utilisé dans tous les types de magasins grande surface et d'tre démontable rapidement afin de faciliter son transport.The processing unit 4 is located near the sensor 3 to facilitate the transfer of data. The device shown in FIG. 3 offers the advantage of being autonomous, of being able to be used in all types of large surface stores and of being quickly removable in order to facilitate its transport.
Dans la variante d'exécution représentée sur la figure 4, l'appareil comprend un support vertical 19 solidaire d'un crochet 20 en forme de U inversé qui coiffe à un bord supérieur d'un chariot 21 du type couramment utilisé dans les magasins pour le transport des marchandises achetées par les clients. L'unité de traitement 4 est alors logée dans le fond du chariot 21 et est reliée par un câble 22 au capteur d'images 3. In the variant shown in FIG. 4, the device comprises a vertical support 19 secured to a hook 20 in the shape of an inverted U which covers at an upper edge of a carriage 21 of the type commonly used in stores for transport of goods purchased by customers. The processing unit 4 is then housed in the bottom of the carriage 21 and is connected by a cable 22 to the image sensor 3.
L'appareil représenté sur la figure 3 est plus compact que le précédent, plus facile à transporter, plus simple de conception et d'un coût moins important. The device shown in Figure 3 is more compact than the previous one, easier to transport, simpler in design and less expensive.
Il va de soi qu'entreraient dans l'invention d'autres exécutions consistant par exemple à tenir en main le capteur d'image 3 qui lui-mme pourrait tre stéréoscopique ou mme composé de plusieurs capteurs. It goes without saying that other embodiments would enter into the invention, consisting for example of holding the image sensor 3 in hand, which itself could be stereoscopic or even composed of several sensors.
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9813928A FR2785698B1 (en) | 1998-11-05 | 1998-11-05 | METHOD AND APPARATUS FOR AUTOMATIC MARKING AND IDENTIFICATION OF RADIUS PRODUCTS |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9813928A FR2785698B1 (en) | 1998-11-05 | 1998-11-05 | METHOD AND APPARATUS FOR AUTOMATIC MARKING AND IDENTIFICATION OF RADIUS PRODUCTS |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2785698A1 true FR2785698A1 (en) | 2000-05-12 |
| FR2785698B1 FR2785698B1 (en) | 2001-01-26 |
Family
ID=9532397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR9813928A Expired - Fee Related FR2785698B1 (en) | 1998-11-05 | 1998-11-05 | METHOD AND APPARATUS FOR AUTOMATIC MARKING AND IDENTIFICATION OF RADIUS PRODUCTS |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2785698B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002001529A1 (en) * | 2000-06-28 | 2002-01-03 | Aktiebolaget Electrolux | Procedure and arrangement for supervision of a store-room and delivery of merchandise |
| WO2002015073A1 (en) * | 2000-08-18 | 2002-02-21 | Electrolux Ab | Method and apparatus for keeping a check on the storage time for goods in a storage |
| EP1445718A1 (en) * | 2003-02-10 | 2004-08-11 | Siemens Aktiengesellschaft | Method for recording and/or monitoring stored objects and/or goods, enterprise resource planning system, computer programm for enterprise resource planning system and computer program for sensor system |
| FR3123483A1 (en) * | 2021-05-26 | 2022-12-02 | Laurent BRULÉ | Method for finding an object. |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3124778A1 (en) * | 1981-06-24 | 1983-01-13 | Klaus 8000 München Liebich | Method for visually detecting markings contained on a goods package |
| WO1996011156A1 (en) * | 1994-10-10 | 1996-04-18 | Jan Theodorus Kusters | System and method for collecting or storing objects in a warehouse |
| US5790338A (en) * | 1993-10-06 | 1998-08-04 | Hitachi, Ltd. | Library apparatus that corrects relative position displacement between a carry robot and a storing rack |
| WO1998047291A2 (en) * | 1997-04-16 | 1998-10-22 | Isight Ltd. | Video teleconferencing |
-
1998
- 1998-11-05 FR FR9813928A patent/FR2785698B1/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3124778A1 (en) * | 1981-06-24 | 1983-01-13 | Klaus 8000 München Liebich | Method for visually detecting markings contained on a goods package |
| US5790338A (en) * | 1993-10-06 | 1998-08-04 | Hitachi, Ltd. | Library apparatus that corrects relative position displacement between a carry robot and a storing rack |
| WO1996011156A1 (en) * | 1994-10-10 | 1996-04-18 | Jan Theodorus Kusters | System and method for collecting or storing objects in a warehouse |
| WO1998047291A2 (en) * | 1997-04-16 | 1998-10-22 | Isight Ltd. | Video teleconferencing |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002001529A1 (en) * | 2000-06-28 | 2002-01-03 | Aktiebolaget Electrolux | Procedure and arrangement for supervision of a store-room and delivery of merchandise |
| WO2002015073A1 (en) * | 2000-08-18 | 2002-02-21 | Electrolux Ab | Method and apparatus for keeping a check on the storage time for goods in a storage |
| US6919795B2 (en) | 2000-08-18 | 2005-07-19 | Rutger Roseen | Method and apparatus for keeping a check on the storage time for goods in a storage |
| EP1445718A1 (en) * | 2003-02-10 | 2004-08-11 | Siemens Aktiengesellschaft | Method for recording and/or monitoring stored objects and/or goods, enterprise resource planning system, computer programm for enterprise resource planning system and computer program for sensor system |
| WO2004070637A1 (en) * | 2003-02-10 | 2004-08-19 | Siemens Aktiengesellschaft | Method for taking stock and/or monitoring the inventory of stored objects and/or merchandise, resource planning system, computer program for a resource planning system, and computer program for a sensor device |
| FR3123483A1 (en) * | 2021-05-26 | 2022-12-02 | Laurent BRULÉ | Method for finding an object. |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2785698B1 (en) | 2001-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0477351B1 (en) | Process and device for modifying a zone of successive images | |
| CN106952402A (en) | A kind of data processing method and device | |
| FR2642542A1 (en) | SCANNING AND READING VIDEO SYSTEM FOR BAR CODES | |
| EP2661222A1 (en) | System and method for analysing at least one characteristic of the skin | |
| JP2007519922A (en) | Apparatus and method for detecting container contamination | |
| US20160037088A1 (en) | Object recognition apparatus that performs object recognition based on infrared image and visible image | |
| CA2879220A1 (en) | Kernel counter | |
| JP2008529189A5 (en) | ||
| EP3271869A1 (en) | Method for processing an asynchronous signal | |
| FR3090167A1 (en) | Method for improving the accuracy of a training image data set of a convolutional neural network for loss prevention applications | |
| WO2010012905A2 (en) | Interactive device and method of use | |
| EP3401837A1 (en) | Device for capturing fingerprints | |
| EP3580725A1 (en) | A method of matching colours | |
| FR3053500B1 (en) | METHOD FOR DETECTING FRAUD OF AN IRIS RECOGNITION SYSTEM | |
| FR2785698A1 (en) | Automatic location and identification method for products on shelf in self-service store, involves comparing every signature of product with references signatures to recognize and locate every product on shelf | |
| EP0587484A1 (en) | Device for analysing information carriers of game forms | |
| FR2830648A1 (en) | METHOD FOR ELIMINATING SCRATCHES IN DIGITAL IMAGES | |
| US10736819B1 (en) | Pill detection and counting machine | |
| WO2021255069A1 (en) | Method for authenticating an optically variable element | |
| WO2014044975A1 (en) | Method for displaying data pertaining to displayed products | |
| WO2011033186A1 (en) | Method for the three-dimensional digitisation of a surface, comprising the projection of a combined pattern | |
| FR2688911A1 (en) | METHOD FOR CREATING THE SIGNATURE OF AN OBJECT REPRESENTED ON A DIGITAL IMAGE, OF THE TYPE CONSISTING OF DEFINING AT LEAST ONE CHARACTERISTIC DIMENSIONAL SIZE OF THE OBJECT, AND CORRESPONDING METHOD FOR VERIFYING THE SIGNATURE OF AN OBJECT. | |
| FR2740880A1 (en) | Automatic optician service camera to photograph customers in spectacle frames or spectacle frames alone | |
| FR3054708B1 (en) | COMPARISON METHOD OF OBJECTS AND ASSOCIATED DEVICE | |
| FR2927442A1 (en) | METHOD FOR DETERMINING A LOCAL TRANSFORMATION RATE OF AN OBJECT OF INTEREST |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse | ||
| D3 | Ip right revived | ||
| RN | Application for restoration | ||
| ST | Notification of lapse |