FR3128048A1 - Intelligent automatic payment terminal - Google Patents
Intelligent automatic payment terminal Download PDFInfo
- Publication number
- FR3128048A1 FR3128048A1 FR2110825A FR2110825A FR3128048A1 FR 3128048 A1 FR3128048 A1 FR 3128048A1 FR 2110825 A FR2110825 A FR 2110825A FR 2110825 A FR2110825 A FR 2110825A FR 3128048 A1 FR3128048 A1 FR 3128048A1
- Authority
- FR
- France
- Prior art keywords
- article
- movement
- class
- payment terminal
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000036544 posture Effects 0.000 description 33
- 238000013527 convolutional neural network Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010043268 Tension Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Accounting & Taxation (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Finance (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Strategic Management (AREA)
- Human Computer Interaction (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
Borne (10) d'encaissement automatique comprenant - un capteur (13) d'image ayant un champ de vision couvrant au moins partiellement un espace de présentation destiné à recevoir un article à enregistrer;- une unité de traitement apte à- détecter dans une pluralité d'images successives un objet en mouvement;- identifier, dans ledit objet, une main (30) et un article (31),- reconnaitre avec un indice de confiance ledit article (31);- classer la posture de préhension de l’article (31) dans une première pluralité de classes et/ou classer le mouvement de l’article (31) dans une deuxième pluralité de classes prédéfinies;- générer, lorsque l'article est reconnu avec un indice de confiance inférieur à une valeur seuil, un message associé à la classe de la posture de préhension et/ou à la classe du mouvement de l'article (31). Figure pour l’abrégé : Fig.4Automatic payment terminal (10) comprising - an image sensor (13) having a field of vision covering at least partially a presentation space intended to receive an item to be recorded; - a processing unit suitable for - detecting in a plurality of successive images of a moving object;- identifying, in said object, a hand (30) and an article (31),- recognizing with a confidence index said article (31);- classifying the gripping posture of the article (31) in a first plurality of classes and/or classifying the movement of the article (31) in a second plurality of predefined classes;- generating, when the article is recognized with a confidence index lower than a value threshold, a message associated with the class of the gripping posture and/or the class of the movement of the article (31). Figure for the abstract: Fig.4
Description
La présente invention a trait aux systèmes d'encaissement, et plus particulièrement aux bornes d'encaissement automatique.The present invention relates to cashing systems, and more particularly to automatic cashing terminals.
On entend par bornes d'encaissement automatique les dispositifs ou terminaux, couramment appelés caisses en libre-service, caisses automatiques ou encore, en anglais, « self-service checkouts», généralement disposés à une sortie d'un point de vente permettant au client de scanner lui-même ses achats.The term “automatic payment terminals” means the devices or terminals, commonly called self-service checkouts, automatic checkouts or even, in English, “self-service checkouts”, generally placed at an exit from a point of sale allowing the customer to scan their own purchases.
Pour identifier les articles qui lui sont successivement présentés par le client, ces bornes d'encaissement automatique comprennent des lecteurs optiques, communément appelés « scanners », aptes à lire un code-barres associé à chaque article. Ces scanners peuvent être manipulables à la main par le client (douchette code-barres) ou incorporés au comptoir de caisse. La lecture automatisée des codes-barres est au cœur de la procédure d'encaissement qui se base entièrement sur les identifiants recueillis par les scanners.To identify the articles which are successively presented to him by the customer, these automatic payment terminals comprise optical readers, commonly called “scanners”, capable of reading a barcode associated with each article. These scanners can be manipulated by hand by the customer (barcode scanner) or incorporated into the cash counter. The automated reading of barcodes is at the heart of the collection procedure, which is entirely based on the identifiers collected by the scanners.
Cependant, un inconvénient majeur des bornes d'encaissement automatique basées sur des scanners est que les articles doivent être manipulés avec des gestes précis pour présenter correctement le code-barres au scanner. Le client doit donc observer l'article pour y chercher l'emplacement du code-barres qui change d'un article à un autre, ensuite tourner son regard vers le scanner pour bien lui présenter l'emplacement du code-barres. De ce fait, le client est souvent amené à tourner, retourner, voire passer plusieurs fois le même article devant le scanner avant qu'il ne soit effectivement enregistré. Outre qu'elles sont consommatrices de temps, ces manipulations peuvent être pénibles et engendrer une tension nerveuse chez le client.However, a major drawback of scanner-based self-checkout kiosks is that items must be handled with precise gestures to properly present the barcode to the scanner. The customer must therefore observe the item to look for the location of the barcode, which changes from one item to another, then turn their gaze towards the scanner to show them the location of the barcode. As a result, the customer is often required to turn, turn over, or even pass the same article several times in front of the scanner before it is actually registered. In addition to being time-consuming, these manipulations can be painful and cause nervous tension in the client.
En cas d'échec répété du client à enregistrer un article, un personnel de caisse doit intervenir pour saisir manuellement les chiffres du code-barres. Ceci augmente encore le temps de passage en caisse du client et, par conséquent, aussi la file d'attente, ainsi qu'il nécessite la disponibilité d'un personnel de caisse.If the customer repeatedly fails to register an item, a cashier must intervene to manually enter the barcode digits. This further increases the customer's checkout time and, consequently, also the queue, as well as requiring the availability of a checkout staff.
Par ailleurs, la présence de plus d'un code-barres sur l'article (tel qu'un code-barres promotionnel et un code-barres initial ou le code-barres d'un élément d'un pack et le code-barres du pack), ou une absence totale ou partielle d'un code-barres sur l'article (à cause, par exemple, d'une tache, une rature, une déformation, ou un froissement de l'emballage) perturbent la procédure d'encaissement avec tous les inconvénients qui en découlent.In addition, the presence of more than one barcode on the item (such as a promotional barcode and an initial barcode or the barcode of an element of a pack and the barcode of the pack), or a total or partial absence of a barcode on the item (due, for example, to a stain, a scratch, a deformation, or a crumpling of the packaging) disrupt the procedure of collection with all the resulting inconveniences.
Un autre inconvénient des bornes d’encaissement automatique à scanner existantes est qu'elles augmentent le risque de la démarque inconnue (le vol), notamment via des agissements frauduleux consistant à modifier les codes-barres des articles ou, plus généralement, via un changement volontaire des codes-barres ou des étiquettes. Une vérification par la borne d'encaissement automatique d'une correspondance entre un poids attendu de l'article scanné et un poids mesuré peut être déjouée en ramenant le poids de l'article déposé sur la balance au poids associé au code-barres scanné.Another disadvantage of the existing automatic payment terminals to be scanned is that they increase the risk of unknown shrinkage (theft), in particular via fraudulent acts consisting in modifying the barcodes of articles or, more generally, via a change voluntary barcodes or labels. Verification by the automatic payment terminal of a correspondence between an expected weight of the scanned article and a measured weight can be foiled by reducing the weight of the article deposited on the scale to the weight associated with the scanned barcode.
Le recours à un personnel ou un(e) assistant(e) de caisse pour s'assurer que les clients présentent effectivement les articles à acheter et ne commettent pas d'erreurs volontaires ou involontaires n'est pas suffisamment efficace. Etant donné le nombre de clients souvent à des stades différents de la procédure d'encaissement à superviser simultanément, le personnel de caisse se limite dans la pratique à surveiller le son émis par la borne d'encaissement automatique indiquant l'enregistrement d'un article, sans prêter suffisamment attention à la désignation ou le prix de l'article enregistré. Ainsi, le changement du code-barres d'un premier article par celui d'un deuxième article ayant sensiblement le même poids passe souvent inaperçu par le personnel de caisse. La démarque inconnue est encore facilitée lorsque le client est en connivence avec la personne supervisant les bornes d'encaissement automatique.Relying on staff or a cashier to ensure that customers actually present the items to be purchased and do not make intentional or unintentional errors is not effective enough. Given the number of customers often at different stages of the cashing procedure to be supervised simultaneously, the cashier staff is limited in practice to monitoring the sound emitted by the automatic cashing terminal indicating the recording of an item , without paying sufficient attention to the designation or price of the registered item. Thus, changing the barcode of a first item to that of a second item having substantially the same weight often goes unnoticed by the checkout staff. Shrinkage is further facilitated when the customer is in collusion with the person supervising the automatic payment terminals.
Un objet de la présente invention est de remédier aux inconvénients précités.An object of the present invention is to remedy the aforementioned drawbacks.
Un autre objet de la présente invention est d'accompagner et assister le client lors de son passage en caisse automatique.Another object of the present invention is to accompany and assist the customer when going through the automatic checkout.
Un autre objet de la présente invention est d'éviter la démarque inconnue et les erreurs involontaires lors d'une procédure d'encaissement.Another object of the present invention is to avoid shrinkage and unintentional errors during a collection procedure.
Un autre objet de la présente invention est de réduire le temps de passage en caisse automatique du client.Another object of the present invention is to reduce the customer's automatic checkout time.
A cet effet, il est proposé, en premier lieu, une borne d'encaissement automatique comprenant
- un premier capteur d'image ayant un premier champ de vision couvrant au moins partiellement un espace de présentation destiné à recevoir un article à enregistrer par la borne d'encaissement automatique;
- une unité de traitement apte à
- détecter dans une pluralité d'images successives au moins partiellement acquises par le premier capteur d'image un objet en mouvement dans l'espace de présentation ;
- identifier, dans ledit objet, une main et un article, l'article étant en préhension par la main pendant au moins une partie du mouvement de l'objet ;
- déterminer un premier attribut de l'article identifié;
- reconnaitre avec un premier indice de confiance ledit article sur la base d'au moins ledit premier attribut;
- déterminer un deuxième attribut de la posture de préhension de l'article et classer cette posture de préhension dans une première pluralité de classes prédéfinies sur la base d'au moins ledit deuxième attribut et/ou déterminer un troisième attribut du mouvement de l'article lorsque cet article est en préhension par la main et classer ce mouvement dans une deuxième pluralité de classes prédéfinies sur la base d'au moins ledit troisième attribut;
- générer, lorsque l'article est reconnu avec un indice de confiance inférieur à une valeur seuil prédéfinie, un message associé à la classe de la posture de préhension et/ou à la classe du mouvement de l'article.To this end, it is proposed, first, an automatic payment terminal comprising
- a first image sensor having a first field of vision covering at least partially a presentation space intended to receive an item to be recorded by the automatic payment terminal;
- a processing unit capable of
- detecting in a plurality of successive images at least partially acquired by the first image sensor a moving object in the presentation space;
- identify, in said object, a hand and an article, the article being gripped by the hand during at least part of the movement of the object;
- determining a first attribute of the identified article;
- recognizing with a first confidence index said article on the basis of at least said first attribute;
- determining a second attribute of the gripping posture of the article and classifying this gripping posture in a first plurality of predefined classes on the basis of at least said second attribute and/or determining a third attribute of the movement of the article when this article is grasped by the hand and classifying this movement in a second plurality of predefined classes on the basis of at least said third attribute;
- generating, when the article is recognized with a confidence index lower than a predefined threshold value, a message associated with the class of the gripping posture and/or with the class of the movement of the article.
Diverses caractéristiques supplémentaires peuvent être prévues, seules ou en combinaison :
- le deuxième attribut est choisi parmi une liste comprenant le nombre de doigts de la main qui participent à la préhension de l'article, les surfaces de la main qui participent à la préhension de l'article ;
- la première pluralité de classes comprend une première classe dans laquelle la paume de la main participe à la préhension de l'article ;
- le troisième attribut est choisi parmi une liste comprenant la vitesse du mouvement de l'article, la trajectoire du mouvement de l'article, un mouvement de rotation de l'article ;
- la deuxième pluralité de classes comprend une deuxième classe dans laquelle la vitesse du mouvement est supérieure à une vitesse seuil prédéfinie, et/ou une troisième classe dans laquelle la trajectoire du mouvement est sensiblement à la limite de l'espace de présentation, et/ou une quatrième classe dans laquelle le mouvement comprend un mouvement de rotation ;
- le message généré comprend, lorsque la classe de la posture de préhension est la première classe, une alerte à destination d'un personnel de caisse ;
- le message généré comprend, lorsque la classe du mouvement de l'article est la quatrième classe, une indication relative à une présentation prédéfinie de l'article, cette présentation permettant une reconnaissance de l'article avec un deuxième indice de confiance supérieur au premier indice de confiance ;
- le premier attribut est choisi parmi une liste comprenant un code-barres, une couleur, un texte, un dessin, un symbole, un logo, une dimension, une forme, un volume ;
- l'unité de traitement est, en outre, apte à détecter un contour sur l'article autour du code-barres ;
- la borne d’encaissement automatique comprend, en outre, un deuxième capteur d'image ayant un deuxième champ de vision couvrant au moins partiellement l'espace de présentation, un troisième capteur d'image ayant un troisième champ de vision couvrant au moins partiellement l'espace de présentation, le premier capteur d'image étant disposé au-dessus de l'espace de présentation, le deuxième et le troisième capteur étant disposés de part et d'autre de l'espace de présentation.Various additional features may be provided, alone or in combination:
- the second attribute is chosen from a list comprising the number of fingers of the hand which take part in gripping the article, the surfaces of the hand which take part in gripping the article;
- the first plurality of classes comprises a first class in which the palm of the hand participates in gripping the article;
- the third attribute is chosen from a list comprising the speed of the movement of the article, the trajectory of the movement of the article, a rotational movement of the article;
- the second plurality of classes comprises a second class in which the speed of the movement is greater than a predefined threshold speed, and/or a third class in which the trajectory of the movement is substantially at the limit of the presentation space, and/ or a fourth class in which the motion includes rotational motion;
- the generated message includes, when the class of the gripping posture is the first class, an alert intended for a checkout staff;
- the message generated includes, when the class of movement of the article is the fourth class, an indication relating to a predefined presentation of the article, this presentation allowing recognition of the article with a second confidence index greater than the first confidence index ;
- the first attribute is chosen from a list comprising a barcode, a color, a text, a design, a symbol, a logo, a dimension, a shape, a volume;
- the processing unit is, moreover, capable of detecting an outline on the article around the barcode;
- the automatic payment terminal further comprises a second image sensor having a second field of vision covering at least partially the presentation space, a third image sensor having a third field of vision covering at least partially the presentation space, the first image sensor being placed above the presentation space, the second and the third sensor being placed on either side of the presentation space.
D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement et de manière concrète à la lecture de la description ci-après de modes de réalisation, laquelle est faite en référence aux dessins annexés dans lesquels :Other characteristics and advantages of the invention will appear more clearly and concretely on reading the following description of embodiments, which is made with reference to the appended drawings in which:
la figure
la figure
la figure
la figure
En se référant aux figures annexées, il est affiché une borne10d'encaissement automatique apte à gérer des opérations d'encaissement dans un point de vente. Un point de vente désigne, ici, tout lieu de vente physique au détail en libre-service, indépendamment de sa taille ou de son domaine d’activité, où un client peut librement composer son panier d’achat, avant de se rendre à la borne10d'encaissement automatique pour régler ses achats. On entend par "opérations d'encaissement" toute activité se rapportant à une procédure d'encaissement telle que l'identification et l'enregistrement d'articles, l'information du client des articles enregistrés, l'assistance du client dans la procédure d'encaissement, la gestion d'un ou plusieurs modes de paiement, la facturation, l’impression ou la communication d'un ticket de caisse, la gestion de la fidélité client, et/ou la gestion des avantages commerciaux.Referring to the appended figures, there is displayed an automatic payment terminal 10 able to manage collection operations in a point of sale. A point of sale means, here, any place of physical self-service retail sale, regardless of its size or its field of activity, where a customer can freely compose his shopping basket, before going to the automatic payment terminal 10 to pay for purchases. "Collection operations" means any activity relating to a collection procedure such as the identification and registration of items, informing the customer of the registered items, assisting the customer in the procedure of collection, management of one or more payment methods, invoicing, printing or communication of a receipt, management of customer loyalty, and/or management of commercial benefits.
La borne10d'encaissement automatique comprend une unité1de traitement connectée à une pluralité de périphériques de caisse ou, plus généralement, à des dispositifs d'entrée et/ou de sortie d'informations utilisés lors d'une procédure d'encaissement. L'unité1de traitement est, dans un mode de réalisation, un micro-ordinateur, un serveur ou, de façon générale, des moyens de calcul disposés à l'intérieur d'un meuble2de la borne10d'encaissement automatique.The automatic collection terminal 10 comprises a processing unit 1 connected to a plurality of cash register peripherals or, more generally, to information input and/or output devices used during a collection procedure. The processing unit 1 is, in one embodiment, a microcomputer, a server or, in general, calculation means arranged inside a piece of furniture 2 of the terminal 10 for automatic payment.
Les dispositifs d'entrée et/ou de sortie équipant la borne10d'encaissement automatique comprennent, par exemple, un écran3éventuellement tactile, un clavier, un dispositif monétique tel qu'un terminal4de paiement électronique et/ou un monnayeur automatique, une imprimante de tickets de caisse, un haut-parleur, des sémaphores, une ou plusieurs balances5-7. Dans un mode de réalisation, la borne10d'encaissement automatique comprend une balance6latérale intégrée à un support8latéral de panier et/ou une balance5centrale intégrée à la face supérieure du meuble2. Dans un autre mode de réalisation, la borne10d'encaissement automatique comprend, en outre, une balance7additionnelle permettant d'obtenir un prix pour une ou plusieurs catégories d'articles tel que les fruits et légumes.The input and/or output devices fitted to the automatic payment terminal 10 include, for example, a possibly touch-sensitive screen 3 , a keyboard, a payment device such as an electronic payment terminal 4 and/or an automatic coin mechanism , a receipt printer, a loudspeaker, semaphores, one or more scales 5 - 7 . In one embodiment, the automatic payment terminal 10 comprises a side scale 6 integrated into a side basket support 8 and/or a central scale 5 integrated into the upper face of the cabinet 2 . In another embodiment, the automatic payment terminal 10 also comprises an additional scale 7 making it possible to obtain a price for one or more categories of articles such as fruits and vegetables.
La borne10d'encaissement automatique comprend, par ailleurs, un ou plusieurs capteurs11-14d'image. Ces capteurs11-14d'image sont, par exemple, des caméras 2D ou des caméras 3D telles que des caméras à temps de vol, des caméras stéréoscopiques, ou des caméras à lumière structurée. Avantageusement, des caméras 3D fournissent une estimation de forme et/ou le volume de l'objet capté, sans recourir à un traitement multi-vues.The automatic payment terminal 10 also comprises one or more image sensors 11 - 14 . These image sensors 11 - 14 are, for example, 2D cameras or 3D cameras such as time-of-flight cameras, stereoscopic cameras, or structured light cameras. Advantageously, 3D cameras provide an estimation of the shape and/or the volume of the captured object, without resorting to multi-view processing.
En reportant à la
Dans un mode de réalisation, au moins un des capteurs11-14d'image a un axe de prise de vue sensiblement vertical. Autrement dit, au moins un des capteurs11-14d'image est disposé au-dessus de l'espace9de présentation. Ce capteur11-12d'image est, par exemple, fixé au bord inférieur de l'écran3surplombant l'espace9de présentation de sorte qu'il soit suffisamment discret et ne capte pas d'image du visage du client.In one embodiment, at least one of the image sensors 11 - 14 has a substantially vertical shooting axis. In other words, at least one of the image sensors 11 - 14 is arranged above the presentation space 9 . This image sensor 11 - 12 is, for example, fixed to the lower edge of the screen 3 overhanging the presentation space 9 so that it is sufficiently discreet and does not pick up an image of the customer's face.
Dans un autre mode de réalisation, la borne10d'encaissement automatique comprend des capteurs13-14d'image de part et d'autre de l'espace9de présentation. Ces capteurs13-14d'image sont, par exemple, fixés à des rebords de la face supérieure du meuble2. Les capteurs13-14d'images sont, avantageusement, disposés dans des rebords latéraux de la face supérieure du meuble2de façon à ne pas couvrir l'espace face à la borne10d'encaissement automatique où est attendu le client. Les capteurs11-14d'image sont, dans un mode de réalisation, disposés de sorte que leurs axes optiques (ou axes de prise de vue) soient sensiblement concourants au centre de l'espace9de présentation.In another embodiment, the automatic payment terminal 10 comprises image sensors 13 - 14 on either side of the presentation space 9 . These image sensors 13 - 14 are, for example, fixed to edges of the upper face of the cabinet 2 . The image sensors 13 - 14 are advantageously arranged in the side edges of the upper face of the cabinet 2 so as not to cover the space facing the automatic payment terminal 10 where the customer is expected. The image sensors 11 - 14 are, in one embodiment, arranged so that their optical axes (or shooting axes) are substantially concurrent at the center of the presentation space 9 .
Par exemple, les capteurs11-14d'image sont agencés de sorte que l'intersection de leurs champs de vision21-24couvre un espace9de présentation ou une enveloppe visuelle de 40, 50 ou 60 cm3 de visibilité en 3D au-dessus du meuble2et une surface de 80, 90 ou 100 cm2 de visibilité en 2D sur la face supérieure du meuble2.For example, the image sensors 11 - 14 are arranged so that the intersection of their fields of vision 21 - 24 covers a space 9 of presentation or a visual envelope of 40, 50 or 60 cm3 of visibility in 3D above. top of the piece of furniture 2 and a surface of 80, 90 or 100 cm2 of 2D visibility on the upper face of the piece of furniture 2 .
Chacun des capteurs11-14d'image est apte à acquérir une pluralité d'images successives, notamment une séquence d'images vidéo ou un flux vidéo, d'au moins une partie de l'espace9de présentation. Les images acquises sont, dans un mode de réalisation, des images 3D fournies par des capteurs11-14d'image 3D ou obtenues à partir d'images 2D multi-vues acquises simultanément par une combinaison des capteurs11-14d'image. Afin de maîtriser la luminosité dans l'espace9de présentation et éviter les ombres, un ou plusieurs dispositifs15-18d'éclairage fixés à des rebords de la face supérieure du meuble2et/ou au bord inférieur de l'écran3peuvent être envisagés. Un éclairage sensiblement uniforme facilite la segmentation des images acquises et, par conséquent, l'identification des objets présents dans l'espace9de présentation.Each of the image sensors 11 - 14 is capable of acquiring a plurality of successive images, in particular a sequence of video images or a video stream, of at least part of the presentation space 9 . The images acquired are, in one embodiment, 3D images provided by 3D image sensors 11 - 14 or obtained from multi-view 2D images acquired simultaneously by a combination of image sensors 11 - 14 . In order to control the brightness in the presentation space 9 and avoid shadows, one or more lighting devices 15 - 18 fixed to the edges of the upper face of the cabinet 2 and/or to the lower edge of the screen 3 can be considered. A substantially uniform lighting facilitates the segmentation of the acquired images and, consequently, the identification of the objects present in the space 9 of presentation.
L'unité1de traitement est apte à détecter (isoler ou extraire) dans une pluralité d'images successives au moins partiellement acquises par un capteur11-14d'image un objet30-31en mouvement dans l'espace9de présentation. La segmentation du contenu des images acquises par les capteurs11-14d'image statiques en un arrière-plan et un premier plan comprenant un objet30-31en mouvement peut être obtenue par toute méthode connue de l'état de l'art permettant la détection d'objets mobiles. Ces méthodes comprennent, par exemples, les méthodes de soustraction de fond, les méthodes de recherche de contours en mouvement, ou des méthodes basées sur l'apprentissage automatique profond (dit, en anglais, « deep learning») telles que les réseaux de neurones convolutifs (plus connus sous l'acronyme CNN de l'anglais « Convolutional Neural Networks »), les réseaux de neurones convolutifs basés sur des régions (dit, selon une terminologie anglo-saxonne, R-CNN pour « Region-based Convolutional Neural Networks »), des réseaux de neurones convolutifs basés des régions rapides (dit, selon une terminologie anglo-saxonne, Fast R-CNN pour « Fast Region-based Convolutional Neural Networks »), des réseaux de neurones convolutifs basés des régions plus rapides (Faster RCNN), ou tout autre modèle équivalent. Ces images successives peuvent être des images 2D acquises par l'un quelconque des capteurs11-14d'image ou des images 3D fournies par un capteur11-14d'image 3D ou obtenues par combinaison d'images 2D multi-vues acquises simultanément. Afin de faciliter la détection d'un objet30-31en mouvement dans l'espace9de présentation, les capteurs11-14d'image sont, dans un mode de réalisation, orientés de façon à avoir un arrière-plan sensiblement statique. La face supérieure du meuble2de la borne10d'encaissement automatique est, de préférence, de couleur uniforme. Un article32-33déjà présent dans l'espace9de présentation est intégré à l'arrière-plan de l'objet30-31détecté en mouvement.The processing unit 1 is capable of detecting (isolating or extracting) from a plurality of successive images at least partially acquired by an image sensor 11 - 14 an object 30 - 31 moving in the presentation space 9 . The segmentation of the content of the images acquired by the static image sensors 11 - 14 into a background and a foreground comprising a moving object 30 - 31 can be obtained by any known method of the state of the art allowing detection of moving objects. These methods include, for example, background subtraction methods, moving edge search methods, or deep machine learning-based methods such as neural networks convolutional (better known by the acronym CNN for “Convolutional Neural Networks”), convolutional neural networks based on regions (known as, according to English terminology, R-CNN for “Region-based Convolutional Neural Networks “), convolutional neural networks based on fast regions (known as, according to Anglo-Saxon terminology, Fast R-CNN for “Fast Region-based Convolutional Neural Networks”), convolutional neural networks based on faster regions (Faster RCNN), or any other equivalent model. These successive images can be 2D images acquired by any one of the image sensors 11 - 14 or 3D images provided by a 3D image sensor 11 - 14 or obtained by combining multi-view 2D images acquired simultaneously . In order to facilitate the detection of a moving object 30 - 31 in the presentation space 9 , the image sensors 11 - 14 are, in one embodiment, oriented so as to have a substantially static background. The upper face of the cabinet 2 of the automatic payment terminal 10 is preferably of uniform color. An article 32-33 already present in the presentation space 9 is integrated into the background of the object 30-31 detected in motion.
L'unité1de traitement identifie, dans l'objet30-31en mouvement détecté, une main30(ou, plus généralement, un moyen de préhension) et un article31proposé à la vente par le point de vente. La main30détectée peut être une main droite, une main gauche, ou les deux mains. L'article31identifié dans l'objet30-31en mouvement détecté est en préhension par la main30pendant au moins une partie du mouvement de cet objet30-31dans l'espace9de présentation. La préhension de l'article30désigne, ici, la prise en main de celui-ci, pour le présenter à la borne10d'encaissement automatique. Une fenêtre d'observation glissante d'une durée prédéfinie ou comprenant un nombre prédéfini d'images successives acquises par au moins un des capteurs11-14d'image permet de suivre l'objet30-31en mouvement détecté. Lorsque seule la main30ou seul un article31est détecté en mouvement dans cette fenêtre d'observation, cet objet30-31en mouvement n'est pas pris en considération. La condition selon laquelle l'article31est en préhension par la main30pendant au moins une partie du mouvement de l'objet30-31détecté dans une pluralité d'images successives permet de filtrer (c.à.d. ne pas prendre en considération) les séquences d'images où seule la main30ou seul un article31est détecté en mouvement (par exemple, le mouvement de la main30depuis l'espace de présentation vers le panier36pour récupérer un autre article34-35à enregistrer ou le mouvement d'un article32-33déjà enregistré).The processing unit 1 identifies, in the object 30 - 31 in motion detected, a hand 30 (or, more generally, a gripping means) and an article 31 offered for sale by the point of sale. The detected hand 30 can be a right hand, a left hand, or both hands. The article 31 identified in the detected moving object 30 - 31 is gripped by the hand 30 during at least part of the movement of this object 30 - 31 in the presentation space 9 . The gripping of the article 30 designates, here, the grip of the latter, to present it to the terminal 10 of automatic collection. A sliding observation window of a predefined duration or comprising a predefined number of successive images acquired by at least one of the image sensors 11 - 14 makes it possible to follow the object 30 - 31 in motion detected. When only the hand 30 or only an article 31 is detected moving in this observation window, this moving object 30 - 31 is not taken into consideration. The condition according to which the article 31 is in prehension by the hand 30 during at least part of the movement of the object 30 - 31 detected in a plurality of successive images makes it possible to filter (i.e. not to take considered) image sequences where only the hand 30 or only an article 31 is detected in motion (for example, the movement of the hand 30 from the presentation space to the basket 36 to retrieve another article 34 - 35 to be recorded or the movement of an article 32 - 33 already recorded).
Au moins un attribut de l'article31identifié est déterminé par l'unité1de traitement. Cet attribut est tout paramètre, descripteur, ou caractéristique (dit, en anglais, « feature ») de l'article31identifié. Cet attribut peut, en effet, être un texte (notamment, des mots clés distinctifs de l'article31), un dessin, un symbole, un logo, un code-barres (à une dimension ou à deux dimensions tel qu'un code matriciel ou un code à réponse rapide plus connu sous le nom anglais QR code), une couleur et/ou une pluralité de couleurs, une dimension, une forme, et/ou un volume. Des attributs sont, dans un mode de réalisation, déterminés au moyen d'une reconnaissance optique de caractères visibles sur l'article31(plus connue sous les terminologies anglo-saxonnes "Optical Character Recognition" ou OCR). Une analyse sémantique permet, avantageusement, de corriger ou de compléter une donnée manquante dans un attribut textuel (par exemple, corriger "fromge" en "fromage"), en utilisant par exemple le modèle des N-grammes. L'utilisation d'une pluralité d'attributs permet, également, d'exploiter des données incomplètes, tel qu'un dessin, un texte, ou un code-barres déterminés que partiellement à partir des images acquises.At least one attribute of the identified article 31 is determined by the processing unit 1 . This attribute is any parameter, descriptor, or characteristic of the article 31 identified. This attribute can, in fact, be a text (in particular, distinctive key words of Article 31 ), a drawing, a symbol, a logo, a barcode (one-dimensional or two-dimensional such as a code matrix or a quick response code better known as the English name QR code), a color and/or a plurality of colors, a dimension, a shape, and/or a volume. Attributes are, in one embodiment, determined by means of optical character recognition visible on the article 31 (better known by the Anglo-Saxon terminologies “Optical Character Recognition” or OCR). A semantic analysis advantageously makes it possible to correct or complete missing data in a textual attribute (for example, to correct "fromge" to "fromage"), by using for example the N-gram model. The use of a plurality of attributes also makes it possible to exploit incomplete data, such as a drawing, a text, or a barcode determined only partially from the acquired images.
Dans un mode de réalisation, une pluralité d'attributs comprenant au moins un code-barres est associée aux articles les plus convoités et/ou les plus chers dans le point de vente. Ces attributs peuvent être déterminés à partir de l'une quelconque des images de la pluralité d'images successives ayant permis la détection de l'objet30-31en mouvement, lorsque l'article31est en préhension par la main30ou lorsqu'il est posé dans l'espace9de présentation.In one embodiment, a plurality of attributes including at least one barcode are associated with the most coveted and/or most expensive items at the point of sale. These attributes can be determined from any one of the images of the plurality of successive images having allowed the detection of the moving object 30 - 31 , when the article 31 is gripped by the hand 30 or when it is placed in the space 9 of presentation.
De préférence, une pluralité d'attributs de l'article31sont déterminés de sorte à former un vecteur d'attributs. Le ou les attributs déterminés est/sont fourni(s) en entrée d'un module de reconnaissance de l'unité1de traitement apte à estimer, avec un coefficient, un score ou un indice de confiance, l'article31sur la base d'au moins cet ou ces attributs. Le module de reconnaissance (des modèles de type CNN, R-CNN, Fast R-CNN, Faster R-CNN, ou équivalents) est, dans un mode de réalisation, basé sur un apprentissage automatique entraîné avec des images précédemment capturées de l'article31. Plus le nombre d'attributs est élevé, plus important est l'indice de confiance. Dans un mode de réalisation, le poids de l'article31déterminé par une variation du poids mesuré par la balance6latérale et/ou par la balance5centrale peut être utilisé comme un attribut additionnel de vérification en plus des attributs visuels déterminés à partir des images acquises. La reconnaissance de l'article31sur la base de plus d'un attribut (par exemple, un code-barres et un texte ou un dessin) permet avantageusement de lutter contre la démarque inconnue et les erreurs involontaires.Preferably, a plurality of attributes of the article 31 are determined so as to form an attribute vector. The determined attribute or attributes is/are supplied as input to a recognition module of the processing unit 1 capable of estimating, with a coefficient, a score or a confidence index, the article 31 on the basis of at least this or these attributes. The recognition module (CNN, R-CNN, Fast R-CNN, Faster R-CNN, or equivalent models) is, in one embodiment, based on machine learning trained with previously captured images of the section 31 . The higher the number of attributes, the higher the confidence index. In one embodiment, the weight of the article 31 determined by a variation of the weight measured by the side scale 6 and/or by the central scale 5 can be used as an additional verification attribute in addition to the visual attributes determined from acquired images. Recognizing Section 31 based on more than one attribute (eg, barcode and text or design) advantageously helps to combat shrinkage and unintentional errors.
Lorsqu'un attribut est suffisamment discriminant (tel que le code-barres), un seul attribut peut être utilisé par l'unité1de traitement pour reconnaitre l'article31. Lorsque le code-barres figure parmi les attributs déterminés, l'unité1de traitement est, dans un mode de réalisation, apte à détecter un contour sur l'article31autour de ce code-barres. Cette fonction de détection de contour permet, avantageusement, de vérifier si ce code-barres est imprimé directement sur l'article31ou sur une étiquette collée/apposée sur celui-ci (les bords de cette étiquette forment un contour autour du code-barres déterminé). Une manipulation frauduleuse des codes-barres peut ainsi être détectée.When an attribute is sufficiently discriminating (such as the barcode), a single attribute can be used by the processing unit 1 to recognize the article 31 . When the barcode is among the determined attributes, the processing unit 1 is, in one embodiment, capable of detecting an outline on the article 31 around this barcode. This contour detection function advantageously makes it possible to check whether this barcode is printed directly on the article 31 or on a label glued/affixed thereto (the edges of this label form a contour around the barcode determined). Fraudulent manipulation of the barcodes can thus be detected.
Par ailleurs, au moins un attribut de la posture de préhension de l'article31par la main30est déterminé par l'unité1de traitement. Cet attribut est, par exemple, le nombre de doigts et/ou les surfaces de la main qui participent à la préhension de l'article31pour le présenter à la borne10d'encaissement automatique et/ou la forme de la main30(main fermée ou main ouverte). Différentes postures de préhension peuvent, en effet, être adoptées pour présenter l'article31telles que des postures bidigitales, des postures tridigitales, des postures quadridigitales, des postures faisant intervenir les cinq doigts, ou des postures faisant intervenir la paume de la main. La posture de préhension de l'article31adoptée par le client est classée par l'unité1de traitement dans une pluralité de classes prédéfinies sur la base d'au moins un attribut de cette posture.Furthermore, at least one attribute of the gripping posture of the article 31 by the hand 30 is determined by the processing unit 1 . This attribute is, for example, the number of fingers and/or the surfaces of the hand which participate in gripping the article 31 to present it to the automatic payment terminal 10 and/or the shape of the hand 30 ( closed hand or open hand). Different gripping postures can, in fact, be adopted to present the article 31 such as bidigital postures, tridigital postures, quadridigital postures, postures involving the five fingers, or postures involving the palm of the hand. The gripping posture of the article 31 adopted by the customer is classified by the processing unit 1 into a plurality of predefined classes on the basis of at least one attribute of this posture.
Dans un mode de réalisation, au moins deux classes de postures de préhension sont définies, à savoir une première classe dans laquelle seuls les doigts participent à la préhension de l'article31(c.à.d. la paume ne participe pas à la préhension), et une deuxième classe dans laquelle la paume de la main30participe à la préhension de l'article31. Ainsi, en se basant sur les surfaces de la main30participant à la prise de l'article31, la posture de préhension est classée dans la première classe lorsque seuls les doigts sont en contact avec l'article, et dans la deuxième classe lorsque la paume de la main30est en contact avec l'article31.In one embodiment, at least two classes of gripping postures are defined, namely a first class in which only the fingers participate in gripping the article 31 (i.e. the palm does not participate in the gripping). gripping), and a second class in which the palm of the hand 30 participates in gripping the article 31 . Thus, based on the surfaces of the hand 30 involved in gripping the article 31 , the gripping posture is classified in the first class when only the fingers are in contact with the article, and in the second class when the palm of the hand 30 is in contact with the article 31 .
Lorsque la forme, la taille et/ou le poids de l'article31le permettent, la posture de préhension de cet article31attendue est une posture de précision où seuls les doigts sont spontanément sollicités pour le présenter à la borne10d'encaissement automatique (c.à.d. sans que la paume de la main30ne participe à cette préhension). Il est, en effet, considéré que la posture de préhension de l'article31dépend de la motivation du client, autrement dit de son but de la posture de préhension adoptée. Une posture de préhension faisant intervenir la paume de la main30est interprétée par l'unité1de traitement comme étant susceptible de vouloir dissimuler une partie de l'article31comprenant un attribut pertinent pour la reconnaissance de cet article31(tel que le code-barres, un texte ou un dessin distinctif de cet article31). Un modèle d'apprentissage automatique (de type CNN, R-CNN, Fast R-CNN, Faster R-CNN, ou équivalents) régulièrement entraîné avec des postures de préhension adoptées lors des situations de vol de l'article31et d'autres adoptés lors des enregistrements corrects de cet article31permet, avantageusement, de convenablement classer et, donc, interpréter la posture de préhension qui lui est soumise.When the shape, the size and/or the weight of the article 31 allow it, the gripping posture of this expected article 31 is a precision posture where only the fingers are spontaneously solicited to present it to the terminal 10 of collection automatic (ie without the palm of the hand 30 participating in this gripping). It is, in fact, considered that the gripping posture of article 31 depends on the client's motivation, in other words on his goal of the gripping posture adopted. A gripping posture involving the palm of the hand 30 is interpreted by the processing unit 1 as being likely to want to conceal part of the article 31 comprising an attribute relevant for the recognition of this article 31 (such as the code -bars, a text or a distinctive design of this article 31 ). A machine learning model (like CNN, R-CNN, Fast R-CNN, Faster R-CNN, or equivalents) regularly trained with grip postures adopted during Article 31 and other flight situations adopted during the correct recordings of this article 31 makes it possible, advantageously, to suitably classify and, therefore, interpret the gripping posture which is submitted to it.
La forme (sphérique, cubique, ou cylindrique par exemple), les dimensions et/ou le poids de l'article31sont utilisés (ou pris en considération) par l'unité1de traitement dans la classification de la posture de préhension. Des attributs de l'article31peuvent, dans certains modes de réalisation, influencer la classification (ou l’interprétation) d'une posture de préhension comme étant naturelle/spontanée ou intentionnelle (pour cacher un ou plusieurs attributs pertinents de l'article31).The shape (spherical, cubic, or cylindrical for example), the dimensions and/or the weight of the article 31 are used (or taken into consideration) by the processing unit 1 in the classification of the grip posture. Section 31 attributes may, in some embodiments, influence the classification (or interpretation) of a gripping posture as natural/spontaneous or intentional (to hide one or more relevant Section 31 attributes ).
Dans un autre mode de réalisation, au moins un attribut du mouvement de l'article31lorsqu'il est en préhension dans l'espace9de présentation est déterminé par l'unité1de traitement. Ces attributs comprennent, par exemple, la trajectoire du mouvement, la vitesse du mouvement, et/ou un mouvement de rotation (même partielle) de l'article31. Ces attributs visent à permettre la classification ou, plus généralement, une interprétation du mouvement suivi par l'article31lors de sa présentation à la borne10d'encaissement automatique dans une pluralité de classes (ou de catégories) prédéfinies. Le mouvement de l'article31est, par exemple, classé
- dans une première classe lorsque sa vitesse (notamment, la vitesse moyenne) est supérieure à une vitesse seuil prédéfinie, cette première classe de mouvements ne facilitant pas la reconnaissance de l'article31ou étant considérés/interprétés comme des mouvements douteux (par exemple, un retrait rapide d'un article32-33de l'espace de présentation avant la clôture de la procédure d'encaissement);
- dans une deuxième classe lorsque la trajectoire du mouvement de l'article31est sensiblement à la limite de l'espace9de présentation (notamment, lorsque l'article31est partiellement en dehors de l'espace de présentation ou, de manière équivalente, lorsqu’une partie de cet article31n’est comprise dans aucun des champs de vision21-24), cette deuxième classe de mouvements ne favorisant pas la détermination d'attributs de l'article31et, par conséquent, aussi sa reconnaissance;
- dans une troisième classe lorsqu'il comprend un ou plusieurs mouvements de rotation de l'article31, cette classe de mouvements désignant ou, plus généralement, interprétés comme étant des manipulations du client rencontrant des difficultés à présenter/orienter convenablement l'article31pour l'enregistrer.In another embodiment, at least one attribute of the movement of the article 31 when it is gripped in the presentation space 9 is determined by the processing unit 1 . These attributes include, for example, the trajectory of the movement, the speed of the movement, and/or a rotational movement (even partial) of the article 31 . These attributes aim to allow the classification or, more generally, an interpretation of the movement followed by the article 31 during its presentation at the automatic payment terminal 10 in a plurality of predefined classes (or categories). The movement of article 31 is, for example, classified
- in a first class when its speed (in particular, the average speed) is greater than a predefined threshold speed, this first class of movements not facilitating the recognition of article 31 or being considered/interpreted as doubtful movements (for example , rapid removal of an item 32 - 33 from the presentation space before the collection procedure is closed);
- in a second class when the trajectory of the movement of the article 31 is substantially at the limit of the presentation space 9 (in particular, when the article 31 is partially outside the presentation space or, equivalently , when a part of this article 31 is not included in any of the fields of vision 21 - 24 ), this second class of movements not favoring the determination of attributes of the article 31 and, consequently, also its recognition ;
- in a third class when it includes one or more rotational movements of the article 31 , this class of movements designating or, more generally, interpreted as being manipulations of the customer encountering difficulties in presenting / orienting the article 31 properly to save it.
Une classification ou une reconnaissance/identification du mouvement de l'article31peut être obtenue par une mesure de similitude entre la signature de ce mouvement et des signatures prédéfinies par un modèle d'apprentissage automatique ou équivalents (des réseaux de neurones multicouches ou des modèles de Markov Cachés par exemple) entrainés avec des scénarios prédéfinis (notamment, des scénarios précédemment capturés de vol et/ou de difficulté à enregistrer l'article31).A classification or a recognition/identification of the movement of Article 31 can be obtained by a measure of similarity between the signature of this movement and signatures predefined by a machine learning model or equivalent (multilayer neural networks or models of Hidden Markovs for example) trained with predefined scenarios (in particular, previously captured scenarios of theft and/or difficulty in recording Article 31 ).
On entend ici par classification d'une posture de préhension de l’article31ou d’un mouvement de l’article31toutes opérations permettant d’identifier, de reconnaitre ou d’interpréter une posture de préhension ou un mouvement de l’article31sur la base d’attributs et de connaissances préétablies (par exemple, des règles, des fonctions, ou des modèles).Here, classification of a gripping posture of Article 31 or of a movement of Article 31 is understood to mean all operations making it possible to identify, recognize or interpret a gripping posture or a movement of the Article 31 based on attributes and pre-established knowledge (eg, rules, functions, or patterns).
Lorsque l'indice de confiance avec lequel l'article31est reconnu par l'unité1de traitement est inférieur à une valeur seuil prédéfinie (par exemple, 96%, 97%, 98% ou 99%), l'unité1de traitement est configurée pour générer un message associé à la classe de la posture de préhension de cet article31et/ou à la classe du mouvement de cet article31. Ce message (sonore et/ou visuelle) comprend, par exemple,
- une indication relative à une présentation de l'article31permettant sa reconnaissance avec un indice de confiance supérieur lorsque la classe de la posture de préhension est la classe dans laquelle la paume participe à la préhension de l'article31et/ou la classe du mouvement de l'article31est la classe dans laquelle le mouvement de l'article31comprend un mouvement de rotation, et/ou la classe du mouvement de l'article31est la classe dans laquelle la trajectoire du mouvement de l'article31est sensiblement à la limite de l'espace9de présentation. Cette indication est émise à destination du client;
- une alerte lorsque la classe de la posture de préhension est la classe dans laquelle la paume participe à la préhension de l'article31, et/ou la classe du mouvement de l'article31est la classe dans laquelle la vitesse du mouvement de l'article31est supérieure à la vitesse seuil prédéfinie. Cette alerte est, dans un mode de réalisation, émise à destination d'un personnel de caisse requérant son intervention ou son attention.When the confidence index with which the article 31 is recognized by the processing unit 1 is lower than a predefined threshold value (for example, 96%, 97%, 98% or 99%), the processing unit 1 processing is configured to generate a message associated with the class of the gripping posture of this article 31 and/or the class of the movement of this article 31 . This message (audio and/or visual) includes, for example,
- an indication relating to a presentation of article 31 allowing its recognition with a higher index of confidence when the class of the posture of prehension is the class in which the palm takes part in the prehension of article 31 and/or the class of the movement of the article 31 is the class in which the movement of the article 31 includes a rotational movement, and/or the class of the movement of the article 31 is the class in which the trajectory of the movement of the article 31 is substantially at the limit of the space 9 of presentation. This indication is sent to the client;
- an alert when the class of the gripping posture is the class in which the palm participates in the gripping of the article 31 , and/or the class of the movement of the article 31 is the class in which the speed of the movement of section 31 is greater than the predefined threshold speed. This alert is, in one embodiment, issued to a cashier staff requiring their intervention or their attention.
Lorsque l'indice de confiance avec lequel l'article31est reconnu est supérieur ou égal à la valeur seuil prédéfinie, l'unité1de traitement met à jour la liste des articles enregistrés. Cette mise à jour comprend l'ajout de l'article31à la liste lorsqu'il est déposé dans l'espace9de présentation ou le retrait de cet article31de la liste lorsqu'il est retiré de l'espace9de présentation.When the confidence index with which the article 31 is recognized is greater than or equal to the predefined threshold value, the processing unit 1 updates the list of recorded articles. This update includes adding item 31 to the list when it is filed in the presentation space 9 or removing this item 31 from the list when it is removed from the presentation space 9 .
Dans un mode de réalisation, un client pose son panier36sur le support8latéral et présente successivement ses articles31-35à la borne10d'encaissement automatique en les déposant sur la face supérieure du meuble2. Cette face supérieure du meuble2est comprise dans l'espace9de présentation. L'unité1de traitement se charge de la segmentation des images acquises par les capteurs11-14d'image pour y détecter un objet30-31en mouvement. Un article31et une main30sont identifiés dans cet objet30-31par l'unité1de traitement, l'article31étant en préhension par la main30pendant au moins une partie du mouvement de l'objet30-31. Des caractéristiques (c.à.d. des attributs) de l'article31, de la posture de préhension de l'article31par la main30, et/ou du mouvement de l'article31lorsqu'il est en préhension par la main30sont, respectivement, fournies en entrée de modules de classification correspondants. Lorsque l'article est reconnu avec un indice de confiance inférieur à une valeur seuil prédéfini, un message associé à la classe déterminée de la posture de préhension et/ou du mouvement de l'article31est généré par l'unité1de traitement à destination du client et/ou d'un personnel de caisse. Lorsque l'ensemble des articles31-35du client sont reconnus avec un indice de confiance supérieur à la valeur seuil, le client termine la procédure d'encaissement en réglant ses achats et ensachant ses articles31-35. Un ticket de caisse, ou plus généralement une preuve matérielle ou dématérialisée de son achat lui est subséquemment émise.In one embodiment, a customer places his basket 36 on the side support 8 and successively presents his items 31-35 to the automatic payment terminal 10 by depositing them on the upper face of the cabinet 2 . This upper face of the cabinet 2 is included in the space 9 of presentation. The processing unit 1 takes care of the segmentation of the images acquired by the image sensors 11 - 14 in order to detect therein an object 30 - 31 in motion. An article 31 and a hand 30 are identified in this object 30-31 by the processing unit 1 , the article 31 being gripped by the hand 30 during at least part of the movement of the object 30-31 . Characteristics (i.e. attributes) of the article 31 , of the gripping posture of the article 31 by the hand 30 , and/or of the movement of the article 31 when it is gripped by the hand 30 are, respectively, supplied as input to corresponding classification modules. When the article is recognized with a confidence index lower than a predefined threshold value, a message associated with the determined class of the gripping posture and/or of the movement of the article 31 is generated by the processing unit 1 at intended for the customer and/or a cashier. When all of the customer's articles 31 - 35 are recognized with a confidence index greater than the threshold value, the customer completes the collection procedure by paying for his purchases and bagging his articles 31 - 35 . A receipt, or more generally a physical or dematerialized proof of his purchase is subsequently issued to him.
Dans un autre mode de réalisation, la borne10d'encaissement automatique opère en réseau avec d'autres nœuds d'un réseau d'entités. Ces entités peuvent être des bornes d'encaissement automatiques, des dispositifs d'assistance à l'achat intégrés à des paniers portatifs ou à des chariots libre-service à roulettes, des dispositifs de relevé ou d'information sur le prix, ou tout autre objet connecté. Ces entités interconnectées peuvent exister dans un même point de vente ou dans des points de vente distants. La borne10d'encaissement automatique met les ressources de calcul de son unité1de traitement, lorsqu'elles sont disponibles (périodes creuses ou d'inactivité de l'unité1de traitement), à disposition des autres entités. Il en résulte, avantageusement, une utilisation optimale des ressources de calcul de la borne10d'encaissement automatique. Un partage des ressources de calcul entre plusieurs bornes10d'encaissement automatique permet également d'améliorer leurs performances.In another embodiment, the automatic payment terminal 10 operates in a network with other nodes of a network of entities. These entities may be self-checkout kiosks, shopping assistance devices integrated into portable shopping carts or wheeled shopping carts, reading or price information devices, or any other connected object. These interconnected entities can exist in the same point of sale or in distant points of sale. The automatic collection terminal 10 places the computing resources of its processing unit 1 , when they are available (off-peak periods or periods of inactivity of the processing unit 1 ), available to the other entities. This results, advantageously, in optimal use of the calculation resources of the terminal 10 for automatic collection. A sharing of computing resources between several terminals 10 of automatic collection also makes it possible to improve their performance.
En outre, la borne10d'encaissement automatique contribue à l'alimentation, de préférence après validation par un opérateur, d'une base de données d'images 2D et/ou 3D de l'article31, ou de postures de préhension adoptées pour présenter cet article31, et/ou de mouvements suivis par cet article31lors de sa présentation afin d'améliorer, respectivement, les modèles de classification de cet article31, les modèles de classification des postures de préhension de cet article31, et/ou des modèles de classification des mouvements suivis par cet article31lors de sa présentation. Il en résulte, avantageusement, des modèles de classification (d’identification ou de reconnaissance) évolutifs. Le client participe ainsi à la production de données à forte valeur ajoutée pour le point de vente.In addition, the automatic payment terminal 10 contributes to the supply, preferably after validation by an operator, of a database of 2D and/or 3D images of the article 31 , or of gripping postures adopted to present this article 31 , and/or movements followed by this article 31 during its presentation in order to improve, respectively, the classification models of this article 31 , the classification models of the gripping postures of this article 31 , and /or movement classification models followed by this article 31 when it is presented. This results, advantageously, in evolutionary classification (identification or recognition) models. The customer thus participates in the production of high value-added data for the point of sale.
Avantageusement, les modes de réalisation décrits ci-dessus permettent une interprétation visuelle des mouvements de la main du client lors de sa présentation des articles à la borne10d'encaissement automatique afin de l'assister dans la procédure d'encaissement, accélérer son passage en caisse, et réduire la démarque inconnue et les erreurs involontaires.Advantageously, the embodiments described above allow a visual interpretation of the movements of the customer's hand during his presentation of the items at the automatic collection terminal 10 in order to assist him in the collection procedure, to speed up his passage at checkout, and reduce shrinkage and unintentional errors.
Bien que la borne d'encaissement automatique soit décrite ci-dessus relativement à des modes de réalisation et à des variantes, l’homme du métier comprendra que ces modes de réalisation et variantes ne sont pas limitatifs et peuvent être combinés entre eux et/ou avec tout autre mode de réalisation équivalent.Although the automatic payment terminal is described above with respect to embodiments and variants, those skilled in the art will understand that these embodiments and variants are not limiting and can be combined with each other and/or with any other equivalent embodiment.
Claims (10)
- un premier capteur (11-14) d'image ayant un premier champ (21-24) de vision couvrant au moins partiellement un espace (9) de présentation destiné à recevoir un article (31) à enregistrer par la borne (10) d’encaissement automatique;
- une unité (1) de traitement apte à
- détecter dans une pluralité d'images successives au moins partiellement acquises par le premier capteur (21-24) d'image un objet (30-31) en mouvement dans l'espace (9) de présentation ;
- identifier, dans ledit objet (30-31), une main (30) et un article (31), l'article (31) étant en préhension par la main (30) pendant au moins une partie du mouvement de l'objet (30-31);
- déterminer un premier attribut de l'article (31) identifié;
- reconnaitre avec un premier indice de confiance ledit article (31) sur la base d'au moins ledit premier attribut;
- déterminer un deuxième attribut de la posture de préhension de l'article (31) et classer cette posture de préhension dans une première pluralité de classes prédéfinies sur la base d'au moins ledit deuxième attribut et/ou déterminer un troisième attribut du mouvement de l'article (31) lorsque cet article (31) est en préhension par la main (30) et classer ce mouvement dans une deuxième pluralité de classes prédéfinies sur la base d'au moins ledit troisième attribut;
- générer, lorsque l'article (31) est reconnu avec un indice de confiance inférieur à une valeur seuil prédéfinie, un message associé à la classe de la posture de préhension et/ou à la classe du mouvement de l'article (31).Automatic payment terminal ( 10 ) comprising
- a first image sensor ( 11 - 14 ) having a first field ( 21 - 24 ) of vision at least partially covering a presentation space ( 9 ) intended to receive an article ( 31 ) to be recorded by the terminal ( 10 ) automatic collection;
- a processing unit ( 1 ) capable of
- detecting in a plurality of successive images at least partially acquired by the first image sensor ( 21-24 ) an object ( 30-31 ) moving in the presentation space ( 9 ) ;
- identify, in said object ( 30 - 31 ), a hand ( 30 ) and an article ( 31 ), the article ( 31 ) being gripped by the hand ( 30 ) during at least part of the movement of the object ( 30 - 31 );
- determining a first attribute of the item ( 31 ) identified;
- recognizing with a first confidence index said article ( 31 ) on the basis of at least said first attribute;
- determining a second attribute of the gripping posture of the article ( 31 ) and classifying this gripping posture in a first plurality of predefined classes on the basis of at least said second attribute and/or determining a third attribute of the movement of the article ( 31 ) when this article ( 31 ) is gripped by the hand ( 30 ) and classifying this movement into a second plurality of predefined classes on the basis of at least said third attribute;
- generating, when the article ( 31 ) is recognized with a confidence index lower than a predefined threshold value, a message associated with the class of the grip posture and/or the class of the movement of the article ( 31 ) .
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2110825A FR3128048B1 (en) | 2021-10-13 | 2021-10-13 | Smart self-checkout terminal |
| EP22802249.7A EP4416712A1 (en) | 2021-10-13 | 2022-10-12 | Intelligent self-checkout terminal |
| PCT/IB2022/059776 WO2023062558A1 (en) | 2021-10-13 | 2022-10-12 | Intelligent self-checkout terminal |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2110825 | 2021-10-13 | ||
| FR2110825A FR3128048B1 (en) | 2021-10-13 | 2021-10-13 | Smart self-checkout terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3128048A1 true FR3128048A1 (en) | 2023-04-14 |
| FR3128048B1 FR3128048B1 (en) | 2024-09-20 |
Family
ID=78828030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2110825A Active FR3128048B1 (en) | 2021-10-13 | 2021-10-13 | Smart self-checkout terminal |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4416712A1 (en) |
| FR (1) | FR3128048B1 (en) |
| WO (1) | WO2023062558A1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060043189A1 (en) * | 2004-08-31 | 2006-03-02 | Sachin Agrawal | Method and apparatus for determining the vertices of a character in a two-dimensional barcode symbol |
| US20120206337A1 (en) * | 2000-10-03 | 2012-08-16 | Qualcomm Incorporated | Multiple camera control system |
| WO2019032307A1 (en) * | 2017-08-07 | 2019-02-14 | Standard Cognition, Corp. | Predicting inventory events using foreground/background processing |
| US20200020112A1 (en) * | 2018-07-16 | 2020-01-16 | Accel Robotics Corporation | Projected image item tracking system |
| WO2020222236A1 (en) * | 2019-04-30 | 2020-11-05 | Tracxone Ltd | System and methods for customer action verification in a shopping cart and point of sale |
| FR3104304A1 (en) * | 2019-12-05 | 2021-06-11 | Knap | Fraud detection system and method |
| US20210216785A1 (en) * | 2020-01-10 | 2021-07-15 | Everseen Limited | System and method for detecting scan and non-scan events in a self check out process |
-
2021
- 2021-10-13 FR FR2110825A patent/FR3128048B1/en active Active
-
2022
- 2022-10-12 WO PCT/IB2022/059776 patent/WO2023062558A1/en active Application Filing
- 2022-10-12 EP EP22802249.7A patent/EP4416712A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120206337A1 (en) * | 2000-10-03 | 2012-08-16 | Qualcomm Incorporated | Multiple camera control system |
| US20060043189A1 (en) * | 2004-08-31 | 2006-03-02 | Sachin Agrawal | Method and apparatus for determining the vertices of a character in a two-dimensional barcode symbol |
| WO2019032307A1 (en) * | 2017-08-07 | 2019-02-14 | Standard Cognition, Corp. | Predicting inventory events using foreground/background processing |
| US20200020112A1 (en) * | 2018-07-16 | 2020-01-16 | Accel Robotics Corporation | Projected image item tracking system |
| WO2020222236A1 (en) * | 2019-04-30 | 2020-11-05 | Tracxone Ltd | System and methods for customer action verification in a shopping cart and point of sale |
| FR3104304A1 (en) * | 2019-12-05 | 2021-06-11 | Knap | Fraud detection system and method |
| US20210216785A1 (en) * | 2020-01-10 | 2021-07-15 | Everseen Limited | System and method for detecting scan and non-scan events in a self check out process |
Non-Patent Citations (2)
| Title |
|---|
| CAI MINJIE ET AL: "An Ego-Vision System for Hand Grasp Analysis", IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS, IEEE, PISCATAWAY, NJ, USA, vol. 47, no. 4, 1 August 2017 (2017-08-01), pages 524 - 535, XP011656554, ISSN: 2168-2291, [retrieved on 20170713], DOI: 10.1109/THMS.2017.2681423 * |
| XIAOCHEN LIU ET AL: "Grab: Fast and Accurate Sensor Processing for Cashier-Free Shopping", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 4 January 2020 (2020-01-04), XP081572231 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023062558A1 (en) | 2023-04-20 |
| EP4416712A1 (en) | 2024-08-21 |
| FR3128048B1 (en) | 2024-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10242267B2 (en) | Systems and methods for false alarm reduction during event detection | |
| CN107767590A (en) | Automatic identification commercialization bar code electronic scale and Automatic identification method | |
| US7962365B2 (en) | Using detailed process information at a point of sale | |
| US9412050B2 (en) | Produce recognition method | |
| EP3746967B1 (en) | Methods and systems of purchasing assistance at a physical point of sale | |
| US12002245B2 (en) | Method and system for item identification | |
| US10068405B2 (en) | Coin recognition system and method | |
| US20220414899A1 (en) | Item location detection using homographies | |
| WO2020090117A1 (en) | Information processing device, information processing system, learning device, learned estimation model, and method for collecting data for learning | |
| US12131516B2 (en) | Reducing a search space for item identification using machine learning | |
| US20220414900A1 (en) | Item identification using multiple cameras | |
| JP7513161B2 (en) | Information processing system, customer identification device, information processing method and program | |
| US20220414375A1 (en) | Image cropping using depth information | |
| JP2024528528A (en) | Item Identification Using Digital Image Processing | |
| US10963896B2 (en) | Sales data processing apparatus, server and method for acquiring attribute information | |
| US20200019776A1 (en) | Currency verification and transaction validation system | |
| WO2023062558A1 (en) | Intelligent self-checkout terminal | |
| US20240169735A1 (en) | System and method for preventing shrinkage in a retail environment using real time camera feeds | |
| JP2020071852A (en) | Information processing device, information processing system, learning device, learned estimation model, and method for collecting data for learning | |
| Behjat et al. | Fast and low-cost mechatronic recognition system for Persian banknotes | |
| TW202113681A (en) | Device and method for forming at least one ground truth database for an object recognition system | |
| Hussein | Feature weighting based food recognition system [J] | |
| US20220270061A1 (en) | System and method for indicating payment method availability on a smart shopping bin | |
| US20240046765A1 (en) | Self-checkout device | |
| US20220414587A1 (en) | Determining dimensions of an item using point cloud information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20230414 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |