EP4115370A1 - Erstellung und aktualisierung einer produktdatenbank - Google Patents

Erstellung und aktualisierung einer produktdatenbank

Info

Publication number
EP4115370A1
EP4115370A1 EP21706897.2A EP21706897A EP4115370A1 EP 4115370 A1 EP4115370 A1 EP 4115370A1 EP 21706897 A EP21706897 A EP 21706897A EP 4115370 A1 EP4115370 A1 EP 4115370A1
Authority
EP
European Patent Office
Prior art keywords
goods
scanning
product information
neural network
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21706897.2A
Other languages
English (en)
French (fr)
Inventor
Philipp Kleinlein
Philip Koene
Frank Schaefer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP4115370A1 publication Critical patent/EP4115370A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the invention relates to the provision of a product database, in particular for recognizing a household item.
  • an inventory of existing consumables can be kept automatically. For example, a supply of vacuum cleaner bags can be replenished in good time without having to keep large stocks and without the risk of not having any bags available when needed.
  • a best-before date can be tracked for perishable goods, especially food. If the goods threaten to spoil, a notice on how to use the goods can be given in good time. Used or expired goods can be placed on a shopping list or ordered automatically.
  • refrigerators with a camera located therein are known from the prior art, which can detect the objects located in the refrigerator by means of a neural network.
  • the probability of correct object recognition depends heavily on the quality of the training of the neural network.
  • An object on which the present invention is based is to provide an improved technique for creating or maintaining a product database with goods that can be procured especially for a household.
  • the invention solves this task by means of the subjects of the independent claims. Subclaims reflect preferred embodiments.
  • an apparatus comprises an optical scanning device for providing optical scanning of goods, a cash register system with preferably a scanning device for providing product information about the goods, and a processing device for assigning product information to optical scanning.
  • the scanning device can for example comprise an optical camera.
  • labeled training data can be provided for an artificial neural network, the training data each comprising a scanning and product information.
  • the device is preferably set up to transmit the training data to an external point.
  • the device can be used, for example, in a supermarket or another retailer as part of a billing or payment process, which can also be called “checkout”.
  • all goods collected by a customer in the shop are recorded (e.g. scanned) by means of the cash register system, whereby the quantities and prices of the goods are also determined.
  • the information can in particular include a designation or a unique code such as an EAN code for the goods.
  • EAN code a unique code
  • a large number of optical scans can be created and clearly assigned to the goods in a normal operation of the cash register system.
  • information from several cash register systems can be evaluated. A relationship between an optically detectable property of the goods and the goods themselves can be determined automatically and with a high degree of reliability.
  • the processing device is set up to provide training data for an artificial neural network, the training data each comprising a scan and product information.
  • the training data are also called “labeled”, whereby the product information can represent the “label”, that is, an indication of the identity of the item presented.
  • the training data can be used for supervised learning of the neural network. Especially when trai- When data is collected from many of the devices described herein, a necessary number of labeled training data for learning to recognize a product can be generated efficiently and in a timely manner.
  • the scanning device can be attached, for example, in the area of a scanner, a scale or a manual detection station of the cash register system.
  • the optical scanning can be installed in the area of a shop counter or a conveyor belt for goods to be purchased. It is preferred that the goods do not have a predetermined preferred orientation during scanning, so that a statically attached scanning device can scan the goods from a random perspective. A neural network trained with a large number of such scans can then recognize the goods from all practically occurring perspectives.
  • the scanning device can comprise an optical camera. It is preferred that the camera provides a colored, high-resolution and high-contrast image. Active lighting can be provided for this purpose, optionally in a predetermined wavelength range.
  • the camera can support a short exposure time in order to reduce motion blur in the scan.
  • the scanning device can be set up for three-dimensional scanning of the goods.
  • a device for three-dimensional scanning of the goods can be used in addition or as an alternative to an optical camera.
  • a plurality of optical cameras are used which are mounted at locations that are slightly offset from one another and whose scanning fields overlap one another.
  • Such a camera can also be called a stereo camera.
  • a ToF camera can be used in which a distance of a point on the surface of the goods is determined on the basis of a travel time of light from a light source in the region of the camera to the goods and from there to the camera.
  • a camera can also be referred to as a depth camera.
  • a system comprises a device described herein for scanning the goods; and an external location configured to receive scans and associated product information from a plurality of devices.
  • the external location is preferably set up to receive information from a large number of the devices described.
  • a dedicated processing device is provided on the part of the external point, for example in order to process received information, to store it in a data memory or to process stored information.
  • the external point can be set up to train an artificial neural network to recognize goods on the basis of the received scans and the associated product information.
  • the external location comprises a data memory for recording a multiplicity of scans of the goods and associated product information in each case.
  • the information collected can be compared or merged with one another. Deviating provisions can be excluded. Particularly when the goods are mass-produced, information that is determined at a large number of sales points can be quickly and reliably updated, for example a change in a presentation, a packaging or container size or another aspect of the goods.
  • the processing device of the external location is set up to train an artificial neural network for recognizing the goods on the basis of an optical scan of the goods.
  • the provided neural network can be used, for example, in a household in order to recognize goods on the basis of optical scanning, as will be explained in more detail below.
  • a method comprises the following steps: providing an optical scanning of a product; Acquiring product information of the goods; and assigning the product information to the optical scanning.
  • the optical scanning can in particular take place with the aid of an optical camera.
  • the product information can in particular be provided by a cash register system, for example as part of an invoice or payment process for the goods.
  • the cash register system can use a scanning device.
  • the method can be used to provide data sets that are used to train a neural network can be used.
  • the training data can each include a sample and product information.
  • the training data can be transferred to an external location.
  • the method can preferably be carried out in the area of a cash register system, in particular a supermarket or retailer. Further processing of the collected data is preferably carried out at an external point.
  • the external point can be provided centrally for a large number of points at which the method can be carried out.
  • the method can be carried out in whole or in part by means of a processing device which is comprised by a device described herein.
  • the processing device can comprise a programmable microcomputer or microcontroller and the method can be in the form of a computer program product with program code means.
  • the computer program product can also be stored on a computer-readable data carrier. Additional features or advantages of the method can be transferred to the device or the system or vice versa.
  • an apparatus comprises a processing device, a communication device and an optical scanning device.
  • the communication device is set up to receive an artificial neural network from the external location
  • the processing device is set up to recognize goods scanned by the scanning device by means of the neural network.
  • the neural network usually comprises a computerized data structure which is relatively compact and can usually be recorded in a few 100 kBytes.
  • the neural network can be implemented on the processing device, or the processing device can implement the neural network with the data structure.
  • the following scenario can be realized: Many users buy goods in many supermarkets. These goods are scanned on standard cash register systems in order to enable them to be paid for. During this scanning process, a barcode attached to the goods is usually scanned, which uniquely identifies the goods. The goods can be photographed with the help of a camera located near the cash register system. The photos can be labeled using the barcode scanned by the cash register system. The data obtained in this way can be transferred to an external location, e.g. an Internet server or cloud Service, where they are used to train a neural network. The neural network trained in this way can be downloaded by the users to their refrigeration devices, where it is used to identify the goods in the refrigeration device.
  • an external location e.g. an Internet server or cloud Service
  • the labeled training data can be used location-based to train the neural network. For example, it is conceivable that a neural network is trained only with labeled training data from Bavaria (or another limited area) and that this neural network is only downloaded to cooling devices in Bavaria (or the other limited area). In this way it can be ensured that the training level of the neural network is optimally matched to the locally offered goods, whereby the error rate in object recognition can be significantly reduced.
  • FIG. 1 shows a system with a first device
  • FIG. 2 shows a flow chart of a method
  • Figure 3 shows a further system with a second device.
  • FIG. 1 shows a system 100 with a first device 105 and a second device 110.
  • the devices 105 and 110 can be designed to be integrated with one another.
  • devices 105 and 110 are physically separate from one another, but communicatively connected to one another, as detailed below.
  • the second device 110 can be designed as a central component which is set up to process information from a plurality of first devices 105.
  • the second device 110 can then also be referred to as an external location.
  • the first device 105 is preferably attached in the area of a cash register system 115, which can be used in particular in retail trade in order to determine a purchase price for a number of goods 120 selected by a customer.
  • the goods 120 can be intended in particular for use in a household, in particular a private household, and include, for example, food, drugstore items, animal feed, printed matter or household appliances.
  • Goods 120 shown as an example include sen a poultry, a detergent and a vegetable. Other goods 120 are also possible and in principle the present invention can also be used in the intermediate or wholesale trade.
  • the checkout system 115 usually comprises a processing device 120, which can be connected to a first scanning device 125, for example a scanning device, an input device 130 and / or a scale 135.
  • Information about a recorded product 120 or a single or total price can be provided by means of an output device 140.
  • the output device 140 can comprise a visual display and / or a printer.
  • Product information about a product 120 can be provided via an interface 142, in particular an identification of the product 120.
  • the identification can include an output that can be made available on the output device 140.
  • the identification is preferably directed to a human user and includes a naturally linguistic designation.
  • the goods 120 are usually detected by scanning a label attached to it, for example a barcode or barcode, by means of the first scanning device 125. Loose goods 120 can be identified and counted by a person or weighed using the scale 135. A certain quantity of the goods 120 can be entered by means of the input device 130.
  • the first device 105 includes at least one of a second scanner 145 and a third scanner 150; as well as a processing device 155 and an optional communication device 160 for communication with the second device 110 if this is set up separately from the first device 105.
  • the second scanning device 145 preferably comprises an optical camera for providing a still or moving image of a product 120 that is processed in the checkout system 115.
  • the scanning device 145 can comprise one or more lighting devices that can emit light of predetermined wavelength ranges. Both visible and invisible wavelength ranges can be used for this.
  • the third scanning device 150 is preferably set up to determine geometric dimensions of a product 120 and preferably also works optically.
  • the third scanning device 150 can comprise a LiDAR sensor, a depth camera, a stereo camera or a ToF camera.
  • both scanning devices 145, 150 are designed to be integrated with one another.
  • Each of the scanning devices 145, 150 can also be provided multiple times in the area of the cash register system 115, preferably with a variation of a perspective of a product 120.
  • the scanning devices 145, 150 are set up less to detect an identification of the goods 120 - for example a barcode - than for an optically recognizable property, for example a color, a design, a size, an aspect ratio or a Labeling.
  • the purpose of the scanning is preferably to determine reproducibly detectable optical features of the goods 120.
  • Goods 120 with great optical variation, such as loose goods, fruit, vegetables or fresh meat, can have individually different optical features, which can nevertheless be used to identify them.
  • the scanning devices 145, 150 are preferably mounted in the area of the checkout system 115 in such a way that their scans can be assigned as clearly as possible to other scans, inputs or determinations of the cash register system 115, so that it is ensured that the scans of the devices 145, 150 relate to the same Wa re 120 like a product information provided by the cash register system 115.
  • the scanning devices 125, 145, 150 can be spatially close to one another.
  • the scanning devices 145, 150 are positioned in such a way that they not yet align the goods 120 feel, or the goods 120 after a reorientation that is as random as possible, for example at the end of an inclined plane.
  • the first device 105 and the second device 110 each include a communication device 165 for mutual data transmission.
  • the second device 110 further comprises a processing device 165 and preferably a data memory 170. It is proposed to assign a scan of a product 120 by means of one of the scan devices 145, 150 to product information provided by the checkout system 115.
  • a data record can preferably be created in which the product information includes a label of an optical scan.
  • Generated data sets can be used to train an artificial neural network to create a to enable identification of the goods 120 by means of the network.
  • a trained neural network is trained and / or provided by the second device 110.
  • FIG. 2 shows a flow chart of a method 200 which can be carried out in particular by means of one or both devices 105, 110 of a system 100. It should be noted that the method 200 can comprise a plurality of sub-methods, one of which can also be carried out by means of another system, as is described in more detail below with reference to FIG. 3.
  • a step 205 goods 120 that are received in the area of a cash register system 115, in particular for billing purposes, can be optically scanned.
  • product information of the goods 120 provided by the checkout system 115 can be recorded. It is preferably ensured that steps 205 and 210 are based on the same goods 120.
  • a data record can be created in which the product information is assigned to the scanning that has taken place.
  • the product information can be specified in the form of a label.
  • a boundary for example as a “bounding box” of the depicted goods 120, can be inserted on the scanning. The limitation can easily be determined if the scanning device 145, 150 is attached statically, so that an image part that does not belong to the goods 120 is known.
  • a repository of specific data records can be created.
  • the repository can include a large number of specific data records that can be sorted according to certain criteria. Exemplary ordering criteria include an acquisition time, a determination time, a destination or a determination confidence. Outdated or incorrectly recognized data records can be removed from the repository. Data records from the repository can be made available for training a neural network.
  • an artificial neural network can be trained using previously determined data sets.
  • the trained network can be set up to recognize a commodity 120 on the basis of its optical scanning.
  • information associated with the goods 120 can be provided, for example its designation.
  • further information is assigned to the goods 120, for example an ingredient, a place of purchase, a purchase price, a quantity or an estimated or specified expiry date. This information can then also be provided.
  • the neural network can be used in a different context than one of the devices 105, 110.
  • the network can be used in a household to identify goods 120 that have been procured.
  • the goods 120 can be optically scanned in a step 230, with graphical features and / or dimensions being able to be recorded.
  • the goods 120 can be recognized.
  • Associated information can be provided.
  • An inventory of goods 120 present in the household can be updated to include goods 120.
  • a used or withdrawn item 120 can be identified in the same way and an inventory can be updated accordingly.
  • FIG. 3 shows a system 300 with a third device 305, which is attached to a cooling device 310 by way of example.
  • the refrigerator 310 may include, for example, a refrigerator, a freezer, a combination of both, a wine cooler, or an uncooled pantry.
  • a product 120 is arranged in the cooling device 310 by way of example.
  • the third device 305 comprises a processing device 315 and an optical scanning device 320 preferably directed onto an interior of the cooling device 310.
  • a communication device 325 is optionally provided.
  • a data structure can be obtained from an external point, for example the second device 110, which represents an artificial neural network.
  • the neural network can be implemented by executing the data structure by the processing device 315.
  • the scanning device 320 may include one or more cameras.
  • the scanning device 320 is optionally set up to determine a geometric dimension of a product 120.
  • a light source for illuminating the interior of the cooling device 310 is also optionally provided.
  • the scanning device 320 is adjustably attached to the cooling device 310 in order to determine optical scans from different perspectives.
  • the third device 305 can recognize which goods 120 are in the refrigerator 310 by performing an optical scan of the interior using the scanning device 320 and identifying one or more goods 120 recognizable on the scan by means of the neural network.
  • the device 305 can then provide an inventory of the cooling device 310. For example, it can be determined in an automated manner whether or not certain quantities of predetermined goods 120 are present in front of them. In one embodiment, for example, it can be determined which ingredients are available for the preparation of a predetermined recipe, or which quantities of which ingredients have to be procured in order to convert the recipe into a meal of a predetermined quantity.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

Eine Vorrichtung umfasst eine optische Abtasteinrichtung zur Bereitstellung einer opti- schen Abtastung einer Ware; eine Verarbeitungseinrichtung und eine Schnittstelle zu ei- nem Kassensystem. Das Kassensystem ist dazu eingerichtet, eine Produktinformation zu der Ware bereitzustellen, und die Verarbeitungseinrichtung zur Zuordnung der Produktin- formation zur optischen Abtastung.

Description

Erstellung und Aktualisierung einer Produktdatenbank
Die Erfindung betrifft die Bereitstellung einer Produktdatenbank, insbesondere zur Erken nung eines Haushaltsartikels.
In einem intelligenten Haushalt kann ein Inventar vorhandener Verbrauchsartikel automa tisch geführt werden. So kann beispielsweise ein Vorrat von Staubsaugerbeuteln rechtzei tig aufgestockt werden, ohne große Lagerbestände zu halten und ohne zu riskieren, bei Bedarf keine Beutel zur Verfügung zu haben. Für verderbliche Waren, insbesondere Le bensmittel, kann ein Mindesthaltbarkeitsdatum verfolgt werden. Droht die Ware zu ver derben, kann rechtzeitig vorher ein Hinweis zum Verwenden der Ware ausgegeben wer den. Verwendete oder abgelaufene Waren können auf eine Einkaufsliste gesetzt oder automatisch bestellt werden.
Es hat sich als schwierig erwiesen, Waren, die in einen Haushalt gebracht werden oder diesen verlassen, vollständig zu inventarisieren. Bestehende Lösungen erfordern häufig das Abtasten eines Strichcodes oder einer anderen Markierung, die an der Ware ange bracht ist. Ein Benutzer kann dies als aufwändig empfinden, sodass er das Abtasten we niger genau oder gar nicht mehr durchführt. Das Inventar kann dann schnell unbrauchbar werden. Außerdem erfordert diese Herangehensweise ständige Aktualisierungen der In formationen, auf die durch den Strichcode hingewiesen wird. Ändert beispielsweise ein Hersteller eine Verpackungsmenge eines Produkts, so kann die geänderte Menge nicht im Strichcode selbst, sondern nur in zugeordneten Informationen verfügbar sein. Produk tinformationen von einer Vielzahl Hersteller konstant aktuell zu halten ist ebenfalls auf wändig, sodass sich leicht Fehler beispielsweise durch veraltete Informationen ergeben können.
Aus dem Stand der Technik sind darüber hinaus Kühlschränke mit einer darin befindli chen Kamera bekannt, die mittels eines neuronalen Netzes die im Kühlschrank befindli chen Objekte erkennen können. Die Wahrscheinlichkeit einer korrekten Objekterkennung hängt jedoch stark von der Qualität des Trainings des neuronalen Netzes ab.
Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik zur Erstellung oder Pflege einer Produktdatenbank mit Waren, die insbesondere für einen Haushalt beschafft werden können. Die Erfindung löst diese Auf gabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben be vorzugte Ausführungsformen wieder.
Nach einem ersten Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung eine opti sche Abtasteinrichtung zur Bereitstellung einer optischen Abtastung einer Ware, ein Kas sensystem mit vorzugsweise einer Scaneinrichtung zum Bereitstellen einer Produktinfor mation zu der Ware, und einer Verarbeitungseinrichtung zur Zuordnung der Produktinfor mation zur optischen Abtastung. Die Abtasteinrichtung kann beispielsweise eine optische Kamera umfassen. Durch die Zuordnung der Produktinformation zur optischen Abtastung können sogenannte gelabelte Trainingsdaten für ein künstliches neuronales Netzwerk bereitgestellt werden, wobei die Trainingsdaten jeweils eine Abtastung und eine Produk tinformation umfassen. Vorzugsweise ist die Vorrichtung dafür eingerichtet ist, die Trai ningsdaten an eine externe Stelle zu übermitteln.
Die Vorrichtung kann beispielsweise in einem Supermarkt oder einem anderen Einzel händler im Rahmen eines Abrechnungs- oder Bezahlvorgangs eingesetzt werden, der auch „Checkout“ genannt werden kann. Üblicherweise werden hierbei alle von einem Kunden im Laden gesammelten Waren mittels des Kassensystems erfasst (z.B. ge scannt), wobei auch Mengen und Preise der Waren bestimmt werden. Es wird vorge schlagen, eine optische Abtastung einer Ware mit einer Information zu verknüpfen, die das Kassensystem bereitstellt. Die Information kann insbesondere eine Bezeichnung oder einen eindeutigen Code wie einen EAN-Code für die Ware umfassen. Mittels der Vorrich tung kann in einem üblichen Betrieb des Kassensystems eine Vielzahl optischer Abtas tungen erstellt und der Ware eindeutig zugeordnet werden. Optional können Informatio nen mehrerer Kassensysteme ausgewertet werden. Ein Zusammenhang zwischen einer optisch erfassbaren Eigenschaft der Ware und der Ware selbst kann automatisiert und mit hoher Zuverlässigkeit bestimmt werden.
Die Verarbeitungseinrichtung ist wie gesagt dazu eingerichtet, Trainingsdaten für ein künstliches neuronales Netzwerk bereitzustellen, wobei die Trainingsdaten jeweils eine Abtastung und eine Produktinformation umfassen. Derartige Daten werden auch „gela- belt“ genannt, wobei die Produktinformation das „Label“, also einen Hinweis auf eine Iden tität der dargestellten Sache, darstellen kann. Die Trainingsdaten können für ein über wachtes Lernen des neuronalen Netzwerks verwendet werden. Insbesondere wenn Trai- ningsdaten von vielen hierin beschriebenen Vorrichtungen gesammelt werden, kann eine notwendige Anzahl von gelabelten Trainingsdaten zum Erlernen des Erkennens eines Produkts effizient und zeitnah erzeugt werden.
Die Abtasteinrichtung kann beispielsweise im Bereich eines Scanners, einer Waage oder einer manuellen Erfassungsstation des Kassensystems angebracht werden. Beispielswei se kann in einem Einzelhandel die optische Abtastung im Bereich einer Ladentheke oder eines Förderbands für zu kaufende Waren angebracht sein. Es ist bevorzugt, dass die Ware während des Abtastens keine vorbestimmte Vorzugsausrichtung aufweist, sodass eine statisch angebrachte Abtasteinrichtung die Ware aus einer zufälligen Perspektive abtasten kann. Ein mit einer Vielzahl solcher Abtastungen trainiertes neuronales Netzwerk kann die Ware dann aus allen praktisch auftretenden Perspektiven erkennen.
Die Abtasteinrichtung kann eine optische Kamera umfassen. Es ist bevorzugt, dass die Kamera ein farbiges, hoch aufgelöstes und kontrastreiches Bild bereitstellt. Dazu kann eine aktive Beleuchtung vorgesehen sein, optional in einem vorbestimmten Wellenlän genbereich. Die Kamera kann eine kurze Belichtungszeit unterstützen, um eine Bewe gungsunschärfe in der Abtastung zu reduzieren.
Die Abtasteinrichtung kann zur dreidimensionalen Abtastung der Ware eingerichtet sein. Eine Einrichtung zur dreidimensionalen Abtastung der Ware kann zusätzlich oder alterna tiv zu einer optischen Kamera verwendet werden. In einer Ausführungsform werden meh rere optische Kameras verwendet, die an leicht zueinander versetzten Orten angebracht sind und deren Abtastfelder einander überlappen. Eine solche Kamera kann auch Stereo- Kamera genannt werden. In einer anderen Ausführungsform kann eine ToF-Kamera ver wendet werden, bei der eine Entfernung eines Punkts auf der Oberfläche der Ware auf der Basis einer Reisedauer von Licht von einer Lichtquelle im Bereich der Kamera zur Ware und von dort zur Kamera bestimmt wird. Eine solche Kamera kann auch als Tiefen kamera bezeichnet werden.
Die Abtasteinrichtung kann einen Laser-Scanner umfassen. Insbesondere kann ein Li- DAR-Sensor verwendet werden, um eine dreidimensionale Erstreckung der Ware zu be stimmen. Derartige Sensoren sind mittlerweile zu moderaten Kosten erhältlich und kön nen eine rasche und genaue Abtastung der Ware erlauben. Nach einem zweiten Aspekt der Erfindung umfasst ein System eine hierin beschriebene Vorrichtung zur Abtastung der Ware; und eine externe Stelle, die dazu eingerichtet ist, Abtastungen und jeweils zugeordnete Produktinformationen von einer Vielzahl Vorrich tungen zu empfangen. Die externe Stelle ist bevorzugt zum Empfangen von Informationen von einer Vielzahl der beschriebenen Vorrichtungen eingerichtet. Weiter bevorzugt ist seitens der externen Stelle eine dedizierte Verarbeitungseinrichtung vorgesehen, bei spielsweise, um empfangene Informationen zu verarbeiten, in einem Datenspeicher abzu legen oder abgelegte Informationen aufzubereiten. Insbesondere kann die externe Stelle dafür eingerichtet sein, auf der Basis der empfangenen Abtastungen und jeweils zugeord neter Produktinformationen ein künstliches neuronales Netzwerk zu Erkennung von Wa ren zu trainieren.
In einer Ausführungsform umfasst die externe Stelle einen Datenspeicher zur Aufnahme einer Vielzahl von Abtastungen der Ware und jeweils zugeordneter Produktinformationen. Die gesammelten Informationen können miteinander verglichen oder fusioniert werden. Abweichende Bestimmungen können ausgesondert werden. Insbesondere wenn es sich bei der Ware um Massenartikel handelt, können Informationen, die an einer Vielzahl Ver kaufsstellen bestimmt werden, schnell und zuverlässig beispielsweise eine Änderung ei ner Aufmachung, einer Verpackungs- oder Gebindegröße oder eines anderen Aspekts der Ware schnell aktualisiert werden.
In einer Ausführungsform ist die Verarbeitungseinrichtung der externen Stelle dazu einge richtet, ein künstliches neuronales Netzwerk zur Erkennung der Ware auf der Basis einer optischen Abtastung der Ware zu trainieren. Das bereitgestellte neuronale Netzwerk kann beispielsweise in einem Haushalt eingesetzt werden, um eine Ware auf der Basis einer optischen Abtastung zu erkennen, wie unten noch genauer ausgeführt wird.
Nach einem dritten Aspekt der vorliegenden Erfindung umfasst ein Verfahren folgende Schritte: Bereitstellen einer optischen Abtastung einer Ware; Erfassen einer Produktin formation der Ware; und Zuordnen der Produktinformation zur optischen Abtastung. Die optische Abtastung kann insbesondere mithilfe einer optischen Kamera erfolgen. Die Pro duktinformation kann insbesondere von einem Kassensystem bereitgestellt sein, bei spielsweise im Rahmen eines Rechnungs- oder Bezahlvorgangs für die Ware. Dabei kann sich das Kassensystem einer Scaneinrichtung bedienen. Das Verfahren kann eingesetzt werden, um Datensätze bereitzustellen, die zum Trainieren eines neuronalen Netzwerks verwendet werden können. Die T rainingsdaten können jeweils eine Abtastung und eine Produktinformation umfassen. Die Trainingsdaten können an eine externe Stelle übertra gen werden. Das Verfahren kann bevorzugt im Bereich eines Kassensystems, insbeson dere eines Supermarkts oder Einzelhändlers, durchgeführt werden. Eine weitere Verarbei tung von erhobenen Daten erfolgt bevorzugt an einer externen Stelle. Die externe Stelle kann zentral für eine Vielzahl Stellen vorgesehen sein, an denen das Verfahren ausge führt werden kann.
Das Verfahren kann ganz oder teilweise mittels einer Verarbeitungseinrichtung ausgeführt werden kann, die von einer hierin beschriebenen Vorrichtung umfasst ist. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Pro grammcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem com puterlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung bzw. das System übertragen werden oder umgekehrt.
Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung eine Verarbeitungseinrichtung, eine Kommunikationseinrichtung und eine optische Ab tasteinrichtung. Dabei ist die Kommunikationseinrichtung dazu eingerichtet, ein künstli ches neuronales Netzwerk von der externen Stelle zu empfangen, und die Verarbeitungs einrichtung ist dazu eingerichtet, eine mittels der Abtasteinrichtung abgetastete Ware mit tels des neuronalen Netzwerks zu erkennen. Das neuronale Netzwerk umfasst üblicher weise eine computertechnische Datenstruktur, die relativ kompakt ist und üblicherweise in einigen 100 kByte aufgenommen sein kann. Zur Objekterkennung kann das neuronale Netzwerk auf der Verarbeitungseinrichtung ausgeführt werden, beziehungsweise kann die Verarbeitungseinrichtung mit der Datenstruktur das neuronale Netzwerk realisieren.
Mithilfe der oben stehenden Offenbarung kann beispielsweise folgendes Szenario ver wirklicht werden: Viele Nutzer kaufen in vielen Supermärkten Waren ein. Diese Waren werden an handelsüblichen Kassensystemen eh gescannt, um deren Bezahlung zu er möglichen. Bei diesem Scanvorgang wird in der Regel ein auf der Ware angebrachter Barcode gescannt, der die Waren eindeutig identifiziert. Mithilfe einer in der Nähe des Kassensystems angeordneten Kamera können die Waren fotografiert werden. Die Fotos können mit Hilfe des vom Kassensystem gescannten Barcodes gelabelt werden. Die so gewonnenen Daten können an eine externe Stelle, z.B. einen Internet-Server oder Cloud- Service, gesendet werden, wo sie benutzt werden, um ein neuronales Netzwerk zu trainie ren. Das so trainierte neuronale Netzwerk kann von den Nutzern auf ihre Kühlgeräte her untergeladen werden, wo es eingesetzt wird, um die Waren im Kühlgerät zu erkennen. Die gelabelten Trainingsdaten können dabei ortsbasiert verwendet werden, um das neu ronale Netzwerk zu trainieren. Beispielsweise ist es denkbar, dass ein neuronales Netz werk nur mit gelabelten Trainingsdaten aus Bayern (oder einem anderen begrenzten Ge biet) trainiert wird und dieses neuronale Netzwerk auch nur auf Kühlgeräten in Bayern (bzw. dem anderen begrenzten Gebiet) heruntergeladen wird. Auf diese Weise kann si chergestellt werden, dass der Trainingsstand des neuronalen Netzwerkes optimal auf die lokal angebotenen Waren abgestimmt ist, wodurch die Fehlerquote bei der Objekterken nung signifikant reduziert werden kann.
Die Erfindung wird nun unter Bezug auf die in den beiliegenden Figuren gezeigten Aus führungsformen genauer beschrieben, in denen:
Figur 1 ein System mit einer ersten Vorrichtung;
Figur 2 ein Ablaufdiagramm eines Verfahrens; und Figur 3 ein weiteres System mit einer zweiten Vorrichtung darstellt.
Figur 1 zeigt ein System 100 mit einer ersten Vorrichtung 105 und einer zweiten Vorrich tung 110. Die Vorrichtungen 105 und 110 können miteinander integriert ausgeführt sein.
In der dargestellten Ausführungsform sind die Vorrichtungen 105 und 110 jedoch physisch voneinander getrennt, aber kommunikativ miteinander verbunden, wie unten noch genau er ausgeführt wird. Die zweite Vorrichtung 110 kann als zentrale Komponente ausgebildet sein, die dazu eingerichtet ist, Informationen mehrerer erster Vorrichtungen 105 zu verar beiten. Die zweite Vorrichtung 110 kann dann auch als externe Stelle bezeichnet werden.
Die erste Vorrichtung 105 ist bevorzugt im Bereich eines Kassensystems 115 angebracht, das insbesondere im Einzelhandel verwendet werden kann, um eine Kaufsumme für eine Anzahl von einem Kunden ausgewählter Waren 120 zu bestimmen. Die Waren 120 kön nen insbesondere zur Verwendung in einem Haushalt, insbesondere einem Privathaus halt, vorgesehen sein und beispielsweise Lebensmittel, Drogerieartikel, Tierfutter, Druck erzeugnisse oder Haushaltsgeräte umfassen. Beispielhaft dargestellte Waren 120 umfas- sen ein Geflügel, ein Waschmittel und ein Gemüse. Andere Waren 120 sind ebenfalls möglich und prinzipiell kann die vorliegende Erfindung auch im Zwischen- oder Großhan del einsetzbar sein.
Das Kassensystem 115 umfasst üblicherweise eine Verarbeitungseinrichtung 120, die mit einer ersten Abtasteinrichtung 125, z.B. einer Scaneinrichtung, einer Eingabeeinrichtung 130 und/oder einer Waage 135 verbunden sein kann. Informationen über eine erfasste Ware 120 oder einen Einzel- oder Gesamtpreis können mittels einer Ausgabeeinrichtung 140 bereitgestellt werden. Die Ausgabeeinrichtung 140 kann eine optische Anzeige und/oder einen Drucker umfassen. Über eine Schnittstelle 142 kann eine Produktinforma tion einer Ware 120, bereitgestellt werden, insbesondere eine Identifikation der Ware 120. Die Identifikation kann eine Ausgabe umfassen, die auf der Ausgabeeinrichtung 140 be reitgestellt werden kann. Bevorzugt ist die Identifikation an einen menschlichen Benutzer gerichtet und umfasst eine natürlich sprachliche Bezeichnung.
Die Ware 120 wird üblicherweise erfasst, indem eine an ihr angebrachte Kennzeichnung, beispielsweise ein Strichcode bzw. Barcode, mittels der ersten Abtasteinrichtung 125 ab getastet wird. Lose Ware 120 kann von einer Person identifiziert und gezählt oder mittels der Waage 135 gewogen werden. Eine bestimmte Quantität der Ware 120 kann mittels der Eingabeeinrichtung 130 eingegeben werden.
Die erste Vorrichtung 105 umfasst wenigstens eines von einer zweiten Abtasteinrichtung 145 und einer dritten Abtasteinrichtung 150; sowie eine Verarbeitungseinrichtung 155 und eine optionale Kommunikationseinrichtung 160 zur Kommunikation mit der zweiten Vor richtung 110, falls diese separat von der ersten Vorrichtung 105 aufgebaut ist.
Die zweite Abtasteinrichtung 145 umfasst bevorzugt eine optische Kamera zur Bereitstel lung eines Still- oder Bewegt-Bildes einer Ware 120, die im Kassensystem 115 abgefertigt wird. Dazu kann die Abtasteinrichtung 145 eine oder mehrere Beleuchtungseinrichtungen umfassen, die Licht vorbestimmter Wellenlängenbereiche aussenden kann. Dabei können sowohl für einen Menschen sichtbare als auch unsichtbare Wellenlängenbereiche ver wendet werden.
Die dritte Abtasteinrichtung 150 ist bevorzugt zur Bestimmung von geometrischen Ab messungen einer Ware 120 eingerichtet und arbeitet bevorzugt ebenfalls optisch. Bei- spielsweise kann die dritte Abtasteinrichtung 150 einen LiDAR-Sensor, eine Tiefenkame ra, eine Stereo-Kamera oder eine ToF-Kamera umfassen. In einer Ausführungsform sind beide Abtasteinrichtungen 145, 150 miteinander integriert ausgeführt. Jede der Abtastein richtungen 145, 150 kann auch mehrfach im Bereich des Kassensystems 115 vorgesehen sein, vorzugsweise unter Variation einer Perspektive auf eine Ware 120.
Es ist zu beachten, dass die Abtasteinrichtungen 145, 150 weniger dazu eingerichtet sind, eine Identifikation der Ware 120 - etwa einen Strichcode - zu erfassen, als eine optisch erkennbare Eigenschaft, etwa eine Farbgebung, ein Design, eine Größe, ein Seitenver hältnis oder eine Beschriftung. Zweck der Abtastung ist bevorzugt, reproduzierbar erfass bare optische Merkmale der Ware 120 zu bestimmen. Waren 120 mit großer optischer Variation, etwa lose Ware, Obst, Gemüse oder Frischfleisch, können individuell verschie dene optische Merkmale aufweisen, anhand derer sie aber trotzdem erkennbar sein kön nen.
Die Abtasteinrichtungen 145, 150 sind bevorzugt derart im Bereich des Kassensystems 115 angebracht, dass ihre Abtastungen anderen Abtastungen, Eingaben oder Bestim mungen des Kassensystems 115 möglichst eindeutig zugeordnet werden können, sodass sichergestellt ist, dass sich die Abtastungen der Einrichtungen 145, 150 auf dieselbe Wa re 120 beziehen wie eine vom Kassensystem 115 bereitgestellte Produktinformation. Da zu können die Abtasteinrichtungen 125, 145, 150 räumlich nahe aneinander liegen. Wird die Ware 120 für die Abtastung mittels der erste Abtasteinrichtung 125 stets gleich ausge richtet, etwa sodass sich ein Strichcode stets an der Unterseite befindet, so ist bevorzugt, dass die Abtasteinrichtungen 145, 150 derart positioniert sind, dass sie die noch nicht ausgerichtet Ware 120 abtasten, oder die Ware 120 nach einer möglichst zufälligen Neu ausrichtung, etwa am Ende einer schiefen Ebene.
Die erste Vorrichtung 105 und die zweite Vorrichtung 110 umfassen vorliegend jeweils eine Kommunikationseinrichtung 165 zur gegenseitigen Datenübermittlung. Die zweite Vorrichtung 110 umfasst ferner eine Verarbeitungseinrichtung 165, sowie bevorzugt einen Datenspeicher 170. Es wird vorgeschlagen, eine Abtastung einer Ware 120 mittels einer der Abtasteinrichtungen 145, 150 einer vom Kassensystem 115 bereitgestellten Produk tinformation zuzuordnen. Bevorzugt kann ein Datensatz erstellt werden, bei dem die Pro duktinformation ein Label einer optischen Abtastung umfasst. Erstellte Datensätze können zum Trainieren eines künstlichen neuronalen Netzwerks verwendet werden, um eine Er- kennung der Ware 120 mittels des Netzwerks zu ermöglichen. In einer Ausführungsform erfolgen das Trainieren und/oder Bereitstellen eines trainierten neuronalen Netzwerks durch die zweite Vorrichtung 110.
Figur 2 zeigt ein Ablaufdiagramm eines Verfahrens 200, das insbesondere mittels einer oder beiden Vorrichtungen 105, 110 eines Systems 100 ausgeführt werden kann. Es ist zu beachten, dass das Verfahren 200 mehrere Teilverfahren umfassen kann, von denen eines auch mittels eines anderen Systems ausgeführt werden kann, wie unten mit Bezug auf Figur 3 noch genauer beschrieben ist.
In einem Schritt 205 kann eine Ware 120, die im Bereich eines Kassensystems 115 ins besondere zu Abrechnungszwecken aufgenommen wird, optisch abgetastet werden. In einem nebenläufigen Schritt 210 kann eine durch das Kassensystem 115 bereitgestellte Produktinformation der Ware 120 erfasst werden. Dabei wird bevorzugt sichergestellt, dass den Schritten 205 und 210 dieselbe Ware 120 zu Grunde liegt.
In einem Schritt 215 kann ein Datensatz erstellt werden, in welchem die Produktinformati on der erfolgten Abtastung zugeordnet ist. Die Produktinformation kann in Form eines Labels bestimmt sein. Auf der Abtastung kann außerdem eine Begrenzung, etwa als „bounding box“ der abgebildeten Ware 120 eingefügt werden. Die Begrenzung kann leicht bestimmt werden, wenn die Abtasteinrichtung 145, 150 statisch angebracht ist, sodass ein nicht zur Ware 120 gehörender Bildteil bekannt ist.
In einem Schritt 220 kann ein Repositorium von bestimmten Datensätzen erstellt werden. Das Repositorium kann eine Vielzahl bestimmter Datensätze umfassen, die nach vorbe stimmten Kriterien geordnet sein können. Beispielhafte Ordnungskriterien umfassen einen Erfassungszeitpunkt, einen Bestimmungszeitpunkt, einen Bestimmungsort oder eine Be- stimmungskonfidenz. Veraltete oder als inkorrekt erkannte Datensätze können aus dem Repositorium entfernt werden. Datensätze des Repositoriums können zum Trainieren eines neuronalen Netzwerks bereitgestellt werden.
In einem Schritt 225 kann ein künstliches neuronales Netzwerk mittels zuvor bestimmten Datensätzen trainiert werden. Das trainierte Netzwerk kann dazu eingerichtet sein, eine Ware 120 auf der Basis ihrer optischen Abtastung zu erkennen. Insbesondere kann eine der Ware 120 zugeordnete Information bereitgestellt werden, etwa ihre Bezeichnung. In io einer Ausführungsform sind der Ware 120 noch weitere Informationen zugeordnet, etwa ein Inhaltsstoff, ein Kaufort, ein Kaufpreis, eine Menge oder ein geschätztes oder ange gebenes Haltbarkeitsdatum. Diese Informationen können dann ebenfalls bereitgestellt werden.
Das neuronale Netzwerk kann in einem anderen Kontext als eine der Vorrichtungen 105, 110 eingesetzt werden. Beispielsweise kann das Netzwerk in einem Haushalt dazu ver wendet werden, eine beschaffte Ware 120 zu erkennen. Insbesondere kann die Ware 120 in einem Schritt 230 optisch abgetastet werden, wobei graphische Merkmale und/oder Dimensionen erfasst werden können. In einem Schritt 235 kann die Ware 120 erkannt werden. Zugeordnete Informationen können bereitgestellt werden. Ein Inventar von im Haushalt vorhandenen Waren 120 kann um die Ware 120 aktualisiert werden. In einer weiteren Ausführungsform kann eine verbrauchte oder dem Haushalt entzogene Ware 120 auf dieselbe Weise erkannt werden und ein Inventar kann entsprechend aktualisiert werden.
Figur 3 zeigt ein System 300 mit einer dritten Vorrichtung 305, die beispielhaft an einem Kühlgerät 310 angebracht ist. Das Kühlgerät 310 kann beispielsweise einen Kühlschrank, ein Gefriergerät, eine Kombination aus beiden, einen Weinkühler oder einen ungekühlten Vorratsschrank umfassen. Im Kühlgerät 310 ist beispielhaft eine Ware 120 angeordnet.
Die dritte Vorrichtung 305 umfasst eine Verarbeitungseinrichtung 315 und eine bevorzugt auf einen Innenraum des Kühlgeräts 310 gerichtete optische Abtasteinrichtung 320. Opti onal ist eine Kommunikationseinrichtung 325 vorgesehen. Mittels der Kommunikationsein richtung 325 kann von einer externen Stelle, beispielsweise der zweiten Vorrichtung 110, eine Datenstruktur bezogen werden, die ein künstliches neuronales Netzwerk repräsen tiert. Das neuronale Netzwerk kann implementiert werden, indem die Datenstruktur durch die Verarbeitungseinrichtung 315 ausgeführt wird.
Die Abtasteinrichtung 320 kann eine oder mehrere Kameras umfassen. Optional ist die Abtastungseinrichtung 320 zur Bestimmung einer geometrischen Dimension einer Ware 120 eingerichtet. Weiter optional ist eine Lichtquelle zur Beleuchtung des Innenraums des Kühlgeräts 310 vorgesehen. In einer Ausführungsform ist die Abtasteinrichtung 320 ver stellbar am Kühlgerät 310 angebracht, um optische Abtastungen aus verschiedenen Per spektiven zu bestimmen. Die dritte Vorrichtung 305 kann erkennen, welche Waren 120 sich im Kühlgerät 310 be finden, indem sie eine optische Abtastung des Innenraums mittels der Abtasteinrichtung 320 vornimmt und eine oder mehrere auf der Abtastung erkennbare Ware 120 mittels des neuronalen Netzwerks identifiziert. Dann kann die Vorrichtung 305 ein Inventar des Kühl geräts 310 bereitstellen. So kann beispielsweise automatisiert bestimmt werden, ob vor bestimmte Mengen vorbestimmter Waren 120 vorhanden sind oder nicht. In einer Ausfüh rungsform kann beispielsweise bestimmt werden, welche Zutaten zur Zubereitung eines vorbestimmten Rezepts vorhanden sind, beziehungsweise welche Mengen welcher Zuta- ten beschafft werden müssen, um das Rezept in eine Speise einer vorbestimmten Menge umzusetzen.
Bezugszeichen
100 System
105 erste Vorrichtung
110 zweite Vorrichtung, externe Stelle, zentrale Komponente
115 Kassensystem
120 Ware
125 erste Abtasteinrichtung
130 Eingabeeinrichtung
135 Waage
140 Ausgabeeinrichtung
142 Schnittstelle
145 zweite Abtasteinrichtung
150 dritte Abtasteinrichtung
155 Verarbeitungseinrichtung
160 Kommunikationseinrichtung
165 Verarbeitungseinrichtung
170 Datenspeicher
200 Verfahren
205 Ware abtasten
210 Produktinformation erfassen
215 Datensatz erstellen
220 Repositorium erstellen
225 neuronales Netzwerk trainieren
230 Ware abtasten
235 Ware erkennen
305 dritte Vorrichtung
310 Kühlgerät
315 Verarbeitungseinrichtung

Claims

PATENTANSPRÜCHE
1. Vorrichtung (105), umfassend: eine optische Abtasteinrichtung (145, 150) zur Bereitstellung einer optischen Abtastung einer Ware (120), wobei die Abtasteinrichtung eine optische Kame ra (145, 150) umfasst; ein Kassensystem (115) mit einer Scaneinrichtung (125) zum Bereitstellen ei ner Produktinformation zu der Ware (120); und eine Verarbeitungseinrichtung (155) zur Zuordnung der Produktinformation zur optischen Abtastung, um so Trainingsdaten für ein künstliches neuronales Netzwerk bereitzustellen, wobei die Trainingsdaten jeweils eine Abtastung und eine Produktinformation umfassen; wobei die Vorrichtung (105) dafür eingerichtet ist, die Trainingsdaten an eine externe Stelle (110) zu übermitteln.
2. Vorrichtung (105) nach einem der vorangehenden Ansprüche, wobei die Ab tasteinrichtung (145) zur dreidimensionalen Abtastung eingerichtet ist.
3. Vorrichtung (105) nach einem der vorangehenden Ansprüche, wobei die Ab tasteinrichtung (145, 150) einen Laser-Scanner umfasst.
4. System (100), umfassend eine Vorrichtung (105) zur Abtastung der Ware (120) nach einem der vorangehenden Ansprüche; und eine externe Stelle (110), die da zu eingerichtet ist, Abtastungen und jeweils zugeordnete Produktinformationen von einer Vielzahl Vorrichtungen (105) zu empfangen, um damit ein künstliches neuronales Netzwerk zur Erkennung von Waren zu trainieren.
5. System (100) nach Anspruch 4, wobei die externe Stelle (110) ferner einen Daten speicher (170) zur Aufnahme einer Vielzahl Abtastungen der Ware (120) und je weils zugeordneter Produktinformationen umfasst.
6. Verfahren (200) mit folgenden Schritten:
Bereitstellen (205) einer optischen Abtastung einer Ware (120) mit Hilfe einer optischen Kamera (145, 150); Erfassen (210) einer Produktinformation der Ware (120), vorzugsweise mit Hil fe einer Scaneinrichtung (125) eines Kassensystems (115);
Zuordnen (215) der Produktinformation zur optischen Abtastung, um so Trai ningsdaten für ein künstliches neuronales Netzwerk bereitzustellen, wobei die Trainingsdaten jeweils eine Abtastung und eine Produktinformation umfassen; und
Übermitteln der Trainingsdaten an eine externe Stelle (110).
7. Vorrichtung (305), umfassend eine Verarbeitungseinrichtung (315), eine Kommu nikationseinrichtung (325) und eine optische Abtasteinrichtung (320), wobei die Kommunikationseinrichtung (325) dazu eingerichtet ist, ein künstliches neuronales Netzwerk von einer externen Stelle (110) zu empfangen; und die Verarbeitungs einrichtung (315) dazu eingerichtet ist, eine mittels der Abtasteinrichtung (320) ab getastete Ware (120) mittels des neuronalen Netzwerks zu erkennen.
8. Kühlgerät (310) mit einer Vorrichtung nach Anspruch 7.
EP21706897.2A 2020-03-02 2021-02-18 Erstellung und aktualisierung einer produktdatenbank Withdrawn EP4115370A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020202657.2A DE102020202657A1 (de) 2020-03-02 2020-03-02 Erstellung und Aktualisierung einer Produktdatenbank
PCT/EP2021/053947 WO2021175601A1 (de) 2020-03-02 2021-02-18 Erstellung und aktualisierung einer produktdatenbank

Publications (1)

Publication Number Publication Date
EP4115370A1 true EP4115370A1 (de) 2023-01-11

Family

ID=74672316

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21706897.2A Withdrawn EP4115370A1 (de) 2020-03-02 2021-02-18 Erstellung und aktualisierung einer produktdatenbank

Country Status (3)

Country Link
EP (1) EP4115370A1 (de)
DE (1) DE102020202657A1 (de)
WO (1) WO2021175601A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT526299A1 (de) * 2022-07-06 2024-01-15 Manuel Loew Beer Mba Computerimplementiertes Verfahren zur Identifikation eines Artikels, Computerprogrammprodukt, sowie System

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018144650A1 (en) 2017-01-31 2018-08-09 Focal Systems, Inc. Automated checkout system through mobile shopping units
WO2018154411A2 (en) * 2017-02-22 2018-08-30 Savis Retail Private Limited Vending machines and methods for dispensing products
US20190034897A1 (en) 2017-07-26 2019-01-31 Sbot Technologies Inc. Self-Checkout Anti-Theft Vehicle Systems and Methods
CA3090092A1 (en) * 2018-01-31 2019-08-08 Walmart Apollo, Llc Systems and methods for verifying machine-readable label associated withmerchandise

Also Published As

Publication number Publication date
WO2021175601A1 (de) 2021-09-10
DE102020202657A1 (de) 2021-09-02

Similar Documents

Publication Publication Date Title
CN107045641B (zh) 一种基于图像识别技术的货架识别方法
DE4217045C2 (de) System zum Verkauf von Waren
EP2105845B1 (de) Identifikationsverfahren
CN115063084B (zh) 一种卷烟零售商户库存盘点方法及系统
DE3913162C2 (de) Selbstabfertigungs-Vorrichtung zur unbeaufsichtigten Abfertigung von zum Kauf ausgewählten Artikeln
CN108376447A (zh) 具有经延迟欺诈干预的远程称重台
CN114282816B (zh) 一种生鲜区大屏幕电子标签自动管理系统
US20160063519A1 (en) Data analysis apparatus, data analysis system, commodity exchange forecasting apparatus, commodity exchange forecasting system, data analysis method, commodity exchange forecasting method, and computer-readable medium
CN107730273A (zh) 一种食品流通追溯平台及其实现方法
CN108629318B (zh) 一种基于图像识别技术的货架陈列识别方法、装置和系统
DE2113068A1 (de) Vorrichtung zur Handhabung von Waren
DE102019109289A1 (de) System und Verfahren zur Erkennung des potenziellen Betrugs seitens des Kassierers, sowie das Verfahren zur Bildung des Warenauszugs fürs Training des künstlichen Neuronennetzes
DE102021100085A1 (de) Verfahren zur synchronisierung einer strichcodedekodiererung mit einer videokamera zur genauigkeitsverbesserung einer verlustprävention an einzelhandels-pos
DE102020124613A1 (de) Verbesserte auswahl eines objekts von interesse für neuronale netzwerksysteme an verkaufspunken
DE19921748A1 (de) System und Verfahren zur Steuerung automatisierter und personalloser Logistik-, Verleih- und Verkaufsysteme
EP4115370A1 (de) Erstellung und aktualisierung einer produktdatenbank
WO2010022848A1 (de) Warenerfassung an selbstbedienungskassensystemen
WO2008107150A1 (de) Überwachungssystem, insbesondere zur analyse des füllstands von regalen
EP2230650B1 (de) Vorrichtung und Verfahren zur Warenerfassung
DE102021132569A1 (de) Einkaufssystem-Netzwerk und Einkaufswagen
EP4390883A1 (de) Kontrollverfahren bei digitalen einkaufswagen
DE202008018010U1 (de) Obst und Gemüse Identifikations- und Preiskalkulations-System für Kassen
AT526299A1 (de) Computerimplementiertes Verfahren zur Identifikation eines Artikels, Computerprogrammprodukt, sowie System
AT408148B (de) Anordnung zur ermittlung der stückzahl von presseerzeugnissen
US11720922B2 (en) Sensor technology for identifying and assessing store inventory and merchandising

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221004

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240903