DE102020202657A1

DE102020202657A1 - Creation and updating of a product database

Info

Publication number: DE102020202657A1
Application number: DE102020202657.2A
Authority: DE
Inventors: Philipp Kleinlein; Philip Koene; Frank Schaefer
Original assignee: BSH Hausgeraete GmbH
Current assignee: BSH Hausgeraete GmbH
Priority date: 2020-03-02
Filing date: 2020-03-02
Publication date: 2021-09-02
Also published as: EP4115370A1; WO2021175601A1

Abstract

Eine Vorrichtung umfasst eine optische Abtasteinrichtung zur Bereitstellung einer optischen Abtastung einer Ware; eine Verarbeitungseinrichtung und eine Schnittstelle zu einem Kassensystem. Das Kassensystem ist dazu eingerichtet, eine Produktinformation zu der Ware bereitzustellen, und die Verarbeitungseinrichtung zur Zuordnung der Produktinformation zur optischen Abtastung.A device comprises an optical scanning device for providing an optical scanning of a product; a processing device and an interface to a cash register system. The cash register system is set up to provide product information about the goods, and the processing device is set up to assign the product information to the optical scanning.

Description

Die Erfindung betrifft die Bereitstellung einer Produktdatenbank, insbesondere zur Erkennung eines Haushaltsartikels.The invention relates to the provision of a product database, in particular for recognizing a household item.

In einem intelligenten Haushalt kann ein Inventar vorhandener Verbrauchsartikel automatisch geführt werden. So kann beispielsweise ein Vorrat von Staubsaugerbeuteln rechtzeitig aufgestockt werden, ohne große Lagerbestände zu halten und ohne zu riskieren, bei Bedarf keine Beutel zur Verfügung zu haben. Für verderbliche Waren, insbesondere Lebensmittel, kann ein Mindesthaltbarkeitsdatum verfolgt werden. Droht die Ware zu verderben, kann rechtzeitig vorher ein Hinweis zum Verwenden der Ware ausgegeben werden. Verwendete oder abgelaufene Waren können auf eine Einkaufsliste gesetzt oder automatisch bestellt werden.In an intelligent household, an inventory of existing consumables can be kept automatically. For example, a supply of vacuum cleaner bags can be replenished in good time without having to keep large stocks and without the risk of not having any bags available when needed. A best-before date can be tracked for perishable goods, especially food. If the goods threaten to spoil, a notice on how to use the goods can be given in advance. Used or expired goods can be placed on a shopping list or ordered automatically.

Es hat sich als schwierig erwiesen, Waren, die in einen Haushalt gebracht werden oder diesen verlassen, vollständig zu inventarisieren. Bestehende Lösungen erfordern häufig das Abtasten eines Strichcodes oder einer anderen Markierung, die an der Ware angebracht ist. Ein Benutzer kann dies als aufwändig empfinden, sodass er das Abtasten weniger genau oder gar nicht mehr durchführt. Das Inventar kann dann schnell unbrauchbar werden. Außerdem erfordert diese Herangehensweise ständige Aktualisierungen der Informationen, auf die durch den Strichcode hingewiesen wird. Ändert beispielsweise ein Hersteller eine Verpackungsmenge eines Produkts, so kann die geänderte Menge nicht im Strichcode selbst, sondern nur in zugeordneten Informationen verfügbar sein. Produktinformationen von einer Vielzahl Hersteller konstant aktuell zu halten ist ebenfalls aufwändig, sodass sich leicht Fehler beispielsweise durch veraltete Informationen ergeben können.It has proven difficult to fully inventory goods entering or leaving a household. Existing solutions often require the scanning of a bar code or other mark affixed to the merchandise. A user can find this to be laborious, so that he or she no longer carries out the scanning with less accuracy or at all. The inventory can then quickly become unusable. In addition, this approach requires constant updates to the information indicated by the barcode. For example, if a manufacturer changes a packaging quantity of a product, the changed quantity cannot be available in the barcode itself, but only in assigned information. Keeping product information from a large number of manufacturers constantly up to date is also time-consuming, so that errors can easily arise, for example due to outdated information.

Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik zur Erstellung oder Pflege einer Produktdatenbank mit Waren, die insbesondere für einen Haushalt beschafft werden können. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.An object on which the present invention is based is to provide an improved technique for creating or maintaining a product database with goods that can be procured in particular for a household. The invention solves this problem by means of the subjects of the independent claims. Subclaims reproduce preferred embodiments.

Nach einem ersten Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung eine optische Abtasteinrichtung zur Bereitstellung einer optischen Abtastung einer Ware; eine Verarbeitungseinrichtung und eine Schnittstelle zu einem Kassensystem. Das Kassensystem ist dazu eingerichtet, eine Produktinformation zu der Ware bereitzustellen, und die Verarbeitungseinrichtung zur ist zur Zuordnung der Produktinformation zur optischen Abtastung eingerichtet.According to a first aspect of the present invention, an apparatus comprises an optical scanning device for providing an optical scanning of a product; a processing device and an interface to a cash register system. The cash register system is set up to provide product information on the goods, and the processing device for is set up to assign the product information to the optical scanning.

Die Vorrichtung kann beispielsweise in einem Supermarkt oder einem anderen Einzelhändler im Rahmen eines Abrechnungs- oder Bezahlvorgangs eingesetzt werden, der auch „checkout“ genannt werden kann. Üblicherweise werden hierbei alle von einem Kunden im Laden gesammelten Waren mittels des Kassensystems erfasst, wobei auch Mengen und Preise der Waren bestimmt werden. Es wird vorgeschlagen, eine optische Abtastung einer Ware mit einer Information zu verknüpfen, die das Kassensystem bereitstellt. Die Information kann insbesondere eine Bezeichnung oder einen eindeutigen Code wie einen EAN-Code für die Ware umfassen. Mittels der Vorrichtung kann in einem üblichen Betrieb des Kassensystems eine Vielzahl optischer Abtastungen erstellt und der Ware eindeutig zugeordnet werden. Optional können Informationen mehrerer Kassensysteme ausgewertet werden. Ein Zusammenhang zwischen einer optisch erfassbaren Eigenschaft der Ware und der Ware selbst kann automatisiert und mit hoher Zuverlässigkeit bestimmt werden.The device can be used, for example, in a supermarket or another retailer as part of a billing or payment process, which can also be called “checkout”. Usually, all goods collected by a customer in the shop are recorded by means of the cash register system, with the quantities and prices of the goods also being determined. It is proposed to link optical scanning of goods with information provided by the cash register system. The information can in particular include a designation or a unique code such as an EAN code for the goods. By means of the device, a large number of optical scans can be created in normal operation of the cash register system and clearly assigned to the goods. Optionally, information from several POS systems can be evaluated. A relationship between an optically detectable property of the goods and the goods themselves can be determined automatically and with a high degree of reliability.

In einer weiteren Ausführungsform ist ein Datenspeicher zur Aufnahme einer Vielzahl Abtastungen der Ware und jeweils zugeordneter Produktinformationen vorgesehen. Die gesammelten Informationen können miteinander verglichen oder fusioniert werden. Abweichende Bestimmungen können ausgesondert werden. Insbesondere wenn es sich bei der Ware um Massenartikel handelt, können Informationen, die an einer Vielzahl Verkaufsstellen bestimmt werden, schnell und zuverlässig beispielsweise eine Änderung einer Aufmachung, einer Verpackungs- oder Gebindegröße oder eines anderen Aspekts der Ware schnell aktualisiert werden.In a further embodiment, a data memory is provided for recording a large number of scans of the goods and associated product information in each case. The information collected can be compared or merged with one another. Deviating provisions can be excluded. In particular if the goods are mass-produced items, information that is determined at a large number of sales points can be quickly and reliably updated, for example a change in a make-up, a packaging or container size or another aspect of the goods.

Die Verarbeitungseinrichtung ist besonders bevorzugt dazu eingerichtet, Trainingsdaten für ein künstliches neuronales Netzwerk bereitzustellen, wobei die Trainingsdaten jeweils eine Abtastung und eine Produktinformation umfassen. Derartige Daten werden auch „gelabelt“ genannt, wobei die Produktinformation das „Label“, also einen Hinweis auf eine Identität der dargestellten Sache, darstellen kann. Die Trainingsdaten können für ein überwachtes Lernen des neuronalen Netzwerks verwendet werden. Insbesondere wenn Trainingsdaten von vielen hierin beschriebenen Vorrichtungen gesammelt werden, kann eine notwendige Anzahl von gelabelten Trainingsdaten zum Erlernen des Erkennens eines Produkts effizient und zeitnah erzeugt werden.The processing device is particularly preferably set up to provide training data for an artificial neural network, the training data each comprising a scan and product information. Such data are also called “labeled”, whereby the product information can represent the “label”, i.e. an indication of the identity of the item presented. The training data can be used for a monitored learning of the neural network. In particular, when training data are collected from many devices described herein, a necessary number of labeled training data for learning to recognize a product can be generated efficiently and promptly.

In einer weiteren Ausführungsform ist die Verarbeitungseinrichtung dazu eingerichtet, ein künstliches neuronales Netzwerk zur Erkennung der Ware auf der Basis einer optischen Abtastung der Ware zu trainieren. Das bereitgestellte neuronale Netzwerk kann beispielsweise in einem Haushalt eingesetzt werden, um eine Ware auf der Basis einer optischen Abtastung zu erkennen, wie unten noch genauer ausgeführt wird.In a further embodiment, the processing device is set up to train an artificial neural network for recognizing the goods on the basis of an optical scan of the goods. The provided neural network can be used, for example, in a household to order goods on the basis of a optical scanning, as will be explained in more detail below.

Die Abtasteinrichtung kann beispielsweise im Bereich eines Scanners, einer Waage oder einer manuellen Erfassungsstation angebracht werden. Beispielsweise kann in einem Einzelhandel die optische Abtastung im Bereich einer Ladentheke oder eines Förderbands für zu kaufende Waren angebracht sein. Es ist bevorzugt, dass die Ware während des Abtastens keine vorbestimmte Vorzugsausrichtung aufweist, sodass eine statisch angebrachte Abtasteinrichtung die Ware aus einer zufälligen Perspektive abtasten kann. Ein mit einer Vielzahl solcher Abtastungen trainiertes neuronales Netzwerk kann die Ware dann aus allen praktisch auftretenden Perspektiven erkennen.The scanning device can be attached, for example, in the area of a scanner, a scale or a manual detection station. For example, in a retail trade, the optical scanning can be installed in the area of a shop counter or a conveyor belt for goods to be purchased. It is preferred that the goods do not have a predetermined preferred orientation during scanning, so that a statically attached scanning device can scan the goods from a random perspective. A neural network trained with a large number of such scans can then recognize the goods from all practically occurring perspectives.

Die Abtasteinrichtung kann eine optische Kamera umfassen. Es ist bevorzugt, dass die Kamera ein farbiges, hoch aufgelöstes und kontrastreiches Bild bereitstellt. Dazu kann eine aktive Beleuchtung vorgesehen sein, optional in einem vorbestimmten Wellenlängenbereich. Die Kamera kann eine kurze Belichtungszeit unterstützen, um eine Bewegungsunschärfe in der Abtastung zu reduzieren.The scanning device can comprise an optical camera. It is preferred that the camera provides a colored, high-resolution and high-contrast image. Active lighting can be provided for this purpose, optionally in a predetermined wavelength range. The camera can support a short exposure time to reduce motion blur in the scan.

Die Abtasteinrichtung kann zur dreidimensionalen Abtastung der Ware eingerichtet sein. Eine Einrichtung zur dreidimensionalen Abtastung der Ware kann zusätzlich oder alternativ zu einer optischen Kamera verwendet werden. In einer Ausführungsform werden mehrere optische Kameras verwendet, die an leicht zueinander versetzten Orten angebracht sind und deren Abtastfelder einander überlappen. Eine solche Kamera kann auch Stereo-Kamera genannt werden. In einer anderen Ausführungsform kann eine ToF-Kamera verwendet werden, bei der eine Entfernung eines Punkts auf der Oberfläche der Ware auf der Basis einer Reisedauer von Licht von einer Lichtquelle im Bereich der Kamera zur Ware und von dort zur Kamera bestimmt wird. Eine solche Kamera kann auch als Tiefenkamera bezeichnet werden.The scanning device can be set up for three-dimensional scanning of the goods. A device for three-dimensional scanning of the goods can be used in addition or as an alternative to an optical camera. In one embodiment, a plurality of optical cameras are used which are mounted at locations slightly offset from one another and whose scanning fields overlap one another. Such a camera can also be called a stereo camera. In another embodiment, a ToF camera can be used in which a distance of a point on the surface of the goods is determined on the basis of a travel time of light from a light source in the region of the camera to the goods and from there to the camera. Such a camera can also be referred to as a depth camera.

Die Abtasteinrichtung kann einen Laser Scanner umfassen. Insbesondere kann ein LiDAR-Sensor verwendet werden, um eine dreidimensionale Erstreckung der Ware zu bestimmen. Derartige Sensoren sind mittlerweile zu moderaten Kosten erhältlich und können eine rasche und genaue Abtastung der Ware erlauben.The scanning device can comprise a laser scanner. In particular, a LiDAR sensor can be used to determine a three-dimensional extension of the goods. Such sensors are now available at moderate costs and can allow the goods to be scanned quickly and accurately.

Nach einem zweiten Aspekt der Erfindung umfasst ein System eine hierin beschriebene Vorrichtung zur Abtastung der Ware; und eine externe Stelle, die dazu eingerichtet ist, Abtastungen und jeweils zugeordnete Produktinformationen von einer Vielzahl Vorrichtungen zu empfangen. Die externe Stelle ist bevorzugt zum Empfangen von Informationen von einer Vielzahl der beschriebenen Vorrichtungen eingerichtet. Weiter bevorzugt ist seitens der externen Stelle eine dedizierte Verarbeitungseinrichtung vorgesehen, beispielsweise um empfangene Informationen zu verarbeiten, in einem Datenspeicher abzulegen oder abgelegte Informationen aufzubereiten.According to a second aspect of the invention, a system comprises a device described herein for scanning the goods; and an external location configured to receive samples and associated product information from a plurality of devices. The external location is preferably set up to receive information from a large number of the devices described. Furthermore, a dedicated processing device is preferably provided on the part of the external point, for example in order to process received information, to store it in a data memory or to process stored information.

Nach einem dritten Aspekt der vorliegenden Erfindung umfasst ein Verfahren folgende Schritten Bereitstellen einer optischen Abtastung einer Ware; Erfassen einer Produktinformation der Ware; und Zuordnen der Produktinformation zur optischen Abtastung. Die Produktinformation kann insbesondere von einem Kassensystem bereitgestellt sein, beispielsweise im Rahmen eines Rechnungs- oder Bezahlvorgangs für die Ware. Das Verfahren kann eingesetzt werden, um Datensätze bereitzustellen, die zum Trainieren eines neuronalen Netzwerks verwendet werden können. Das Verfahren kann bevorzugt im Bereich eines Kassensystems, insbesondere eines Supermarkts oder Einzelhändlers, durchgeführt werden. Eine weitere Verarbeitung von erhobenen Daten erfolgt bevorzugt an einer externen Stelle. Die externe kann zentral für eine Vielzahl Stellen vorgesehen sein, an denen das Verfahren ausgeführt werden kann.According to a third aspect of the present invention, a method comprises the following steps: providing an optical scanning of a product; Acquiring product information of the goods; and assigning the product information to the optical scanning. The product information can in particular be provided by a cash register system, for example as part of an invoice or payment process for the goods. The method can be used to provide data sets that can be used to train a neural network. The method can preferably be carried out in the area of a cash register system, in particular a supermarket or retailer. Further processing of the data collected is preferably carried out at an external location. The external one can be provided centrally for a large number of locations at which the method can be carried out.

Das Verfahren kann ganz oder teilweise mittels einer Verarbeitungseinrichtung ausgeführt werden kann, die von einer hierin beschriebenen Vorrichtung umfasst ist. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.The method can be carried out in whole or in part by means of a processing device which is comprised by a device described herein. For this purpose, the processing device can comprise a programmable microcomputer or microcontroller and the method can be in the form of a computer program product with program code means. The computer program product can also be stored on a computer-readable data carrier. Features or advantages of the method can be transferred to the device or vice versa.

Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung eine Verarbeitungseinrichtung, eine Kommunikationseinrichtung und eine optische Abtasteinrichtung. Dabei ist die Kommunikationseinrichtung dazu eingerichtet, ein künstliches neuronales Netzwerk zu empfangen, und die Verarbeitungseinrichtung ist dazu eingerichtet, eine mittels der Abtasteinrichtung abgetastete Ware mittels des neuronalen Netzwerks zu erkennen. Das neuronale Netzwerk umfasst üblicherweise eine computertechnische Datenstruktur, die relativ kompakt ist und üblicherweise in einigen 100 kByte aufgenommen sein kann. Zur Objekterkennung kann das neuronale Netzwerk auf der Verarbeitungseinrichtung ausgeführt werden, beziehungsweise kann die Verarbeitungseinrichtung mit der Datenstruktur das neuronale Netzwerk realisieren.According to yet another aspect of the present invention, an apparatus comprises a processing device, a communication device and an optical scanning device. In this case, the communication device is set up to receive an artificial neural network, and the processing device is set up to use the neural network to recognize goods that have been scanned by the scanning device. The neural network usually comprises a computerized data structure that is relatively compact and can usually be recorded in a few 100 kBytes. For object recognition, the neural network can be implemented on the processing device, or the processing device can implement the neural network with the data structure.

Die Erfindung wird nun unter Bezug auf die beiliegenden Figuren genauer beschrieben, in denen:

1 ein System mit einer ersten Vorrichtung;
2 ein Ablaufdiagramm eines Verfahrens; und
3 ein weiteres System mit einer zweiten Vorrichtung

darstellt.The invention will now be described in more detail with reference to the accompanying figures, in which:

1 a system having a first device;
2 a flow chart of a method; and
3 another system with a second device

represents.

1 zeigt ein System 100 mit einer ersten Vorrichtung 105 und einer zweiten Vorrichtung 110. Die Vorrichtungen 105 und 110 können miteinander integriert ausgeführt sein. In der dargestellten Ausführungsform sind die Vorrichtungen 105 und 110 jedoch physisch voneinander getrennt, aber kommunikativ miteinander verbunden, wie unten noch genauer ausgeführt wird. Die zweite Vorrichtung 110 kann als zentrale Komponente ausgebildet sein, die dazu eingerichtet ist, Informationen mehrerer erster Vorrichtungen 105 zu verarbeiten. 1 shows a system 100 with a first device 105 and a second device 110 . The devices 105 and 110 can be designed to be integrated with one another. In the illustrated embodiment, the devices are 105 and 110 but physically separated from one another, but communicatively connected to one another, as will be explained in more detail below. The second device 110 can be designed as a central component that is set up to receive information from a plurality of first devices 105 to process.

Die erste Vorrichtung 105 ist bevorzugt im Bereich eines Kassensystems 115 angebracht, das insbesondere im Einzelhandel verwendet werden kann, um eine Kaufsumme für eine Anzahl von einem Kunden ausgewählter Waren 120 zu bestimmen. Die Waren 120 können insbesondere zur Verwendung in einem Haushalt, insbesondere einem Privathaushalt, vorgesehen sein und beispielsweise Lebensmittel, Drogerieartikel, Tierfutter, Druckerzeugnisse oder Haushaltsgeräte umfassen. Beispielhaft dargestellte Waren 120 umfassen ein Geflügel, ein Waschmittel und ein Gemüse. Andere Waren 120 sind ebenfalls möglich und prinzipiell kann die vorliegende Erfindung auch im Zwischen- oder Großhandel einsetzbar sein.The first device 105 is preferred in the area of a cash register system 115 appropriate, which can be used in particular in retail to a purchase price for a number of goods selected by a customer 120 to determine. The goods 120 can in particular be provided for use in a household, in particular a private household, and include, for example, food, drugstore items, animal feed, printed matter or household appliances. Examples of goods shown 120 include a poultry, a detergent and a vegetable. Others were 120 are also possible and in principle the present invention can also be used in the intermediate or wholesale trade.

Das Kassensystem 115 umfasst üblicherweise eine Verarbeitungseinrichtung 120, die mit einer ersten Abtasteinrichtung 125, einer Eingabeeinrichtung 130 und/oder einer Waage 135 verbunden sein kann. Informationen über eine erfasste Ware 120 oder einen Einzel- oder Gesamtpreis können mittels einer Ausgabeeinrichtung 140 bereitgestellt werden. Die Ausgabeeinrichtung 140 kann eine optische Anzeige und/oder einen Drucker umfassen. Über eine Schnittstelle 142 kann eine Produktinformation einer Ware 120, bereitgestellt werden, insbesondere eine Identifikation der Ware 120. Die Identifikation kann eine Ausgabe umfassen, die auf der Ausgabeeinrichtung 140 bereitgestellt werden kann. Bevorzugt ist die Identifikation an einen menschlichen Benutzer gerichtet und umfasst eine natürlich sprachliche Bezeichnung.The cash register system 115 usually comprises a processing device 120 with a first scanning device 125 , an input device 130 and / or a scale 135 can be connected. Information about a registered product 120 or a single or total price can be obtained by means of an output device 140 to be provided. The output device 140 may include a visual display and / or a printer. Via an interface 142 can be product information of a commodity 120 , are provided, in particular an identification of the goods 120 . The identification can include an output that is on the output device 140 can be provided. The identification is preferably directed to a human user and includes a naturally linguistic designation.

Die Ware 120 wird üblicherweise erfasst, indem eine an ihr angebrachte Kennzeichnung, beispielsweise ein Strichcode, mittels der ersten Abtasteinrichtung 125 abgetastet wird. Lose Ware 120 kann von einer Person identifiziert und gezählt oder mittels der Waage 135 gewogen werden. Eine bestimmte Quantität der Ware 120 kann mittels der Eingabeeinrichtung 130 eingegeben werden.The goods 120 is usually detected by a label attached to it, for example a bar code, by means of the first scanning device 125 is scanned. Loose ware 120 can be identified and counted by a person or by means of the scales 135 be weighed. A certain quantity of the goods 120 can by means of the input device 130 can be entered.

Die erste Vorrichtung 105 umfasst wenigstens eines von einer zweiten Abtasteinrichtung 145 und einer dritten Abtasteinrichtung 150; sowie eine Verarbeitungseinrichtung 155 und eine optionale Kommunikationseinrichtung 160 zur Kommunikation mit der zweiten Vorrichtung 110, falls diese separat von der ersten Vorrichtung 105 aufgebaut ist.The first device 105 comprises at least one of a second scanning device 145 and a third scanner 150 ; and a processing device 155 and an optional communication device 160 for communication with the second device 110 if this is separate from the first device 105 is constructed.

Die zweite Abtasteinrichtung 145 umfasst bevorzugt eine optische Kamera zur Bereitstellung eines Still- oder Bewegt Bildes einer Ware 120, die im Kassensystem 115 abgefertigt wird. Dazu kann die Abtasteinrichtung 145 eine oder mehrere Beleuchtungseinrichtungen umfassen, die Licht vorbestimmter Wellenlängenbereiche aussenden kann. Dabei können sowohl für einen Menschen sichtbare als auch unsichtbare Wellenlängenbereiche verwendet werden.The second scanner 145 preferably comprises an optical camera for providing a still or moving image of a product 120 that are in the POS system 115 is dispatched. The scanning device 145 comprise one or more lighting devices which can emit light of predetermined wavelength ranges. Both visible and invisible wavelength ranges can be used for this.

Die dritte Abtasteinrichtung 150 ist bevorzugt zur Bestimmung von geometrischen Abmessungen einer Ware 120 eingerichtet und arbeitet bevorzugt ebenfalls optisch. Beispielsweise kann die dritte Abtasteinrichtung 150 einen LiDAR-Sensor, eine Tiefenkamera, eine Stereo-Kamera oder eine ToF-Kamera umfassen. In einer Ausführungsform sind beide Abtasteinrichtungen 145, 150 miteinander integriert ausgeführt. Jede der Abtasteinrichtungen 145, 150 kann auch in mehrfach im Bereich des Kassensystems 115 vorgesehen sein, vorzugsweise unter Variation einer Perspektive auf eine Ware 120.The third scanner 150 is preferred for determining the geometric dimensions of a product 120 set up and preferably also works optically. For example, the third scanning device 150 a LiDAR sensor, a depth camera, a stereo camera or a ToF camera. In one embodiment, both are scanners 145 , 150 executed integrated with each other. Each of the scanners 145 , 150 can also be used several times in the area of the cash register system 115 be provided, preferably with a variation of a perspective on a product 120 .

Es ist zu beachten, dass die Abtasteinrichtungen 145, 150 weniger dazu eingerichtet sind, eine Identifikation der Ware 120 - etwa einen Strichcode - zu erfassen, als eine optisch erkennbare Eigenschaft, etwa eine Farbgebung, ein Design, eine Größe, ein Seitenverhältnis oder eine Beschriftung. Zweck der Abtastung ist bevorzugt, reproduzierbar erfassbare optische Merkmale der Ware 120 zu bestimmen. Waren 120 mit großer optischer Variation, etwa lose Ware, Obst, Gemüse oder Frischfleisch, können individuell verschiedene optische Merkmale aufweisen, anhand derer sie aber trotzdem erkennbar sein können.It should be noted that the scanning devices 145 , 150 fewer are set up to identify the goods 120 - for example a barcode - to be recorded as an optically recognizable property, for example a color scheme, a design, a size, an aspect ratio or a lettering. The purpose of scanning is preferred, reproducibly detectable optical features of the goods 120 to determine. Was 120 with great optical variation, such as loose goods, fruit, vegetables or fresh meat, can have individually different optical characteristics, which can nevertheless be used to identify them.

Die Abtasteinrichtungen 145, 150 sind bevorzugt derart im Bereich des Kassensystems 115 angebracht, dass ihre Abtastungen anderen Abtastungen, Eingaben oder Bestimmungen des Kassensystems 115 möglichst eindeutig zugeordnet werden können, sodass sichergestellt ist, dass sich die Abtastungen der Einrichtungen 145, 150 auf dieselbe Ware 120 beziehen wie eine vom Kassensystem 115 bereitgestellte Produktinformation. Dazu können die Abtasteinrichtungen 125, 145, 150 räumlich nahe aneinander liegen. Wird die Ware 120 für die Abtastung mittels der erste Abtasteinrichtung 125 stets gleich ausgerichtet, etwa sodass sich ein Strichcode stets an der Unterseite befindet, so ist bevorzugt, dass die Abtasteinrichtungen 145, 150 derart positioniert sind, dass sie die noch nicht ausgerichtet Ware 120 abtasten, oder die Ware 120 nach einer möglichst zufälligen Neuausrichtung, etwa am Ende einer schiefen Ebene.The scanning devices 145 , 150 are preferably in the area of the cash register system 115 attached that their scans to other scans, entries or determinations of the POS system 115 can be assigned as clearly as possible, so that it is ensured that the scans of the facilities 145 , 150 on the same goods 120 like one from the cash register system 115 provided product information. The scanning devices 125 , 145 , 150 spatially close lie against each other. Will the goods 120 for scanning by means of the first scanning device 125 always aligned in the same way, for example so that a barcode is always located on the underside, it is preferred that the scanning devices 145 , 150 are positioned so that they have not yet aligned goods 120 scan, or the goods 120 after a reorientation that was as random as possible, for example at the end of an inclined plane.

Die erste Vorrichtung 105 und die zweite Vorrichtung 110 umfassen vorliegend jeweils eine Kommunikationseinrichtung 165 zur gegenseitigen Datenübermittlung. Die zweite Vorrichtung 110 umfasst ferner eine Verarbeitungseinrichtung 165, sowie bevorzugt einen Datenspeicher 170. Es wird vorgeschlagen, eine Abtastung einer Ware 120 mittels einer der Abtasteinrichtungen 145, 150 einer vom Kassensystem 115 bereitgestellten Produktinformation zuzuordnen. Bevorzugt kann ein Datensatz erstellt werden, bei dem die Produktinformation ein Label einer optischen Abtastung umfasst. Erstellte Datensätze können zum Trainieren eines künstlichen neuronalen Netzwerks verwendet werden, um eine Erkennung der Ware 120 mittels des Netzwerks zu ermöglichen. In einer Ausführungsform erfolgen das Trainieren und/oder Bereitstellen eines trainierten neuronalen Netzwerks durch die zweite Vorrichtung 110.The first device 105 and the second device 110 in the present case each comprise a communication device 165 for mutual data transfer. The second device 110 further comprises a processing device 165 , and preferably a data memory 170 . It is proposed to scan a commodity 120 by means of one of the scanning devices 145 , 150 one from the POS system 115 to be assigned to the product information provided. A data record can preferably be created in which the product information includes a label of an optical scan. Generated data sets can be used to train an artificial neural network to recognize the goods 120 by means of the network. In one embodiment, a trained neural network is trained and / or provided by the second device 110 .

2 zeigt ein Ablaufdiagramm eines Verfahrens 200, das insbesondere mittels einer oder beiden Vorrichtungen 105, 110 eines Systems 100 ausgeführt werden kann. Es ist zu beachten, dass das Verfahren 200 mehrere Teilverfahren umfassen kann, von denen eines auch mittels eines anderen Systems ausgeführt werden kann, wie unten mit Bezug auf 3 noch genauer beschrieben ist. 2 shows a flow chart of a method 200 in particular by means of one or both devices 105 , 110 of a system 100 can be executed. It should be noted that the procedure 200 may comprise several sub-methods, one of which can also be carried out by means of another system, as below with reference to FIG 3 is described in more detail.

In einem Schritt 205 kann eine Ware 120, die im Bereich eines Kassensystems 115 insbesondere zu Abrechnungszwecken aufgenommen wird, optisch abgetastet werden. In einem nebenläufigen Schritt 210 kann eine durch das Kassensystem 115 bereitgestellte Produktinformation der Ware 120 erfasst werden. Dabei wird bevorzugt sichergestellt, dass den Schritten 205 und 210 dieselbe Ware 120 zu Grunde liegt.In one step 205 can be a commodity 120 that are in the area of a cash register system 115 is recorded in particular for billing purposes, are optically scanned. In a concurrent step 210 can one through the cash register system 115 provided product information of the goods 120 are recorded. It is preferably ensured that the steps 205 and 210 same goods 120 underlying.

In einem Schritt 215 kann ein Datensatz erstellt werden, in welchem die Produktinformation der erfolgten Abtastung zugeordnet ist. Die Produktinformation kann in Form eines Labels bestimmt sein. Auf der Abtastung kann außerdem eine Begrenzung, etwa als „bounding box“ der abgebildeten Ware 120 eingefügt werden. Die Begrenzung kann leicht bestimmt werden, wenn die Abtasteinrichtung 145, 150 statisch angebracht ist, sodass ein nicht zur Ware 120 gehörender Bildteil bekannt ist.In one step 215 a data record can be created in which the product information is assigned to the scanning that has taken place. The product information can be specified in the form of a label. There can also be a limitation on the scanning, for example as a “bounding box” of the goods shown 120 inserted. The limitation can easily be determined when the scanning device 145 , 150 is statically attached, so that one is not part of the goods 120 belonging image part is known.

In einem Schritt 220 kann ein Repositorium von bestimmten Datensätzen erstellt werden. Das Repositorium kann eine Vielzahl bestimmter Datensätze umfassen, die nach vorbestimmten Kriterien geordnet sein können. Beispielhafte Ordnungskriterien umfassen einen Erfassungszeitpunkt, einen Bestimmungszeitpunkt, einen Bestimmungsort oder eine Bestimmungskonfidenz. Veraltete oder als inkorrekt erkannte Datensätze können aus dem Repositorium entfernt werden. Datensätze des Repositoriums können zum Trainieren eines neuronalen Netzwerks bereitgestellt werden.In one step 220 a repository of certain data sets can be created. The repository can comprise a multiplicity of specific data records which can be sorted according to predetermined criteria. Exemplary ordering criteria include a detection time, a determination time, a destination or a determination confidence. Outdated or incorrectly recognized data records can be removed from the repository. Data records from the repository can be made available for training a neural network.

In einem Schritt 225 kann ein künstliches neuronales Netzwerk mittels zuvor bestimmten Datensätzen trainiert werden. Das trainierte Netzwerk kann dazu eingerichtet sein, eine Ware 120 auf der Basis ihrer optischen Abtastung zu erkennen. Insbesondere kann eine der Ware 120 zugeordnete Information bereitgestellt werden, etwa ihre Bezeichnung. In einer Ausführungsform sind der Ware 120 noch weitere Informationen zugeordnet, etwa ein Inhaltsstoff, ein Kaufort, ein Kaufpreis, eine Menge oder ein geschätztes oder angegebenes Haltbarkeitsdatum. Diese Informationen können dann ebenfalls bereitgestellt werden.In one step 225 an artificial neural network can be trained using previously determined data sets. The trained network can be set up to deliver a commodity 120 on the basis of their optical scanning. In particular, one of the goods 120 associated information are provided, such as their designation. In one embodiment, the goods are 120 still further information is assigned, for example an ingredient, a place of purchase, a purchase price, a quantity or an estimated or specified expiry date. This information can then also be provided.

Das neuronale Netzwerk kann in einem anderen Kontext als eine der Vorrichtungen 105, 110 eingesetzt werden. Beispielsweise kann das Netzwerk in einem Haushalt dazu verwendet werden, eine beschaffte Ware 120 zu erkennen. Insbesondere kann die Ware 120 in einem Schritt 230 optisch abgetastet werden, wobei graphische Merkmale und/oder Dimensionen erfasst werden können. In einem Schritt 235 kann die Ware 120 erkannt werden. Zugeordnete Informationen können bereitgestellt werden. Ein Inventar von im Haushalt vorhandenen Waren 120 kann um die Ware 120 aktualisiert werden. In einer weiteren Ausführungsform kann eine verbrauchte oder dem Haushalt entzogene Ware 120 auf dieselbe Weise erkannt werden und ein Inventar kann entsprechend aktualisiert werden.The neural network may be in a different context than either of the devices 105 , 110 can be used. For example, the network can be used in a household to purchase goods 120 to recognize. In particular, the goods 120 in one step 230 are optically scanned, with graphical features and / or dimensions can be detected. In one step 235 can the goods 120 be recognized. Associated information can be provided. An inventory of goods in the household 120 can order the goods 120 updated. In a further embodiment, goods that have been consumed or withdrawn from the household can be used 120 can be recognized in the same way and an inventory can be updated accordingly.

3 zeigt ein System 300 mit einer dritten Vorrichtung 305, die beispielhaft an einem Kühlgerät 310 angebracht ist. Das Kühlgerät 310 kann beispielsweise einen Kühlschrank, ein Gefriergerät, eine Kombination aus beiden, einen Weinkühler oder einen ungekühlten Vorratsschrank umfassen. Im Kühlgerät 310 ist beispielhaft eine Ware 120 angeordnet. 3 Figure 3 shows a system 300 with a third device 305 , which is exemplified on a cooling device 310 is appropriate. The cooling device 310 may for example include a refrigerator, a freezer, a combination of both, a wine cooler, or an uncooled pantry. In the refrigerator 310 is an example of a commodity 120 arranged.

Die dritte Vorrichtung 305 umfasst eine Verarbeitungseinrichtung 315 und eine bevorzugt auf einen Innenraum des Kühlgeräts 310 gerichtete optische Abtasteinrichtung 320. Optional ist eine Kommunikationseinrichtung 325 vorgesehen. Mittels der Kommunikationseinrichtung 325 kann von einer externen Stelle, beispielsweise der zweiten Vorrichtung 110, eine Datenstruktur bezogen werden, die ein künstliches neuronales Netzwerk repräsentiert. Das neuronale Netzwerk kann implementiert werden, indem die Datenstruktur durch die Verarbeitungseinrichtung 315 ausgeführt wird.The third device 305 comprises a processing device 315 and one preferably to an interior of the cooling device 310 Directional optical scanning device 320. Optionally, a communication device 325 is provided. Communication device 325 can be used from an external point, for example the second device 110 , a data structure that represents an artificial neural network. The neural network can be implemented by the data structure by the processing device 315 is performed.

Die Abtasteinrichtung 320 kann eine oder mehrere Kameras umfassen. Optional ist die Abtastungseinrichtung 320 zur Bestimmung einer geometrischen Dimension einer Ware 120 eingerichtet. Weiter optional ist eine Lichtquelle zur Beleuchtung des Innenraums des Kühlgeräts 310 vorgesehen. In einer Ausführungsform ist die Abtasteinrichtung 320 verstellbar am Kühlgerät 310 angebracht, um optische Abtastungen aus verschiedenen Perspektiven zu bestimmen.The scanning device 320 may include one or more cameras. The scanning device 320 is optional for determining a geometric dimension of a product 120 set up. A light source for illuminating the interior of the refrigerator is also optional 310 intended. In one embodiment, the scanning device 320 is adjustable on the cooling device 310 attached to determine optical samples from different perspectives.

Die dritte Vorrichtung 305 kann erkennen, welche Waren 120 sich im Kühlgerät 310 befinden, indem sie eine optische Abtastung des Innenraums mittels der Abtasteinrichtung 320 vornimmt und eine oder mehrere auf der Abtastung erkennbare Ware 120 mittels des neuronalen Netzwerks identifiziert. Dann kann die Vorrichtung 305 ein Inventar des Kühlgeräts 310 bereitstellen. So kann beispielsweise automatisiert bestimmt werden, ob vorbestimmte Mengen vorbestimmter Waren 120 vorhanden sind oder nicht. In einer Ausführungsform kann beispielsweise bestimmt werden, welche Zutaten zur Zubereitung eines vorbestimmten Rezepts vorhanden sind, beziehungsweise welche Mengen welcher Zutaten beschafft werden müssen, um das Rezept in eine Speise einer vorbestimmten Menge umzusetzen.The third device 305 can tell which goods 120 in the refrigerator 310 are located by performing an optical scan of the interior by means of the scanning device 320 and one or more goods recognizable on the scan 120 identified by means of the neural network. Then the device can 305 an inventory of the refrigerator 310 provide. For example, it can be determined automatically whether predetermined quantities of predetermined goods 120 are present or not. In one embodiment, for example, it can be determined which ingredients are present for the preparation of a predetermined recipe, or which quantities of which ingredients must be procured in order to convert the recipe into a meal of a predetermined quantity.

BezugszeichenlisteList of reference symbols

100100: Systemsystem
105105: erste Vorrichtungfirst device
110110: zweite Vorrichtung, externe Stelle, zentrale Komponentesecond device, external body, central component
115115: KassensystemPOS system
120120: WareWere
125125: erste Abtasteinrichtungfirst scanning device
130130: EingabeeinrichtungInput device
135135: Waagescale
140140: AusgabeeinrichtungOutput device
142142: Schnittstelleinterface
145145: zweite Abtasteinrichtungsecond scanning device
150150: dritte Abtasteinrichtungthird scanning device
155155: VerarbeitungseinrichtungProcessing facility
160160: KommunikationseinrichtungCommunication facility
165165: VerarbeitungseinrichtungProcessing facility
170170: Datenspeicher Data storage
200200: Verfahrenprocedure
205205: Ware abtastenScan goods
210210: Produktinformation erfassenCapture product information
215215: Datensatz erstellenCreate data record
220220: Repositorium erstellenCreate a repository
225225: neuronales Netzwerk trainierentrain neural network
230230: Ware abtastenScan goods
235235: Ware erkennen Recognize goods
305305: dritte Vorrichtungthird device
310310: KühlgerätCooling device
315315: VerarbeitungseinrichtungProcessing facility

Claims

Apparatus (105, 110) comprising: - An optical scanning device (145, 150) for providing an optical scanning of a product (120); - An interface (142) to a cash register system (115); - The cash register system (115) being set up to provide product information on the goods (120); and - A processing device (155, 165) for assigning the product information to the optical scanning.

Device (105, 110) according to Claim 1 , further comprising a data memory (170) for receiving a plurality of scans of the goods (120) and respectively associated product information.

Device (105, 110) according to Claim 1 or 2 , wherein the processing device (155, 165) is set up to provide training data for an artificial neural network, the training data each comprising a sample and product information.

Device (105, 110) according to one of the preceding claims, wherein the processing device (155, 165) is set up to train an artificial neural network to recognize the goods (120) on the basis of an optical scan of the goods (120).

Device (105, 110) according to one of the preceding claims, wherein the scanning device comprises an optical camera (145, 150).

Device (105, 110) according to one of the preceding claims, wherein the scanning device (145) is set up for three-dimensional scanning.

Device (105, 110) according to one of the preceding claims, wherein the scanning device (145, 150) comprises a laser scanner.

System (100) comprising a device (105) for scanning the goods (120) according to one of the preceding claims; and an external location (110) configured to receive samples and associated product information from a plurality of devices (105).

Method (200) with the following steps: - providing (205) an optical scanning of a product (120); - Detecting (210) product information of the goods (120); and - Assigning (215) the product information to the optical scanning.

Apparatus (305) comprising a processing device (315), a communication device (325) and an optical scanning device (320), the communication device (325) being set up to receive an artificial neural network; and the processing device (315) is set up to recognize goods (120) scanned by the scanning device (320) by means of the neural network.