-
Die vorliegende Erfindung betrifft ein Verfahren zur Gewichtsschätzung eines Produktes, insbesondere von Obst und/oder Gemüse. Des Weiteren betrifft die vorliegende Erfindung ein Computerprogramm, das jeden Schritt des Verfahrens ausführt, sowie ein maschinenlesbares Speichermedium, welches das Computerprogramm speichert. Schließlich betrifft die Erfindung ein elektronisches Rechengerät, welches eingerichtet ist, um das Verfahren auszuführen.
-
Stand der Technik
-
In vielen Supermärkten werden Obst und Gemüse von den Kunden nicht mehr selber gewogen und etikettiert. Stattdessen nehmen sie sich die gewünschte Menge der Produkte und diese werden erst an der Kasse ausgewogen. Dies führt dazu, dass der Kunde beim Einkaufen nur grob abschätzen kann, was die von ihm ausgewählten Produkte kosten werden. Auch wenn noch eine Waage im Supermarkt bzw. Geschäft vorhanden ist, um das Gewicht der ausgewählten Produkte zu ermitteln, so können viele Kunden den sich daraus ergebenden Preis sich jedoch nicht oder nur schwer im Kopf errechnen.
-
Weiterhin ist es üblich, in Geschäften Videokameras zu installieren, um eine videobasierte Überwachung zu ermöglichen. Insbesondere wird die Videoüberwachung als Sicherheitsmaßnahme zum Schutz vor Diebstählen und Vandalismus eingesetzt oder um eine Auswertung des Kaufverhalten von Kunden zu ermöglichen. Die dabei eingesetzten Kameras decken in der Regel eine große Fläche ab, sodass die Auflösung einer einzelnen Person gering ist. Eine Wiedererkennung von Personen durch Gesichtserkennung ist deshalb in der Regel nicht möglich oder muss durch bauliche Maßnahmen erzwungen werden. Dies schränkt die allgemeine Anwendbarkeit ein.
-
Offenbarung der Erfindung
-
Das Verfahren dient zur Gewichtsschätzung eines Produktes, insbesondere von Obst und/oder Gemüse. Hierbei handelt es sich um Produkte, die von einem Kunden eines Geschäfts bzw. Supermarkts ausgewählt werden. In dem Verfahren werden zunächst Bildsignale des mindestens einen Produktes in einer Datenverarbeitungseinrichtung eingelesen. Unter Bildsignalen werden dabei analoge oder digitale Signale mindestens einer Kamera verstanden, die ein Bild in Form von Einzelsignalen oder Signalströmen repräsentieren. Die Bildsignale werden anschließend mittels der Datenverarbeitungseinheit mit in einem Speicher hinterlegten Daten verglichen. Diese Daten umfassen Bildsignale einer Vielzahl von Obst- und Gemüseprodukten, wobei jedem Produkt seine Art sowie sein Gewicht zugeordnet sind. Aus dem Vergleich wird dann eine Art des Produktes, also welcher Obstsorte oder welcher Gemüsesorte es zugehörig ist, erkannt. Weiterhin werden aus den Bildsignalen Abmessungen eines Produktes erkannt. Das Gewicht des Produktes wird aus seiner Art und seinen Abmessungen geschätzt.
-
Das Schätzen kann in einer Ausführungsform des Verfahrens erfolgen, indem aus den Abmessungen des Produktes sein Volumen berechnet wird. Die in dem Speicher hinterlegen Daten umfassen in dieser Ausführungsform für jede Art des Produktes eine Dichte, sodass nach dem Erkennen der Art des Produktes aus seinem Volumen und seiner Dichte das Gewicht berechnet werden kann. Diese Berechnung stellt jedoch nur eine Schätzung dar, weil die bildsignalbasierte Volumenbestimmung fehlerbehaftet ist und Obst und Gemüse als natürliche Produkte Volumenschwankungen unterliegen.
-
Bevorzugt ist jedoch eine Ausführungsform des Verfahrens, in welcher das Schätzen unter Verwendung eines mittels maschinellen Lernens trainierten Computerprogramms erfolgt. Hierzu kann es Verfahren aus dem Bereich künstliche Intelligenz und insbesondere des Machine Learnings oder des Deep Learnings verwenden. Die in dem Speicher hinterlegten Daten werden dabei zum Trainieren des Computerprogramms verwendet. Dieses kann dann zum Erkennen der Art des Produktes insbesondere mehrere Bildsignale kombinieren, um eine Intraobjektvariation zu reduzieren und eine Interobjektvariation zu maximieren. Indem zum Trainieren weiterhin eine Korrelation zwischen dem Gewicht, der Art des Produktes und seinen Abmessungen, sowie den im Speicher hinterlegten Bildsignalen verwendet werden, kann dann vom Computerprogramm durch Korrelation zwischen den Trainingsdaten und den Testdaten, die beim aktuellen Einlesen der Bildsignale gewonnen wurden, die richtige Information klassifiziert werden und so das Gewicht abgeschätzt werden.
-
Es ist bevorzugt, dass das Erkennen der Abmessungen zumindest unter Auswertung von Farbverläufen der Bildsignale erfolgt. Wenn die Bildsignale als Farbbilder aufgenommen und ausgewertet werden, so können Farbverläufe, die sich aus der räumlichen Tiefe der abgebildeten Produkte ergeben, zur Ermittlung der Abmessungen herangezogen werden.
-
Weiterhin ist es bevorzugt, dass die in dem Speicher hinterlegten Daten Bildsignale von Hintergründen umfassen, die sich im Sichtfeld der mindestens einen Kamera befinden. Wenn aktuell eingelesene Bildsignale in dem Verfahren ausgewertet werden, kann eine Unterscheidung zwischen einem Produkt und seinem Hintergrund dann unter Verwendung der in dem Speicher hinterlegten Daten des Hintergrunds erfolgen (ground truth). Wenn der Kunde nicht nur ein einziges Obst- oder Gemüseprodukt auswählt, dann ist es bevorzugt, dass Bildsignale dieser mehreren Produkte erfasst werden und aus den Bildsignalen auch die Anzahl der Produkte ermittelt wird. Dies kann insbesondere ebenfalls unter Verwendung des mittels maschinellen Lernens trainierten Computerprogramms erfolgen. Aus der Art, den Abmessungen und der Anzahl der Produkte wird dann ihr Gesamtgewicht geschätzt. Dabei erfolgt diese Schätzung des Gesamtgewichts jedoch stets nur für eine Gruppe von Produkten gleicher Art.
-
In einer Ausführungsform des Verfahrens wird als Kamera eine Überwachungskamera in dem Geschäft verwendet. Diese ist üblicherweise so angeordnet, dass das Auswählen der Produkte durch den Kunden einfach erfasst werden kann.
-
Zum frühzeitigen Erkennen von Ladendiebstahl (predictive shoplifting) ist es hierbei bevorzugt, dass aus den Bildsignalen eine Anzahl der Produkte ermittelt wird und bei einem Bezahlvorgang an einer Kasse des Geschäftes die ermittelte Anzahl mit einer an der Kasse vorgelegten Anzahl der Produkte verglichen wird. Um die auf diese Weise ermittelte Anzahl der Produkte beim Bezahlvorgang einem bestimmten Kunden zuordnen zu können, kann insbesondere vorgesehen sein, dass mittels der Kamera und mittels einer weiteren Kamera an der Kasse eine Personenwiedererkennung folgt. Alternativ oder zusätzlich kann eine Identifikation des Kunden insbesondere über eine Lokalisierung eines von ihm mitgeführten mobilen Gerätes wie beispielsweise eines Smartphones erfolgen.
-
Um mittels des Verfahrens einen Kundennutzen zu generieren, ist es in der Ausführungsform des Verfahrens, die eine Überwachungskamera des Geschäftes verwendet, außerdem bevorzugt, dass aus dem Gewicht und/oder dem Gesamtgewicht aller vom Kunden ausgewählten Produkte ihr Gesamtpreis berechnet wird. Hierzu ist es bevorzugt, dass ein Kilopreis jeder Produktart in dem Speicher hinterlegt ist. Für manche Produktarten kann alternativ auch vorgesehen sein, dass in dem Speicher ein Stückpreis hinterlegt ist. In diesem Fall erfolgt die Berechnung des Gesamtpreises aus der Anzahl und der Art der Produkte. Nachdem die Preisberechnung erfolgt ist, wird aus mindestens einem mittels der Kamera erfassten Bildsignal des Kunden dessen Blickrichtung ermittelt. Der Gesamtpreis wird dann auf einem Display angezeigt, das in der Blickrichtung des Kunden im Geschäft angeordnet ist. Das Verfahren nimmt also aus allen verfügbaren Displays eine Auswahl vor, um den Gesamtpreis an der für den Kunden am besten einsehbaren Position anzuzeigen.
-
In einer anderen Ausführungsform des Verfahrens wird als Kamera eine Kamera eines mobilen Gerätes des Kunden verwendet, insbesondere eine Kamera eines Smartphones. Zum Datenaustausch zwischen dem mobilen Gerät und der Datenverarbeitungseinheit kann insbesondere ein auf dem mobilen Gerät installiertes Computerprogramm in Form einer App vorgesehen sein. Alternativ ist es aber auch möglich, ein für die Durchführung des gesamten Verfahrens vorgesehenes Computerprogramm einschließlich der in dem Speicher hinterlegten Daten mittels einer App auf das mobile Gerät zu laden. Dabei fungiert dann eine Datenverarbeitungseinheit des mobilen Gerätes als Datenverarbeitungseinheit, in der die Bildsignale eingelesen werden und ein Speicher des mobilen Gerätes speichert die hinterlegten Daten.
-
Auch in dieser Ausführungsform ist es bevorzugt, dass aus dem Gewicht und unter dem Gesamtgewicht aller vom Kunden ausgewählten Produkte der Gesamtpreis berechnet wird. Die Berechnung kann in derselben Weise erfolgen wie in der vorhergehend beschriebenen Ausführungsform, wobei insbesondere auch die Möglichkeit vorgesehen sein kann, für einige Arten von Produkten anstelle des Gewichts beziehungsweise des Gesamtgewichts die Anzahl als Berechnungsgrundlage zu verwenden, um den Gesamtpreis auf der Grundlage eines Stückpreises zu ermitteln. Der Gesamtpreis wird dann auf einem Display des mobilen Gerätes angezeigt.
-
Das Computerprogramm ist eingerichtet, jeden Schritt des Verfahrens durchzuführen, insbesondere, wenn es auf einem Rechengerät abläuft. Bei dem Rechengerät kann es sich sowohl um ein Rechengerät des Geschäftes als auch um ein Rechengerät des Kunden handeln. Das Computerprogramm ermöglicht die Implementierung unterschiedlicher Ausführungsformen des Verfahrens auf unterschiedlichen Rechengeräten, ohne hieran bauliche Veränderungen vornehmen zu müssen. Hierzu ist es auf dem maschinenlesbaren Speichermedium gespeichert. Durch Aufspielen des Computerprogramms auf ein herkömmliches elektronisches Rechengerät, welches mindestens eine Datenverarbeitungseinheit und mindestens einen Speicher aufweist, wird das elektronische Regengerät erhalten, welches eingerichtet ist, um mittels des Verfahrens eine Gewichtsschätzung von Obst und/oder Gemüse vorzunehmen.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.
- 1 zeigt schematisch ein Geschäft, in dem ein Verfahren gemäß einem ersten Ausführungsbeispiel abläuft.
- 2 zeigt ein Ablaufdiagramm des ersten Ausführungsbeispiels des Verfahrens.
- 3 zeigt schematisch ein Geschäft, in dem ein Verfahren gemäß einem zweiten Ausführungsbeispiel abläuft.
- 4 zeigt ein Ablaufdiagramm des zweiten Ausführungsbeispiels des Verfahrens.
-
Ausführungsbeispiele der Erfindung
-
In einem ersten Ausführungsbeispiel des Verfahrens wählt ein Kunde 10 in einem Geschäft ein Produkt 20 aus einer Gruppe von Obststücken aus, indem er sie in eine nicht dargestellte Plastiktüte füllt. Eine Datenverarbeitungseinheit 31 eines elektronischen Rechengeräts 30 des Geschäftes beobachtet diesen Vorgang mittels einer Kamera 40, die als Überwachungskamera in dem Geschäft angeordnet ist. Wie in 2 dargestellt ist, erfolgt ein Start 70 eines ersten Ausführungsbeispiels des Verfahrens und es erfolgt ein Einlesen 71 von Bildsignalen des Produktes 20 in die Datenverarbeitungseinheit 31. Anschließend erfolgt ein Vergleichen 72 dieser Bildsignale mit in einem Speicher 32 des elektronischen Rechengeräts 30 hinterlegten Daten verschiedener Obstsorten. Diese umfassen für jedes Obststück Bildsignale, die aus unterschiedlichen Blickrichtungen aufgenommen wurden sowie die Art und das Gewicht jedes Obststücks. Auch die Dichte jeder Obstsorte ist in dem Speicher 32 hinterlegt. Weiterhin sind dort mittels der Kamera 40 aufgenommene Bildsignale von Hintergrundbildern des Geschäftes aufgenommen, um die einzelnen Produkte 20 mittels ground truth von ihrem Hintergrund unterscheiden zu können.
-
Aus dem Vergleich erfolgt nun ein Erkennen 73 einer Art des Produktes 20, um dieses dann einer Obstsorte zuordnen zu können. Weiterhin erfolgt ein Ermitteln 74 einer Anzahl der vom Kunden 10 ausgewählten Produkte. Im vorliegenden Ausführungsbeispiel handelt es sich hierbei um ein Produkt 20. Weiterhin erfolgt ein Erkennen 75 der Abmessungen des Produkts 20 aus den Bildsignalen. Hierzu werden Farbverläufe der Bildsignale ausgewertet. Aus der Art, der Anzahl und den Abmessungen erfolgt nun ein Schätzen 76 des Gewichts des ausgewählten Produktes 20. Für dieses Schätzen wird ein in der Datenverarbeitungseinheit 31 ablaufendes Computerprogramm verwendet, das mittels maschinellen Lernens unter Verwendung der in dem Speicher 32 hinterlegten Daten trainiert wurde. Dabei wird auf Methoden auf dem Bereich des Deep Learning zurückgegriffen, vorliegend beispielsweise durch den Einsatz sogenannter convolutional neural networks (CNN). Ein hierzu verwendbarer Ansatz ist Mask R-CNN, das in He et al., Mask R-CNN, The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2961-2969 beschrieben wird.
-
Aus einem im Speicher 32 hinterlegten Kilopreis des Produktes 20 und dem geschätzten Gewicht erfolgt eine Berechnung 77 des Preises, den der Kunde für den Erwerb des Produktes 20 zahlen muss. Mittels der Kamera 40 wird eine Blickrichtung 11 des Kunden 10 ermittelt und aus mehreren im Geschäft angeordneten Anzeigevorrichtungen ein Display 50 ausgewählt, welches sich in der Blickrichtung 11 des Kunden 10 befindet 78. Anschließend erfolgt ein Anzeigen 79 des Gewichts oder des Preises auf diesem Display 50.
-
Wenn der Kunde 10 seinen Einkauf an einer Kasse 60 des Geschäftes vorlegt, so wird er dort anhand von Bildsignalen, welche die Kamera 40 bereits beim Auswählen des Produktes 20 von ihm aufgenommen hat, wiedererkannt 80. Anschließend erfolgt ein Vergleichen 81 der im Schritt 74 erfassten Anzahl der vom Kunden 10 ausgewählten Produkte 20 mit der Anzahl, die dann an der Kasse 60 vorliegt. Stimmen diese beiden Anzahlen überein, so erfolgt eine Ausgabe 82, welche dies dem Verkäufer bestätigt. Liegt hingegen eine Abweichung vor, so wird ein Diebstahlsalarm 83 ausgelöst.
-
3 zeigt, wie eine Gewichtsschätzung in einem zweiten Ausführungsbeispiel des Verfahrens erfolgt. Der Kunde 10 fotografiert das von ihm ausgewählte Produkt 20 mittels einer Kamera 91 in einem mobilen Gerät 90 in Form eines Smartphones. Dies übermittelt die so erhaltenen Bildsignale an ein elektronisches Rechengerät 30 des Geschäftes, welches zusätzlich zu der Datenverarbeitungseinheit 31 und dem Speicher 32 noch ein Drahtloskommunikationsmodul 33 aufweist. Wie in 4 dargestellt ist, laufen in diesem Ausführungsbeispiel des Verfahrens dieselben Verfahrensschritte 70 bis 77 ab wie im ersten Ausführungsbeispiel, wobei lediglich das Einlesen 71 der Bildsignale mittels der Kamera 91 des mobilen Gerätes 90 erfolgt und nicht mittels einer Überwachungskamera. Nachdem das Schätzen 76 des Gewichts und das Berechnen 77 des Preises in der Datenverarbeitungseinheit 31 erfolgt sind, werden diese Daten mittels des Drahtloskommunikationsmoduls 33 an das mobile Gerät 90 zurückgesandt. Mittels einer App erfolgt dann ein Anzeigen 79 des Gewichts und des Preises auf einem Display 92 des mobilen Gerätes.
-
In anderen Ausführungsbeispielen des Verfahrens kann das Schätzen 76 des Gewichtes auch dadurch erfolgen, dass aus den Abmessungen des ausgewählten Produktes 20 auf sein Volumen geschlossen wird. Anhand der zuvor erkannten Art des Produktes 20 wird aus den Daten im Speicher 32 die Dichte der ausgewählten Obstsorte entnommen und durch Multiplikation des Volumens mit der Dichte erfolgt das Schätzen 76 des Gewichts des Produktes 20. Die weiteren Verfahrensschritte erfolgen dann in derselben Weise wie für das erste und das zweite Ausführungsbeispiel beschrieben.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- He et al., Mask R-CNN, The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2961-2969 [0017]
