DE112019006422T5

DE112019006422T5 - Automatisierte kassensysteme und verfahren

Info

Publication number: DE112019006422T5
Application number: DE112019006422.3T
Authority: DE
Inventors: Michael Eger
Original assignee: Datalogic IP Tech SRL
Current assignee: Datalogic IP Tech SRL
Priority date: 2018-12-28
Filing date: 2019-12-17
Publication date: 2021-09-16
Also published as: US20220076228A1; WO2020136500A1; US11562338B2

Abstract

Ein automatisiertes Kassensystem verwendet eine oder mehrere Kameras, um Bilder von Nahrungsmittelprodukten zu erfassen, die von einem Benutzer zum Kauf in einem Nahrungsmittelbetrieb ausgewählt wurden. Das Kassensystem vergleicht dann die aufgenommenen Bilder mit zuvor aufgenommenen Referenzbildern solcher Nahrungsmittelprodukte, die in dem Betrieb angeboten werden, um eine Übereinstimmung für jedes Produkt zu finden, bestimmt den Preis jedes Nahrungsmittelprodukts, das der Benutzer ausgewählt hat, basierend auf dem Vergleich und der Übereinstimmung, identifiziert ein Konto des Benutzers basierend auf einer biometrischen Identifizierung des Benutzers und/oder dem Lesen von Informationen von einem maschinenlesbaren Token des Benutzers und veranlasst automatisch, dass dem Konto des Benutzers die identifizierten Nahrungsmittelprodukte belastet oder in Rechnung gestellt werden, wodurch die Check-out-Zeit verringert und die Effizienz der Kassensysteme von Nahrungsmittelbetrieben erhöht wird.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft im Allgemeinen Kassensysteme und insbesondere Erhöhen von Effizienzen im Betrieb computerisierter Kassensysteme.
KURZDARSTELLUNG
Ein Verfahren eines Betriebs in einem Point of Sale-System (Kassensystem) kann zusammenfassend aufweisen: Aufnehmen, durch mindestens einen Computerprozessor über mindestens eine Kamera in einem Geschäft, das Nahrungsmittelprodukte anbietet, eines oder mehrerer Bilder mindestens eines Nahrungsmittelprodukts, das von einem Benutzer zum Kauf in dem Geschäft ausgewählt wurde; Vergleichen, durch mindestens einen Computerprozessor, des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern von Nahrungsmittelprodukten; Identifizieren, durch mindestens einen Computerprozessor, des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern; Ermitteln, durch mindestens einen Computerprozessor, mindestens eines Preises des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde; Durchführen, durch mindestens einen Computerprozessor: Identifizieren des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und/oder biometrischer Identifizierung des Benutzers; Identifizieren, durch mindestens einen Computerprozessor, eines Kontos des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und/oder einer biometrischen Identifizierung des Benutzers; und wobei der mindestens eine Computerprozessor veranlasst, dass das identifizierte Konto des Benutzers mit dem ermittelten zumindest einen Preis des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, belastet wird, basierend zumindest teilweise auf der Identifizierung des Benutzers und dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit dem einen oder den mehreren Referenzbildern von Nahrungsmittelprodukten.
Aufnehmen des Bilds des mindestens einen Nahrungsmittelprodukts, das von einem Benutzer zum Kauf in dem Geschäft ausgewählt wurde, kann Unterscheiden zwischen mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf einem Tablett befinden, das dem Benutzer zugeordnet ist, aufweisen und das Vergleichen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern von Nahrungsmittelprodukten, weist für jedes der unterschiedenen mehreren verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, Vergleichen eines aufgenommenen Bilds des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett befindet, das dem Benutzer zugeordnet ist, mit einem oder mehreren Referenzbildern auf.
Identifizieren des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern kann für jedes der unterschiedenen mehreren verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, Identifizieren des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett befindet, das dem Benutzer zugeordnet ist, basierend auf dem Vergleich des aufgenommenen Bilds des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett befindet, das dem Benutzer zugeordnet ist, mit einem oder mehreren Referenzbildern aufweisen.
Ermitteln mindestens eines Preises des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, kann für jedes der unterschiedenen mehreren verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, Ermitteln eines Preises des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett befindet, das dem Benutzer zugeordnet ist, basierend auf der Identifizierung des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett befindet, das dem Benutzer zugeordnet ist, aufweisen.
Das Verfahren kann Aufnehmen, durch mindestens einen Computerprozessor über mindestens eine Kamera, des oder der Referenzbilder von Nahrungsmittelprodukten zum Vergleichen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, durch Aufnehmen von Bildern von Beispielen von Produkten, die sich gerade in dem Geschäft befinden, aufweisen.
Durchführen der biometrischen Identifizieren des Benutzers kann Durchführen von Gesichtserkennung des Benutzers aufweisen und Daten, die Gesichtsmerkmale des Benutzers darstellen, die beim Durchführen von Gesichtserkennung des Benutzers verwendet werden, sind mit dem Konto des Benutzers verknüpft.
Das Verfahren kann weiter Ermitteln, durch mindestens einen Computerprozessor, aufweisen, dass das mindestens eine Nahrungsmittelprodukt von dem Benutzer zum Kauf in dem Geschäft ausgewählt wurde.
Identifizieren des Kontos des Benutzers kann Identifizieren des Kontos des Benutzers basierend auf Informationen aufweisen, die in einen maschinenlesbaren Token des Benutzers codiert sind, wobei der maschinenlesbare Token des Benutzers eines oder mehrere aufweist von: einer Identifizierungskarte, einem Smartphone, einer Rechenvorrichtung, einer Tablet-Vorrichtung, einem Schlüsselanhänger, einer Funkfrequenzidentifizierungsvorrichtung (RFID-Vorrichtung), einer Nahfeldkommunikationsvorrichtung (NFC-Vorrichtung), einer Vorrichtung, die einen maschinenlesbaren Code aufweist, einer Vorrichtung, die einen maschinenlesbaren Code kommuniziert, und einer Vorrichtung, die ein Identifizierungs-Tag aufweist.
Ein prozessorbasiertes Kassensystem kann zusammenfassend aufweisen: mindestens einen Prozessor; und mindestens ein nicht transientes prozessorlesbares Medium, das prozessorausführbare Anweisungen und/oder Daten speichert, die, wenn von dem mindestens einen Prozessor ausgeführt, den mindestens einen Prozessor veranlassen zum: Empfangen einer Angabe, dass sich ein Benutzer an einer Kassenstation einer Cafeteria befindet, um mehrere verschiedene Nahrungsmittelprodukte, die sich gleichzeitig auf einem Tablett befinden, das dem Benutzer zugeordnet ist, an der Kassenstation zu bezahlen; in Antwort auf die Angabe, dass sich der Benutzer an der Kassenstation der Cafeteria befindet, Aufnehmen, über mindestens eine Kamera an der Kassenstation, eines oder mehrerer Bilder der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist; Unterscheiden zwischen den mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf einem Vergleich des oder der aufgenommenen Bilder der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, mit einem oder mehreren Referenzbildern von beispielhaften Portionen unverpackter Mahlzeiten, deren Angebot in der Cafeteria sich periodisch ändert; Identifizieren jedes der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, als von der Cafeteria angebotene Nahrungsmittelprodukte basierend auf der Unterscheidung zwischen den mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist; und Ermitteln eines Gesamtpreises für die verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf der Identifizierung jedes der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, als von der Cafeteria angebotene Nahrungsmittelprodukte.
Die prozessorausführbaren Anweisungen und/oder Daten, wenn von dem mindestens einen Prozessor ausgeführt, veranlassen den mindestens einen Prozessor weiter zum: Veranlassen der Anzeige, zur Verifizierung durch den Benutzer und/oder einen Kassierer, zum Auflisten der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf der Unterscheidung zwischen den mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist; und Veranlassen der Anzeige, zur Verifizierung durch den Benutzer und/oder einen Kassierer, zum Ermitteln von Preisen der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf der Unterscheidung zwischen den mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist.
Die prozessorausführbaren Anweisungen und/oder Daten, wenn von dem mindestens einen Prozessor ausgeführt, veranlassen den mindestens einen Prozessor weiter zum: Veranlassen der Anzeige zum Anzeigen des oder der aufgenommenen Bilder der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, zur Verifizierung durch den Benutzer und/oder einen Kassierer.
Die prozessorausführbaren Anweisungen und/oder Daten, wenn von dem mindestens einen Prozessor ausgeführt, veranlassen den mindestens einen Prozessor weiter zum: Veranlassen der Anzeige, zur Verifizierung durch den Benutzer und/oder einen Kassierer, zum Anzeigen von Bildern der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, als von der Cafeteria angebotene Nahrungsmittelprodukte, basierend auf der Unterscheidung zwischen den mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett oder in dem Wagen befinden, das bzw. der dem Benutzer zugeordnet ist.
Die prozessorausführbaren Anweisungen und/oder Daten, wenn von dem mindestens einen Prozessor ausgeführt, veranlassen den mindestens einen Prozessor weiter zum: Identifizieren eines Kontos des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und/oder einer biometrischen Identifizierung des Benutzers; und Veranlassen, das identifizierte Konto des Benutzers mit dem ermittelten Gesamtpreis für die verschiedenen Nahrungsmittelprodukte zu belasten, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf der Unterscheidung zwischen den mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett oder in dem Wagen befinden, das bzw. der dem Benutzer zugeordnet ist.
Figurenliste
In den Zeichnungen geben identische Bezugszeichen gleiche Elemente oder Handlungen an. Die Größen und relativen Positionen von Elementen in den Zeichnungen sind nicht unbedingt im Maßstab gezeichnet. Zum Beispiel sind die Formen verschiedener Elemente und Winkel nicht im Maßstab gezeichnet und manche diese Elemente sind beliebig vergrößert und positioniert, um die Lesbarkeit der Zeichnung zu verbessern. Weiter sollen die besonderen Formen der gezeichneten Elemente keine Informationen bezüglich der tatsächlichen Form der besonderen Elemente liefern und sind nur ausgewählt, um in den Zeichnungen besser erkannt zu werden.

1A ist eine vordere perspektivische Ansicht eines automatisierten Kassensystems gemäß einer veranschaulichten Ausführungsform.
1B ist ein beispielhaftes Bild von einer Draufsicht auf das Tablett eines Kunden in der Cafeteria, das von dem Kassensystem von 1A aufgenommen wurde, das Identifizierung durch das System verschiedener Nahrungsmittelprodukte auf dem Tablett gemäß einer veranschaulichten Ausführungsform zeigt.
2 ist ein Blockdiagramm eines Kassensteuersystems, in dem verschiedene veranschaulichte und beschriebene Ausführungsformen des automatisierten Kassensystems implementiert sein können, gemäß einer veranschaulichten Ausführungsform.
3 ist ein Flussdiagramm, das ein erstes Betriebsverfahren in einem Kassensystem gemäß einer ersten veranschaulichten Ausführungsform zeigt.
4 ist ein Flussdiagramm, das ein zweites Betriebsverfahren in einem Kassensystem gemäß einer zweiten veranschaulichten Ausführungsform zeigt.
5 ist ein Flussdiagramm, das ein drittes Betriebsverfahren in einem Kassensystem gemäß einer dritten veranschaulichten Ausführungsform zeigt.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung sind gewisse konkrete Einzelheiten angegeben, um ein umfassendes Verständnis verschiedener offenbarter Ausführungsformen zu ermöglichen. Ein Fachmann in dem relevanten Gebiet wird jedoch erkennen, dass Ausführungsformen ohne eine oder mehrere dieser konkreten Einzelheiten oder mit anderen Verfahren, Komponenten, Materialien usw. umgesetzt werden können. In anderen Fällen wurden allgemein bekannte Strukturen in Verbindung mit Computersystemen, Aktuatorsystemen und/oder Kommunikationsnetzwerken nicht gezeigt oder im Detail beschrieben, um unnötige verschleiernde Beschreibungen der Ausführungsformen zu vermeiden. In anderen Fällen wurden allgemein bekannte Computerbilderkennungsverfahren und -techniken zum Erzeugen von Wahrnehmungsdaten und volumetrischen Darstellungen eines oder mehrere Objekte und dergleichen nicht im Detail beschrieben, um unnötig verschleiernde Beschreibungen der Ausführungsformen zu vermeiden.
Falls der Kontext nicht anderes verlangt, sind in der gesamten Beschreibung und in den folgenden Ansprüchen die Wörter „aufweisen“ und Variationen davon wie „aufweist“ und „aufweisend“ in einem offenen, einschließenden Sinn auszulegen, das heißt „enthaltend, ohne aber darauf beschränkt zu sein“.
Eine Bezugnahme in der gesamten Beschreibung auf „eine Ausführungsform“ oder „eine beliebige Ausführungsform“ bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft, das bzw. die in Verbindung mit der Ausführungsform beschrieben ist, in mindestens einer Ausführungsform enthalten ist. Daher beziehen sich die Phrasen „in einer Ausführungsform“ oder „in einer beliebigen Ausführungsform“, die an verschiedenen Stellen in der gesamten Beschreibung zu finden sind, nicht unbedingt alle auf dieselbe Ausführungsform. Ferner können die bestimmten Merkmale, Strukturen oder Eigenschaften in einer oder mehreren Ausführungsformen in beliebiger Weise kombiniert werden.
Wie in dieser Beschreibung und den beiliegenden Ansprüchen verwendet, enthalten die Singularformen „einer“, „eine“, „ein“ und „der“, „die“, „das“ Pluralangaben, falls der Inhalt nicht eindeutig anderes angibt. Es sollte auch festgehalten werden, dass der Begriff „oder“ im Allgemeinen in seinem Sinn verwendet werden soll, der „und/oder“ enthält, falls der Inhalt nicht eindeutig anderes angibt.
Die Überschriften und die Zusammenfassung der hier bereitgestellten Offenbarung dienen nur der Einfachheit und Interpretieren den Umfang oder die Bedeutung der Ausführungsformen nicht.
1A ist eine vordere perspektivische Ansicht eines automatisierten Kassensystems 100 gemäß einer veranschaulichten Ausführungsform. Das Kassensystem 100 kann jenes einer Cafeteria, einer Kantine, eines Restaurants, eines Lebensmittelgeschäfts, eines Feinkostladens oder eines anderen Geschäfts sein, das Nahrungsmittelprodukte verkauft. An Kassenstation 102 sind zwei Kameras (eine erste Kamera 106 und zweite Kamera 108), eine Benutzeridentifizierungsvorrichtung 104 und ein Anzeigeterminal 110, das betriebsbereit über eine oder mehrere drahtgebundene oder drahtlose Kommunikationsverbindungen 116 mit einem Kassensteuersystem 112 verbunden ist, gezeigt. Ebenso ist an der Kassenstation 102 ein beispielhaftes Tablett 114 gezeigt, auf dem sich Nahrungsmittelprodukte befinden, die von einem Benutzer zum Kauf in diesem Geschäft ausgewählt wurden. Das Tablett 114 kann einem Benutzer zugeordnet werden, indem zum Beispiel eine logische oder digitale Verknüpfung basierend auf einer wahrgenommenen oder erfassten physischen Verknüpfung definiert wird(z.B. Nähe, Halten des Tabletts).
Die erste Kamera 106, zweite Kamera 108 und die Benutzeridentifizierungsvorrichtung 104 können an Stellen auf einem Arm 138 des Kassensystems 100, die über der Kassenstation 102 positioniert sind, oder an eine Wand des Geschäfts oder eine andere Komponente des Kassensystems 100 gekoppelt werden, sodass, wenn Nahrungsmittelprodukte an der Kassenstation 102 (z.B. auf dem Tablett 114) platziert werden, die Nahrungsmittelprodukte im Blickfeld der ersten Kamera 106 und der zweiten Kamera 108 aus verschiedenen Winkeln sind und die Benutzeridentifizierungsvorrichtung 104 nahe bei einem Benutzer ist, der die Nahrungsmittelprodukte zum Kauf ausgewählt hat. In verschiedenen Ausführungsformen können nur eine Kamera oder mehr als zwei Kameras an verschiedenen Stellen an dem Kassensystem 100 oder anderen Stellen in dem Geschäft vorhanden sein, um Bilder der Nahrungsmittelprodukte aufzunehmen, die zum Kauf ausgewählt sind.
Eine Cafeteria, außerhalb der USA allgemein als Canteen (Kantine) bezeichnet, ist eine Art von Gastronomieunternehmen, in dem es wenig bis keine Bedienung am Tisch gibt, ob dies nun ein Restaurant oder in einer Institution wie einem großen Bürogebäude, einer Schule oder einer Regierungseinrichtung ist. Eine Mensa in einer Schule oder beim Militär wird auch häufig als Speisesaal oder Kantine bezeichnet. Wie hier verwendet, schließt „Cafeteria“ Cafeterias, Kantinen, Speisesäle und Buffets ein. Anstelle einer Bedienung gibt es Lebensmitteltheken/-stände, entweder in einer Linie oder mit beliebigen Gehwegen. Benutzer wie Kunden nehmen die gewünschten Nahrungsmittelprodukte im Vorbeigehen und stellen sie auf ein Tablett. Die Auswahl von Nahrungsmittelprodukten kann sich auch periodisch mit unterschiedlicher Frequenz ändern (z.B. täglich, wöchentlich oder in einem rotierenden Plan) oder wenn Produkte ausverkauft sind. Zusätzlich gibt es häufig Stationen, wo Kunden Lebensmittel bestellen und während deren Zubereitung warten, insbesondere bei Artikeln wie Hamburger, Pasta, Tacos, Pfannengerichten und Fast Food-Artikeln, die heiß serviert werden müssen und sofort zubereitet werden können. In manchen Fällen holen sich Kunden bei manchen Nahrungsmittelprodukten und Getränken, wie Limonaden, Wasser und dergleichen einen leeren Behälter, Zahlen bei der Kasse und füllen den Behälter nach der Kasse oder Kassenstation.
Benutzern kann in einer Cafeteria ein Einheitspreis für den Zugang verrechnet werden (wie in vielen Buffets). Häufig ist es jedoch der Fall, dass Benutzer an der Kassenstation für jedes Nahrungsmittelprodukt bezahlen. Dies führt zu Verzögerungen in der Kundenwarteschlange, da ein Kassierer an der Kassenstation jeden Artikel auf dem Tablett des Kunden (z.B. Pizza, Taco, Burrito, Hot Dog, Hamburger, Hühnchen, Rindfleisch, Schweinefleisch, Fisch, Pasta, zusammengestelltes Menü, festgesetztes Menü, Salat, Kartoffel, Gemüse, verschiedene andere Beilagen, Getränke usw.) manuell identifizieren und/oder einen Code auf verpackten Artikeln scannen muss. Unter der Steuerung des Kassensteuersystems 112 löst das hier beschriebene automatisierte Kassensystem 100 dieses Problem durch Verwendung einer oder mehrerer Kameras (wie Kamera 106 und Kamera 108) an der Kassenstation 102, um Bilder der Nahrungsmittelprodukte aufzunehmen, die vom Kunden ausgewählt wurden. Die Kassenstation 102 vergleicht dann die aufgenommenen Bilder mit Referenzbildern jener Nahrungsmittelartikel, um eine Übereinstimmung für jeden Artikel zu finden, um dieses Nahrungsmittelprodukt als das Nahrungsmittelprodukt zu identifizieren, das durch das Referenzbild dargestellt wird, das als eine Übereinstimmung gefunden wurde. Solche Referenzbilder können zuvor von dem Kassensystem 100 oder anderen System aufgenommen worden sein und können in vielen Fällen Muster der tatsächlichen Nahrungsmittelartikel sein, die in dem Geschäft erhältlich sind (die sich periodisch ändern können). Daher können die Referenzbilder periodisch mit einer Änderung von Menüartikeln geändert werden.
Nach der Identifizierung kann das Kassensystem 100 den Preis jedes Nahrungsmittelprodukts, das der Benutzer ausgewählt hat, durch Bezugnahme auf einen Preisindex oder eine Nahrungsmittelpreisdatenbank, den bzw. die das Kassensteuersystem 112 speichert oder auf den bzw. die es zugreifen kann, ermitteln. In manchen Ausführungsformen kann das Kassensystem 100 die Nahrungsmittelprodukte und/oder ihre zugehörigen Preise, wenn die Nahrungsmittelprodukte identifiziert sind, und/oder gemeinsam, nachdem alle Nahrungsmittelprodukte identifiziert wurden, auf dem Anzeigeterminal 110 anzeigen. Dies kann zur Verifizierung durch den Benutzer und/oder einen Kassierer in dem Geschäft dienen. Das Kassensystem 100 kann auch oder stattdessen den Gesamtpreis aller identifizierten Produkte zur Verifizierung auf dem Anzeigeterminal 110 anzeigen. In manchen Ausführungsformen wird kein Tablett verwendet und die Nahrungsmittelprodukte werden einzeln oder als eine Gruppe identifiziert, wenn sie im Blickfeld der Kamera 106 und/oder Kamera 108 platziert werden.
Das Kassensystem 100 identifiziert dann ein Konto des Benutzers basierend auf einer biometrischen Identifizierung des Benutzers und/oder durch Lesen von Informationen aus einem maschinenlesbaren Token des Benutzers. In manchen Ausführungsformen kann eine solche Identifizierung des Kontos des Benutzers vor oder während der Identifizierung der Nahrungsmittelprodukte auf dem Tablett 114 erfolgen. Zum Beispiel kann die biometrische Identifizierung des Benutzers durch Gesichtserkennung, Fingerabdruckabtastung, Netzhautabtastung und/oder eine andere biometrische Signatur des Benutzers erfolgen. In einem solchen Fall kann die Benutzeridentifizierungsvorrichtung 104 ein Scanner und/oder eine Kamera sein, der bzw. die zum Benutzer gerichtet ist, um solche biometrischen Daten als Eingabe zu lesen. Zum Beispiel kann die Benutzeridentifizierungsvorrichtung 104 eine Kamera, um ein Bild des Benutzers aufzunehmen, einen Netzhautscanner, einen Fingerabdruckscanner und/oder ein Mikrofon zur Spracherkennung des Benutzers aufweisen. Das automatisierte Kassensystem 100 kann auch oder stattdessen ein Konto des Benutzers unter Verwendung eines lesbaren Tokens identifizieren, den der Benutzer bei sich trägt. Zum Beispiel kann der maschinenlesbare Token eine Identifizierungskarte, ein Smartphone, eine Rechenvorrichtung, eine Tablet-Vorrichtung, ein Schlüsselanhänger, eine Funkfrequenzidentifizierungsvorrichtung (RFID-Vorrichtung), eine Nahfeldkommunikationsvorrichtung (NFC-Vorrichtung), eine Vorrichtung, auf der sich ein maschinenlesbarer Code befindet, eine Vorrichtung, die einen maschinenlesbaren Code kommuniziert und/oder eine Vorrichtung, die einen Identifizierungs-Tag aufweist, usw. sein.
Nachdem das Konto des Benutzers (z.B. basierend auf einer biometrischen Identifizierung des Benutzers oder durch Lesen von Informationen aus einem maschinenlesbaren Token des Benutzers) identifiziert wurde, kann das Kassensystem 100 dann das Konto des Benutzers automatisch mit den Nahrungsmittelprodukten, die durch das automatisierte Kassensystem 100 identifiziert wurden, basierend auf dem ermittelten Gesamtpreis aller Nahrungsmittelprodukte belasten, die durch das automatisierte Kassensystem 100 identifiziert wurden, wodurch der Zahlvorgang verkürzt wird und Effizienz von Kassensystemen in einer Cafeteria erhöht wird.
1B ist ein beispielhaftes Bild 118, das aus einer Draufsicht auf das Tablett 114 des Benutzers in der Cafeteria aufgenommen wurde, wie es von dem Kassensystem 100 von 1A aufgenommen wird, die Identifizierung durch das System von verschiedenen Nahrungsmittelprodukten auf dem Tablett 114 gemäß einer veranschaulichten Ausführungsform zeigt. In einer Ausführungsform kann das Geschäft, das solche Nahrungsmittelprodukte zum Verkauf anbietet, eine Cafeteria sein, die unverpackte Mahlzeiten serviert, die sich periodisch ändern. Zum Beispiel können ein oder mehrere Nahrungsmittelprodukte, die von dem Benutzer ausgewählt wurden, eine unverpackte Mahlzeit sein, die in der Cafeteria serviert wird, die sich periodisch ändert. In manchen Ausführungsformen können Referenzbilder beispielhafter Portionen der unverpackten Mahlzeiten, die sich periodisch ändern, jedes Mal aufgenommen werden, wenn sich die Mahlzeiten ändern.
Nachdem der Benutzer verschiedene Nahrungsmittelprodukte zum Kauf in dem Geschäft ausgewählt hat, legt der Benutzer oder ein Kassierer die ausgewählten Nahrungsmittelprodukte in das Blickfeld der Kamera 106. In dem vorliegenden Beispiel hat der Benutzer oder das Bedienungspersonal Nahrungsmittelprodukte wie eine Portion Hühnchen 122, eine Beilage Nudeln 124 und eine Beilage Kartoffelpüree 126 auf einen Teller 136 auf dem Tablett 114 gelegt, wie auch verpackte Nahrungsmittelprodukte, enthaltend eine Flasche Limonade 128 und einen Karton Milch 130. In manchen Ausführungsformen wird das Tablett mit den ausgewählten Nahrungsmittelprodukten darauf von einem Benutzer oder Kassierer an der Kassenstation 102 unter der Kamera 106 platziert. In manchen Ausführungsformen können Kameras wie Kamera 106, an verschiedenen Stellen in der Cafeteria in der Nähe der Stelle, wo das Nahrungsmittelprodukt ausgewählt wird, platziert sein. Die Platzierung der ausgewählten Nahrungsmittelprodukte im Blickfeld der Kamera 106 kann Kamera 106 auslösen, um ein Bild 118 eines oder mehrerer der ausgewählten Nahrungsmittelprodukte aufzunehmen, wie jenes, das in 1B gezeigt ist. Zum Beispiel kann das Kassensteuersystem 112 Bewegungssensor-, Formenerfassungs-, Objekterkennungs- und/oder Randerfassungssysteme verwenden, die in Hardware und/oder Software implementiert sind, um zu erfassen, wann das (die) Nahrungsmittelprodukt(e) und/oder das Tablett ausreichend im Blickfeld der Kamera 106 sind, um ein vollständiges Bild der ausgewählten Nahrungsmittelprodukte und/oder des Tabletts 114, auf dem die Nahrungsmittelprodukte platziert sind, aufzunehmen. In Antwort auf das Erfassen, wann das (die) Nahrungsmittelprodukt(e) und/oder das Tablett ausreichend im Blickfeld der Kamera 106 sind, kann das Kassensteuersystem 112 die Kamera 106 veranlassen, ein Bild 118 eines oder mehrerer der ausgewählten Nahrungsmittelprodukte aufzunehmen, wie jenes, das in 1B gezeigt ist. In anderen Ausführungsformen kann der Benutzer oder Kassierer einen Knopf oder eine andere Eingabevorrichtung des Kassensystems 100 drücken, um das Kassensystem 100 zu veranlassen, das Bild 118 der ausgewählten Nahrungsmittelprodukte auf dem Tablett 114 aufzunehmen.
In dem vorliegenden Beispiel hat die Kamera 106 ein Bild 118 der Nahrungsmittelprodukte aufgenommen, das jedes der Nahrungsmittelprodukte in dem aufgenommenen Bild aufweist. Das Kassensteuersystem 112 kann Formenerfassungs-, Texturerfassungs-, Objekterkennungs-, Bilderkennungs-, Randerfassungs- und/oder dreidimensionale (3D) Rekonstruktionssysteme und -techniken verwenden, die in Hardware und/oder Software implementiert sind, um das aufgenommene Bild 118 zu verarbeiten. Die 3D-Rekonstruktion kann zum Beispiel unter Verwendung stereoskopischer Techniken oder anderer Techniken mit mehreren Bildern der ausgewählten Nahrungsmittelprodukte durchgeführt werden, die in verschiedenen Winkeln von der Kamera 106 und/oder anderen Kameras des Kassensystems 100 aufgenommen wurden, die in verschiedenen Winkeln platziert wurden. Eine solche Verarbeitung kann zwischen den mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett befinden, in dem Bild 118 unterscheiden (z.B. zwischen der Portion Hühnchen 122, der Beilage Nudeln 124, der Beilage Kartoffelpüree 126, der Flasche Limonade 128 und dem Karton Milch 130). Manche Beispiele verschiedener Objekterkennungstechniken, die von dem Kassensteuersystem 112 und/oder dem fernen System in Kommunikation mit dem Kassensteuersystem 112 implementiert werden können, sind in US Patent Nr. 8,267,316 , erteilt am 18. September 2012, mit dem Titel „SYSTEMS AND METHODS FOR MERCHANOSE CHECKOUT“ und US Patent Nr. 9,495,607 , erteilt am 15. November 2016, mit dem Titel „DESCRIBING OBJECT USING EDGE-PIXEL-FEATURE DESCRIPTORS“ beschrieben, die beide hier in ihrer Gesamtheit zum Zweck der Bezugnahme zitiert werden. Formenerfassungs-, Texturerfassungs-, Objekterkennungs-, Bilderkennungs-, Randerfassungs-, und/oder 3D-Rekonstruktionssysteme und - techniken können auch durch das Kassensteuersystem 112 implementiert werden, um ein geschätztes Volumen eine Größe oder ein Gewicht der ausgewählten Nahrungsmittelartikel zu ermitteln, die von dem Kassensteuersystem 112 verwendet werden können, um Preise einzelner Artikel basierend auf Größe, Volumen oder Gewicht zu ermitteln.
Die Unterscheidung zwischen den mehreren verschiedenen Nahrungsmittelprodukten ist in Bild 118 in gestrichelten Linien dargestellt, die die verschiedenen erfassten Nahrungsmittelprodukte umrahmen. Ermitteln der Kontur jedes Nahrungsmittelprodukts, um Unterscheidung zwischen den mehreren verschiedenen Nahrungsmittelprodukten in dem Bild 118 zu erleichtern, kann von dem Kassensteuersystem 112 oder dem fernen System, das das Bild 118 unter Verwendung der Formenerfassungs-, Texturerfassungs-, Objekterkennungs-, Bilderkennungs-, Randerfassungs-, und/oder 3D-Rekonstruktionssysteme und Techniken verarbeitet, durchgeführt werden. In manchen Ausführungsformen können das Bild 118 und solche gestrichelten Linien oder andere Markierungen, die die unterschiedlichen verschiedenen Nahrungsmittelprodukte umrahmen, die in dem Bild 118 erfasst wurden, auf dem Anzeigeterminal 110 des Kassensystems 100 zur Verifizierung durch den Benutzer und/oder Kassierer angezeigt werden. Falls falsch erkannte oder falsch unterschiedene ausgewählte Nahrungsmittelprodukte auf dem Anzeigeterminal 110 angezeigt werden, kann das Kassensteuersystem 112 das Bild erneut aufnehmen und/oder verarbeiten, um weiter Angaben wie gestrichelte Linien anzuzeigen, die die ausgewählten Nahrungsmittelprodukte umrahmen, um eine korrekte Unterscheidung oder Erfassung der einzelnen Nahrungsmittelprodukte anzuzeigen. Der Benutzer kann dann eine Eingabe in das Kassensystem 100 vornehmen, um eine Verifizierung der korrekten Unterscheidung oder Erfassung der einzelnen Nahrungsmittelprodukte anzuzeigen.
Für jedes der unterschiedenen mehreren verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett 114 befinden, kann das Kassensteuersystem 112 oder ferne System das aufgenommene Bild des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett 114 befindet, mit einem oder mehreren Referenzbildern vergleichen. Das Kassensteuersystem 112 oder ferne System kann dann das einzelne unterschiedene Nahrungsmittelprodukt, das sich auf dem Tablett des Benutzers befindet, als ein Nahrungsmittelprodukt, das von dem Geschäft angeboten wird, basierend auf dem Vergleich des aufgenommenen Bilds des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett 114 befindet, mit einem oder mehreren Referenzbildern identifizieren.
Zum Beispiel kann das Kassensteuersystem 112 oder ferne System das Bild der Portion Hühnchen 122, der Beilage Nudeln 124, der Beilage Kartoffelpüree 126, der Flasche Limonade 128 und des Kartons Milch 130, die aus dem Bild 118 unterschieden wurden, mit entsprechenden Referenzbilder von Nahrungsmittelprodukten abstimmen, die von dem Geschäft zum Verkauf angeboten werden. Solche Referenzbilder können von dem Kassensteuersystem 112 oder einem fernen System in Kommunikation mit dem Kassensteuersystem 112 gespeichert werden und/oder für dieses zugänglich sein. Der Abstimmungsprozess kann von dem Kassensteuersystem 112 oder fernen System durchgeführt werden, das Merkmale der aufgenommenen Bilder der Nahrungsmittelprodukte identifiziert (z.B. Merkmale der Portion Hühnchen 122, der Beilage Nudeln 124, der Beilage Kartoffelpüree 126, der Flasche Limonade 128 und des Kartons Milch 130, die aus dem Bild 118 unterschieden werden), die mit Merkmalen eines oder mehrerer Referenzbilder übereinstimmen. Das Kassensteuersystem 112 oder ferne System kann dann mindestens eines der Referenzbilder als ein Bild einer selben Art von Produkt wie das Nahrungsmittelprodukt, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung von Merkmalen der aufgenommenen Bilder des Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, die mit Merkmale eines oder mehrerer Referenzbilder übereinstimmen, identifizieren. Basierend auf dem Abstimmen durch das Kassensteuersystems 112 der Nahrungsmittelprodukte mit den entsprechenden Referenzbildern kann das Kassensteuersystem 112 dann die Portion Hühnchen 122, die Beilage Nudeln 124, die Beilage Kartoffelpüree 126, die Flasche Limonade 128 und den Karton Milch 130 als Nahrungsmittelprodukte identifizieren, die von dem Geschäft zum Verkauf angeboten werden.
Eine zweite Kamera 108 (oder zusätzliche Kameras, nicht gezeigt) kann auch zum Aufnehmen eines oder mehrerer Bilder der Objekte auf dem Tablett 114 verwendet werden, um das oder die Bilder zu ergänzen, die von Kamera 106 aufgenommen wurden, um die Unterscheidung und Identifizierung der verschiedenen Objekte auf dem Tablett 114 oder sonst an der Kassenstation 102 zu erleichtern. Zum Beispiel können das oder die Bilder, die von der zweiten Kamera 108 aufgenommen werden, in stereoskopischen Techniken oder anderen Objekterfassungs-, Bilderkennungs- und/oder 3D-Rekonstruktionstechniken verwendet werden, die von dem Kassensteuersystem 112 oder fernen System implementiert werden. Solche Techniken können mehrere Bilder der ausgewählten Nahrungsmittelprodukte verwenden, die zum gleichen oder annähernd gleichen Zeitpunkt in verschiedenen Winkeln von der Kamera 106 und zweiten Kamera 108 und/oder anderen Kameras des Kassensystems 100 aufgenommen wurden, die in verschiedenen Winkeln und an verschiedenen Stellen in Bezug auf die Nahrungsmittelprodukte platziert sind, die von dem Benutzer zum Kauf ausgewählt wurden. Solche Techniken, die mehrere Bilder der Nahrungsmittelprodukte verwenden, erzeugen exaktere Darstellungen der einzelnen Nahrungsmittelprodukte zum Vergleich und zur Identifizierung.
In manchen Ausführungsformen kann die Kamera 106 und/oder zweite Kamera 108 die Kamera eines Smartphones oder eine andere Mobilvorrichtungskamera des Benutzers oder Bedienungspersonals des Geschäfts sein, die eine drahtlose Konnektivität zu dem Kassensteuersystem 112 oder anderen fernen System zur Verarbeitung von Bildern der Nahrungsmittelprodukte, die von dem Benutzer zum Kauf ausgewählt wurden, für hier beschriebene Zwecke aufweist. Ebenso kann in verschiedenen Ausführungsformen die Kamera 106 und/oder zweite Kamera 108 Video der Nahrungsmittelprodukte aufnehmen, die zum Kauf ausgewählt sind. Frames eines solchen Videos können zum Identifizieren der Nahrungsmittelprodukte, die von dem Benutzer zum Kauf ausgewählt wurden, gemäß den hier beschriebenen Bildverarbeitungstechniken oder anderen Videoverarbeitungstechniken zur Objektunterscheidung und/oder -identifizierung verwendet werden.
Das Kassensystem 100 kann auch oder stattdessen einen oder mehrere Laserscanner und/oder Sensoren oder Lichterkennungs- und Bereichsanpassungs- (LIDAR) Scanner und/oder Sensoren aufweisen, die an den Arm 138, eine Wand oder andere Komponente des Kassensystems 100 gekoppelt sind, um Eingabe in das Kassensteuersystem 112 oder ferne System in Kommunikation mit dem Kassensteuersystem 112 bereitzustellen, um Identifizierung von Nahrungsmittelprodukten an der Kassenstation 102 durchzuführen. In solchen Ausführungsformen kann die Identifizierung unter Verwendung von Objekterfassungsprozeduren durchgeführt werden, die Laserpunktmerkmalberechnung und Vorfiltern, 3D-Segmentierung, Objektklassifizierung und zweidimensionale („2D“) Positionsberechnung aufweisen.
In dem vorliegenden Beispiel hat der Benutzer auch Nicht-Nahrungsmittelobjekte auf dem Tablett 114 platziert, wie eine Gabel 132 und ein Messer 134, deren Bilder auch als Teil des aufgenommenen Bilds 118 aufgenommen worden sein können. Unter Verwendung von Formenerfassungs-, Texturerfassungs-, Objekterkennungs-, Bilderkennungs-, Randerfassungs-, und/oder 3D-Rekonstruktionssystemen und -techniken kann das Kassensteuersystem 112 oder ferne System, das das Bild 118 verarbeitet, solche Objekte als Nicht-Nahrungsmittelproduktobjekte ignorieren. Zum Beispiel kann das Kassensteuersystem 112 oder ferne System basierend auf einer Abstimmung mit solchen Objekten, die nicht in einem Satz von Referenzbildern von Nahrungsmittelprodukten gefunden werden, die von dem Geschäft angeboten werden, ermitteln, dass die Gabel 132 und das Messer 134 Nicht-Nahrungsmittelproduktobjekte sind. Das Kassensteuersystem 112 oder ferne System kann dann einen Preis des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett 114 befindet, basierend auf der Identifizierung des unterschiedenen Nahrungsmittelprodukts ermitteln.
2 ist ein Blockdiagramm eines Kassensteuersystems 112, in dem verschiedene veranschaulichte und beschriebene Ausführungsformen des automatisierten Kassensystems gemäß einer veranschaulichten Ausführungsform implementiert sein können. Gezeigt sind zugehörige nicht transiente computer- oder prozessorlesbare Speichermedien, die Systemspeicher 214 aufweisen, und computerlesbare Medien 226, die zu dem Laufwerk 224 gehören, das über einen oder mehrere Kommunikationskanäle, wie Systembus 216, kommunikativ an den Prozessor 212a gekoppelt ist. Der Systembus 216 kann sämtliche bekannte Busstrukturen oder -architekturen verwenden, aufweisend einen Speicherbus mit Speichersteuerung, einen peripheren Bus und/oder einen lokalen Bus. Ein oder mehrere Sensoren 282 (z.B. Kameras, biometrische Sensoren, Scanner, Detektoren usw.) und Grafikprozessor(en) 266 sind auch kommunikativ über Systembus 216 an den Prozessor 212a gekoppelt. Eine oder mehrere solcher Komponenten können auch oder stattdessen über einen oder mehrere andere Kommunikationskanäle miteinander in Kommunikation sein, zum Beispiel ein oder mehrere parallele Kabel, serielle Kabel oder drahtlose Netzwerkkanäle, die zu Hochgeschwindigkeitskommunikationen im Stande sind, beispielsweise Universal Serial Bus („USB“) 3.0, Peripheral Component Interconnect Express (PCIe) oder über Thunderbolt^®.
Das Kassensteuersystem 112 kann auch kommunikationsfähig an ferne Systeme (z.B. Desktop Computer, Laptop Computer, ultraportable Computer, Tablet Computer, Smartphone, und tragbarer Computer (nicht gezeigt)) gekoppelt sein, die direkt kommunikationsfähig oder über die Netzwerkschnittstelle 260 indirekt kommunikationsfähig an die verschiedenen Komponenten des Kassensteuersystems 112 gekoppelt sind. Solche fernen Systeme können zum Programmieren, Konfigurieren, Steuern oder aber Verknüpfen mit oder Eingeben von Daten in das Kassensteuersystem 112 und verschiedene Komponenten in dem Kassensteuersystem 112 verwendet werden. Eine solche Verbindung kann durch einen oder mehrere Kommunikationskanäle, zum Beispiel ein oder mehrere Weitverkehrsnetze (WANs), beispielsweise das Internet, unter Verwendung von Internet-Protokollen erfolgen.
Das Kassensteuersystem 112 kann eine oder mehrere Verarbeitungseinheiten 212a, 212b (es sind nur zwei gezeigt, gemeinsam 212), den Systemspeicher 214 und den Systembus 216 aufweisen, der unterschiedliche Systemkomponenten, enthaltend den Systemspeicher 214, an die Verarbeitungseinheiten 212a, 212b koppelt. Die Verarbeitungseinheiten 212a, 212b können jede logische Verarbeitungseinheit sein, wie eine oder mehrere zentrale Verarbeitungseinheiten (CPUs) 212a, Digitalsignalprozessoren (DSPs) 212b, anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare Gate Arrays (FPGAs) usw. Der Systemspeicher 214 kann Nur-LeseSpeicher („ROM“) 218 und Direktzugriffsspeicher („RAM“) 220 aufweisen. Ein grundlegendes Eingabe-/Ausgabesystem („BIOS“) 222, das Teil des ROM 218 bilden kann, enthält grundlegende Programme, die dazu beitragen, Informationen zwischen Elementen innerhalb des Kassensteuersystems 112 zu übertragen, wie während des Hochfahrens.
Das Kassensteuersystem 112 kann ein Laufwerk 224 aufweisen, das zum Beispiel ein Festplattenlaufwerk zum Lesen und Beschreiben einer Festplatte, ein Flash-Speicherlaufwerk zum Lesen und Beschreiben entfernbarer Flash-Speichervorrichtungen, ein optisches Laufwerk zum Lesen und Beschreiben entfernbarer optischer Platten oder ein Magnetlaufwerk zum Lesen und Beschreiben von Magnetplatten sein kann. Das Kassensteuersystem 112 kann auch jede Kombination solcher Laufwerke in unterschiedlichen verschiedenen Ausführungsformen aufweisen. Das Laufwerk 224 kann mit den Verarbeitungseinheiten 212a, 212b über den Systembus 216 kommunizieren. Das Laufwerk 224 kann Schnittstellen oder Steuerungen (nicht gezeigt) aufweisen, die zwischen solchen Laufwerken und dem Systembus 216 gekoppelt sind, wie den Fachleuten auf dem relevanten Gebiet bekannt ist. Das Laufwerk 224 und seine zugehörigen computerlesbaren Medien 226 stellen nicht flüchtige Speicherung von computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen und anderen Daten für das Kassensteuersystem 112 bereit, die die hier beschriebenen Prozesse und Techniken implementieren. Fachleute auf dem relevanten Gebiet werden erkennen, dass andere Arten von computerlesbaren Medien, die Daten speichern können, auf die ein Computer zugreifen kann, verwendet werden können, wie WORM Laufwerke, RAID Laufwerke, Magnetkassetten, Digital Video Disks („DVD“), Bernoulli Cartridges, RAMs, ROMs, intelligente Karten usw.
Programmmodule können in dem Systemspeicher 214 gespeichert werden, wie ein Betriebssystem 236, ein oder mehrere Anwendungsprogramme 238, andere Programme oder Module 240 und Programmdaten 242. Anwendungsprogramme 238 können Anweisungen aufweisen, die den (die) Prozessor(en) 212a, 212b veranlassen, die hier beschriebenen Prozesse durchzuführen und die Techniken zu implementieren, aufweisend, ohne aber darauf beschränkt zu sein, eines oder mehrere von: Aufnehmen, über mindestens eine Kamera in einem Geschäft, das Nahrungsmittelprodukte anbietet, eines oder mehrerer Bilder mindestens eines Nahrungsmittelprodukts, das von einem Benutzer zum Kauf in dem Geschäft ausgewählt wurde; Vergleichen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern von Nahrungsmittelprodukten; Identifizieren des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern; Ermitteln mindestens eines Preises des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde; Durchführen von Identifizieren des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und/oder biometrischer Identifizierung des Benutzers; Identifizieren eines Kontos des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und/oder einer biometrischen Identifizierung des Benutzers; und Belasten des identifizierten Kontos des Benutzers mit dem ermittelten mindestens einen Preis des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des Benutzers (z.B. biometrische Kennung, Token-Kennung) und dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit dem einen oder den mehreren Referenzbildern von Nahrungsmittelprodukten. Anwendungsprogramme 238 können zusätzlich einen oder mehrere maschinenlesbare Anweisungssätze aufweisen, die den (die) Prozessor(en) 212a, 212b veranlassen, andere Betriebe zur Wahrnehmung, Bildaufnahme und biometrischer Identifizierung (z.B. über Sensoren 282), Formenerfassung, Texturerfassung, Objekterkennung, Bilderkennung, Randerfassung und/oder dreidimensionalen (3D) Rekonstruktion durchzuführen, um die aufgenommenen Bilder und andere Daten zu verarbeiten, die in das Kassensteuersystem 112 eingegeben werden.
Das Kassensystem 100 kann eine oder mehrere ferne Verarbeitungsvorrichtungen aufweisen, die durch ein Kommunikationsnetzwerk über Netzwerkschnittstelle 260 verbunden sind. Solche eine oder mehrere ferne Verarbeitungsvorrichtungen können einen oder mehrere maschinenlesbare Anweisungssätze ausführen, die das System 100 veranlassen, die Prozesse durchzuführen und die hier beschriebenen Techniken zu implementieren, aufweisend, ohne aber darauf beschränkt zu sein, eines oder mehrere von: Aufnehmen, über mindestens eine Kamera in einem Geschäft, das Nahrungsmittelprodukte anbietet, eines oder mehrerer Bilder mindestens eines Nahrungsmittelprodukts, das von einem Benutzer zum Kauf in dem Geschäft ausgewählt wurde; Vergleichen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern von Nahrungsmittelprodukten; Identifizieren des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern; Ermitteln mindestens eines Preises des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde; Durchführen von Identifizieren des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und/oder biometrischer Identifizierung des Benutzers; Identifizieren eines Kontos des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und/oder einer biometrischen Identifizierung des Benutzers; und Belasten des identifizierten Kontos des Benutzers mit dem ermittelten mindestens einen Preis des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des Benutzers und dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit dem einen oder den mehreren Referenzbildern von Nahrungsmittelprodukten. Solche eine oder mehrere Verarbeitungsvorrichtungen können einen oder mehrere maschinenlesbare Anweisungssätze ausführen, die das System 100 veranlassen, andere Betriebe zur biometrischen Identifizierung (z.B. über Sensoren 282), Formenerfassung, Texturerfassung, Objekterkennung, Bilderkennung, Randerfassung und/oder dreidimensionalen (3D) Rekonstruktion durchzuführen, um die aufgenommenen Bilder und andere Daten zu verarbeiten, die in das Kassensteuersystem 112 eingegeben werden.
Während in 2 als im Systemspeicher 214 gespeichert gezeigt, können das Betriebssystem 236, Anwendungsprogramme 238, andere Programme/Module 240 und Programmdaten 242 auf zugehörigen computerlesbaren Medien 226 des Laufwerks 224 gespeichert werden.
Der (die) Prozessor (en) 212a, 212b kann (können) sämtliche logische Verarbeitungseinheiten sein, wie eine oder mehrere zentrale Verarbeitungseinheiten (CPUs), Digitalsignalprozessoren (DSPs), anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare Gate Arrays (FPGAs) usw. Nicht einschränkende Beispiele von im Handel erhältlichen Computersystemen enthalten, ohne aber darauf beschränkt zu sein, die Celeron, Core, Core 2, Itanium und Xeon Familien von Mikroprozessoren, die von der Intel^® Corporation, USA, angeboten werden; die Mikroprozessoren der K8, K10, Bulldozer und Bobcat Serien, die von Advanced Micro Devices, USA, angeboten werden; die Mikroprozessoren der A5, A6, und A7 Serie, die von Apple Computer, USA, angeboten werden; die Mikroprozessoren der Snapdragon Serie, die von Qualcomm, Inc., USA, angeboten werden; und die Mikroprozessoren der SPARC Serie, die von Oracle Corp., USA, angeboten werden. Falls nicht anderes beschrieben ist, sind die Konstruktion und der Betrieb der unterschiedlichen in 2 gezeigten Blöcke von herkömmlichem Design. Daher müssen solche Blöcke hier nicht näher beschrieben werden, da sie Fachleuten auf dem relevanten Gebiet bekannt sind.
3 ist ein Flussdiagramm, das ein erstes Betriebsverfahren 300 in einem Kassensteuersystem 100 gemäß einer ersten veranschaulichten Ausführungsform zeigt. Das Betriebsverfahren 300 in dem Kassensystem 100 beginnt bei 302.
Bei 304 nimmt das Kassensystem 100 über mindestens eine Kamera in einem Geschäft, das Nahrungsmittelprodukte anbietet, eines oder mehrerer Bilder mindestens eines Nahrungsmittelprodukts auf, das von einem Benutzer zum Kauf in dem Geschäft ausgewählt wurde.
Bei 306 vergleicht das Kassensystem 100 das eine oder die aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern von Nahrungsmittelprodukten.
Bei 308 identifiziert das Kassensystem 100 das mindestens eine Nahrungsmittelprodukt, das von dem Benutzer ausgewählt wurde, basierend auf dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern.
Bei 310 ermittelt das Kassensystem 100 mindestens einen Preis des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde.
Bei 312 führt das Kassensystem 100 eines oder mehrere aus von: Identifizieren des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und biometrischer Identifizierung des Benutzers.
Bei 314 belastet das Kassensystem 100 das identifizierte Konto des Benutzers mit dem ermittelten mindestens einen Preis des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des Benutzers und dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit dem einen oder den mehreren Referenzbildern von Nahrungsmittelprodukten.
Das Betriebsverfahren 300 in dem Kassensystem 100 gemäß der ersten veranschaulichten Ausführungsform endet bei 316.
4 ist ein Flussdiagramm, das ein zweites Betriebsverfahren 400 in einem Kassensystem 100 gemäß einer zweiten veranschaulichten Ausführungsform zeigt. Das Betriebsverfahren 400 in dem Kassensystem 100 beginnt bei 402.
Bei 404 empfängt das Kassensystem 100 eine Angabe, dass sich ein Benutzer an einer Kassenstation einer Cafeteria befindet, um mehrere verschiedene Nahrungsmittelprodukte zu bezahlen, die sich gleichzeitig auf einem Tablett des Benutzers an der Kassenstation befinden.
Bei 406 nimmt das Kassensystem 100 über mindestens eine Kamera an der Kassenstation, eines oder mehrere Bilder der verschiedenen Nahrungsmittelprodukte auf, die sich gleichzeitig auf dem Tablett des Benutzers befinden. Dies kann in Antwort auf die Angabe erfolgen, dass sich der Benutzer an der Kassenstation der Cafeteria befindet.
Bei 408 unterscheidet das Kassensystem 100 zwischen den mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett befinden. Diese Unterscheidung kann auf einem Vergleich des oder der aufgenommenen Bilder der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett des Benutzers befinden, mit einem oder mehreren Referenzbildern von beispielhaften Portionen unverpackter Mahlzeiten, deren Angebot in der Cafeteria sich periodisch ändert, basieren.
Bei 410 identifiziert das Kassensystem 100 jedes der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett des Benutzers befinden, als von der Cafeteria angebotene Nahrungsmittelprodukte basierend auf der Unterscheidung zwischen den mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett des Benutzers befinden.
Bei 412 ermittelt das Kassensystem 100 einen Gesamtpreis für die verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett des Benutzers befinden, basierend auf der Identifizierung jedes der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett des Benutzers befinden, als von der Cafeteria angebotene Nahrungsmittelprodukte.
Das Betriebsverfahren 400 in dem Kassensystem 100 gemäß der zweiten veranschaulichten Ausführungsform endet bei 414.
5 ist ein Flussdiagramm, das ein drittes Betriebsverfahren 500 in einem Kassensystem 100 gemäß einer dritten veranschaulichten Ausführungsform zeigt. Das Betriebsverfahren 500 in dem Kassensystem 100 beginnt bei 502.
Bei 504 nimmt das Kassensystem 100 über mindestens eine Kamera ein oder mehrere Referenzbilder von Nahrungsmittelprodukten durch Aufnehmen von Bildern von Beispielen von Produkten auf, die sich aktuell in einem Geschäft befinden, das Nahrungsmittelprodukte anbietet.
Bei 506 nimmt das Kassensystem 100 über mindestens eine Kamera in dem Geschäft, ein oder mehrere Bilder mindestens eines Nahrungsmittelprodukts auf, das von einem Benutzer zum Kauf in dem Geschäft ausgewählt wurde.
Bei 508 vergleicht das Kassensystem 100 das oder die aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit dem aufgenommenen einen oder den mehreren Referenzbildern von Nahrungsmittelprodukten.
Bei 510 identifiziert das Kassensystem 100 das mindestens eine Nahrungsmittelprodukt, das von dem Benutzer ausgewählt wurde, basierend auf dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern.
Bei 512 ermittelt das Kassensystem 100 mindestens einen Preis des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde.
Das Betriebsverfahren 500 in dem Kassensystem 100 gemäß der dritten veranschaulichten Ausführungsform endet bei 514.
Die vorangehende ausführliche Beschreibung hat unterschiedliche Ausführungsformen der Vorrichtungen und/oder Prozesse mit Hilfe von Blockdiagrammen, schematischen Darstellungen und Beispielen angeführt. Insofern als solche Blockdiagramme, schematischen Darstellungen und Beispiele eine oder mehrere Funktionen und/oder Betriebe aufweisen, ist klar, dass jede Funktion und/oder jeder Betrieb in solchen Blockdiagrammen, schematischen Darstellungen und Beispielen einzeln und/oder gemeinsam durch eine Vielfalt von Hardware, Software, Firmware oder im Prinzip jede Kombination davon implementiert werden kann. In einer Ausführungsform kann der vorliegende Gegenstand durch boolesche Schaltungen, anwendungsspezifische integrierte Schaltungen (ASICs) und/oder FPGAs implementiert werden. Fachleute auf dem Gebiet werden jedoch erkennen, dass die hier offenbarten Ausführungsformen zur Gänze oder teilweise in unterschiedlichen verschiedenen Implementierungen in integrierten Standardschaltungen als ein oder mehrere Computerprogramme, die auf einem oder mehreren Computern laufen (z.B. als ein oder mehrere Programme, die auf einem oder mehreren Computersystemen laufen), als eine oder mehrere Programme, die auf einer oder mehreren Steuerungen (z.B. Mikrosteuerungen) laufen, als ein oder mehrere Programme, die auf einem oder mehreren Prozessoren (z.B. Mikroprozessoren) laufen, als Firmware oder als im Prinzip jede Kombination davon implementiert sein können und dass ein Entwurf des Schaltkreises und/oder Schreiben des Codes für die Software und oder Firmware angesichts dieser Offenbarung in der Kenntnis eines Durchschnittsfachmanns auf dem Gebiet läge.
Fachleute auf dem Gebiet werden erkennen, dass viele der hier angeführten Verfahren oder Algorithmen zusätzliche Handlungen verwenden können, manche Handlungen unterlassen können und/oder Handlungen in einer anderen als der angegebenen Reihenfolge ausführen können.
Zusätzlich werden Fachleute auf dem Gebiet erkennen, dass die hier gelehrten Mechanismen im Stande sind, als ein Programmprodukt in verschiedenen Formen verteilt zu werden und dass eine veranschaulichende Ausführungsform gleichermaßen gilt, unabhängig von der besonderen Art von signaltragenden Medien, die zur tatsächlichen Ausführung der Verteilung verwendet werden. Beispiele für signaltragende Medien weisen, ohne aber darauf beschränkt zu sein, die Folgenden auf: aufzeichnungsfähige Medien wie Festplattenlaufwerke, CD ROMs und Computerspeicher.
Die unterschiedlichen oben beschriebenen Ausführungsformen können kombiniert werden, um weitere Ausführungsformen bereitzustellen. Diese und andere Änderungen können an den Ausführungsformen angesichts der vorangehenden ausführlichen Beschreibung vorgenommen werden. Im Allgemeinen sollten in den folgenden Ansprüchen die Begriffe nicht als Einschränkung der Ansprüche auf die speziellen Ausführungsformen ausgelegt werden, die in der Beschreibung und den Ansprüchen offenbart sind, sondern sollten so ausgelegt werden, dass sie alle möglichen Ausführungsformen gemeinsam mit dem vollen Umfang von Äquivalenten aufweisen, zu welchen solche Ansprüche berechtigt sind. Daher sind die Ansprüche nicht durch die Offenbarung begrenzt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 8267316 [0030]
US 9495607 [0030]

Claims

Betriebsverfahren in einem Kassensystem, welches umfasst: Aufnehmen eines oder mehrerer Bilder mindestens eines Nahrungsmittelprodukts, das von einem Benutzer zum Kauf in dem Geschäft ausgewählt wurde, durch mindestens einen Computerprozessor über mindestens eine Kamera in einem Geschäft, das Nahrungsmittelprodukte anbietet; Vergleichen, durch mindestens einen Computerprozessor, des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern von Nahrungsmittelprodukten; Identifizieren, durch mindestens einen Computerprozessor, des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern; Ermitteln, durch mindestens einen Computerprozessor, mindestens eines Preises des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde; Durchführen, durch mindestens einen Computerprozessor: Identifizieren des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und/oder einer biometrischen Identifizierung des Benutzers; Identifizieren, durch mindestens einen Computerprozessor, eines Kontos des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und/oder einer biometrischen Identifizierung des Benutzers; und wobei der mindestens eine Computerprozessor veranlasst, dass das identifizierte Konto des Benutzers mit dem ermittelten zumindest einen Preis des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, belastet wird, basierend zumindest teilweise auf der Identifizierung des Benutzers und dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit dem oder den Referenzbildern von Nahrungsmittelprodukten.
Verfahren nach Anspruch 1, wobei das Aufnehmen des Bilds des mindestens einen Nahrungsmittelprodukts, das von einem Benutzer zum Kauf in dem Geschäft ausgewählt wurde, Unterscheiden zwischen mehreren verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf einem Tablett befinden, das dem Benutzer zugeordnet ist, umfasst und das Vergleichen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern von Nahrungsmittelprodukten für jedes der unterschiedenen verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, Vergleichen eines aufgenommenen Bilds des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett befindet, das dem Benutzer zugeordnet ist, mit einem oder mehreren Referenzbildern umfasst.
Verfahren nach Anspruch 2, wobei das Identifizieren des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern für jedes der unterschiedenen verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, Identifizieren des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett befindet, das dem Benutzer zugeordnet ist, basierend auf dem Vergleich des aufgenommenen Bilds des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett befindet, das dem Benutzer zugeordnet ist, mit einem oder mehreren Referenzbildern umfasst.
Verfahren nach Anspruch 3, wobei das Ermitteln mindestens eines Preises des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, für jedes der unterschiedenen verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, Ermitteln eines Preises des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett befindet, das dem Benutzer zugeordnet ist, basierend auf der Identifizierung des unterschiedenen Nahrungsmittelprodukts, das sich auf dem Tablett befindet, das dem Benutzer zugeordnet ist, umfasst.
Verfahren nach Anspruch 4, welches weiter umfasst: Aufnehmen des oder der Referenzbilder von Nahrungsmittelprodukten durch mindestens einen Computerprozessor über mindestens eine Kamera zum Vergleichen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, durch Aufnehmen von Bildern von Beispielen von Produkten, die sich gerade in dem Geschäft befinden.
Verfahren nach Anspruch 5, wobei das Geschäft eine Cafeteria ist, die unverpackte Mahlzeiten anbietet, die sich periodisch ändern, das mindestens eine Nahrungsmittelprodukt, das von dem Benutzer ausgewählt wurde, eine in der Cafeteria angebotene unverpackte Mahlzeit ist, die sich periodisch ändert, und das Aufnehmen des oder der Referenzbilder von Nahrungsmittelprodukten zum Vergleichen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, das Aufnehmen von Bildern von beispielhaften Portionen der unverpackten Mahlzeiten umfasst, die sich periodisch ändern.
Verfahren nach einem der Ansprüche 1 bis 6, wobei das Identifizieren des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern umfasst: Identifizieren von Merkmalen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, die mit Merkmalen eines oder mehrerer Referenzbilder übereinstimmen; und Identifizieren des Referenzbilds oder mindestens eines der Referenzbilder als ein Bild derselben Art von Produkt wie das mindestens eine Nahrungsmittelprodukt, das von dem Benutzer ausgewählt wurde, basierend auf einer Identifizierung von Merkmalen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, die mit Merkmalen des Referenzbilds oder mindestens eines der Referenzbilder übereinstimmen.
Verfahren nach einem der Ansprüche 1 bis 7, wobei das Durchführen der biometrischen Identifizierung des Benutzers das Durchführen von Gesichtserkennung des Benutzers umfasst und Daten, die Gesichtsmerkmale des Benutzers darstellen, die beim Durchführen von Gesichtserkennung des Benutzers verwendet werden, dem Konto des Benutzers zugeordnet sind.
Verfahren nach einem der Ansprüche 1 bis 7, welches weiterhin das Ermitteln durch mindestens einen Computerprozessor umfasst, dass das mindestens eine Nahrungsmittelprodukt von dem Benutzer zum Kauf in dem Geschäft ausgewählt wurde.
Verfahren nach Anspruch 9, wobei das Ermitteln, dass das mindestens eine Nahrungsmittelprodukt von dem Benutzer zum Kauf in dem Geschäft ausgewählt wurde, umfasst: Aufnehmen eines Bilds des Benutzers in dem Geschäft durch mindestens einen Computerprozessor über mindestens eine Kamera in dem Geschäft, ohne dass das mindestens eine Nahrungsmittelprodukt im Besitz des Benutzers ist; Aufnehmen eines Bilds des mindestens einen Nahrungsmittelprodukts im Besitz des Benutzers an einer Stelle innerhalb eines vorbestimmten Bereichs in Bezug zu einem Ausgang des Geschäfts durch mindestens einen Computerprozessor über mindestens eine Kamera des Geschäfts; und Ermitteln, durch mindestens einen Computerprozessor, dass das mindestens eine Nahrungsmittelprodukt von dem Benutzer zum Kauf in dem Geschäft ausgewählt wurde, basierend auf dem aufgenommenen Bild des Benutzers in dem Geschäft, ohne dass das mindestens eine Nahrungsmittelprodukt im Besitz des Benutzers ist, und dem aufgenommenen Bild des mindestens einen Nahrungsmittelprodukts im Besitz des Benutzers an einer Stelle innerhalb eines vorbestimmten Bereichs in Bezug zu einem Ausgang des Geschäfts.
Verfahren nach einem der Ansprüche 1 bis 10, wobei das Identifizieren des Kontos des Benutzers Identifizieren des Kontos des Benutzers basierend auf Informationen umfasst, die in einen maschinenlesbaren Token des Benutzers codiert sind, wobei der maschinenlesbare Token des Benutzers eines oder mehrere aufweist von: einer Identifizierungskarte, einem Smartphone, einer Rechenvorrichtung, einer Tablet-Vorrichtung, einem Schlüsselanhänger, einer Funkfrequenzidentifizierungsvorrichtung (RFID-Vorrichtung), einer Nahfeldkommunikationsvorrichtung (NFC-Vorrichtung), einer Vorrichtung, auf der sich ein maschinenlesbarer Code befindet, einer Vorrichtung, die einen maschinenlesbaren Code kommuniziert, und einer Vorrichtung, die ein Identifizierungs-Tag aufweist.
Prozessorbasiertes Kassensystem, welches umfasst: mindestens einen Prozessor; und mindestens ein nicht transientes prozessorlesbares Medium, das prozessorausführbare Anweisungen und/oder Daten speichert, die, wenn von dem mindestens einen Prozessor ausgeführt, den mindestens einen Prozessor veranlassen zum: Empfangen einer Information, dass sich ein Benutzer an einer Kassenstation einer Cafeteria befindet, um mehrere verschiedene Nahrungsmittelprodukte, die sich gleichzeitig auf einem Tablett befinden, das dem Benutzer zugeordnet ist, an der Kassenstation zu bezahlen; in Reaktion auf die Information, dass sich der Benutzer an der Kassenstation der Cafeteria befindet, Aufnehmen eines oder mehrerer Bilder der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, über mindestens eine Kamera an der Kassenstation; Unterscheiden zwischen den verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf einem Vergleich des oder der aufgenommenen Bilder der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, mit einem oder mehreren Referenzbildern von beispielhaften Portionen unverpackter Mahlzeiten, deren Angebot in der Cafeteria sich periodisch ändert; Identifizieren jedes der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, als von der Cafeteria angebotene Nahrungsmittelprodukte basierend auf der Unterscheidung zwischen den verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist; und Ermitteln eines Gesamtpreises für die verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf der Identifizierung jedes der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, als von der Cafeteria angebotene Nahrungsmittelprodukte.
Prozessorbasiertes Kassensystem nach Anspruch 12, welches weiter eine Anzeige aufweist, die mit den mindestens einen Prozessor gekoppelt ist, und wobei die prozessorausführbaren Anweisungen und/oder Daten, wenn von dem mindestens einen Prozessor ausgeführt, weiter den mindestens einen Prozessor veranlassen zum: Veranlassen der Anzeige, zur Verifizierung durch den Benutzer und/oder einen Kassierer, zum Auflisten der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf der Unterscheidung zwischen den verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist; und Veranlassen der Anzeige, zur Verifizierung durch den Benutzer und/oder einen Kassierer, zum Auflisten von Preisen der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf der Unterscheidung zwischen den verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist.
Prozessorbasiertes Kassensystem nach Anspruch 13, wobei die prozessorausführbaren Anweisungen und/oder Daten, wenn von dem mindestens einen Prozessor ausgeführt, weiter den mindestens einen Prozessor veranlassen zum: Veranlassen der Anzeige zum Anzeigen des oder der aufgenommenen Bilder der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, zur Verifizierung durch den Benutzer und/oder einen Kassierer.
Prozessorbasiertes Kassensystem nach Anspruch 13, wobei die prozessorausführbaren Anweisungen und/oder Daten, wenn von dem mindestens einen Prozessor ausgeführt, weiter den mindestens einen Prozessor veranlassen zum: Veranlassen der Anzeige, zur Verifizierung durch den Benutzer und/oder einen Kassierer, zum Anzeigen von Bildern der verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, als von der Cafeteria angebotene Nahrungsmittelprodukte basierend auf der Unterscheidung zwischen den verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett oder in dem Wagen befinden, das bzw. der dem Benutzer zugeordnet ist.
Prozessorbasiertes Kassensystem nach Anspruch 12, wobei die prozessorausführbaren Anweisungen und/oder Daten, wenn von dem mindestens einen Prozessor ausgeführt, weiter den mindestens einen Prozessor veranlassen zum: Identifizieren eines Kontos des Benutzers basierend auf einem maschinenlesbaren Token des Benutzers und/oder einer biometrischen Identifizierung des Benutzers; und Veranlassen, das identifizierte Konto des Benutzers mit dem ermittelten Gesamtpreis für die verschiedenen Nahrungsmittelprodukte zu belasten, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf der Unterscheidung zwischen den verschiedenen Nahrungsmittelprodukten, die sich gleichzeitig auf dem Tablett oder in dem Wagen befinden, das bzw. der dem Benutzer zugeordnet ist.
Prozessorbasiertes Kassensystem nach Anspruch 12, wobei die Portionen unverpackter Mahlzeiten, deren Angebot in der Cafeteria sich periodisch ändert, Portionen von Mahlzeiten sind, die in der Cafeteria zubereitet werden, deren Angebot in der Cafeteria sich täglich ändert.
Prozessorbasiertes Kassensystem nach Anspruch 12, wobei die Portionen unverpackter Mahlzeiten, deren Angebot in der Cafeteria sich periodisch ändert, eines oder mehrere enthalten von: einer Portion gekochten Fleisches, einer Portion gekochten Gemüses, einer Portion gekochter Pasta und einer Portion Brot.
Prozessorbasiertes Kassensystem nach Anspruch 12, wobei die prozessorausführbaren Anweisungen und/oder Daten, wenn von dem mindestens einen Prozessor ausgeführt, den mindestens einen Prozessor veranlassen zum: Aufnehmen eines oder mehrerer Bilder von mindestens zwei von: einer Portion gekochten Fleisches, einer Portion gekochten Gemüses, einer Portion gekochter Pasta und einer Portion Brot, die sich gleichzeitig auf dem Tablett, das dem Benutzer zugeordnet ist, an der Kassenstation befinden, über mindestens eine Kamera an der Kassenstation; Unterscheiden zwischen den mindestens zwei von: einer Portion gekochten Fleisches, einer Portion gekochten Gemüses, einer Portion gekochter Pasta und einer Portion Brot, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf dem oder den aufgenommenen Bildern; und Ermitteln des Gesamtpreises für die verschiedenen Nahrungsmittelprodukte, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist, basierend auf der Unterscheidung zwischen den mindestens zwei von: einer Portion gekochten Fleisches, einer Portion gekochten Gemüses, einer Portion gekochter Pasta und einer Portion Brot, die sich gleichzeitig auf dem Tablett befinden, das dem Benutzer zugeordnet ist.
Prozessorbasiertes Kassensystem nach Anspruch 12, wobei die prozessorausführbaren Anweisungen und/oder Daten, wenn von dem mindestens einen Prozessor ausgeführt, weiter den mindestens einen Prozessor veranlassen, eines der Verfahren nach Ansprüchen 1 bis 17 durchzuführen.
Nicht transientes computerlesbares Medium, auf dem computerausführbare Anweisungen gespeichert sind, die, wenn durch mindestens einen Prozessor ausgeführt, den mindestens einen Prozessor veranlassen zum: Aufnehmen eines oder mehrerer Referenzbilder von Nahrungsmittelprodukten über mindestens eine Kamera durch Aufnehmen von Bildern von Beispielen von Produkten, die sich gerade in einem Geschäft befinden, das Nahrungsmittelprodukte anbietet; Aufnehmen eines oder mehrerer Bilder mindestens eines Nahrungsmittelprodukts, das von einem Benutzer zum Kauf in dem Geschäft ausgewählt wurde, über mindestens eine Kamera in dem Geschäft,; Vergleichen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit dem oder den aufgenommenen Referenzbildern von Nahrungsmittelprodukten; Identifizieren des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf dem Vergleich des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, mit einem oder mehreren Referenzbildern; und Ermitteln mindestens eines Preises des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, basierend auf der Identifizierung des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde.
Nicht transientes computerlesbares Medium nach Anspruch 21, wobei die darauf gespeicherten computerausführbaren Anweisungen, wenn von dem mindestens einen Prozessor ausgeführt, den mindestens einen Prozessor veranlassen zum: Identifizieren von Merkmalen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, die mit Merkmalen eines oder mehrerer Referenzbilder übereinstimmen; und Identifizieren des Referenzbilds oder mindestens eines der Referenzbilder als ein Bild einer selben Art von Produkt wie das mindestens eine Nahrungsmittelprodukt, das von dem Benutzer ausgewählt wurde, basierend auf einer Identifizierung von Merkmalen des oder der aufgenommenen Bilder des mindestens einen Nahrungsmittelprodukts, das von dem Benutzer ausgewählt wurde, die mit Merkmalen des Referenzbilds oder mindestens eines der Referenzbilder übereinstimmen.
Nicht transientes computerlesbares Medium nach Anspruch 21, wobei die darauf gespeicherten computerausführbaren Anweisungen, wenn von dem mindestens einen Prozessor ausgeführt, den mindestens einen Prozessor veranlassen zum: Ermitteln, dass das mindestens eine Nahrungsmittelprodukt von dem Benutzer zum Kauf in dem Geschäft ausgewählt wurde.
Nicht transientes computerlesbares Medium nach Anspruch 21, wobei die darauf gespeicherten computerausführbaren Anweisungen, wenn von dem mindestens einen Prozessor ausgeführt, den mindestens einen Prozessor veranlassen zum: Aufnehmen eines Bilds des Benutzers in dem Geschäft, ohne dass das mindestens eine Nahrungsmittelprodukt im Besitz des Benutzers ist, über mindestens eine Kamera in dem Geschäft; Aufnehmen eines Bilds des mindestens einen Nahrungsmittelprodukts im Besitz des Benutzers an einer Stelle innerhalb eines vorbestimmten Bereichs in Bezug zu einem Ausgang des Geschäfts über mindestens eine Kamera des Geschäfts; und Ermitteln, dass das mindestens eine Nahrungsmittelprodukt von dem Benutzer zum Kauf in dem Geschäft ausgewählt wurde, basierend auf dem aufgenommenen Bild des Benutzers in dem Geschäft, ohne dass das mindestens eine Nahrungsmittelprodukt im Besitz des Benutzers ist, und dem aufgenommenen Bild des mindestens einen Nahrungsmittelprodukts im Besitz des Benutzers an einer Stelle innerhalb eines vorbestimmten Bereichs in Bezug zu einem Ausgang des Geschäfts.
Nicht transientes computerlesbares Medium nach Anspruch 21, wobei das Geschäft eine Cafeteria ist und das Ermitteln, dass das mindestens eine Nahrungsmittelprodukt von dem Benutzer ausgewählt wurde, auf einem Bild basiert, das von dem mindestens einen Nahrungsmittelprodukt auf einem Tablett, das dem Benutzer zugeordnet ist, aufgenommen wurde.
Nicht transientes computerlesbares Medium nach Anspruch 21, wobei das mindestens eine Nahrungsmittelprodukt ein vorverpacktes Nahrungsmittelprodukt ist und das oder die Bilder des mindestens einen Nahrungsmittelprodukts ein Bild einer Verpackung des mindestens einen Nahrungsmittelprodukts enthalten.
Nicht transientes computerlesbares Medium nach Anspruch 26, wobei das mindestens eine Nahrungsmittelprodukt ein Getränk in einer Verpackung aufweist.
Nicht transientes computerlesbares Medium nach Anspruch 21, wobei das mindestens eine Nahrungsmittelprodukt ein unverpacktes Nahrungsmittelprodukt ist und die computerausführbaren Anweisungen, wenn von dem mindestens einen Prozessor ausgeführt, den mindestens einen Prozessor veranlassen, ein oder mehrere Bilder des unverpackten Nahrungsmittelprodukts zu verarbeiten, um den Vergleich durchzuführen.