AT526299A1 - Computerimplementiertes Verfahren zur Identifikation eines Artikels, Computerprogrammprodukt, sowie System - Google Patents

Computerimplementiertes Verfahren zur Identifikation eines Artikels, Computerprogrammprodukt, sowie System Download PDF

Info

Publication number
AT526299A1
AT526299A1 ATA50493/2022A AT504932022A AT526299A1 AT 526299 A1 AT526299 A1 AT 526299A1 AT 504932022 A AT504932022 A AT 504932022A AT 526299 A1 AT526299 A1 AT 526299A1
Authority
AT
Austria
Prior art keywords
article
image
communication device
partial images
server
Prior art date
Application number
ATA50493/2022A
Other languages
English (en)
Inventor
Löw-Beer Mba Manuel
Original Assignee
Manuel Loew Beer Mba
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Manuel Loew Beer Mba filed Critical Manuel Loew Beer Mba
Priority to ATA50493/2022A priority Critical patent/AT526299A1/de
Publication of AT526299A1 publication Critical patent/AT526299A1/de

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren (200) zur Identifikation eines Artikels (1), sowie ein Computerprogrammprodukt und ein System (100) zur Ausführung des Verfahrens (200), welche eine schnelle und effiziente Identifizierung von Artikeln (1) bei geringem Datendurchsatz ermöglichen.

Description

15
20
25
30
Computerimplementiertes Verfahren zur Identifikation eines Artikels,
Computerprogrammprodukt, sowie System
Die Erfindung bezieht sich auf ein computerimplementiertes Verfahren zur Identifikation eines Artikels, sowie auf ein Computerprogrammprodukt und ein System zur Ausführung
des Verfahrens.
Stand der Technik
Üblicherweise sind Artikel im Handelswarenverkehr bereits vom Hersteller mit einem Barcode (Strichcode), sowie einem darunterliegendem Zahlencode versehen, so dass die Artikel in der elektronischen Datenverarbeitung eindeutig identifiziert werden können. Eine solche eindeutige Artikelidentifikation kann etwa mittels EAN (European Article Number) oder UPC (Universal Product Code) erfolgen, wobei diese die gängigsten Kennzeichnungsformen für Artikel im Handel darstellen. Die EAN- oder UPC-Strichcodes werden in der Regel mittels Lesegeräten ausgelesen, welche über verschiedene Spiegel und einen Laser verfügen, um das Strichcodemuster abzutasten. Dabei sind sowohl fest
verbaute (bspw. in Kassensystemen), als auch tragbare Lesegeräte bekannt.
Neben der Barcodetechnologie werden auch sogenannte RFID-Systeme (Radio Frequency Identification) zur Artikelerkennung eingesetzt. Hier wird bei der Artikelkennzeichnung anstatt eines Strichcodes ein mit einem Datenchip versehenes Etikett auf den Artikel geklebt, auf welchem sich zuvor definierbare Variablen — wie etwa die Artikelnummer — speichern lassen. Für das Auslesen solcher RFID-Chips werden Lesegerät im gleichen Frequenzband des Chips benötigt. Solche Lesegeräte können beispielsweise fest verbaut
oder tragbar sein; etwa in Einkaufswägen, Einkaufskörben oder Kassensystemen.
In derartigen Verfahren ist die Artikelerkennung überwiegend nicht technisch-autono, insbesondere insoweit, als die Lesegeräte lediglich die „Erkennungsmarken“ der Artikel, welche zuvor gedruckt oder geklebt wurden, auslesen, nicht aber den Artikel selbst erkennen, um die Zuordnung zu den Artikeldaten (Artikelnummer, Preis, etc.) herzustellen. Diese Artikelnummern, müssen insbesondere zuvor von Menschen mit den
Artikeldammdaten verknüpft und auf die physischen Artikel etikettiert werden.
Aus dem Stand der Technik (US 2022/0108270 A1) sind sogenannte „smart Shopping Systeme“ bekannt, bei welchen mithilfe von zahlreichen im Markt befindlichen Sensoren
Daten aufgenommen und miteinander verknüpft werden, um die von einer Person
15
20
25
30
35
entnommenen Artikel einem elektronischen Warenkorb zuzuordnen. Zur Standorterkennung können etwa GPS-Sensoren, Boden- und Regalsensoren, sowie Videokameras zum Einsatz kommen. Zur Erkennung bzw. Identifizierung der ausgewählten oder zurückgelegten Artikel werden in den Regalböden befindliche Sensoren genutzt. Aufgrund der hohen Datenmengen und der hohen Anforderungen an Übertragungsgeschwindigkeiten (Daten werden in der Regel in Echtzeit benötigt), müssen hochstabile Netzwerkanbindungen mit hohem Durchsatz bereitgestellt werden, bzw. müssen sich die Rechenzentren, welche die Algorithmen verarbeiten, in unmittelbarer Nähe
des Marktes befinden, um den hohen Datendurchsatz bereitstellen zu können.
Bei derartigen „smart Shopping“ Verfahren werden die Produkte nur infolge der sogenannten „Sensor Fusion“ erkannt; das bedeutet, es bedarf einer Vielzahl von Sensoren und Datenverknüpfungen, um zu der Entscheidung zu kommen, um welches Produkt es sich handelt. Es handelt sich damit auch nicht um eine technisch-autonome
Produkterkennung anhand des Produkte selbst.
Weiters sind sogenannte „intelligente Einkaufswägen“ zur Artikelerkennung aus dem Stand der Technik bekannt. Diese sind so aufgebaut, dass sie an den oberen Ecken des Einkaufswagenkorbes mehrere Foto- und Videoaufzeichnungsgeräte fest verbaut haben. Diese Aufzeichnungsgeräte zeichnen auf, sobald ein Artikel in den Einkaufswagen gelegt wird. Diese Aufzeichnungsdaten werden dann über den im Einkaufswagen befindlichen Computer über ein Netzwerk an ein unmittelbar in der Nähe befindliches Rechenzentrum zur Datenverarbeitung übermittelt. Im Rechenzentrum werden die erhaltenen Bilder (100500 pro in den Einkaufswagen gelegtem Artikel) mit digitalen Mustern abgeglichen (gespeicherte Artikelbilder). Die Muster müssen dem EDV-System zuvor in mehreren hundert Iterationen je Bild beigebracht werden, indem man ein Artikelbild öffnet, den reinen Artikelteil markiert und mit Artikeldaten (bspw. Artikelnummer, Artikelbezeichnung) verknüpft. Bei Abgleich mit den Mustern kommt es aufgrund der Menge an Bildern zu n Ergebnissen. Dies wird durch mehrfache Iterationen reduziert und Infolge der Entscheidung anhand der überwiegenden Rückmeldungsergebnisse ausgegeben. Dieses Ergebnis wird mit einer marktspezifischen Datenbank betreffend Preis und Artikelinformationen den Konsumenten an einem am Einkaufswagen befindlichen Bildschirm angezeigt. Nachteilig ist hier die begrenze Lebenszeit infolge exzessiver Nutzung und dass die Funktionalität bei einem vollen Einkaufswagen nur noch eingeschränkt gegeben ist, wie auch die notwendige Innenlagerung der hochtechnisierten Einkaufswägen wie auch die gänzliche WLAN Ausstrahlung des Marktes, um eine hohe Dateninteraktion mit dem ebenfalls nachteilig zu
bewertenden in unmittelbarer Nähe befindlichen Rechenzentrum zu ermöglichen.
15
20
25
30
Das Verfahren des „intelligenten Einkaufswagen“ erkennt die Artikel ohne Strichcode und RFID Etiketten, benötigt jedoch ebenfalls eine Vielzahl speziell ausgerichteter und miteinander synchronisierter Systeme, um zu einer validen Produkterkennung zu kommen. Hinzu kommt der Nachteil, dass all diese Systeme in einem hochtechnisierten Einkaufswagen fest verbaut sind und direkt im Markt datentechnisch verarbeitet werden
müssen, um zeitnahe Ergebnisse zu liefern.
Offenbarung der Erfindung
Die vorliegende Erfindung hat sich daher die Aufgabe gestellt, ein computerimplementiertes Verfahren zur Identifikation eines Artikels bereitzustellen, welches die oben genannten Nachteile überwindet und eine schnellere Identifizierung von Artikeln bei geringerem
Datendurchsatz ermöglicht.
Die Erfindung löst die gestellte Aufgabe durch das computerimplementierte Verfahren
gemäß Anspruch 1.
Erfindungsgemäß wird bei dem Verfahren in einem Schritt a) zunächst ein Bild des zu identifizierenden Artikels durch eine Kommunikationseinrichtung empfangen. Insbesondere zeigt das Bild dabei eine Ansicht des Artikels, während dieser durch einen Benutzer bei einem Einkaufsvorgang in ein Einkaufsbehältnis, wie etwa einen Einkaufswagen, einen Einkaufskorb, eine Einkaufstasche oder dgl., bewegt wird. Das Bild kann dabei etwa ein Einzelbild aus einer Reihe von aufgezeichneten Bildern während des Einkaufsvorgangs
sein und bevorzugt zumindest eine Seite des gesamten Artikels abbilden.
In einem zweiten Schritt b) wird das zumindest eine Bild des zu identifizierenden Artikels in mehrere Teilbilder zerlegt. Durch das Zerlegen des zumindest einen Bildes in mehrere Teilbilder kann die anfallende Datenmenge bereits vor einer Weiterverarbeitung reduziert werden, so dass nachfolgende Berechnungs- und Übertragungsschritte schneller und effizienter erfolgen können. Insbesondere kann das Zerlegen des zumindest einen Bildes in Teilbilder von besonderem Vorteil sein, wenn das Bild in weiterer Folge an einen Server über ein Netzwerk übertragen werden soll, da hierbei anstelle eines Bildes mit voller Größe nur eine Vielzahl von Teilbildern mit einem Bruchteil der Größe des Bildes übertragen werden müssen, was die Übertragung deutlich beschleunigen kann. Insbesondere die Übertragung einer großen Datei über ein Netzwerk beansprucht viele Netzwerkressourcen, da auf den Empfang sämtlicher zu der Datei gehörender Pakete am Server gewartet werden muss, bevor die Datei weiterverarbeitet werden kann. Durch die Übertragung vieler Teilbilder mit jeweils niedriger Dateigröße, kann, anders als bei der Übertragung eines
großen Bildes, bereits nach der sehr schnellen Übertragung eines einzelnen Teilbildes mit
15
20
25
30
der weiteren Verarbeitung des Teilbildes begonnen werden, während die restlichen Teilbilder noch übertragen werden, was das Verfahren insgesamt deutlich beschleunigen
kann.
Gemäß einer Ausführungsvariante kann das Zerlegen des zumindest einen Bildes bereits in der Kommunikationseinrichtung, insbesondere unmittelbar nach dem Empfang des Bildes durch die Kommunikationseinrichtung, erfolgen. Das Zerlegen des Bildes ist dabei ein simpler und nicht rechenintensiver Prozess, welcher ohne größere Anforderungen an die Recheneinheit ausgeführt werden kann. Insbesondere kann das Zerlegen des Bildes auch auf Kommunikationseinrichtungen mit wenig leistungsfähigen Recheneinheiten, wie
etwa Smartphones oder Kassensystem-Endgeräten, erfolgen.
Gemäß der Erfindung werden in einem dritten Schritt c) dann die Teilbilder, bzw. zumindest ein Teil der Teilbilder durch die Kommunikationseinrichtung an einen Server übertragen. Die Übertragung der einzelnen Teilbilder, bzw. der Teilbild-Variablen-Pakete an den Server kann dabei seriell und/oder zumindest teilweise parallel erfolgen. Es können somit etwa gleichzeitig immer eine Anzahl von Teilbildern übertragen werden und bei Abschluss der
Übertragung eines Teilbildes, die Übertragung eines weiteren Teilbildes gestartet werden.
Erfindungsgemäß wird weiter in einem vierten Schritt d) zumindest ein empfangenes Teilbild analysiert und zumindest eine Variable zu dem zumindest einen analysierten Teilbild zugeordnet. Durch Zuordnung von Variablen zu den Teilbildern, kann neben dem reinen (Bild-)Inhalt der Teilbilder als Variable auch eine weitere Variable zugeordnet werden, welche insbesondere den Inhalt oder den Kontext der Bilder wiederspiegelt. Die Zuordnung der Variablen erfolgt dabei bevorzugt anhand der Analyse der Teilbilder; die Analyse kann dabei sowohl den Wert der Variablen, als auch die Art der Variablen, welche den Teilbildern zugeordnet werden, bestimmen. Erfindungsgemäß können zu den Teilbildern auch mehrere unterschiedliche Variablen, oder auch keine Variablen zugeordnet werden. Daneben kann jede Variable insbesondere einen oder mehrere Variablenwert(e)
aufnehmen.
Die Analyse der Teilbilder in Schritt d) erfolgt im Wesentlichen parallel zu dem Übertragen der Teilbilder an den Server in Schritt c). Während der weiteren Übertragung von Teilbildern können somit bereits vollständig auf den Server übertragene Teilbilder analysiert werden
und diesen entsprechend Variablen zugeordnet werden.
Gemäß einer bevorzugten Ausführungsvariante wird am Server der Variable zu dem jeweiligen Teilbild ein Variablenwert zugewiesen und mit dem Teilbild verknüpft, so dass
diese in einem weiteren Schritt gemeinsam übertragen werden können.
15
20
25
30
35
Die Teilbilder werden nach der Analyse und Zuordnung der Variablen am Server in einem fünften Schritt e) mit Artikeln in einer Artikeldatenbank am Server abgeglichen, wobei die Artikel aus der Artikeldatenbank anhand der zumindest einen Variable ausgewählt werden. Den in der Datenbank gespeicherten Artikeln sind dabei insbesondere ebenfalls Variablen zugeordnet, so dass eine Auswahl der Artikel anhand entsprechender Variablenwerte erfolgen kann. Durch die Auswahl der Artikel anhand der zumindest einen Variable kann ein zielgerichteter Vergleich zwischen den Variablen der Teilbilder und jenen der Artikel erfolgen. Eine Auswahl der Artikel anhand der Variablen kann besonders effizient und schnell erfolgen und verbraucht im Gegensatz zu einem direkten Bild-Bild-Vergleich sehr
wenig Rechenleistung am Server.
Dieser fünfte Schritt e) erfolgt dabei parallel zum Empfang der Teilbilder von der Kommunikationseinrichtung, wobei nicht mehr auf dem Empfang aller Teilbilder des Bilds von dem zu identifizierenden Artikel gewartet werden muss, sondern der Abgleich der Teilbilder mit den Artikeln schon bereits nach dem Empfang einzelner Teilbilder und während dem Empfang weiterer Teilbilder durchgeführt werden kann. Das Senden/Empfangen der Teilbilder und der Abgleich der Teilbilder mit der Datenbank können somit im Wesentlichen laufend und simultan erfolgen, womit ein hoher Parallelitätsgrad erreicht werden kann und Wartezeiten beim Empfang der Bilder eliminiert werden können. Der Teilbilder-Abgleich mit der Datenbank kann somit deutlich
beschleunigt werden.
Indem die Auswahl der Artikel anhand von Variablen erfolgt, welche den Teilbildern und den Artikeln zugeordnet sind, kann auf einen Bildvergleich im herkömmlichen Sinn (also einen Pixel-Pixel-Vergleich) verzichtet werden. Eine solche Suche bzw. Selektion der Artikel anhand von zugeordneten Variablen kann die mit der Artikelsuche verbundene Rechenleistung drastisch reduzieren. Zudem kann durch das Heranziehen von Teilbildern zur Analyse auf die Variablen auch die Bildanalyse deutlich beschleunigt werden. Bestimmte Artikel lassen sich etwa bereits aufgrund von charakteristischen Elementen, welche sich durch die Variablen darstellen lassen, eindeutig identifizieren, sodass ein Teilbild, welches ein charakteristisches Element umfasst, bereits ausreicht, um den
gesuchten Artikel aufzufinden.
Gemäß einer weiteren Ausführungsvariante können einzelne Teilbilder beim Abgleich mit der Artikeldatenbank bzw. bei der Auswahl der Artikel ausgelassen werden, wenn diese beispielsweise keinerlei Artikel-spezifische Merkmale enthalten (bspw. wenn diese nur aus Hintergrund bestehen). Auf diese Weise kann die zum Bildvergleich benötigte
Rechenleistung weiter reduziert werden.
15
20
25
30
35
Erfindungsgemäß wird in einem weiteren sechsten Schritt f) eine Übereinstimmungswahrscheinlichkeit aus dem Abgleich der Teilbilder in Schritt e) errechnet. Die Übereinstimmungswahrscheinlichkeit repräsentiert dabei die Wahrscheinlichkeit, dass der in dem zumindest einen Bild abgebildete Artikel mit einem Artikel aus der Datenbank übereinstimmt; also dass das aufgezeichnete Bild einen bestimmten Artikel aus der Datenbank zeigt. Diese Übereinstimmungswahrscheinlichkeit setzt sich dabei aus einzelnen Vergleichen der den Teilbildern zugeordneten Variablen mit
den Artikeln zugeordneten Variablen zusammen.
Die Errechnung der Übereinstimmungswahrscheinlichkeit erfolgt dabei vorzugsweise parallel zu den Schritten d) und e), wodurch die Effizienz der Berechnung weiter erhöht werden kann. Insbesondere kann die Berechnung der Übereinstimmungswahrscheinlichkeit schon nach dem Empfang eines oder weniger Teilbilder und dem Abgleich dieser Teilbilder mit den Artikeln in der Datenbank erfolgen, und es muss nicht zuerst der Empfang und der Vergleich sämtlicher Teilbilder abgewartet
werden.
Insbesondere kann gemäß einer Ausführungsvariante die Übereinstimmungswahrscheinlichkeit kumulativ errechnet werden. Hierbei wird die Übereinstimmungswahrscheinlichkeit laufend anhand der Ergebnisse des Abgleichs der einzelnen Teilbilder mit den Artikeln aus der Datenbank in Schritt e) berechnet, wobei nach jedem abgeschlossenen Abgleich in Schritt e) eine MNeuberechnung der
Übereinstimmungswahrscheinlichkeit in Schritt f) erfolgt.
Erfindungsgemäß wird in einem siebten Schritt g) bei Überschreiten eines vorgegebenen Schwellenwerts der Übereinstimmungswahrscheinlichkeit der Artikel identifiziert. Schritt g) erfolgt dabei bevorzugt ebenso parallel zu Schritt f); es wird somit bevorzugt laufend nach jeder Berechnung der Übereinstimmungswahrscheinlichkeit überprüft, ob ein Schwellenwert überschritten wurde, wonach die Identifikation des Artikels abgeschlossen werden kann. Da die Berechnung der Übereinstimmungswahrscheinlichkeit bevorzugt parallel zu den Schritten d) und e) erfolgt, kann auch die Identifikation des Artikels bereits erfolgen bevor noch alle Teilbilder an den Server übertragen wurden. Dadurch kann das
Verfahren zur Identifikation des Artikels besonders schnell und effizient erfolgen.
Gemäß einer Ausführungsvariante der Erfindung kann der vorgegebene Schwellenwert eine vordefinierte Prozentzahl sein, über welcher eine hinreichend große Wahrscheinlichkeit gegeben ist, dass der identifizierte Artikel mit dem gesuchten Artikel übereinstimmt. Ein solcher Schwellenwert kann beispielsweise durch empirische Versuche
ermittelt und festgestellt werden.
7733
15
20
25
30
Gemäß einer weiteren Ausführungsvariante der Erfindung kann der vorgegebene Schwellenwert auch in einem weiteren Zwischenschritt ermittelt bzw. laufend angepasst werden. Eine solche laufende Anpassung des Schwellenwerts kann insbesondere dann sinnvoll sein, wenn bei der kumulativen Errechnung der Übereinstimmungswahrscheinlichkeit eine starke Konvergenz gegen hohe Übereinstimmung festgestellt werden kann. In einem solchen Fall kann es sinnvoll sein, die Identifikation des Artikels früher abzuschließen. Die Effizienz des Verfahrens kann somit
noch weiter gesteigert werden.
Schließlich wird in einem achten Schritt h) erfindungsgemäß die Artikel-Identifikation an die Kommunikationseinrichtung übertragen. In der Kommunikationseinrichtung kann dann die
Artikel-Identifikation entsprechend verwertet werden.
Beispielsweise kann gemäß einer Ausführungsvariante der identifizierte Artikel mit einem Preis verknüpft werden und/oder einem Warenkorb hinzugefügt werden und/oder an einem
mit der Kommunikationseinrichtung verbundenen Display angezeigt werden.
Gemäß einer weiteren Ausführungsvariante können den Artikeln in der Artikeldatenbank am Server ein oder mehrere Ansichten des Artikels als Bilder zum Vergleich mit den Teilbildern zugeordnet sein. Die Teilbilder können dabei im Rahmen des Abgleichs in Schritt d) auch mittels direktem Bildvergleich (Pixel-Pixel-Vergleich) mit den Bildern des Artikels in der Datenbank verglichen werden. So kann bspw. im Falle einer fehlgeschlagenen Analyse auf Variablen oder einer zu niedrigen Übereinstimmungswahrscheinlichkeit noch ein
zusätzlicher Vergleich erfolgen, welcher die Treffersicherheit erhöht.
Indem insbesondere mehrere Ansichten des Artikels als Bilder zugeordnet sind, kann die Erkennbarkeit des Artikels weiter erhöht werden, da das zumindest eine Bild des Artikels insbesondere in einer beliebigen Position/Stellung des Artikels vor der Kamera aufgezeichnet wurde. So kann es beispielsweise sein, dass das zumindest eine Bild lediglich die Rückseite oder Seite des Artikels zeigt und so durch Vergleich der Teilbilder
mit mehreren Ansichten des Artikels zu einer höheren Erkennungswahrscheinlichkeit führt.
Insbesondere wird gemäß einer weiteren Ausführungsvariante der Bildvergleich zwischen Teilbild und Artikelbilder und der Abgleich der Teilbilder mittels Variablen kombiniert, so dass eine Vorauswahl der Artikel anhand der analysierten Variablen getroffen werden kann und lediglich zur Bestätigung der Vorauswahl ein Bildvergleich stattfinden kann. Durch die Vorauswahl kann der Bildvergleich auf wenige ausgewählte Artikelbilder beschränkt
werden und es muss kein Vergleich zwischen dem Teilbild und allen Artikelbildern aller
15
20
25
30
Artikel in der Datenbank erfolgen, was zu einer deutlichen Effizienzsteigerung und
Beschleunigung des Bildvergleichs führt.
Indem nur Teilbilder mit den vorausgewählten Artikelbildern aus der Datenbank verglichen werden, kann ebenso der Rechenaufwand beim Bildvergleich zwischen Teilbildern und Artikelbildern stark reduziert werden, da die Teilbilder gegenüber dem zumindest einen Bild des Artikels in ihrer Pixelanzahl drastisch reduziert sind. Zudem kann sich der Bildvergleich auf das Wiederfinden von den in den Teilbildern enthaltenen Bildmerkmalen in den Artikelbildern beschränken und es muss kein vollständiger Vergleich aller Merkmale des
zumindest einen Bildes mit den Artikelbildern aus der Datenbank durchgeführt werden.
Gemäß einer weiteren Ausführungsvariante der Erfindung können den Artikeln und/oder den Bildern der Artikel (Ansichten) in der Artikeldatenbank am Server jeweils Variablen zugeordnet sein. Durch die Zuordnung von Variablen zu den Artikeln bzw. den Bildern der Artikel kann neben einer Vorauswahl der Artikel aus der Artikeldatenbank auch eine Vorauswahl der einzelnen Bilder der Artikel anhand des Variablen-Abgleichs ermöglicht werden, wodurch der Rechenaufwand bei einem späteren Bildvergleich weiter reduziert
wird.
Gemäß einer Ausführungsvariante kann die zumindest eine Variable eine Bildvariable sein, wobei der Wert der Bildvariable aus dem Bild und/oder aus einem oder mehreren Teilbildern
des Artikels bestimmt wird.
Ebenso können gemäß einer Ausführungsvariante die den Artikeln und/oder Bildern am Server zugeordneten Variablen Bildvariablen sein, welche aus den Bildern der Ansichten
des Artikels bestimmt werden.
Solche Bildvariablen können gemäß einer Ausführungsvariante der Erfindung die Farbe, die Form, insbesondere Voll-, Teil- und Winkelform, die Größe, Radien, die Art der Abbildung (Teil- und Vollabbildung), eine Produktbezeichnung, eine Labelposition eine
Strichcodeposition oder ähnliches sein.
Diese Bildvariablen können dabei insbesondere einen oder mehrere Werte enthalten. So kann etwa einem Artikel, welcher zwei dominante Farben aufweist, beispielsweise Rot und Gelb, Farbe als Bildvariable zugewiesen werden und die Variable jene zwei dominanten Farben (Rot und Gelb) enthalten.
Gemäß einer Ausführungsvariante können auch multivariante Variablen als Bildvariablen verwendet werden. So kann beispielsweise die Farb-Variable mit einer Positions-Variable
verknüpft sein, oder die Farb-Variable mit einem Prozent-Wert der Farbbedeckung des
15
20
25
30
Artikels verknüpft sein. Bei einem Artikel welcher beispielsweise zu 40% mit Gelb und zu 60% mit Rot bedeckt ist, kann die Bildvariable somit 40% Gelb und 60% Rot als Werte
aufweisen.
In Schritt e) können damit die Artikel aus der Artikeldatenbank durch Abgleich der Werte der zugeordneten Bildvariablen ausgewählt bzw. vorausgewählt werden. Gemäß oben erwähntem Beispiel, in dem die dem zumindest einem Teilbild des Artikels zugeordnete Bildvariable Farbe die Werte Gelb und Rot aufweist, können aus der Artikeldatenbank nun alle Artikel bzw. deren zugeordnete Artikelbilder (Ansichten) vorausgewählt werden, welche ebenfalls die Werte Gelb und Rot für die Bildvariable Farbe aufweisen. In dieser Weise kann bereits alleine durch den Variablenabgleich eine ausreichend hohe Übereinstimmungswahrscheinlichkeit mit einem Artikel aus der Artikeldatenbank erreicht werden, oder gegebenenfalls entsprechende Artikel aus der Artikeldatenbank bereits vor dem Bildvergleich zwischen Teilbildern und den Artikeln zugeordneten Bildern drastisch auf
lediglich relevante Einträge reduziert werden, welche in den Bildvariablen übereinstimmen.
Gemäß einer weiteren Ausführungsvariante der Erfindung können am Server mehrere empfangene Teilbilder zu weiteren Teilbildern aggregiert werden und die Analyse in Schritt d) anhand zumindest eines aggregierten Teilbildes durchgeführt und die zumindest eine Variable dem aggregierten Teilbild zugeordnet wird. Die Teilbilder werden dabei am Server nach dem Empfang wiederum zu zusammengesetzten Teilbildern verbunden, so dass größere Teilbilder bzw. größere Bereiche des ursprünglichen Bildes auf Bildvariablen untersucht werden können. Dies kann bspw. insbesondere dann von Vorteil sein, wenn die relevanten charakteristischen Merkmale des Artikels zu groß sind, dass diese in den Teilbildern hinreichend analysiert werden können. So kann das Zusammensetzten der Bilder die Analyse verbessern und die Treffsicherheit erhöhen. Der Abgleich mit der Artikeldatenbank kann dann genauso wie zuvor beschrieben anhand der aggregierten Teilbilder wiederholt werden, so dass eine hohe Übereinstimmungswahrscheinlichkeit
erreicht wird.
Die Aggregation der Teilbilder kann dabei rekursiv anhand benachbarter Teilbilder erfolgen. So können beispielsweise immer jeweils zwei oder vier benachbarte Teilbilder zu einem aggregierten Teilbild zusammengefügt werden, um einen größeren Bildausschnitt aus dem Bild des Artikels zu erhalten. Diese aggregierten Teilbilder können wiederum zu zwei oder vier benachbarten aggregierten Teilbilder zusammengefügt werden, um ein wieder größeres Teilbild zu erhalten, welches wiederum der Variablen-Analyse und dem Abgleich
mit den Artikeln aus der Artikeldatenbank unterzogen werden kann.
15
20
25
30
Gemäß einer weiteren Ausführungsvariante der Erfindung kann die zumindest eine Variable ein Standort des Artikels und/oder der Kommunikationseinrichtung sein. Der Standort des Artikels bzw. der Kommunikationseinrichtung kann dabei einerseits detailliert standortspezifisch (beispielsweise die Position innerhalb eines Marktes, etwa vor einem bestimmten Regal, erfassend) oder auch standortübergreifend (beispielsweise den globalen Standort, etwa in einem bestimmten Regal, erfassend) erfolgen. Die Bestimmung des Standorts eines Marktes kann etwa darüber entscheiden welche Artikel in dem gesamten Markt vorhanden sind; die Abgleich mit den Artikeln kann sich dann auf die in diesem Markt vorrätigen Produkte beschränken. Ebenso kann die detaillierte Erfassung des Standorts des Artikels bzw. der Kommunikationseinrichtung innerhalb eines Marktes - etwa vor einem bestimmten Regal - dazu genutzt werden, jene Artikel vorauszuwählen, welche sich in dem bestimmten Regal befinden. Der Variablen-Abgleich kann somit multivariant anhand verschiedener komplementärer Variablen erfolgen und so die Zahl der in Frage kommenden Artikel drastisch reduzieren, was die Effizienz des Verfahrens zur Identifikation
des Artikels deutlich verbessert.
Gemäß einer Ausführungsvariante der Erfindung kann die Kommunikationseinrichtung vor Schritt c) einen Standort von einer mit der Kommunikationseinrichtung verbundenen Ortungseinrichtung empfangen und den erhaltenen Standort zusammen mit den Teilbildern an den Server übertragen. Eine solche Ortungseinrichtung kann beispielsweise ein Empfangsgerät für ein Navigationssattelitensystem (GPS, Galileo, GLONASS, Beidou)
sein.
Alternativ kann gemäß einer weiteren Ausführungsvariante eine solche Ortungseinrichtung auch NFC-/RFID-basiert sein, beispielsweise indem Regalen zugeordnete Tags durch die Ortungseinrichtung drahtlos erfasst und an die Kommunikationseinrichtung weitergegeben
werden.
Gemäß einer weiteren Ausführungsvariante kann die Kommunikationseinrichtung vor Schritt c) einen Standort von einer mit der Kommunikationseinrichtung verbundenen Kameraeinrichtung durch Aufnahme eines Codes empfangen und den erhaltenen Standort zusammen mit den Teilbildern an den Server übertragen. Derartige Codes können beispielsweise an Regalen oder Geschäftsabteilungen angebrachte visuelle Codes (etwa Bar- oder QR-Codes) sein, welche einen Rückschluss auf die Position innerhalb eines
Geschäfts zulassen.
Gemäß einer Ausführungsvariante können die Arten der den Teilbildern zugeordneten
Variablen beliebig miteinander kombiniert werden. So können etwa Bildvariablen mit
15
20
25
30
Standortvariablen kombiniert werden, um eine noch spezifischere und treffsichere
Vorauswahl aus der Artikeldatenbank vor dem Bildvergleich am Server zu erreichen.
Ebenso können den Teilbildern andere als Bild- oder Standortvariablen zugeordnet werden.
Gemäß einer weiteren Ausführungsvariante der Erfindung können die Artikel mit Artikeldaten in einer Sekundärdatenbank auf einem zweiten Server, insbesondere enthaltend einen Preis und/oder eine EAN-Nummer, verknüpft sein. Nach erfolgter Identifikation des Artikels können somit von einem zweiten Server die dazugehörigen Artikeldaten von der Kommunikationseinrichtung abgefragt werden. Eine besonders
schnelle und effiziente Ermittlung der Artikeldaten kann so erfolgen.
Gemäß wieder einer weiteren Ausführungsvariante können die Artikeldaten in der Sekundärdatenbank mit einem Standort verknüpft sein. So kann die Artikel-Identifikation zudem mit einem Standort (beispielsweise der Standort eines Geschäfts) verknüpft werden,
um so eine eindeutige Bestimmung der Artikeldaten zu ermöglichen.
Gemäß einer weiteren Ausführungsvariante kann die Artikel-Identifikation nach Schritt h) durch die Kommunikationseinrichtung an den zweiten Server übertragen werden und die Artikeldaten nachfolgend vom zweiten Server an die Kommunikationseinrichtung übertragen werden. Ein besonders einfaches und zuverlässiges System zur Ermittlung der Artikeldaten kann so geschaffen werden, welches höchsten Ansprüchen an Datensicherheit
und Privatsphäre genügen kann.
Nach dem Erhalt der Artikeldaten durch die Kommunikationseinrichtung können die ArtikelIdentifikation und/oder die Artikeldaten auf der Kommunikationseinrichtung gespeichert werden. Eine solche Speicherung kann beispielsweise temporär für die Dauer eines Einkaufs in einem virtuellen Warenkorb erfolgen, welcher beim Verlassen des Geschäfts
durch einen Bezahlvorgang abgeschlossen und der Warenkorb wieder geleert wird.
Gemäß einer Ausführungsvariante der Erfindung kann in Schritt a) die Kommunikationseinrichtung ein Bild des Artikels von einer mit der Kommunikationseinrichtung verbundenen Kameraeinrichtung empfangen. Die Kameraeinrichtung kann dabei etwa auf Anforderung durch den Nutzer Bilder anfertigen oder alternativ auch laufend Bilder anfertigen und diese an die Kommunikationseinrichtung
weiterleiten.
In einer weiteren Ausführungsvariante der Erfindung kann die Kommunikationseinrichtung in Schritt a) mehrere Bilder von der Kameraeinrichtung empfangen und zumindest ein Bild
für Schritt b) anhand von vorgegebenen Kriterien auswählen. Insbesondere wenn die
15
20
25
30
Kommunikationseinrichtung laufend Bilder von der Kameraeinrichtung erhält kann diese durch Abgleich und Anwendung von Kriterien feststellen, ob ein Bild eines Artikels aufgezeichnet wurde, welches zur Übertragung an den Server und zur Zerlegung in Teilbilder geeignet ist. Solche Kriterien können beispielsweise Bildschärfe, Belichtung, aber auch Bildinhalt sein. Insbesondere hinsichtlich des Bildinhalts kann die Kommunikationseinrichtung anhand von Kriterien feststellen, ob ein Artikel im Wesentlichen vollständig abgebildet wurde und sich für die Durchführung der weiteren Schritte eignet. Ein
besonders zuverlässiges Verfahren kann so geschaffen werden.
Gemäß einer Ausführungsvariante der Erfindung kann die Kommunikationseinrichtung ein Smartphone mit integrierter Kameraeinrichtung und Ortungseinrichtung sein, welches über
ein Mobilfunknetz oder über ein drahtloses Netzwerk mit dem Server verbunden ist.
Die Erfindung löst die gestellte Aufgabe weiters durch ein Computerprogrammprodukt zur Ausführung auf einer Kommunikationseinrichtung, insbesondere einem Smartphone, aufweisend Programmcode zur Ausführung des Verfahrens gemäß einem der Ansprüche 1 bis 14. Das Computerprogrammprodukt kann dabei vorzugsweise als App auf ein Smartphone heruntergeladen werden und die Schritte des Verfahrens wie zuvor
beschrieben ausführen.
Weiters wird die Aufgabe der Erfindung gelöst durch ein System, aufweisend einen Server mit einer Artikeldatenbank, in welcher Artikel und den Artikeln zugeordnete Variablen gespeichert sind, wobei der Server über ein Netzwerk mit einer Kommunikationseinrichtung verbunden ist und der Server zum Empfang von Teilbildern von der Kommunikationseinrichtung und zum Senden von Artikel-Identifikationen an die Kommunikationseinrichtung konfiguriert ist, und wobei das System dazu programmiert ist,
ein Verfahren gemäß einem der Ansprüche 1 bis 14 auszuführen.
Gemäß einer Ausführungsvariante kann die Kommunikationseinrichtung dabei als
Smartphone mit einer Kameraeinrichtung ausgebildet sein.
Gemäß einer weiteren Ausführungsvariante kann die Kommunikationseinrichtung als,
insbesondere mobiles Kassensystem mit einer Kameraeinrichtung ausgebildet sein.
Kurzbeschreibung der Figuren
Im Folgenden werden bevorzugte Ausführungsvarianten der Erfindung anhand der Zeichnungen näher dargestellt. Die dabei beschriebenen Ausführungsvarianten sind nicht als einschränkend gegenüber der obigen Erfindungsdarstellung anzusehen und sollen
lediglich die Funktionsweise der Erfindung weiter verdeutlichen. Es zeigen:
15
20
25
30
Fig. 1 eine schematische Ansicht eines erfindungsgemäßen Systems gemäß einer ersten Ausführungsvariante,
Fig. 2 eine schematische Detailansicht der Analyse der empfangenen Teilbilder auf Bildvariablen und Extraktion der Variablenwerte, und
Fig. 3 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens gemäß einer ersten
Ausführungsvariante.
Wege zur Ausführung der Erfindung
In Fig. 1 ist ein erfindungsgemäßes System 100 zur Identifikation eines Artikels 1 gemäß einer ersten Ausführungsvariante der Erfindung gezeigt. Im Rahmen des Systems 100 wird mittels eines Smartphones 20 als Kommunikationseinheit 120 ein Einkaufsvorgang in
einem Geschäft/Handelsunternehmen überwacht.
Das Smartphone 20 wird dabei beim Betreten des Geschäfts an einem Einkaufswagen 3 befestigt, so dass die im Smartphone 20 integrierte Kamera 21 mit Ihrem Blickfeld 22 auf das Innere des Einkaufswagens 3 gerichtet ist. Das Smartphone 20 kann dabei durch laufende Aufzeichnung von Bildern mittels der Kamera 21 den Zustand des Einkaufswagens 3 überwachen und so feststellen, wenn ein Artikel 1 durch den Benutzer 4
in den Einkaufswagen 3 gelegt wird.
Erkennt das Smartphone 20, dass ein Artikel 1 durch den Benutzer 4 in den Einkaufswagen gelegt wird, so zeichnet es zumindest ein Bild 5 des Artikels 1 auf und speichert dieses auf dem Smartphone 20. Werden mehrere Bilder 5 aufgezeichnet, können optional auf dem Smartphone 20 noch Auswahlalgorithmen ausgeführt werden, um einzelne Bilder 5 auszuwählen oder zu verwerfen, etwa weil diese unscharf sind oder den Artikel 1 nur
teilweise abbilden.
Das zumindest eine Bild 5 wird in weiterer Folge auf dem Smartphone 20 in kleinere Teilbilder 6 zerlegt bzw. aufgeteilt. Die Anzahl der Teilbilder 6 kann dabei je nach Kamera oder Bildgröße variieren und ist in Fig. 1 nur exemplarisch ohne Einschränkung der Erfindung dargestellt. Die Teilbilder 6 enthalten dabei Teile bzw. Ausschnitte des Bildes 5
und repräsentieren so einzelne charakteristische Formen oder Elemente 7 des Artikels 1.
So ist etwa in Fig. 1 gezeigt, dass der Artikel 1 eine Flasche mit Etikett ist und dass ein erstes Teilbild 6.1 ein Teil des Etiketts mit scharfer Kante und spitzem Winkel als charakteristische Elemente 7 darstellt. In einem zweiten Teilbild 6.2, welches wiederum aus vier kleineren Teilbildern 6 zusammengesetzt ist, ist ebenfalls ein Teil des Etiketts mit einem
gabelartigen charakteristischen Element 7 zu sehen. In einem dritten Teilbild 6.3, welches
15
20
25
30
aus sechzehn kleineren Teilbildern 6 zusammengesetzt ist und den Rand der Flasche mit zwei parallel verlaufenden Linien als charakteristisches Element 7 zeigt. Die größeren Teilbilder 6.2, 6.3 können dabei wahlweise, wie in Fig. 1 gezeigt, aus einzelnen kleineren Einheiten der Teilbilder 6 zusammengesetzt sein; alternativ kann das Bild 5 auch in
Teilbilder 6 unterschiedlicher Größe zerlegt werden.
Das System 100 weist einen Server 110 mit einer Artikeldatenbank 130 auf, auf welcher Artikelinformationen in einem Datenbankeintrag 131 zusammen mit zugeordneten
Variablen 8 und deren Werten 9 gespeichert sind.
Die Teilbilder 6 werden nun sequentiell und/oder zumindest teilweise parallel an den Server 110 von dem Smartphone 20 als Kommunikationseinrichtung 120 übertragen, so dass die Teilbilder 6 nacheinander und zum Teil parallel zueinander eintreffen. Am Server 110 werden die empfangenen Teilbilder 6 einzeln auf verschiedene Variablen 8 analysiert und den Variablen 8 der Teilbilder 6 entsprechende Werte 9 zugewiesen. Die Variablen 8 können dabei bevorzugt Bildvariablen 8.1, 8.2 sein, welche aus den Teilbildern 6 durch die Analyse extrahiert werden. Im gezeigten Beispiel enthält die erste Bildvariable 8.1 Farbinformationen des zugehörigen Teilbilds 6, während die zweite Bildvariable 8.2 Informationen zu Form und Muster des Teilbilds 7 enthält. Die Analyse der Teilbilder 6 auf Bildvariablen 8 wird weiter unten in größerem Detail anhand von Fig. 2 dargestellt, worauf
in diesem Zusammenhang verwiesen wird.
Am Server 110 findet nun ein Abgleich zwischen den Variablen 8 der jeweils empfangenen Teilbilder 6 und den am Server zu den Artikeln im Datenbankeintrag 131 gespeicherten Variablen 8 statt. So können die Artikel aus der Datenbank 130 entsprechend der analysierten Variablen ausgewählt werden und eine Übereinstimmungswahrscheinlichkeit
zwischen dem Teilbild 6 und einem bestimmten Artikel errechnet werden.
Da die Teilbilder 6 laufend am Server 110 eintreffen, wird sowohl die Analyse der Teilbilder 6 als auch der Abgleich mit der Datenbank 130 und die Errechnung der Übereinstimmungswahrscheinlichkeit ebenfalls laufend durchgeführt. Eine gesamte Übereinstimmungswahrscheinlichkeit wird dabei kumulativ aus den laufend bestimmten Übereinstimmungswahrscheinlichkeiten der einzelnen Teilbilder 6 errechnet und bei Überschreiten eines vorgegebenen Schwellenwerts die Identifizierung des Artikels 1
festgestellt.
Nach vollständiger Identifizierung des Artikels 1 werden die Artikelinformationen 140 vom Server 110 zurück an das Smartphone 20 als Kommunikationseinheit 120 übertragen, wo
der Artikel 1 samt den empfangenen Artikelinformationen 140 in einem virtuellen Warenkorb
15
20
25
30
gespeichert werden kann und gegebenenfalls mit zusätzlichen Informationen, wie Preis, etc., verbunden werden kann. Solche zusätzlichen Informationen können etwa aus Sekundärdatenbanken abgefragt werden, was in den Figuren jedoch nicht näher dargestellt
wurde.
Am Ende des Einkaufsvorgangs kann dann eine Bezahlung anhand der im virtuellen Warenkorb gespeicherten Artikel 1 bzw. Artikelinformationen 140 direkt auf dem
Smartphone 20 erfolgen, ohne eine weitere Kassa aufsuchen zu müssen.
Fig. 2 zeigt die Analyse der empfangenen Teilbilder 6 auf Bildvariablen 8 und die Extraktion der entsprechenden Variablenwerte 9 in größerem Detail. Das von der Kommunikationseinrichtung 120 empfangene Bild 5 des Artikels 1 wurde in eine Vielzahl von Teilbildern 6 gleicher Größe zerlegt und in Form der einzelnen Teilbilder 6 an den Server 110 übertragen. Diese Übertragung der einzelnen Teilbilder 6 über ein Netzwerk, insbesondere über das Internet, kann durch die geringe Dateigröße besonders effizient und schnell erfolgen, wodurch die Wartezeiten am Server 110 vor der Analyse deutlich reduziert
werden können.
Am Server 110 können die empfangenen Teilbilder 6 nun einzeln auf Bildvariablen 8 analysiert werden. Das erste Teilbild 6.1 besteht beispielsweise aus zwei Farben, so dass eine Farb-Variable 8.1 erstellt wird und dieser als Wert 9 etwa die prozentuelle Verteilung zwischen beiden Farben, die Farbverteilung und/oder ein Farbspektrum zugewiesen wird. Zudem weist das Teilbild 6.1 eine spitzwinkelige Form als charakteristisches Element 7 auf, wozu eine Form-Variable 8.2 erstellt wird und dieser als Wert 9 etwa die Vektorform des
Bildinhalts zugewiesen wird.
Ein weiteres Teilbild 6.2 wird am Server 110 vor der Analyse aus vier einzelnen empfangenen Teilbildern 6, welche im ursprünglichen Bild 5 benachbart sind, aggregiert bzw. zusammengesetzt. Dies kann etwa nach Bedarf, wenn die einzelnen Teilbilder 6 nach der Variablen-Analyse keine sinnvollen Werte 9 ergeben, oder regelmäßig erfolgen, um die Übereinstimmungswahrscheinlichkeit bei Abgleich mit der Datenbank 130 zu erhöhen. Das aggregierte Teilbild 6.2 wird dann wiederum, wie zuvor für das Teilbild 6.1 beschrieben, auf mögliche Bildvariablen 8 analysiert. In dem gezeigten Beispiel werden wieder eine FarbVariable 8.1 und eine Form-Variable 8.2 erstellt, wobei der Farb-Variable 8.1 die Farbverteilung des aggregierten Teilbilds 6.2 mit den zugehörigen Farben und der FormVariable 8.2 die Vektorform der Konturen des gezeigten Etikettabschnitts als Werte 9
zugewiesen werden.
15
20
25
30
Ein drittes aggregiertes Teilbild 6.3 wird am Server 110 vor der Analyse wiederum aus vier bereits aggregierten Teilbildern zusammengesetzt, so dass das aggregierte Teilbild 6.3 schließlich aus insgesamt sechzehn einzelnen Teilbildern 6 besteht. Für das aggregierte Teilbild 6.3 wird wieder eine Farb-Variable 8.1 und eine Form-Variable 8.2 erstellt und diesen Variablen 8 die entsprechenden aus der Analyse erhaltenen Werte 9 zugewiesen
(wie zuvor für die Teilbilder 6.1, 6.2 beschrieben).
Nach Abschluss der Analyse und Extraktion der Variablen 8, wird die Variablen-Tabelle 10 mit der Artikeldatenbank 130 am Server 110 abgeglichen, also die Werte 9 der Variablen 8 mit den entsprechenden den Artikeln in der Artikeldatenbank 130 zugeordneten Werten 9
der Variablen 8 verglichen.
Hierzu sind den Artikeln in der Artikeldatenbank 130 am Server 110 jeweils Variablen 8 und entsprechende Werte 9 zugewiesen, wobei die Bestimmung dieser Werte 9 bei Initialisierung der Datenbank 130 bzw. bei Hinzufügung eines Artikels 1 erfolgt. Die Bestimmung bzw. Initialisierung eines Artikels 1 in der Artikeldatenbank 130 erfolgt in gleicher Weise wie die Analyse der Teilbilder 6 anhand von Ansichten bzw. Bildern des
jeweiligen Artikels 1, wie zuvor beschrieben.
In Fig. 3 ist ein Ablaufdiagramm des erfindungsgemäßen Verfahrens 200 zur Identifikation eines Artikels 1 gemäß einer ersten Ausführungsvariante der Erfindung gezeigt. Das
Verfahren 200 wird dabei von einem System 100, wie zuvor beschrieben ausgeführt.
Das Verfahren 200 beginnt, vor dem Betreten eines Geschäfts oder Handelsunternehmens durch einen Benutzer 4, indem dieser aufgefordert wird, beispielsweise durch Anzeigen und Hinweise, sein Smartphone 20 als Kommunikationseinrichtung 120 mit einem Server 110
zu aktivieren.
In einem ersten Schritt 201 wird der Benutzer 4 gefragt, ob die entsprechende App am Smarthone 20 des Benutzers 4 installiert wurde und gestartet werden kann. Falls nicht, wird in einem Schritt 201a zum Herunterladen der App aufgefordert und nach dem vollständigen Herunterladen 201a die App installiert 201b.
Ist die App am Smartphone 20 des Benutzers 4 installiert, wird im nächsten Schritt 202 die App gestartet und das Geschäft bzw. Handelsunternehmen kann im Folgenden Schritt 203 betreten werden. Die App am Smartphone 120 führt dabei zumindest Teile des
erfindungsgemäßen Verfahrens 200 zusammen mit einem Server 110 aus.
Im nächsten Schritt 204 wird durch die App geprüft ob Standortdaten, bspw. über GPS,
angefordert werden können. Ist dies der Fall, wird in Schritt 204a eine Standorttriangulation
15
20
25
30
ausgeführt und der Standort ermittelt. Ist dies nicht der Fall, wird in Schritt 204b durch
Scannen eines im Geschäft angebrachten QR-Codes der Standort ermittelt.
Nach vollständiger Ermittlung des Standorts wird in Schritt 205 der Markt bzw. das Geschäft in dem sich der Benutzer 4 befindet, identifiziert. Nach der Identifizierung wird in einem Schritt 205a zudem eine Sekundärdatenbank mit Artikeldaten anhand des Standorts auf jene Artikel 1 eingeschränkt, welche in dem spezifischen Markt bzw. Geschäft verfügbar sind und die ausgewählten Artikel 1 mit dem jeweiligen aktuellen Preis des Marktes bzw.
Geschäfts verknüpft.
Danach kann in Schritt 206 das eigentliche Verfahren der Artikel-Identifizierung beginnen, indem das Smartphone 20 in einen Bilderkennungsmodus gesetzt wird und an einer vorgegebenen Position eines Einkaufswagens 3 positioniert wird (siehe hiezu die Beschreibung weiter oben in Bezug auf Fig. 1). Die Kamera 21 des Smartphones 20
überwacht dabei Bewegungen im Blickfeld 21 des Einkaufswagens 3.
Wird eine Bewegung durch die Kamera 21 erkannt, wird in Schritt 207 die Bewegung durch die Kamera 21 aufgezeichnet; ansonsten wird Schritt 206 solange weiter ausgeführt, bis
eine Bewegung durch die Kamera 21 erkannt wird.
Wurde eine Bewegung aufgezeichnet, so empfängt das Smartphone 20 in Schritt 210 als Kommunikationseinrichtung 120 zumindest ein Bild 5 des Artikels 1 von der Kamera 21. Aus den empfangenen Bildern 5 einer Bewegungssequenz können dann in Schritt 211
einzelne Bilder 5 zur weiteren Identifikation gespeichert und verwendet werden.
In Schritt 220 wird ein ausgewähltes Bild 5 des Artikels 1 am Smartphone 20 dann in Teilbilder 6 zerlegt. Wie in Fig. 3 dargestellt, wird das Bild exemplarisch in 100 gleich große Teilbilder 6 zerlegt; dies ist aber eine willkürlich gewählte Anzahl an Teilbildern 6, die je nach Anwendungsfall, Bildgröße und Anforderungen variieren kann und beispielsweise in
der App vorwählbar ist.
Die einzelnen Teilbilder 6 werden dann in Schritt 230 durch das Smartphone 20 als Kommunikationseinrichtung 120 sequentiell an den Server 110 übertragen. Die Übertragung kann dabei auch zumindest teilweise parallel erfolgen, so dass die höchsten
Übertragungsraten erreicht werden können.
Nach dem Empfang 241 der einzelnen Teilbilder 6 auf dem Server 110 kann parallel zur laufenden Übertragung 230 anhand der bereits übertragenen Teilbilder 6 eine Schrittfolge 240 zur Analyse der empfangenen Teilbilder 6 ausgeführt werden. In einem ersten Analyse-
Schritt 242 werden etwa Bildvariablen 8 anhand der Form bzw. der Konturen in den
15
20
25
30
Teilbildern 6 extrahiert. Solche Form-Variablen 8.2 können etwa durch Vektorisierung der Konturen in den Teilbildern 6 gefunden und mit entsprechenden Werten 9 versehen werden. In einem zweiten Analyse-Schritt 243 werden Bildvariablen 8 anhand der Farben in den Teilbildern 6 extrahiert. Solche Farb-Variablen 8.1 können etwa pixelmäßige Farbverteilung in den Teilbildern 6 als Variablenwerte 9 wiederspiegeln. Hierbei sei auf die Ausführungen zu Fig. 2 weiter oben verwiesen, welche die Analyse von Bildvariablen 8 aus
den Teilbildern 6 im Rahmen des Verfahrens 200 in größerem Detail beschreibt.
Nach Analyse 240 der Teilbilder 6 auf Bildvariablen 8, werden in Schritt 250 die extrahierten Variablen 8 für das jeweilige Teilbild 6 mit der Artikeldatenbank 130 am Server 110 abgeglichen und eine Übereinstimmungswahrscheinlichkeit mit den Artikeln 1 in der Artikeldatenbank 130 errechnet.
Gegebenenfalls werden in Schritt 260 einzelne Teilbilder 6 zu größeren Teilbildern 6.2, 6.3 (wie in Fig. 1 und 2 gezeigt) aggregiert, und die Schritte 240, 250 anhand der aggregierten Teilbilder 6.2, 6.3 wiederholt, wobei erneut eine Übereinstimmungswahrscheinlichkeit mit den Artikeln 1 in der Artikeldatenbank 130 errechnet.
In Schritt 270 werden die aus dem Abgleich 250 der Teilbilder 6 berechneten Übereinstimmungswahrscheinlichkeiten kumuliert, um laufend eine aus allen bisher
empfangenen Teilbildern 6 kumulierte Übereinstimmungswahrscheinlichkeit zu ermitteln.
In Schritt 280 wird schließlich laufend geprüft, ob die in Schritt 270 ermittelte kumulierte Übereinstimmungswahrscheinlichkeit einen vorgegebenen Schwellenwert überschreitet und bei Überschreiten des Schwellenwerts wird die Identifikation des Artikels 1 festgestellt und die Identifikation des Artikels 1 zurück an die Kommunikationseinrichtung 120 bzw. an
das Smartphone 20 übertragen.
Zusammenfassend ist das erfindungsgemäße computerimplementierte Verfahren 200 ein Verfahren zur bildhaften Objekt(daten)jerkennung und Objektdatenverarbeitung im Zusammenhang mit physischen Objekten ohne zusätzliche Artikel-Marker. Es können damit Self-Service Checkout Systeme für Artikeltransaktionen im Handel geschaffen werden, ohne dass dabei Barcodes gescannt oder der RFID Chip ausgelesen werden müssen. Fest verbaute Kassensysteme sind dabei nicht mehr erforderlich. Ein entsprechendes Rechenzentrum zum Betrieb der Kassensystem in unmittelbarer Nähe ist
ebenso nicht mehr erforderlich wie eine spezielle Sensor-Kombination.
Das Verfahren 200 bedarf nur einer geringer Datenlage für einen hohen Erkennungsgrad -
ein Bild statt bisher mehrere Hunderte — um valide Ergebnisse zu erzielen.
15
20
25
30
Bei dem erfindungsgemäßen Verfahren 200 kommen folgende, nachfolgend beschriebene Algorithmen zum Einsatz. Die Algorithmen können dabei zur Erreichung des Verfahrensziels im Sinne der zuvor beschriebenen Erfindung kombiniert werden, wobei nicht alle Algorithmen zur Verwirklichung der Erfindung in dem Verfahren 200 implementiert
sein müssen.
Algorithmus 1
Der Basisalgorithmus betrifft die Datenstruktur der Datenbank, welche relational aufgebaut ist, um einen Datenabgleich mit den teilnehmenden Handelsunternehmen zu ermöglichen. Jedes Handelsunternehmen hat selbst eine Tabelle mit Artikeldaten; darin enthalten sind u.a. Artikelnummer, Artikelname, Artikelkategorie, Nettopreis, Steuersatz, Bruttobetrag, Warenbestand, Lagerort, Mindestbestand, Mindestabnahmemenge, Paketgröße, Bezugsdatum, Ablaufdatum, und so weiter. Die Daten je Handelsunternehmen bzw. Handelskette müssen zusammengeführt und jene Artikel, die auch in anderen Handelsunternehmen bzw. Handelsketten verfügbar sind, miteinander in Beziehung gesetzt werden. Ein Beispiel für Artikel, die in mehreren Handelsunternehmen bzw. Geschäften verfügbar ist, ist Milch: die Milchpackung eines Herstellers sieht in jedem damit handelnden Unternehmen ident aus, daher sind auch die dem Artikel zugeordneten Artikelbilder identisch.
Dieses In-Beziehung-Setzen der Daten aus unterschiedlichen Datenbanken der Handelsunternehmen und Zusammenführen der einheitlichen Daten in der Datenbank ist notwendig, um Redundanzen zu vermeiden und eine einheitliche Basis für nachfolgende Algorithmen zu schaffen. Die Datenbank am Server muss immer dann synchronisiert werden, wenn es Änderungen im Artikelstamm des teilnehmenden Handelsunternehmens gibt. Wenn z.B. ein Artikel aus dem Sortiment fällt, wird er mit einem Status als ausgeschieden gekennzeichnet; häufiger finden Änderungen des Preises statt, sodass in der Regel eine tägliche Synchronisation notwendig ist. Auch die Sortimentskategorien sind brancheübergreifend, sodass auch hier Verknüpfungen zu einander gesetzt werden müssen. Die Datenbanken werden nicht aggregiert. Eine Flache Datenbankstruktur verringert die Zeit des Suchdurchlauf. Essentiell ist jedoch, dass die Datenbanksysteme gespiegelt und die Abfragearbeiten mittels datentechnischem Lastverteiler aufgeteilt werden, so dass Suchdurchläufe parallel statt seriell durchgeführt werden können. Das bedeutet jeder Endbenutzer bzw. jede Funktion, die eine Abfrage in die Datenbank sendet, erhält ein vorgelagertes Spiegelsystem (Array, etc.), welches in den Arbeitsspeicher
geladen wird und schnelle Abfragen ermöglicht. Optional können bestehende
15
20
25
30
Datenbanksysteme genutzt werden, essentiell ist in der Architektur nur die Geschwindigkeit
der Abfragen.
Algorithmus 2
Insbesondere im Lebensmittelhandelt gibt es einen stetig wachsenden Artikelstamm / Sortimentsumfang von derzeit etwa 4.500 Artikeln bei Diskontern, über knapp 8.000 Artikeln bei kleinen Supermärkten und bis zu 50.000 Artikeln in großen EinzelhandelsSupermärkten oder Großhandels-Märkten. Das überlappende Sortiment zwischen den unterschiedlichen Supermärkten liegt etwa zwischen 8% und 60%, je nach Anteil der Eigenmarken und Exklusivverträge. So kann etwa die Milchpackung eines Herstellers „N“ in 90% aller Lebensmittelmärkte im Sortiment sein. Ebenso können Ketchupflaschen eines Herstellers „F“ in nahezu allen Lebensmittelmärkten verfügbar sein, da der Markt durch eine geringe Anzahl an Herstellern dominiert wird. Dies trifft ebenso für Schokolade, antialkoholische Getränke, alkoholische Getränke, Tiefkühlgüter, Backwaren und
dergleichen zu.
Aus diesem Grund gibt es eine Primärdatenbank als Artikeldatenbank, welche mit der Sekundärdatenbank des Algorithmus 1 verknüpft wird, um Gemeinsamkeiten der Artikel unterschiedlicher Händler und/oder Geschäfte zu nutzen. Die Artikeldatenbank (Primärdatenbank) wird nicht relational aufgebaut. Eine flache Datenbankhierarchie kann aufgrund der hohen Datenmenge deutlich schnellere Abfragezeiten als relationale Datenbanksysteme ermöglichen. Jedem eindeutigen Artikel in der Artikeldatenbank (z.B. Milchpackung des Herstellers „N“) werden N Artikel der relationalen Sekundärdatenbank
zugeordnet, sodass Redundanzen in der Artikeldatenbank ausgeschlossen sind.
Algorithmus 3
Jeder Artikel der Artikeldatenbank (Primärdatenbank) aus Algorithmus 2 wird bei Initialisierung (Aufnahme des Artikels in den Warenstamm eines Geschäfts) mit einer Anzahl von N Artikelbildern, welche den einzelnen Artikel von allen Seiten in unterschiedlichen Blickwinkeln abbilden, verknüpft. Diese Artikelbilder sind als Muster für den Bildvergleich zu verstehen. Im Stand der Technik werden in der Regel die Artikelnummern der Strichcodes auf dem Artikel mit einem Lesegerät abgetastet und mit der Datenbank abgeglichen, um den Artikel zu identifizieren und die Artikeldaten auszulesen. Erfindungsgemäß werden Bilder des Artikels mit einer Kameraeinrichtung aufgezeichnet und mit den hinterlegten Artikelbildern als Muster vergleichen, um so nicht mehr mit der Artikelnummer sondern mit Artikel direkt abzugleichen. Auf Strichcodes,
Etiketten oder dgl. kann somit ebenfalls erfindungsgemäß verzichtet werden.
21733
15
20
25
30
Algorithmus 4
Die gemäß Algorithmus 3 in der Artikeldatenbank gespeicherten Bilder durchlaufen eine mehrschichte Verifikation, in der die Bildvariablen bestimmt werden. Diese Verifikation läuft bis zur variablenbezogenen Datenbanknäherung manuell (Systeminitialisierung nicht im operativen Betrieb) und werden in weiterer Folge durch einen Erkennungsautomatismus vollzogen. Diese manuelle Tätigkeit ist optional, auch können sogenannte Bot’s iSv Robotern oder andere automatisierte Systeme diese Arbeit erledigen. Solche automatisierte Systeme werden zuvor auf die auszulesenden Variablen trainiert. Die Verifikation bestimmt dabei die Variablenwerte, wie etwa: [Farbe], [Größe], [Radien], [Vollform], [Teil- und Winkelform], [Teilabbildung], [Vollabbildung], [Produktbezeichnung], [Labelposition], [Strichcodeposition], oder weitere Produktkategorie-bezogene Variablen wie z.B. [Verschlussart], [Verschlussform], [Verschlussfarbe] oder andere weitere
Variablen.
Ausgewählte Bildvariablen aus obiger Liste werden in weiterer Folge detaillierter
dargestellt: [Farbe]: Anzahl n von Variablen der Farben, welche auf dem Bild zu erkennen sind [Vollform]: welche geometrische Form ähnelt dem gesamten Bild überwiegend,
[Labelposition]: der Ort an dem z.B. die Farbe eines Labels erkannt wurde, sodass
gespeichert wird, wo im Bereich des Artikels sich das Label befindet.
Sowohl die verwendeten Variablen, als auch deren Anzahl, sowie die Art sie zu Verifizieren kann sich zwischen den einzelnen Artikeln und auch zwischen den Artikelbildern eines
Artikels unterscheiden.
Algorithmus 5:
Anhand der Variableninitialisierung durch Algorithmus 4 kann nun bei einer Reihe von Variablen, z.B. [Farbe], der Mengengrad bestimmt werden. Beispiel: eine Ketchupflasche des Herstellers „F“ ist zumeist Rot und Gelb — diese Farben überwiegen also eindeutig auf einem Artikelbild. Damit kann eine Basiswahrscheinlichkeit errechnet werden, um die Menge der zu vergleichenden Werte in der Artikeldatenbank durch entsprechende Vorauswahl stark einzuschränken. Wenn also ein aufgezeichnetes Bild der Ketchupflasche zu 25% Gelb und zu 41% Rot aufweist, kann bestimmt werden, welche vorhandenen gespeicherten Artikelbilder ähnliche Variablenwerte beinhalten, und anhand derer die Zahl der relevanten Artikel eingegrenzt werden. Dies alleine kann bereits die Anzahl der zu
vergleichenden Artikel um einen Faktor 10.000 im Vergleich zu einem nicht um Variablen
15
20
25
30
eingegrenzten Bildvergleich reduzieren, und somit eine drastische Beschleunigung des
Verfahrens ermöglichen.
Algorithmus 6
Im operativen Betrieb findet eine Datenbankinteraktion standortbezogen, in Echtzeit statt. Das bedeutet, sobald das Geschäft betreten wird, wird der Standort beispielsweise über die am Smartphone vorhandene Variable Position (etwa via GPS) ausgelesen und die jeweils diesem Geschäft zugehörige Sekundärdatenbank als Eingrenzung für die zur Verfügung stehenden Artikel genutzt. Sollte die Standortvariable nicht auslesbar sein, beispielsweise weil der User das Auslesen des Standorts deaktiviert hat, kann alternativ beim Öffnen der Applikation der Standort manuell abgefragt werden. Möglich wäre auch hier alternativ einen QR-Code beim Eingang des Geschäfts zu nutzen, so dass die dem Geschäft zugeordnete Sekundärdatenbank verknüpft werden kann. Neben der Eingrenzung wird so auch die Synchronisation der Warenwerte vollzogen, sodass immer mit aktuellen Preisen der Artikel
gearbeitet wird.
Algorithmus 7
Im Nachgang der Standorttriangulation aus Algorithmus 6 wird das Smartphone als Kommunikationseinrichtung in eine am Einkaufswagen dafür vorgesehene Halterung gesteckt, sodass man den Einkaufswagen nur noch mit den Artikeln befüllen muss. Eine Variante wäre auch das Smartphone selbst zu halten, wenn auch weniger komfortabel, oder anstatt der Kamera des Smartphones eine Kamera im Geschäft oder am Einkaufswagen anzubringen. Ebenso kann das erfindungsgemäße Verfahren auch in einem stationären Kassensystem als Kommunikationseinrichtung mit verbundener Kameraeinrichtung zur reinen Produkterkennung ohne Strichcode verwendet werden. Die Applikation greift gleich nach dem Start auf die Kameraeinrichtung zu und befindet sich damit im bilderkennenden Modus. Es ist nicht zwingend, dass dies gleich beim Start ist, auch wäre denkbar, dass es ab dem 1. Produkt oder ab einer bestimmten Eintrittsbarriere im Markt aktiviert wird. Die mit der Kommunikationseinrichtung verbundene Kameraeinrichtung wird aktiviert und man sieht beispielsweise auf einem mit der Kommunikationseinrichtung verbundenen Display, welche Artikel von dem System erkannt werden. Die Kameraeinrichtung erfasst dabei den gesamten Einkaufswagen, Einkaufskorb, Einkaufstragetasche oder ähnliche Behältnisse oder Artikel in der Hand. Insbesondere beträgt der Radius der Artikelerkennung 2 m, je nach Kamera und Ort der Anbringung. Sobald ein Produkt in den Einkaufswagen gelegt wird, macht die Kameraeinrichtung etwa fünf Bilder bzw. eine kurze Videoaufnahme, aus
welcher einzelne Bilder oder Bildteile extrahiert werden. All jene Bilder, die nicht
15
20
25
30
verschwommen sind, werden in weiterer Folge in Teilbilder aufgeteilt. Anzumerken ist hier, dass jede Kameraeinrichtung, welche auch über eine Videofunktion verfügt, hier scharfe Bilder produzieren kann, da sonst jedes Video infolge der Bewegung verschwommen wäre. Die Zerteilung der Bilder in Teilbilder kann man sich so vorstellen, dass ein Bild in 4 gleiche Quadrate geteilt wird, diese vier wiederum in weitere vier, usw. Dies ermöglicht einen raschen Datentransfer über das Mobilfunknetz zur weiteren Verarbeitung am Server (Algorithmus 8 ff) aufgrund der sehr geringen Datenmenge der Teilbilder. Zudem ermöglicht dies mit nur einem einzigen Bild die Simulation von mehreren 1.000 Bildern im Bildvergleich
mit den Artikelbildern als Muster.
Algorithmus 8
Die Grundbasis für diesen Algorithmus eine hyperkonvergente Infrastruktur (HCI) ,‚ welche Prozessoren, Arbeitsspeicher, Festplattenspeicher, Grafikspeicher, Netzwerk, Systemvirtualisierung und andere Technologien miteinander verzahnt, sodass man von einer zentralen IT-Einheit sprechen kann. Es muss keine HCI sein, diese wird primär aufgrund der Datenmasse gewählt; ebenso mögilch sind normale GPU Cloud Systeme oder normale Computer mit entsprechender Leistung. Diese Infrastrukturmethode stellt sicher, dass auf den lokalen Kommunikationseinrichtungen (Smartphone, Tablet, PC, Videokamera im Geschäft oder auf dem Einkaufswagen oder ähnliche bildaufzeichnende Systeme) kaum Ressourcen (Speicherplatz, Energie) verbraucht werden. Die übertragenen Daten von Algorithmus 7 werden zunächst auf Vollständigkeit geprüft. Hierzu dient ein einfacher Abgleich gesendete/empfangene Anzahl der Datenpakete. Über diese Teilbilder läuft zunächst die Inhaltsverifikation aus Algorithmus 5, wobei hier schon die Sortimentseingrenzung durch die Standortabfrage ein reduziertes Ergebnis / reduzierten Suchdurchlauf der Artikel zur Folge hat. Alle erkannten Variablen wie Farben, Formen etc. werden mithilfe von allgemeinbekannten Wahrscheinlichkeitsmethoden gereiht und mit den bereits bekannten Daten in der Artikeldatenbank verglichen. Aufgrund der Vielzahl an Variablen und der Kleinmenge an Daten erfolgt die Ergebnislieferung binnen tausendstel Sekunden pro einzelnem Teilbild, so dass im Anschluss jener Artikel, welcher die höchste (kumulative) Übereinstimmungswahrscheinlichkeit mit den Teilbildern aufweist, als
Ergebnis an Algorithmus 9 übergeben wird.
Algorithmus 9
Algorithmus 9 verknüpft das erhaltene Primärergebnis (identifizierter Artikel) mit der dem Handelsgeschäft zugehörigen Sekundärdatenbank und liefert an die auf dem Endgerät
befindlichen Applikation die Artikeldaten (Nummer, Preis..). Diese Verknüpfung mit der
15
20
25
30
Sekundärdatenbank erfolgt, um Kompatibilität mit den bestehenden
Warenwirtschaftssystemen der Handelsunternehmen herzustellen.
Algorithmus 10
Dieser ist ein Prüfschritt. Um Schwund gänzlich zu vermeiden wird der gesamte Einkaufswagen wie auch das Umfeld miteinbezogen. Alle aus Algorithmus 9 erhaltenen Ergebnisse werden in der auf der Kommunikationseinrichtung (z.B. Smartphone) befindlichen Applikation in einer Liste (Warenkorb) gespeichert. Diese Liste wird während des Einkaufs mit allen Artikeln des Einkaufswagens / Einkaufskorbs oder dgl. geprüft, da
dieser in regelmäßigen Abständen gescannt wird und die Erkennung neuerlich durchläuft.
Algorithmus 11
Dies ist ein Konvolut aus datenbasierten Ergebnissen. Wenn der User die Standorterkennung des eigenen Smartphones aktiv hält, so ist es möglich Raumpläne zu hinterlegen, welche dem User anzeigen wo er sich gerade befindet bzw. wo er was findet. Dies kann auch ohne Standorttriangulation anhand der gewählten Produkte gemacht werden, so kann man bei der Produktwahl von Brot darauf schließen, dass sich der Kunde in der Backwarenabteilung befindet. Gleiches gilt für die Datenübertragung in Bezug auf Inhaltsstoffe der erkannten Ware, sodass Lebensmittelunverträglichkeiten und Allergien berücksichtigt werden können. Einkaufsdaten können aber auch dafür genutzt werden sinnvolle Zusatzeinkaufs- oder Rezepttipps als kleine Datenpakete mit zu liefern, um den
Usern ein unterstützendes Service mitanzubieten.
Algorithmus 12
Der Einkauf muss ungeachtet der Umfeldbedingungen fortgesetzt werden können, sohin stellt Algorithmus 12 eine Ausfallssicherung dar. Sollte der Datentransfer via Mobilfunk oder drahtlosem Netzwerk gestört sein, die Kameradaten nicht abrufbar sein oder sonstige Probleme im laufenden Betrieb auftreten, kann der Modus von „automatische Produkterkennung auf „manuelles Barcodescannen des Artikels“ gewechselt werden. Hierzu wird bereits beim Betreten des Geschäftes die korrekte Preis- und Barcodedatenbank auf das Smartphone zwischengespeichert. Alternativ könnte auch zwischengespeichert werden und ein späterer Datenabgleich gestartet werden, wie auch eine Kombinatorik aus Smartphone-Kamera mit anderen im Markt befindlichen
Kamerasystemen oder Self-Scan-Kassen gewählt werden.
15
Algorithmus 13
Der alte Prozess des Ausladens des Einkaufswagens / Einkaufskorbs wird völlig ersetzt, sodass man nach Fertigstellung der Warenauswahl der App lediglich mitteilt, dass der Einkauf abgeschlossen ist. Sollte man das versehentlich vergessen, wird der Nutzer vor dem Schließen der App bzw. vor dem Verlassen des Geschäfts, das im Zuge der Bilddaten der Kamera und der Standorttriangulation verifiziert werden kann, aufgefordert dies nachzuholen. Zum Abschluss wird angezeigt welcher Preis zu bezahlen ist und ein Button zur Bezahlung angezeigt. Hinter diesem Button liegt die im Benutzerprofil im Zuge der Datenanlage hinterlegte favorisierte Zahlungsmethode des Nutzers. Die Profilanmeldung wird hier nicht näher ausgeführt, da dies ein einfacher digitaler Prozess ist, der ein Registrierungsformular abbildet, wie es heute bei jedem Webshop notwendig ist. Durch diese Verifikation können auch vorhandene Bonussysteme automatisch berücksichtigt
werden.
Die oben dargestellten Ausführungsvarianten bzw. Algorithmen sind ohne Beeinträchtigung der Allgemeinheit in beliebiger Form miteinander kombinierbar. Ebenso können einzelne Algorithmen weggelassen oder ergänzt werden um das erfindungsgemäße Verfahren zu
verwirklichen.

Claims (19)

15 20 25 30 Patentansprüche
1. Computerimplementiertes Verfahren (200) zur Identifikation eines Artikels (1), umfassend die Schritte:
a) Empfangen (210) zumindest eines Bildes (5) des Artikels (1) durch eine Kommunikationseinrichtung (120),
b) Zerlegen (220) des zumindest einen Bildes (5) in mehrere Teilbilder (6),
c) Übertragen (230) der Teilbilder (6) durch die Kommunikationseinrichtung (120) an einen Server (110),
d) Analyse (240) der empfangenen Teilbilder (6) am Server (110) und Zuordnen zumindest einer Variable (8) zu zumindest einem der Teilbilder (6) am Server (110) parallel zu Schritt c),
e) Abgleich (250) der Teilbilder (6) mit Artikeln (1) in einer Artikeldatenbank (130) am Server (110) parallel zu Schritt d), wobei Artikel aus der Artikeldatenbank (130) anhand der zumindest einen Variable (8) ausgewählt werden,
f) _Errechnen (270) einer (kumulativen) Übereinstimmungswahrscheinlichkeit aus dem Abgleich (250) der Teilbilder (6) parallel zu den Schritten d) und e).
g) Identifikation (280) des Artikels (1) bei Überschreiten eines vorgegebenen Schwellenwerts der Übereinstimmungswahrscheinlichkeit und
h) Übertragen der Artikel-Identifikation an die Kommunikationseinrichtung (120).
2. Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass den Artikeln (1) in der Artikeldatenbank (130) am Server (110) mehrere Ansichten des Artikels (1) zugeordnet sind.
3. Computerimplementiertes Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass den Artikeln (1) und/oder den Ansichten der Artikel (1) in der Artikeldatenbank (130) am Server (110) Variablen (8) zugeordnet sind.
4. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die zumindest eine Variable (8) eine Bildvariable (8.1, 8.2) ist, und dass der Wert (9) der Bildvariable (8.1, 8.2) in Schritt d) bei der Analyse (240) aus einem
oder mehreren Teilbildern (6) bestimmt wird.
5. Computerimplementiertes Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Bildvariable (8) ausgewählt ist aus einer Liste enthaltend: Farbe; Form, insbesondere Voll-, Teil- und Winkelform; Größe; Radien; Teil- und Vollabbildung;
Produktbezeichnung; Labelposition; Strichcodeposition.
15
20
25
30
6. Computerimplementiertes Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass mehrere Teilbilder (6) zu weiteren Teilbildern (6.2, 6.3) aggregiert werden und die Analyse (240) in Schritt d) anhand zumindest eines aggregierten Teilbildes (6.2, 6.3) durchgeführt und die zumindest eine Variable (8) dem aggregierten Teilbild (6.2,
6.3) zugeordnet wird.
7. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die zumindest eine Variable (8) ein Standort des Artikels (1) und/oder
der Kommunikationseinrichtung (120) ist.
8. Computerimplementiertes Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Kommunikationseinrichtung (120) vor Schritt c) einen Standort von einer mit der Kommunikationseinrichtung (120) verbundenen Ortungseinrichtung empfängt und den
erhaltenen Standort zusammen mit den Teilbildern (6) an den Server (110) überträgt.
9. Computerimplementiertes Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Kommunikationseinrichtung (120) vor Schritt c) einen Standort von einer mit der Kommunikationseinrichtung (120) verbundenen Kameraeinrichtung (21) durch Aufnahme eines Codes empfängt und den erhaltenen Standort der zumindest einen Variable (8) als Wert (9) zuweist.
10. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Artikel (1) mit Artikeldaten in einer Sekundärdatenbank auf einem zweiten Server, insbesondere enthaltend einen Preis und/oder eine EAN-Nummer,
verknüpft sind.
11. Computerimplementiertes Verfahren nach Anspruch 10, dadurch gekennzeichnet,
dass die Artikeldaten in der Sekundärdatenbank mit einem Standort verknüpft sind.
12. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Artikel-Identifikation nach Schritt h) durch die Kommunikationseinrichtung (120) an den zweiten Server übertragen werden und die Artikeldaten nachfolgend vom zweiten Server an die Kommunikationseinrichtung (120)
übertragen werden.
13. Computerimplementiertes Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Artikel-Identifikation und die Artikeldaten (140) auf der Kommunikationseinrichtung
(120) gespeichert werden.
15
20
25
14. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass in Schritt a) die Kommunikationseinrichtung (120) ein Bild (5) des Artikels (1) von einer mit der Kommunikationseinrichtung (120) verbundenen
Kameraeinrichtung (21) empfängt.
15. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass die Kommunikationseinrichtung (120) in Schritt a) mehrere Bilder (5) von der Kameraeinrichtung (21) empfängt und zumindest ein Bild (5) für Schritt b) anhand
von vorgegebenen Kriterien auswählt.
16. Computerprogrammprodukt, zur Ausführung auf einer Kommunikationseinrichtung (120), insbesondere einem Smartphone (20), aufweisend Programmcode zur Ausführung
des Verfahrens (200) gemäß einem der Ansprüche 1 bis 15.
17. System (100), aufweisend einen Server (110) mit einer Artikeldatenbank (130), in welcher Artikel (1) und den Artikeln (1) zugeordnete Variablen (8) gespeichert sind, wobei der Server (110) über ein Netzwerk mit einer Kommunikationseinrichtung (120) verbunden ist und der Server (110) zum Empfang von Teilbildern (6) von der Kommunikationseinrichtung (120) und zum Senden von Artikel-Identifikationen an die Kommunikationseinrichtung (120) konfiguriert ist, und wobei das System (100) dazu
programmiert ist, ein Verfahren (200) gemäß einem der Ansprüche 1 bis 15 auszuführen.
18. System gemäß Anspruch 17, dadurch gekennzeichnet, dass die Kommunikationseinrichtung (120) als Smartphone (20) mit einer Kameraeinrichtung (21)
ausgebildet ist.
19. System gemäß Anspruch 17, dadurch gekennzeichnet, dass die Kommunikationseinrichtung (120) als Kassensystem mit einer Kameraeinrichtung
ausgebildet ist.
ATA50493/2022A 2022-07-06 2022-07-06 Computerimplementiertes Verfahren zur Identifikation eines Artikels, Computerprogrammprodukt, sowie System AT526299A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
ATA50493/2022A AT526299A1 (de) 2022-07-06 2022-07-06 Computerimplementiertes Verfahren zur Identifikation eines Artikels, Computerprogrammprodukt, sowie System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ATA50493/2022A AT526299A1 (de) 2022-07-06 2022-07-06 Computerimplementiertes Verfahren zur Identifikation eines Artikels, Computerprogrammprodukt, sowie System

Publications (1)

Publication Number Publication Date
AT526299A1 true AT526299A1 (de) 2024-01-15

Family

ID=89475760

Family Applications (1)

Application Number Title Priority Date Filing Date
ATA50493/2022A AT526299A1 (de) 2022-07-06 2022-07-06 Computerimplementiertes Verfahren zur Identifikation eines Artikels, Computerprogrammprodukt, sowie System

Country Status (1)

Country Link
AT (1) AT526299A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69530638T2 (de) * 1994-05-30 2004-03-04 Toshiba Tec K.K. Vorrichtung zum Identifizieren und Registrieren von Waren
US20100253787A1 (en) * 2009-04-02 2010-10-07 Isaac Grant Method for Object Recognition and Communication of Associated Label and Other Information
JP2013152634A (ja) * 2012-01-25 2013-08-08 Toshiba Tec Corp 防犯装置及びプログラム
WO2016135142A1 (en) * 2015-02-23 2016-09-01 Pentland Firth Software GmbH System and method for the identification of products in a shopping cart
US20170178058A1 (en) * 2015-12-18 2017-06-22 Ricoh Co., Ltd. Index Image Quality Metric
DE102020202657A1 (de) * 2020-03-02 2021-09-02 BSH Hausgeräte GmbH Erstellung und Aktualisierung einer Produktdatenbank

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69530638T2 (de) * 1994-05-30 2004-03-04 Toshiba Tec K.K. Vorrichtung zum Identifizieren und Registrieren von Waren
US20100253787A1 (en) * 2009-04-02 2010-10-07 Isaac Grant Method for Object Recognition and Communication of Associated Label and Other Information
JP2013152634A (ja) * 2012-01-25 2013-08-08 Toshiba Tec Corp 防犯装置及びプログラム
WO2016135142A1 (en) * 2015-02-23 2016-09-01 Pentland Firth Software GmbH System and method for the identification of products in a shopping cart
US20170178058A1 (en) * 2015-12-18 2017-06-22 Ricoh Co., Ltd. Index Image Quality Metric
DE102020202657A1 (de) * 2020-03-02 2021-09-02 BSH Hausgeräte GmbH Erstellung und Aktualisierung einer Produktdatenbank

Similar Documents

Publication Publication Date Title
CN108846621B (zh) 一种基于策略模块的库存管理系统
CN109414119B (zh) 用于在环境内计算机视觉驱动应用的系统和方法
DE102013213841B4 (de) Intelligentes Kassensystem
KR101753480B1 (ko) 오픈 마켓별 통합 재고 자동 모니터링 및 변경 시스템
US11810067B2 (en) Digitally managed shelf space marketplace
CN110033298A (zh) 信息处理设备及其控制方法、系统和存储介质
DE3913162C2 (de) Selbstabfertigungs-Vorrichtung zur unbeaufsichtigten Abfertigung von zum Kauf ausgewählten Artikeln
CN107016006B (zh) 一种页面展示方法及系统
US20190244282A1 (en) Computerized exchange network
CN113888254A (zh) 货架商品管理方法和电子设备
DE102014225118A1 (de) Systeme und verfahren zum erleichtern der leistungen bei der bestandsverwaltung und -steuerung
US11748787B2 (en) Analysis method and system for the item on the supermarket shelf
KR20110000789A (ko) 이미지 인식 기술을 이용하여 매장 진열 상품을 자동으로 정량화 하는 방법과 시스템
DE102018006764A1 (de) Verfahren und system(e) für das management von frachtfahrzeugen
KR102593108B1 (ko) 영상 분석 기반 상품 관리 시스템 및 방법
CN104376427A (zh) 一种城市超市信息发布方法
CN110543839A (zh) 一种基于计算机视觉的商品铺货率采集方法
Rizzi et al. RFID-enabled visual merchandising in apparel retail
AT526299A1 (de) Computerimplementiertes Verfahren zur Identifikation eines Artikels, Computerprogrammprodukt, sowie System
DE112019006422T5 (de) Automatisierte kassensysteme und verfahren
EP4115370A1 (de) Erstellung und aktualisierung einer produktdatenbank
DE102006018836A1 (de) System und Verfahren zur Schätzung von Objektbeständen
EP2219162B1 (de) System und Verfahren zum Auffinden eines gewünschten Objekts
DE112019006192T5 (de) Verfahren zur verbesserung der genauigkeit eines trainingsbilddatensatzes eines faltungsneuronalen netzwerks für verlustvermeidungsanwendungen
DE102019106057A1 (de) Verfahren, Vorrichtung zur Datenverarbeitung und Haltevorrichtung zur Klassierung von Lebensmitteln