DE112019006192T5

DE112019006192T5 - METHOD FOR IMPROVING THE ACCURACY OF A TRAINING IMAGE DATA SET OF A FOLDING NEURONAL NETWORK FOR LOSS PREVENTION APPLICATIONS

Info

Publication number: DE112019006192T5
Application number: DE112019006192.5T
Authority: DE
Inventors: Robert James Pang; Christopher J. Fjellstad; Sajan Wilfred; Yuri Astvatsaturov
Original assignee: Zebra Technologies Corp
Current assignee: Zebra Technologies Corp
Priority date: 2018-12-13
Filing date: 2019-10-16
Publication date: 2021-09-02
Also published as: AU2019397995A1; WO2020123029A3; WO2020123029A2; AU2019397995B2; GB2594176A; GB2594176B; GB202108211D0

Abstract

Techniken zum Verbessern der Genauigkeit eines neuronalen Netzwerks, das für Verlustvermeidungsanwendungen trainiert wird, umfassen das Identifizieren von physikalischen Merkmalen eines Objekts in Bildscandaten, das Zuschneiden von Zeichen aus den Bildscandaten und das Untersuchen von physikalischen Merkmalen in den zeichenbefreiten Bildscandaten unter Verwendung eines neuronalen Netzwerks, um das Objekt zu identifizieren, basierend auf einem Vergleich von Identifikationsdaten, die auf den physikalischen Merkmalen basieren, und einer anderen Identifikation, beispielsweise basierend auf den Zeichen. Als Reaktion auf eine Übereinstimmungsvorhersage erfolgt ein Anzeigen einer Übereinstimmung und ein Erzeugen eines Authentifizierungssignals.Techniques for improving the accuracy of a neural network trained for loss prevention applications include identifying physical features of an object in image scan data, cropping characters from the image scan data, and examining physical features in the character stripped image scan data using a neural network identify the object based on a comparison of identification data based on the physical features and another identification based on the characters, for example. In response to a match prediction, a match is indicated and an authentication signal is generated.

Description

HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION

Mit zunehmender Rechenleistung wurden Faltungsneuronale Netzwerke (CNNs) zur Objekterkennung in erfassten Bildern eingesetzt. Damit ein CNN effektiv ist, sollten die Eingangsbilder von ausreichend hoher Qualität sein, besteht ein Bedarf an Korrektheit beim Training, und die Schichten und die Komplexität des neuronalen Netzwerks sollten sorgfältig ausgewählt werden.With increasing computing power, convolutional neural networks (CNNs) were used for object recognition in captured images. For a CNN to be effective, the input images should be of sufficiently high quality, there is a need for correctness in training, and the layers and complexity of the neural network should be carefully selected.

Typischerweise werden CNNs einem überwachten Training unterzogen, bei dem die Informationen über die Eingangsbilder für das CNN von einer Quelle vorgegeben werden, typischerweise von einem Menschen. Das heißt, beim überwachten Training muss typischerweise jemand dem CNN angeben, was in den Eingangsbildern tatsächlich enthalten ist. Da das typische Training eine große Anzahl von Eingangsbildern erfordert - je größer die Anzahl der Trainingsbilder ist, desto effektiver ist im Allgemeinen das CNN-Training - ist das überwachte Lernen ein zeitraubender Prozess. Dies gilt insbesondere in Umgebungen, in denen Bilder nicht standardisiert sind, z. B. wenn Bilder, die scheinbar dasselbe allgemeine Objekt oder dieselbe Szene zeigen, sehr unterschiedliche, nicht miteinander verbundene Objekte enthalten können. Ein weiteres Problem bei den Anforderungen an das überwachte Training für CNN ist das Fehlen einer ausreichenden Anzahl von Trainingseingangsbildern eines Objekts oder ein Ungleichgewicht in der Anzahl der Trainingsbilder, so dass bestimmte Objekte in einer Bildtrainingsmenge häufiger vertreten sind als andere Objekte, wodurch das Training des CNN möglicherweise verzerrt wird.Typically, CNNs undergo supervised training in which the information about the input images for the CNN is provided by a source, typically a human. That is, in supervised training, someone typically has to tell the CNN what is actually contained in the input images. Since typical training requires a large number of input images - the greater the number of training images, the more effective the CNN training in general - supervised learning is a time consuming process. This is especially true in environments where images are not standardized, e.g. For example, when images that appear to show the same general object or scene may contain very different, unrelated objects. Another problem with the supervised training requirements for CNN is the lack of a sufficient number of training input images of an object or an imbalance in the number of training images such that certain objects are more frequently represented in an image training set than other objects, thereby reducing the training of the CNN may be distorted.

Das CNN-Training ist besonders mühsam in Einzelhandelsumgebungen, in denen es für viele der einer Bestandsaufrechterhaltungseinheit (Stock Keeping Unit - SKU) zugeordneten Artikel keine bekannten Bilder (oder Bilddatenbanken) gibt.CNN training is especially troublesome in retail environments where many of the items associated with a stock keeping unit (SKU) do not have known images (or image databases).

Eine der markantesten Möglichkeiten, bei der das Fehlen ausreichender CNN-Trainingstechniken für Einzelhandelsprodukte deutlich wird, ist der Bezug zu Täuschung (Spoofing). Täuschung ist ein Vorgang, bei dem ein Kunde oder ein Verkäufer versucht, einen Artikel an einer Strichcode-Scanstation abzuwickeln, indem er nicht den Strichcode des eigentlichen Artikels scannt, sondern den Strichcode des eigentlichen Artikels mit einem Strichcode eines günstigeren Artikels maskiert. Der günstigere Artikel wird am Verkaufspunkt aufgedrückt, und dem Kunden wird der entsprechende Preis des günstigeren Artikels in Rechnung gestellt, wobei die tatsächlichen Kosten des Artikels vermieden werden.One of the most striking ways in which the lack of adequate CNN training techniques for retail products becomes apparent is through relation to spoofing. Deception is a process in which a customer or a seller tries to transact an item at a barcode scanning station by not scanning the barcode of the actual item, but rather masking the barcode of the actual item with a barcode of a cheaper item. The cheaper item is pushed on at the point of sale and the customer is billed for the corresponding price of the cheaper item, avoiding the actual cost of the item.

Dementsprechend besteht ein Bedarf an Techniken zur Automatisierung des Trainings neuronaler Netzwerke, um Strichcode-Scans akkurat zu verwenden.Accordingly, there is a need for techniques to automate the training of neural networks to use barcode scans accurately.

FigurenlisteFigure list

Die beigefügten Figuren, in denen gleiche Bezugszeichen identische oder funktional ähnliche Elemente in den einzelnen Ansichten bezeichnen, sind zusammen mit der nachfolgenden detaillierten Beschreibung in die Offenbarung inkorporiert und bilden einen Bestandteil der Offenbarung und dienen dazu, hierin beschriebene Ausführungsformen von Konzepten, die die beanspruchte Erfindung umfassen, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erklären.

1 ist ein schematisches Blockdiagramm eines Systems mit einem Trainingsmodus zum Trainieren eines neuronalen Netzwerks und einem Täuschungserkennungsmodus zum Erkennen eines Autorisierungstransaktionsversuchs, gemäß einigen Ausführungsformen.
2 ist eine schematische Darstellung eines Beispieltrainings eines neuronalen Netzwerks zur Täuschungserkennung, gemäß einem Beispiel.
3 ist eine schematische Darstellung eines weiteren Beispiels für das Training eines neuronalen Netzwerks mit Erkennung und Entfernung von Hintergrundbilddaten, gemäß einem Beispiel.
4 ist eine schematische Darstellung eines Beispiels für das Training eines neuronalen Netzwerks, das auf ermittelten Variationen zu vorher trainierten Bilddaten basiert, gemäß einem Beispiel.
5 ist eine schematische Darstellung eines Beispieltrainings eines neuronalen Netzwerks, gemäß einem Beispiel.
6 ist ein Flussdiagramm eines Verfahrens zum Trainieren eines neuronalen Netzwerks, wie es vom System von 1 durchgeführt werden kann, gemäß einigen Ausführungsformen.
7 ist ein Flussdiagramm eines anderen Verfahrens zum Trainieren eines neuronalen Netzwerks, wie es vom System von 1 durchgeführt werden kann, gemäß einigen Ausführungsformen.
8 ist ein Flussdiagramm eines Verfahrens zum Erkennen eines Täuschungsversuchs an dem Verkaufspunktstandort von 1 und zum Erzeugen eines Alarms, gemäß einigen Ausführungsformen.
9 ist ein Flussdiagramm eines Verfahrens zum Erkennen eines Täuschungsversuchs an dem Verkaufspunktstandort von 1 und zum Überordnen und Autorisieren einer sekundären Transaktion, gemäß einigen Ausführungsformen.

The accompanying figures, in which like reference characters designate identical or functionally similar elements in the individual views, are incorporated in the disclosure together with the following detailed description and form a part of the disclosure and serve to provide embodiments of concepts described herein that meet the claimed invention to further illustrate and explain various principles and advantages of these embodiments.

1 FIG. 3 is a schematic block diagram of a system having a training mode to train a neural network and a fake detection mode to detect an authorization transaction attempt, in accordance with some embodiments.
2 FIG. 12 is a schematic representation of an example training of a neural network for deception detection, according to an example.
3 FIG. 12 is a schematic illustration of a further example of training a neural network with detection and removal of background image data, according to an example.
4th FIG. 12 is a schematic illustration of an example of the training of a neural network that is based on determined variations to previously trained image data, according to an example.
5 Figure 3 is a schematic representation of an example neural network training, according to an example.
6th FIG. 13 is a flow diagram of a method for training a neural network as provided by the system of FIG 1 can be performed, according to some embodiments.
7th FIG. 13 is a flow diagram of another method for training a neural network such as that provided by the system of FIG 1 can be performed, according to some embodiments.
8th FIG. 13 is a flow diagram of a method for detecting attempted fraud at the point of sale location of FIG 1 and generating an alarm, in accordance with some embodiments.
9 FIG. 13 is a flow diagram of a method for detecting attempted fraud at the point of sale location of FIG 1 and to superordinate and authorize a secondary transaction, in accordance with some embodiments.

Fachleute werden erkennen, dass Elemente in den Figuren der Einfachheit und Klarheit halber dargestellt sind und nicht notwendigerweise maßstabsgetreu gezeichnet wurden. Zum Beispiel können die Dimensionen einiger der Elemente in den Figuren relativ zu anderen Elementen übertrieben sein, um das Verständnis von Ausführungsformen der vorliegenden Erfindung zu verbessern.Those skilled in the art will recognize that elements in the figures are shown for simplicity and clarity and are not necessarily drawn to scale. For example, the dimensions of some of the elements in the figures may be exaggerated relative to other elements in order to improve understanding of embodiments of the present invention.

Die Vorrichtungs- und Verfahrenskomponenten wurden, wo es angemessen ist, durch herkömmliche Symbole in den Zeichnungen dargestellt, die nur jene spezifischen Details zeigen, die zum Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um somit die Offenbarung nicht mit Einzelheiten zu verdecken, die für die Fachleute auf dem Gebiet, die auf die vorliegende Beschreibung zurückgreifen, ohne weiteres ersichtlich sind.The apparatus and method components have, where appropriate, been represented in the drawings by conventional symbols showing only those specific details relevant to an understanding of embodiments of the present invention, so as not to obscure the disclosure with details necessary to those skilled in the art having recourse to the present description will be readily apparent.

DETAILLIERTE BESCHREIBUNG DER ERFINDUNGDETAILED DESCRIPTION OF THE INVENTION

Die vorliegende Erfindung bietet Techniken zur nahtlosen Erfassung von Bildern eines Produkts und zum Scannen dieser Bilder nach einem Strichcode sowie zum Scannen dieser Bilder nach physikalischen Merkmalen eines Objekts im Bild. Die Strichcodedaten können, nachdem sie gescannt und analysiert wurden, mit den für ein Objekt erhaltenen physikalischen Merkmalen verglichen werden, und die Daten können verglichen werden, um zu bestimmen, ob die beiden Datentypen demselben Objekt entsprechen.The present invention provides techniques for seamlessly capturing images of a product and scanning those images for a bar code and scanning those images for physical characteristics of an object in the image. The bar code data, after being scanned and analyzed, can be compared to the physical characteristics obtained for an object, and the data can be compared to determine whether the two types of data correspond to the same object.

In verschiedenen Ausführungsformen ist die vorliegende Erfindung ein Verfahren zum Trainieren eines neuronalen Netzwerks. Das Verfahren, welches ein computerimplementiertes Verfahren ist, das auf einem oder mehreren Prozessoren implementiert ist, kann das Empfangen von Bildscandaten an einem oder mehreren Prozessoren umfassen. Diese Bildscandaten können von einem Objekt stammen, z. B. einem Produkt oder einer Verpackung, das/die an einem Verkaufspunkt, einem Vertriebsort, einem Versandort usw. präsentiert wird. Die Bildscandaten können von einer Bildgebungsvorrichtung wie z. B. einem Strichcodescanner mit Bildgebungsleser oder einem Bildgebungsleser mit einem RFID (Radio Frequency Identification)-Etikettleser erfasst werden. Die Bildscandaten können ein Bild enthalten, das mindestens ein dem Objekt entsprechendes Zeichen sowie physikalische Merkmale des Objekts enthält. Das Zeichen kann z. B. ein Strichcode, ein universeller Produktcode, ein Schnelllesecode oder eine Kombination davon sein. In verschiedenen Beispielen umfasst das Verfahren ferner das Empfangen von dekodierten Zeichendaten an dem einen oder den mehreren Prozessoren zur Bestimmung von Identifikationsdaten für das Objekt.In various embodiments, the present invention is a method of training a neural network. The method, which is a computer-implemented method implemented on one or more processors, may include receiving image scan data on one or more processors. This image scan data can come from an object, e.g. B. a product or packaging presented at a point of sale, distribution point, shipping location, etc. The image scan data can be obtained from an imaging device such as e.g. B. a barcode scanner with an imaging reader or an imaging reader with an RFID (Radio Frequency Identification) label reader. The image scan data can contain an image that contains at least one character corresponding to the object as well as physical features of the object. The character can e.g. B. be a bar code, a universal product code, a quick read code or a combination thereof. In various examples, the method further includes receiving decoded character data at the one or more processors to determine identification data for the object.

Das Verfahren kann ferner das Korrelieren mindestens eines Teils der Bildscandaten mit diesen Identifikationsdaten an dem einen oder den mehreren Prozessoren umfassen, um einen korrelierten Datensatz zu erzeugen. In verschiedenen Beispielen umfasst das Verfahren das Übertragen des korrelierten Datensatzes an dem einen oder den mehreren Prozessoren an einen maschinellen Lernrahmen, wie z. B. ein neuronales Netzwerk, das eine Reihe von Operationen an dem korrelierten Datensatz durchführen kann. In einigen Beispielen untersucht das neuronale Netzwerk mindestens einige der physikalischen Merkmale des Objekts in dem korrelierten Datensatz und bestimmt eine Gewichtung für jedes dieser physikalischen Merkmale. Diese Gewichte sind ein relativer Hinweis auf eine Korrelationsstärke zwischen dem physikalischen Merkmal und den Identifikationsdaten des Objekts. Das Verfahren umfasst ferner das Erzeugen oder Aktualisieren des neuronalen Netzwerks mit den ermittelten Gewichtungen zur Bewertung zukünftiger Bilddaten anhand der gewichteten Merkmale.The method may further include correlating at least a portion of the image scan data with this identification data at the one or more processors to generate a correlated data set. In various examples, the method includes transmitting the correlated data set at the one or more processors to a machine learning framework, such as, for. B. a neural network that can perform a number of operations on the correlated data set. In some examples, the neural network examines at least some of the physical features of the object in the correlated data set and determines a weight for each of those physical features. These weights are a relative indication of a correlation strength between the physical feature and the identification data of the object. The method further comprises generating or updating the neural network with the determined weightings for evaluating future image data on the basis of the weighted features.

Auf diese Weise werden in verschiedenen Beispielen Verfahren zum Trainieren eines neuronalen Netzwerks bereitgestellt, das in der Lage ist, ein Objekt basierend auf physikalischen Merkmalen des Objekts mit einem hohen Grad an Sicherheit zu identifizieren und zu authentifizieren. Die Identifizierung eines Objekts basierend auf diesen physikalischen Merkmalen kann dann mit einer zweiten Identifizierung verglichen werden, die basierend auf einem gescannten Zeichen durchgeführt wird. Diese beiden Identifizierungen können miteinander verglichen werden, um eine Multi-Faktor-Authentifizierung des gescannten Objekts zur Erkennung unsachgemäßer Scans, wie z. B. Täuschungsversuche an einer Verkaufsstelle, zu ermöglichen.In this way, methods are provided in various examples for training a neural network that is able to identify and authenticate an object based on physical features of the object with a high degree of security. The identification of an object based on these physical features can then be compared with a second identification performed based on a scanned character. These two identifications can be compared with each other to provide multi-factor authentication of the scanned object to identify improper scans, such as B. to allow attempts at deception at a point of sale.

In einigen Beispielen beinhaltet das Verfahren ferner, dass das neuronale Netzwerk einen Merkmalssatz für das Objekt mit den Gewichtungen für mindestens einige der physikalischen Merkmale aktualisiert; und dass ein charakteristischer Satz von physikalischen Merkmalen für das Objekt auf der Grundlage des Merkmalssatzes abgeleitet wird.In some examples, the method further includes the neural network updating a feature set for the object with the weights for at least some of the physical features; and that a characteristic set of physical features for the object is derived on the basis of the feature set.

In anderen Beispielen umfasst die vorliegende Erfindung ein System zum Trainieren eines neuronalen Netzwerks. Das System kann einen Server umfassen, der über ein Kommunikationsnetzwerk mit einem oder mehreren Objektscannern kommunikativ gekoppelt ist, wie z. B. einem oder mehreren Strichcodescannern mit Bildgebungslesern oder einem Bildgebungsleser mit einem RFID (Radio Frequency Identification) -Etikettleser. Der Server kann so konfiguriert sein, dass er Bildscandaten von dem Objektscanner über das Kommunikationsnetzwerk empfängt, wobei die Bildscandaten von einem Objekt stammen und wobei die Bildscandaten mindestens ein dem Objekt entsprechendes Zeichen enthalten und wobei die Bildscandaten ferner physikalische Merkmale des Objekts enthalten. Der Server kann ferner so konfiguriert sein, dass er dekodierte Zeichendaten empfängt und Identifikationsdaten für das Objekt bestimmt. Der Server kann zumindest einen Teil der Bildscandaten mit den Identifikationsdaten für das Objekt korrelieren, was zu einem korrelierten Datensatz führt; und der Server kann den korrelierten Datensatz an einen neuronalen Netzwerkrahmen innerhalb des Servers senden. Der neuronale Netzwerkrahmen kann zumindest einige der physikalischen Merkmale des Objekts in dem korrelierten Datensatz untersuchen und eine Gewichtung für jedes der zumindest einigen physikalischen Merkmale des Objekts bestimmen, wobei jede Gewichtung eine relative Anzeige einer Korrelationsstärke zwischen dem physikalischen Merkmal und den Identifikationsdaten des Objekts ist. Der neuronale Netzwerkrahmen kann dann ein trainiertes Netzwerkmodell mit den bestimmten Gewichtungen erzeugen oder aktualisieren.In other examples, the present invention includes a system for training a neural network. The system may include a server communicatively coupled to one or more object scanners via a communication network, such as e.g. B. one or more Barcode scanners with imaging readers or an imaging reader with a radio frequency identification (RFID) label reader. The server can be configured to receive image scan data from the object scanner via the communication network, wherein the image scan data originate from an object and wherein the image scan data contains at least one character corresponding to the object and wherein the image scan data further contains physical features of the object. The server can also be configured to receive decoded character data and determine identification data for the object. The server can correlate at least part of the image scan data with the identification data for the object, which leads to a correlated data set; and the server can send the correlated data set to a neural network frame within the server. The neural network frame may examine at least some of the physical features of the object in the correlated data set and determine a weight for each of the at least some physical features of the object, each weight being a relative indication of a strength of correlation between the physical feature and the identification data of the object. The neural network frame can then generate or update a trained network model with the determined weights.

In einigen Beispielen umfasst die vorliegende Erfindung ein computerimplementiertes Verfahren zur Erkennung von Täuschung (Spoofing). Das Verfahren umfasst das Empfangen von Bildscandaten an einem oder mehreren Prozessoren, wobei die Bildscandaten von einem Objekt stammen und physikalische Merkmale des Objekts enthalten und wobei die Bildscandaten mindestens ein dem Objekt entsprechendes Zeichen und dekodierte Zeichendaten zur Bestimmung erster Identifikationsdaten für das Objekt enthalten. Das Verfahren umfasst ferner das Zuschneiden der Bildscandaten in dem einen oder den mehreren Prozessoren, um das mindestens eine Zeichen aus den Bildscandaten zu entfernen, um zeichenbefreite Bildscandaten zu erzeugen; und das Bereitstellen der zeichenbefreiten Bildscandaten an dem einen oder den mehreren Prozessoren für ein neuronales Netzwerk zum Untersuchen der physikalischen Merkmale des Objekts in den zeichenbefreiten Bildscandaten, und zum Bestimmen zweiter Identifikationsdaten auf der Grundlage der physikalischen Merkmale. Das Verfahren umfasst ferner das Bestimmen einer Übereinstimmungsvorhersage der zeichenbefreiten Bildscandaten an dem neuronalen Netzwerk auf der Grundlage eines Vergleichs der ersten Identifikationsdaten mit den zweiten Identifikationsdaten; und das Erzeugen eines Authentifizierungssignals als Reaktion auf die Bestimmung, dass die Übereinstimmungsvorhersage eine Übereinstimmung anzeigt, und das Erzeugen eines Alarmsignals als Reaktion auf die Bestimmung, dass die Übereinstimmungsvorhersage eine Nicht-Übereinstimmung anzeigt.In some examples, the present invention includes a computer-implemented method for detecting spoofing. The method comprises receiving image scan data at one or more processors, wherein the image scan data originate from an object and contain physical features of the object and wherein the image scan data contain at least one character corresponding to the object and decoded character data for determining first identification data for the object. The method further comprises cropping the image scan data in the one or more processors to remove the at least one character from the image scan data to generate character-exempt image scan data; and providing the non-character image scan data to the one or more processors to a neural network to examine the physical features of the object in the character-exempt image scan data and to determine second identification data based on the physical features. The method further comprises determining a match prediction of the character-free image scan data at the neural network on the basis of a comparison of the first identification data with the second identification data; and generating an authentication signal in response to determining that the match prediction indicates a match and generating an alert signal in response to determining that the match prediction indicates a mismatch.

In anderen Beispielen umfasst die vorliegende Erfindung ein System zur Erkennung von Täuschung (Spoofing). Das System umfasst einen Server, der über ein Kommunikationsnetzwerk kommunikativ mit einem oder mehreren Objektscannern gekoppelt ist, wobei der Server einen oder mehrere Prozessoren und einen oder mehrere Speicher umfasst. Der Server kann so konfiguriert sein, dass er: an einem oder mehreren Prozessoren und von einem der Objektscanner Bildscandaten empfängt, wobei die Bildscandaten von einem Objekt stammen und physikalische Merkmale des Objekts enthalten und wobei die Bildscandaten mindestens ein dem Objekt entsprechendes Zeichen und dekodierte Zeichendaten zum Bestimmen erster Identifikationsdaten für das Objekt enthalten; und an dem einen oder den mehreren Prozessoren die Bildscandaten zuschneidet, um das mindestens eine Zeichen aus den Bildscandaten zu entfernen, um zeichenbefreite Bildscandaten zu erzeugen. Der Server kann ferner so konfiguriert sein, dass er an dem einen oder den mehreren Prozessoren die zeichenbefreiten Bildscandaten einem neuronalen Netzwerk bereitstellt, um die physikalischen Merkmale des Objekts in den zeichenbefreiten Bildscandaten zu untersuchen und zweite Identifikationsdaten auf der Grundlage der physikalischen Merkmale zu bestimmen; an dem neuronalen Netzwerk eine Übereinstimmungsvorhersage der zeichenbefreiten Bildscandaten auf der Grundlage eines Vergleichs der ersten Identifikationsdaten mit den zweiten Identifikationsdaten bestimmt. Der Server kann ferner so konfiguriert sein, dass er als Reaktion auf die Bestimmung, dass die Übereinstimmungsvorhersage eine Übereinstimmung anzeigt, ein Authentifizierungssignal erzeugt, und als Reaktion auf die Bestimmung, dass die Übereinstimmungsvorhersage eine Nicht-Übereinstimmung anzeigt, ein Alarmsignal erzeugt.In other examples, the present invention includes a system for detecting spoofing. The system includes a server communicatively coupled to one or more object scanners via a communications network, the server including one or more processors and one or more memories. The server can be configured in such a way that it receives image scan data at one or more processors and from one of the object scanners, the image scan data originating from an object and containing physical features of the object and the image scan data at least one character corresponding to the object and decoded character data for the Determining first identification data for the object; and at the one or more processors, cropping the image scan data to remove the at least one character from the image scan data to generate character stripped image scan data. The server may further be configured to provide the one or more processors with the character-free image scan data to a neural network in order to examine the physical features of the object in the character-free image scan data and to determine second identification data based on the physical features; determines a match prediction of the character-free image scan data on the neural network on the basis of a comparison of the first identification data with the second identification data. The server may further be configured to generate an authentication signal in response to determining that the match prediction indicates a match and to generate an alert in response to determining that the match prediction indicates a mismatch.

In einigen Beispielen umfasst die vorliegende Erfindung ein weiteres computerimplementiertes Verfahren zur Erkennung von Täuschung (Spoofing). Das Verfahren umfasst das Empfangen von Bildscandaten an einem oder mehreren Prozessoren, wobei die Bildscandaten von einem Objekt stammen und physikalische Merkmale des Objekts enthalten und wobei die Bildscandaten mindestens ein dem Objekt entsprechendes Zeichen und dekodierte Zeichendaten zum Bestimmen erster Identifikationsdaten für das Objekt enthalten; und das Zuschneiden der Bildscandaten an dem einen oder den mehreren Prozessoren, um das mindestens eine Zeichen aus den Bildscandaten zu entfernen, um zeichenbefreite Bildscandaten zu erzeugen. Das Verfahren umfasst ferner das Bereitstellen der zeichenbefreiten Bildscandaten an dem einen oder den mehreren Prozessoren für ein neuronales Netzwerk zum Untersuchen der physikalischen Merkmale des Objekts in den zeichenbefreiten Bildscandaten und zum Bestimmen zweiter Identifikationsdaten auf der Grundlage der physikalischen Merkmale; und das Bestimmen einer Übereinstimmungsvorhersage der zeichenbefreiten Bildscandaten an dem neuronalen Netzwerk auf der Grundlage eines Vergleichs der ersten Identifikationsdaten mit den zweiten Identifikationsdaten. Das Verfahren umfasst ferner, als Reaktion auf das Bestimmen, dass die Übereinstimmungsvorhersage eine Übereinstimmung anzeigt, das Erzeugen eines ersten Authentifizierungssignals, und als Reaktion das Bestimmen, dass die Übereinstimmungsvorhersage eine Nicht-Übereinstimmung anzeigt, das Erzeugen eines zweiten Authentifizierungssignals, das sich von dem ersten Authentifizierungssignal unterscheidet. Das Verfahren kann beispielsweise das Bestimmen eines Prioritätsunterschieds zwischen den ersten Identifikationsdaten und den zweiten Identifikationsdaten umfassen; und das Erzeugen des zweiten Authentifizierungssignals als ein Signal, das eine Transaktion authentifiziert, die mit denjenigen der ersten Identifikationsdaten und der zweiten Identifikationsdaten korrespondiert, die die höhere Priorität haben. Das Verfahren kann ferner das Identifizieren einer Prioritätsheuristik umfassen; das Bestimmen eines Prioritätsunterschieds zwischen den ersten Identifikationsdaten und den zweiten Identifikationsdaten auf der Grundlage der Prioritätsheuristik; und das Erzeugen des zweiten Authentifizierungssignals als ein Signal, das eine Transaktion authentifiziert, die mit denjenigen der ersten Identifikationsdaten und der zweiten Identifikationsdaten korrespondiert, die auf der Grundlage der Prioritätsheuristik die höhere Priorität haben.In some examples, the present invention includes another computer-implemented method for detecting spoofing. The method comprises receiving image scan data at one or more processors, wherein the image scan data originate from an object and contain physical features of the object and wherein the image scan data contain at least one character corresponding to the object and decoded character data for determining first identification data for the object; and cropping the image scan data at the one or more processors to remove the at least one character from the image scan data to produce character stripped image scan data. The method further comprises providing the character-free image scan data to the one or more processors for a neural network for the Examining the physical characteristics of the object in the character-exempt image scan data and determining second identification data based on the physical characteristics; and determining a match prediction of the character-free image scan data at the neural network on the basis of a comparison of the first identification data with the second identification data. The method further comprises, in response to determining that the match prediction indicates a match, generating a first authentication signal, and responsive to determining that the match prediction indicates a mismatch, generating a second authentication signal different from the first Authentication signal differs. The method can include, for example, determining a priority difference between the first identification data and the second identification data; and generating the second authentication signal as a signal authenticating a transaction corresponding to those of the first identification data and the second identification data having the higher priority. The method may further include identifying a priority heuristic; determining a priority difference between the first identification data and the second identification data based on the priority heuristic; and generating the second authentication signal as a signal authenticating a transaction corresponding to those of the first identification data and the second identification data having the higher priority based on the priority heuristic.

In einigen Beispielen umfasst die vorliegende Erfindung ein System zum Erkennen von Täuschung (Spoofing), wobei dieses System einen Server umfasst, der über ein Kommunikationsnetzwerk mit einem oder mehreren Objektscannern kommunikativ gekoppelt ist, wobei der Server einen oder mehrere Prozessoren und einen oder mehrere Speicher umfasst. Der Server ist so konfiguriert, dass er an einem oder mehreren Prozessoren Bildscandaten empfängt, wobei die Bildscandaten von einem Objekt stammen und physikalische Merkmale des Objekts enthalten und wobei die Bildscandaten mindestens ein dem Objekt entsprechendes Zeichen und dekodierte Zeichendaten zur Bestimmung erster Identifikationsdaten für das Objekt enthalten; die Bildscandaten an dem einen oder den mehreren Prozessoren zuschneidet, um das mindestens eine Zeichen aus den Bildscandaten zu entfernen, um zeichenbefreite Bildscandaten zu erzeugen; und die zeichenbefreiten Bildscandaten an dem einen oder den mehreren Prozessoren für ein neuronales Netzwerk bereitstellt, zum Untersuchen der physikalischen Merkmale des Objekts in den zeichenbefreiten Bildscandaten und zum Bestimmen von zweiten Identifikationsdaten basierend auf den physikalischen Merkmalen. Der Server ist ferner so konfiguriert, dass er in dem neuronalen Netzwerk eine Übereinstimmungsvorhersage der zeichenbefreiten Bildscandaten auf der Grundlage eines Vergleichs der ersten Identifikationsdaten mit den zweiten Identifikationsdaten bestimmt; und als Reaktion auf die Bestimmung, dass die Übereinstimmungsvorhersage eine Übereinstimmung anzeigt, ein erstes Authentifizierungssignal erzeugt, und als Reaktion auf die Bestimmung, dass die Übereinstimmungsvorhersage eine Nicht-Übereinstimmung anzeigt, ein zweites Authentifizierungssignal erzeugt, das sich von dem ersten Authentifizierungssignal unterscheidet, und zwar in ähnlicher Weise wie bei dem oben und nachfolgend beschriebenen Verfahren.In some examples, the present invention includes a system for detecting spoofing, which system includes a server communicatively coupled to one or more object scanners via a communications network, the server including one or more processors and one or more memories . The server is configured to receive image scan data on one or more processors, the image scan data originating from an object and containing physical features of the object and wherein the image scan data contain at least one character corresponding to the object and decoded character data for determining first identification data for the object ; cropping the image scan data at the one or more processors to remove the at least one character from the image scan data to produce character stripped image scan data; and providing the non-character image scan data to the one or more processors to a neural network for examining the physical features of the object in the character-exempt image scan data and for determining second identification data based on the physical features. The server is further configured such that it determines a match prediction of the character-free image scan data on the basis of a comparison of the first identification data with the second identification data in the neural network; and in response to determining that the match prediction indicates a match, generates a first authentication signal, and in response to determining that the match prediction indicates a mismatch, generates a second authentication signal different from the first authentication signal in a manner similar to the method described above and below.

1 zeigt eine beispielhafte Umgebung, in der Ausführungsformen der vorliegenden Erfindung implementiert werden können. Im vorliegenden Beispiel wird die Umgebung in Form einer Einrichtung mit einem Scanstandort 100 bereitgestellt, an dem verschiedene Waren zum Trainieren eines neuronalen Netzwerks während eines Trainingsmodus und/oder zum Scannen von Objekten zum Kauf durch einen Kunden während eines Scan-Authentifizierungsmodus gescannt werden können. In einem Beispiel ist der Scan-Authentifizierungsmodus ein Täuschungserkennungsmodus. 1 Figure 12 shows an exemplary environment in which embodiments of the present invention may be implemented. In the present example, the environment is in the form of a facility with a scanning location 100 provided on which various goods can be scanned for training a neural network during a training mode and / or for scanning objects for purchase by a customer during a scan authentication mode. In one example, the scan authentication mode is a spoof detection mode.

Im dargestellten Beispiel umfasst eine Verkaufsstelle 100 eine Scanstation 102 mit einer Scannerplattform 103, z. B. einer vertikalen und/oder horizontalen Fläche, und einem Objektscanner 104, der eine Kamera 106 und einen oder mehrere Sensoren 108 umfasst. Der Scanner 104 kann ein Handscanner, ein Freihandscanner oder ein Mehrebenenscanner, wie z. B. ein bioptischer Scanner, sein. Die Kamera 106 erfasst Bildscandaten eines Objekts 108, das ein Zeichen 110 trägt, wobei in einigen Beispielen die Kamera 106 ein 1D-, 2D- oder 3D-Bildscanner ist, der das Objekt 108 scannen kann. In einigen Beispielen kann der Scanner 104 ein Strichcode-Bildscanner sein, der in der Lage ist, einen 1D-Strichcode, QR-Code, 3D-Strichcode oder andere Arten der Zeichen 110 zu scannen, sowie Bilder des Objekts 108 selbst zu erfassen. Im dargestellten Beispiel umfasst die Scanstation 104 Sensoren 112, die einen RFID-Transponder zur Erfassung von Zeichendaten in Form eines elektromagnetischen Signals umfassen können, das von den Zeichen 110 erfasst wird, wenn es sich bei den Zeichen 110 um ein RFID-Etikett handelt, und nicht um visuelle Zeichen, wie z. B. einen Strichcode.In the example shown, it includes a point of sale 100 a scanning station 102 with a scanner platform 103 , e.g. B. a vertical and / or horizontal surface, and an object scanner 104 holding a camera 106 and one or more sensors 108 includes. The scanner 104 can be a hand-held scanner, a free-hand scanner or a multi-level scanner, such as. B. a biopsy scanner. The camera 106 captures image scan data of an object 108 that is a sign 110 carries, in some examples the camera 106 is a 1D, 2D or 3D image scanner that the object 108 can scan. In some examples, the scanner can 104 a barcode image scanner capable of reading a 1D barcode, QR code, 3D barcode, or other types of characters 110 to scan, as well as images of the object 108 capture yourself. In the example shown, the scanning station includes 104 Sensors 112 , which may include an RFID transponder for capturing character data in the form of an electromagnetic signal generated by the characters 110 is captured when it comes to the characters 110 is an RFID tag and not visual signs such as B. a barcode.

Der Scanner 104 enthält auch einen Bildprozessor 116 und einen Decoder 118 für die Zeichen. Der Bildprozessor 116 kann so konfiguriert sein, dass er die erfassten Bilder des Objekts 108 analysiert und eine vorläufige Bildverarbeitung durchführt, z. B. bevor die Bildscandaten an einen Server 120 gesendet werden. In beispielhaften Ausführungsformen identifiziert der Bildprozessor 116 die in einem Bild erfassten Zeichen 110, z. B. durch Durchführung einer Kantenerkennung und/oder Mustererkennung, und der Zeichendekodierer 118 dekodiert die Zeichen und erzeugt Identifikationsdaten für die Zeichen 110. Der Scanner 104 nimmt diese Identifikationsdaten in die gesendeten Bildscandaten auf.The scanner 104 also includes an image processor 116 and a decoder 118 for the characters. The image processor 116 can be configured to take the captured images of the object 108 analyzed and preliminary image processing performed, e.g. B. before sending the image scan data to a server 120 be sent. In exemplary embodiments, the image processor identifies 116 the characters captured in an image 110 , e.g. B. by performing edge detection and / or pattern recognition, and the character decoder 118 decodes the characters and generates identification data for the characters 110 . The scanner 104 includes this identification data in the sent image scan data.

In einigen Ausführungsformen kann der Bildprozessor 116 so konfiguriert sein, dass er physikalische Merkmale des Objekts 108 identifiziert, wie z. B. die periphere Form des Objekts, die ungefähre Größe des Objekts, eine Größe des Verpackungsteils des Objekts, eine Größe des Produkts innerhalb der Verpackung (z. B. im Fall von verpacktem Fleisch oder Gemüse), einen relativen Größenunterschied zwischen einer Größe des Produkts und einer Größe der Verpackung, eine Farbe des Objekts, die Verpackung und/oder die Ware, die Kassenspur und die Filial-ID, von der der Artikel gescannt wurde, die Form des Produkts, das Gewicht des Produkts, die Sorte des Produkts, insbesondere bei Früchten, und die Frische des Produkts.In some embodiments, the image processor 116 be configured so that it has physical characteristics of the object 108 identified, such as B. the peripheral shape of the object, the approximate size of the object, a size of the packaging part of the object, a size of the product within the packaging (e.g. in the case of packaged meat or vegetables), a relative size difference between a size of the product and a size of the packaging, a color of the object, the packaging and / or the goods, the checkout lane and the store ID from which the item was scanned, the shape of the product, the weight of the product, the type of product, in particular in the case of fruits, and the freshness of the product.

Der Scanner 104 umfasst einen oder mehrere Prozessoren („µ“) und einen oder mehrere Speicher („MEM“), in denen Anweisungen zur Ausführung durch den einen oder die mehreren Prozessoren gespeichert sind, um verschiedene hierin beschriebene Vorgänge durchzuführen. Der Scanner 104 umfasst ferner einen Transceiver („XVR“) zur Kommunikation von Bildscandaten usw. über ein drahtloses und/oder drahtgebundenes Netzwerk 114 an einen Anti-Täuschungsserver 120. Der Transceiver kann gemäß einem Beispiel einen Wi-Fi-Transceiver zur Kommunikation mit einem Bildverarbeitungs- und Anti-Täuschungsserver 120 umfassen. In einigen Beispielen kann der Scanner 104 ein tragbares Gerät sein und einen Bluetooth-Transceiver oder einen anderen Kommunikationstransceiver enthalten. Die Scanstation 102 umfasst ferner ein Display zur Anzeige der gescannten Produktinformationen für einen Verkäufer, Kunden oder einen anderen Benutzer. Die Scanstation 102 kann außerdem eine Eingabevorrichtung für den Empfang weiterer Anweisungen des Benutzers enthalten.The scanner 104 includes one or more processors (“µ”) and one or more memories (“MEM”) that store instructions for execution by the one or more processors to perform various operations described herein. The scanner 104 also includes a transceiver ("XVR") for communicating image scan data, etc. over a wireless and / or wired network 114 to an anti-deception server 120 . The transceiver may, according to one example, be a Wi-Fi transceiver for communication with an image processing and anti-deception server 120 include. In some examples, the scanner can 104 be a portable device and contain a bluetooth transceiver or other communication transceiver. The scanning station 102 further comprises a display for displaying the scanned product information for a seller, customer or other user. The scanning station 102 may also include an input device for receiving further instructions from the user.

In beispielhaften Ausführungsformen verfügt der Bildverarbeitungs- und Anti-Täuschungsserver 120 über mindestens zwei Betriebsmodi: einen Trainingsmodus zum Trainieren eines neuronalen Netzwerks des Servers und einen Scan-Authentifizierungsmodus, z. B. einen Täuschungserkennungsmodus zum Erkennen eines unsachgemäßen Scannens eines Objekts oder Zeichens an dem Verkaufspunkt 100.In exemplary embodiments, the image processing and anti-deception server 120 via at least two operating modes: a training mode for training a neural network of the server and a scan authentication mode, e.g. B. a deception detection mode for detecting improper scanning of an object or sign at the point of sale 100 .

Der Server 120 umfasst einen oder mehrere Prozessoren („µ“) und einen oder mehrere Speicher („MEM“), in denen Anweisungen zur Ausführung durch den einen oder die mehreren Prozessoren gespeichert sind, um verschiedene hierin beschriebene Vorgänge durchzuführen. Der Server 120 enthält einen Transceiver („XVR“) für die Kommunikation von Daten zu und von der Scanstation 102 über das Netzwerk 114, unter Verwendung eines Kommunikationsprotokolls, wie z. B. WiFi.The server 120 includes one or more processors (“µ”) and one or more memories (“MEM”) that store instructions for execution by the one or more processors to perform various operations described herein. The server 120 contains a transceiver ("XVR") for the communication of data to and from the scanning station 102 over the network 114 , using a communication protocol such as B. WiFi.

Der Server 120 enthält einen Zeichenverwalter 122, der die Identifikationsdaten aus den empfangenen Bildscandaten erfassen und diese erfassten Daten an eine Bestandsverwaltungssteuerung 124 weiterleiten kann, um Produktdaten zu identifizieren, die den dekodierten Zeichen 110 zugeordnet sind. In Beispielen, in denen die Bildscandaten keine dekodierten Identifikationsdaten enthalten, kann der Zeichenverwalter 122 die oben beschriebenen Zeichendekodierungsoperationen durchführen, wie sie vom Scanner 104 durchgeführt werden. In anderen Beispielen können einer oder mehrere der mit der Dekodierung der Zeichen verbundenen Prozesse auf den Scanner 104 und den Server 120 verteilt sein.The server 120 contains a character manager 122 , which capture the identification data from the received image scan data and these captured data to an inventory management control 124 can forward to identify product data containing the decoded characters 110 assigned. In examples where the image scan data does not contain decoded identification data, the character manager may 122 perform the character decoding operations described above as they are from the scanner 104 be performed. In other examples, one or more of the processes associated with decoding the characters can be performed on the scanner 104 and the server 120 be distributed.

Die Bestandsverwaltungssteuerung 124 nimmt die empfangenen Identifikationsdaten und identifiziert charakteristische Daten (hier auch als Produktdaten bezeichnet), die den Merkmalen 110 und somit dem Objekt 108 entsprechen. Solche charakteristischen Daten können den Objektnamen, die SKU-Nummer, den Objekttyp, die Objektkosten, die physikalischen Eigenschaften des Objekts und andere Informationen umfassen.The inventory management control 124 takes the received identification data and identifies characteristic data (also referred to here as product data) that the features 110 and thus the object 108 correspond. Such characteristic data may include the object name, SKU number, object type, object cost, physical properties of the object, and other information.

Ein Bildgebungsmerkmalsverwalter 126 empfängt die Bildscandaten vom Scanner 104 und führt eine Bildverarbeitung durch, um ein oder mehrere physikalische Merkmale des Objekts 108 zu identifizieren, wie z. B. eine periphere Form des Objekts, die ungefähre Größe des Objekts, eine Größe des Verpackungsteils des Objekts, eine Größe des Produkts in der Verpackung (z. B. im Fall von verpacktem Fleisch oder verpacktem Gemüse), einen relativen Größenunterschied zwischen der Größe des Produkts und der Größe der Verpackung, eine Farbe des Objekts, eine Verpackung und eine Form des Produkts. In anderen Beispielen können die physikalischen Merkmale ganz oder teilweise im Bildprozessor 116 bestimmt und innerhalb der Bildscandaten vom Scanner 104 an den Server 120 übertragen werden.An imaging feature manager 126 receives the image scan data from the scanner 104 and performs image processing to identify one or more physical features of the object 108 identify such as B. a peripheral shape of the object, the approximate size of the object, a size of the packaging part of the object, a size of the product in the package (e.g. in the case of packaged meat or packaged vegetables), a relative size difference between the size of the Product and the size of the packaging, a color of the object, a packaging and a shape of the product. In other examples, some or all of the physical features may be in the image processor 116 determined and within the image scan data from the scanner 104 to the server 120 be transmitted.

In der beispielhaften Ausführungsform speichert der Bildgebungsmerkmalsverwalter 126 erfasste physikalische Merkmale von Objekten in einem Bildmerkmalsdatensatz 128. In einigen Beispielen speichert der Datensatz 128 zuvor identifizierte physikalische Merkmale, Gewichtungsfaktoren für physikalische Merkmale und Korrelationsdaten für physikalische Merkmale, wie hier im Detail beschrieben.In the exemplary embodiment, the imaging feature manager stores 126 recorded physical features of objects in an image feature data set 128 . In some examples, the record saves 128 previously identified physical features, weighting factors for physical features and correlation data for physical features as described in detail herein.

Der Zeichenverwalter 122 und der Bildgebungsmerkmalsverwalter 126 sind mit einem neuronalen Netzwerkrahmen 130 gekoppelt, der einen Trainingsmodus und einen Täuschungserkennungsmodus hat. Wie hierin beschrieben, analysiert der neuronale Netzwerkrahmen 130 in verschiedenen Beispielen in einem Trainingsmodus physikalische Merkmale von Objekten und bestimmt Gewichtungen für diese physikalischen Merkmale, wobei diese Gewichtungen einen relativen Hinweis darauf geben, wie stark eine Korrelation zwischen den physikalischen Merkmalen und den Identifikationsdaten des Objekts existiert. Physikalische Merkmale mit höheren Gewichtungen korrelieren mit größerer Wahrscheinlichkeit mit einem bestimmten Objekt (und zeigen daher das wahrscheinliche Vorhandensein dieses Objekts in zukünftigen Bildscandaten an), als physikalische Merkmale mit niedrigeren Gewichtungen. Das neuronale Netzwerk 130 kann z. B. als faltungsneuronales Netzwerk konfiguriert werden, das einen mehrschichtigen Klassifikator verwendet, um jedes der identifizierten physikalischen Merkmale zu bewerten und entsprechende Gewichtungen für jedes zu bestimmen. Die Gewichtungswerte für die physikalischen Merkmale können als gewichtete Bilddaten 132 gespeichert werden. Aus den ermittelten Gewichtungswerten erzeugt und aktualisiert der neuronale Netzwerkrahmen 130 ein trainiertes neuronales Netzwerk 134 zur Klassifizierung nachfolgender Bildscandaten und zur Identifizierung des oder der darin enthaltenen Objekte durch Analyse der in diesen nachfolgenden Bildern erfassten physikalischen Merkmale.The character manager 122 and the imaging feature manager 126 are with a neural network framework 130 paired, which has a training mode and a deception detection mode. As described herein, the neural network frame analyzes 130 in various examples in a training mode physical features of objects and determines weightings for these physical features, these weightings giving a relative indication of how strong a correlation exists between the physical features and the identification data of the object. Physical features with higher weights are more likely to correlate with a particular object (and therefore indicate the likely presence of that object in future image scan data) than physical features with lower weights. The neural network 130 can e.g. Be configured as a convolutional neural network that uses a multilayer classifier to evaluate each of the identified physical features and determine appropriate weights for each. The weighting values for the physical features can be used as weighted image data 132 get saved. The neural network frame is generated and updated from the weighting values determined 130 a trained neural network 134 to classify subsequent image scan data and to identify the object or objects contained therein by analyzing the physical features recorded in these subsequent images.

Wie hier beschrieben, setzen die vorliegenden Techniken ein trainiertes Vorhersagemodell ein, um empfangene Bilder eines Objekts (mit oder ohne Zeichen) zu bewerten und diese Bilder zu klassifizieren, um ein dem Objekt zugeordnetes Produkt und Produktidentifikationsdaten zu bestimmen, die dann verwendet werden, um Betrugsversuche, wie z. B. Spoofing, zu verhindern. In einigen Beispielen wird dieses Vorhersagemodell mit einem neuronalen Netzwerk trainiert, und als solches wird dieses Vorhersagemodell hier als „neuronales Netzwerk“ oder „trainiertes neuronales Netzwerk“ bezeichnet. Das neuronale Netzwerk kann auf verschiedene Weise konfiguriert werden. In einigen Beispielen kann das neuronale Netzwerk ein tiefenneuronales Netzwerk und/oder ein faltungsneuronales Netzwerk (CNN) sein. In einigen Beispielen kann das neuronale Netzwerk ein verteiltes und skalierbares neuronales Netzwerk sein. Das neuronale Netzwerk kann auf verschiedene Weise angepasst werden, einschließlich der Bereitstellung einer spezifischen oberen Schicht, wie z. B. aber nicht beschränkt auf eine logistische obere Regressionsschicht. Ein faltungsneuronales Netzwerk kann als ein neuronales Netzwerk betrachtet werden, das Sätze von Knoten mit gebundenen Parametern enthält. Ein tiefenneuronales Faltungsnetzwerk kann als eine gestapelte Struktur mit einer Vielzahl von Schichten betrachtet werden. In den Beispielen hierin wird das neuronale Netzwerk als mit mehreren Schichten, d. h. mehreren gestapelten Schichten, beschrieben, es kann jedoch jede geeignete Konfiguration des neuronalen Netzwerks verwendet werden.As described herein, the present techniques employ a trained predictive model to evaluate received images of an object (with or without characters) and to classify those images to determine a product associated with the object and product identification data that are then used to detect fraud such as B. Spoofing to prevent. In some examples, this predictive model is trained with a neural network, and as such, this predictive model is referred to herein as a "neural network" or "trained neural network". The neural network can be configured in a number of ways. In some examples, the neural network can be a deep neural network and / or a convolutional neural network (CNN). In some examples, the neural network can be a distributed and scalable neural network. The neural network can be customized in a number of ways, including providing a specific upper layer, such as B. but not limited to a logistic upper regression layer. A convolutional neural network can be thought of as a neural network that contains sets of nodes with bound parameters. A deep convolutional neural network can be viewed as a stacked structure with a plurality of layers. In the examples herein, the neural network is referred to as having multiple layers, i.e. H. multiple stacked layers, but any suitable neural network configuration can be used.

CNNs sind z. B. ein maschinelles Lernmodell, das insbesondere für die Bilderkennung und -klassifizierung verwendet wird. In den beispielhaften Ausführungsformen hierin können CNNs beispielsweise auf 2D- oder 3D-Bildern arbeiten, wobei solche Bilder beispielsweise als eine Matrix von Pixelwerten innerhalb der Bildscandaten dargestellt werden. Wie beschrieben, kann das neuronale Netzwerk (z. B. die CNNs) verwendet werden, um eine oder mehrere Klassifizierungen für ein gegebenes Bild zu bestimmen, indem das Bild durch eine Reihe von Rechenbetriebsschichten geleitet wird. Durch Training und Nutzung dieser verschiedenen Schichten kann das CNN-Modell eine Wahrscheinlichkeit bestimmen, dass ein Bild oder physikalische Bildmerkmale zu einer bestimmten Klasse gehören. Trainierte CNN-Modelle können zur Wiederherstellung und Verwendung aufbewahrt und durch weiteres Training verfeinert werden. Trainierte Modelle können auf einem beliebigen flüchtigen oder nichtflüchtigen Speichermedium im Computer gespeichert werden, wie z. B. RAM, Flash-Speicher, Festplatte oder ähnlicher Speicher, der auf Cloud-Servern gehostet wird.CNNs are e.g. B. a machine learning model, which is used in particular for image recognition and classification. In the exemplary embodiments herein, for example, CNNs can operate on 2D or 3D images, such images being represented, for example, as a matrix of pixel values within the image scan data. As described, the neural network (e.g., the CNNs) can be used to determine one or more classifications for a given image by passing the image through a series of layers of computational operation. By training and using these various layers, the CNN model can determine a probability that an image or physical image features belong to a particular class. Trained CNN models can be retained for retrieval and use, and refined through further training. Trained models can be stored on any volatile or non-volatile storage medium in the computer, such as: B. RAM, flash memory, hard disk or similar storage that is hosted on cloud servers.

2 zeigt eine schematische Darstellung 200 eines Trainingsmodus in einer Beispielimplementierung. Mehrere Scanstationen 202A-202C erfassen Bilder von Objekten, führen eine vorläufige Bildverarbeitung an diesen Bildern durch, identifizieren und dekodieren die in den Bildern der Objekte erfassten Zeichen und verpacken diese Informationen und Bildscandaten, die zusammen einen Trainingssatz von Bildscandaten 204 darstellen. Jede der Scanstationen 202A-202C kann einen Scanner in derselben Einrichtung, z. B. einer Einzelhandelseinrichtung oder einem Lagerhaus, aufweisen, während in anderen Beispielen die Scanstationen 202A-202C sich jeweils in einer anderen Einrichtung an einem anderen Ort befinden können. 2 shows a schematic representation 200 a training mode in a sample implementation. Multiple scan stations 202A-202C capture images of objects, perform preliminary image processing on these images, identify and decode the characters captured in the images of the objects and package this information and image scan data, which together form a training set of image scan data 204 represent. Each of the scanning stations 202A-202C can have a scanner in the same facility, e.g. B. a retail facility or warehouse, while in other examples the scanning stations 202A-202C may be in a different facility at a different location.

In einem Beispiel für einen Trainingsmodus erfasst jede der Scanstationen 202A-202C Bilder desselben Objekts. Unabhängig davon, wo sich die Scanstation befindet, erfasst die Scanstation beispielsweise Bilder desselben zu verkaufenden Pakets, und alle erfassten Bilder dieses Pakets werden in dem Trainingssatz der Bildscandaten 204 gesammelt. Beispielsweise werden die Bildscandaten an einen Server, wie den Server 120, übermittelt, und der Server identifiziert die empfangenen Bildscandaten als demselben Objekt entsprechend, indem er die dekodierten Zeichen in den empfangenen Bildscandaten bestimmt. In einigen Beispielen identifiziert der Server eine vollständige Übereinstimmung der dekodierten Indizien. In anderen Beispielen kann der Server anhand der teilweisen Identifizierung der dekodierten Zeichen immer noch Bilder als von demselben Objekt identifizieren, da nicht alle Bildscandaten von jeder Scanstation die vollständigen Zeichen im Bild erfassen. In anderen Beispielen kann der Server jedoch alle Bildscandaten sammeln, und anstatt Bilder zu gruppieren, um den Trainingssatz 204 zu bilden, kann der Server einem neuronalen Netzwerk 206 erlauben, maschinelle Lerntechniken zu verwenden, um Bildscandaten zu identifizieren, die demselben Objekt entsprechen. In einigen Beispielen ist der Server selbst so konfiguriert, dass er die Zeichendaten in den Bildscandaten identifiziert und die Position dieser Zeichendaten bestimmt.In one example of a training mode, each of the scan stations is capturing 202A-202C Images of the same object. Regardless of where the scanning station is located, for example, the scanning station captures images of the same package for sale, and all captured images of that package are included in the training set of the image scan data 204 collected. For example, the image scan data is sent to a server such as the server 120 , transmitted, and the Server identifies the received image scan data as corresponding to the same object by determining the decoded characters in the received image scan data. In some examples, the server identifies a complete match of the decoded indicia. In other examples, by partially identifying the decoded characters, the server can still identify images as being of the same object because not all of the image scan data from each scanning station captures the full characters in the image. In other examples, however, the server may collect all of the image scan data and instead of grouping images around the training set 204 To form, the server can be a neural network 206 allow machine learning techniques to be used to identify image scan data that corresponds to the same object. In some examples, the server itself is configured to identify the character data in the image scan data and determine the location of that character data.

Im Trainingsmodus erfassen die Scanstationen 202A-204C zwar Bilder desselben Objekts, aber aus verschiedenen Winkeln und mit unterschiedlichen Ausrichtungen. In der Tat ist eine solche Vielfalt in den erfassten Bildscandaten wertvoll für die Entwicklung eines robusteren trainierten neuronalen Netzwerks 208. Daher kann der Trainingssatz 204 100e, 1000e, 10000e oder mehr Bilder eines Objekts umfassen, viele mit großer Variation. Darüber hinaus kann der Trainingssatz im Laufe der Zeit wachsen, so dass selbst nachdem das trainierte neuronale Netzwerk 208 während einer anfänglichen Ausführung des Trainingsmodus erzeugt wurde, wenn dasselbe Objekt z. B. während Einzelhandelstransaktionen erfasst wird, die erfassten Bilder an den Server gesendet werden können, um diese dem Trainingssatz 204 hinzuzufügen und für eine eventuelle Verwendung durch den neuronalen Netzwerkrahmen 206 bei der Aktualisierung des trainierten neuronalen Netzwerks 208.The scan stations record in training mode 202A-204C images of the same object, but from different angles and with different orientations. Indeed, such diversity in the captured image scan data is valuable in developing a more robust trained neural network 208 . Hence, the training set can 204 100e , 1000e , 10000e or comprise more images of an object, many with great variation. In addition, the training set can grow over time, so even after the neural network is trained 208 was generated during an initial execution of the training mode when the same object e.g. B. during retail transactions is captured, the captured images can be sent to the server to add to the training set 204 and for eventual use by the neural network framework 206 when updating the trained neural network 208 .

In der schematischen Darstellung 200 identifiziert ein Bildmerkmalsverwalter 210 auf dem Server physikalische Merkmale, z. B. solche, die an anderer Stelle aufgeführt sind, für jede der Bildscandaten im Trainingssatz 204 und erzeugt einen gekennzeichneten Bilddatensatz 212 für den neuronalen Netzwerkrahmen 206. Einige Bildscandaten können zum Beispiel eine Gesamtform des äußeren Umfangs des Objekts enthalten. Einige Bildscandaten können nur einen Teil des äußeren Umfangs enthalten, aber ein Bild des Verpackungsetiketts mit dem Namen des Produkts oder dem Namen des Herstellers enthalten. Einige Bildscandaten können Bilder von Verpackungen, wie z. B. einer Styroporunterlage, und Bilder von Produkten in dieser Verpackung enthalten. Einige Bildscandaten können Daten über verschiedenfarbige Teile des Objekts enthalten. Einige Bildscandaten können ein projiziertes 3D-Volumen des Objekts oder einen 2D-Oberflächenbereich des Objekts oder einen 2D-Oberflächenbereich einer Fläche des Objekts enthalten.In the schematic representation 200 identifies an image feature manager 210 physical characteristics on the server, e.g. B. those listed elsewhere for each of the image scan data in the training set 204 and generates a labeled image data set 212 for the neural network frame 206 . For example, some image scan data may include an overall shape of the outer periphery of the object. Some image scan data may only show part of the outer perimeter, but may include an image of the packaging label with the name of the product or the name of the manufacturer. Some image scan data may contain images of packaging such as plastic bags. B. a Styrofoam pad, and pictures of products contained in this packaging. Some image scan data may contain data about different colored parts of the object. Some image scan data may include a projected 3D volume of the object or a 2D surface area of the object or a 2D surface area of a face of the object.

Die Bilder der einzelnen Bildscandaten können dann mit einer Identifikation der physikalischen Merkmale gekennzeichnet werden, die vom Verwalter 210 identifiziert wurden. In einigen Beispielen erzeugt der Server den Datensatz 212, indem er die identifizierten physikalischen Merkmale mit den Identifikationsdaten korreliert, die aus den dekodierten Zeichendaten gewonnen wurden. Das heißt, der Datensatz 212 enthält Bilddaten, die sowohl mit den Identifikationsdaten, die das im Objekt enthaltene Produkt identifizieren, als auch mit den vom Scanner erfassten spezifischen physikalischen Merkmalen (3D-Volumen, 2D-Oberfläche usw.) gekennzeichnet sind.The images of the individual image scan data can then be marked with an identification of the physical characteristics, which the administrator 210 have been identified. In some examples, the server creates the record 212 by correlating the identified physical features with the identification data obtained from the decoded character data. That is, the record 212 Contains image data that is marked both with the identification data that identify the product contained in the object and with the specific physical characteristics (3D volume, 2D surface, etc.) recorded by the scanner.

Im dargestellten Trainingsmodus untersucht der neuronale Netzwerkrahmen 206 den gekennzeichneten Bilddatensatz 212, insbesondere die identifizierten physikalischen Merkmale, und bestimmt eine Gewichtung für jedes dieser physikalischen Merkmale des Objekts. Diese Gewichtungen stellen einen relativen Hinweis auf eine Korrelationsstärke zwischen dem physikalischen Merkmal und den Identifikationsdaten des Objekts dar. In einer beispielhaften Ausführungsform, die einen mehrschichtigen Klassifizierungsalgorithmus verwendet, kann der neuronale Netzwerkrahmen 206 beispielsweise bestimmen, dass das projizierte 3D-Volumen nicht hoch korrelativ ist, um vorherzusagen, ob ein erfasstes Bild ein kastenförmiges Objekt darstellt. Der neuronale Netzwerkrahmen 206 kann jedoch bestimmen, dass ein physikalisches Merkmal eines weißen, dünn hinterlegten Objekts mit einem roten, kontrastierenden Objekt darauf eines oder eine Reihe von physikalischen Merkmalen darstellt, die hoch korrelativ mit der Identifizierung des Objekts sind, in diesem Fall als verpackte Fleischprodukte. Das neuronale Netzwerk bestimmt diese Gewichtungen für jedes identifizierte physikalische Merkmal oder für Kombinationen von physikalischen Merkmalen, als Ergebnis der Verwendung des mehrschichtigen Klassifizierungsalgorithmus. Der neuronale Netzwerkrahmen erzeugt dann zunächst das trainierte neuronale Netzwerk 208 und aktualisiert ein bereits vorhandenes trainiertes neuronales Netzwerk. Im dargestellten Beispiel kann das neuronale Netzwerk 208 für die Identifizierung von einem bis zu Tausenden von Objekten anhand von physikalischen Merkmalen trainiert werden, die in erfassten Bildern eines Objekts vorhanden sind.In the training mode shown, the neural network frame investigates 206 the marked image data set 212 , in particular the identified physical features, and determines a weighting for each of these physical features of the object. These weights represent a relative indication of a strength of correlation between the physical feature and the identification data of the object. In an exemplary embodiment that uses a multilayer classification algorithm, the neural network frame 206 for example, determine that the projected 3-D volume is not highly correlative to predict whether a captured image represents a box-shaped object. The neural network frame 206 can determine, however, that a physical feature of a white, thinly backed object with a red, contrasting object thereon represents one or a series of physical features which are highly correlative to the identification of the object, in this case packaged meat products. The neural network determines these weights for each identified physical feature or for combinations of physical features, as a result of using the multilayered classification algorithm. The neural network frame then initially generates the trained neural network 208 and updates an already existing trained neural network. In the example shown, the neural network 208 trained to identify from one to thousands of objects based on physical features present in captured images of an object.

3 zeigt eine weitere schematische Darstellung 300 mit den gleichen Merkmalen wie in 2, jedoch mit einem anderen Beispiel für die Implementierung des Trainingsmodus. Im Schema 300 enthalten die Trainingsbild-Scandaten 204 nicht nur Bilder des Objekts, sondern auch, wenn die Bilder den Hintergrund des Bereichs um das Objekt erfassen, in dem das Scannen stattgefunden hat. Zum Beispiel kann der erfasste Hintergrund Teile eines Verkaufspunktbereichs einer Einzelhandelseinrichtung umfassen. 3 shows a further schematic representation 300 with the same characteristics as in 2 , but with a different example of the implementation of the training mode. In the scheme 300 contain the training image scan data 204 not only pictures of the object, but also if the Images capture the background of the area around the object where the scanning took place. For example, the captured background may include portions of a point of sale area of a retail establishment.

Im Ausführungsbeispiel identifiziert der Bildmerkmalsverwalter 210 die physikalischen Merkmale in den Bildscandaten und sendet den korrelierten Bilddatensatz 212 an den neuronalen Netzwerkrahmen 206, der diesen Bilddatensatz analysiert und zwei Arten von Informationen in diesem Bilddatensatz identifiziert: Objektbilddaten 302 und Hintergrundbilddaten 304. Beispielsweise kann der neuronale Netzwerkrahmen 206 den empfangenen Bilddatensatz 212' mit zuvor empfangenen Bildscandaten vergleichen, um anomale Merkmale in dem empfangenen Datensatz zu identifizieren, wobei diese anomalen Merkmale den von der Scanstation erfassten Hintergrundbilddaten entsprechen. Hintergrundbilddaten können z. B. besonders in Bildscandaten vorhanden sein, die an dem Verkaufspunkt während einer Transaktion erfasst wurden. Hintergrundbilddaten können alle Bilddaten sein, die nicht als Objektbilddaten identifiziert werden. Beispiele hierfür sind Teile der Umgebung um ein Objekt, die an einer Verkaufspunktstation verwendeten Geräte, die Hand des Scan-Personals und andere Bilddaten aus dem Nah- und Fernfeld. Die neuronalen Netzwerke können so trainiert werden, dass sie solche Hintergrundbilddaten identifizieren; in einigen Beispielen wird dieses Training während des Betriebs des Systems fortgesetzt, wodurch sich das System an Änderungen in der Umgebung, in der das Objekt gescannt wird, anpassen kann. Nach der Identifizierung der Hintergrunddaten 204 und der Objektbilddaten 302 entfernt der neuronale Netzwerkrahmen 206 die ersteren und verwendet nur die Objektbilddaten 302 bei der Aktualisierung des neuronalen Netzwerks 208'. Auf diese Weise kann der neuronale Netzwerkrahmen 206 so trainiert werden, dass er Hintergrundbilddaten identifiziert, die für die Identifizierung des von einem Scanner erfassten Objekts nicht nützlich sind, und diese Informationen entfernt. In der Tat kann der Rahmen 206 durch überwachte oder nicht überwachte Techniken Klassifikatoren zur Identifizierung von Hintergrundbilddaten entwickeln, wenn mit der Zeit mehr Bildscandaten gesammelt werden.In the exemplary embodiment, the image feature manager identifies 210 the physical features in the image scan data and sends the correlated image data set 212 to the neural network frame 206 , which analyzes this image data set and identifies two types of information in this image data set: object image data 302 and background image data 304 . For example, the neural network frame 206 the received image data set 212 ' compare with previously received image scan data in order to identify anomalous features in the received data set, these anomalous features corresponding to the background image data acquired by the scanning station. Background image data can e.g. B. particularly be present in image scan data captured at the point of sale during a transaction. Background image data can be any image data that is not identified as object image data. Examples of this are parts of the environment around an object, the devices used at a point of sale station, the hand of the scanning staff and other image data from the near and far field. The neural networks can be trained to identify such background image data; in some examples, this training continues while the system is operating, allowing the system to adapt to changes in the environment in which the object is being scanned. After identifying the background data 204 and the object image data 302 removes the neural network frame 206 the former and uses only the object image data 302 when updating the neural network 208 ' . In this way, the neural network framework 206 trained to identify background image data that is not useful in identifying the object being scanned and remove that information. Indeed, the framework can 206 develop classifiers, through supervised or unsupervised techniques, to identify background image data as more image scan data is collected over time.

In einigen Beispielen identifiziert das Schema 300 zwar Hintergrundbilddaten in Bildern eines bestimmten Objekts oder eines Satzes von Objekten, aber der neuronale Netzwerkrahmen 206 entwickelt Klassifikatoren zur Identifizierung dieser Hintergrundbilddaten in allen empfangenen Bildscandaten, unabhängig davon, welches Objekt in diesen Bilddaten erfasst ist.In some examples, identifies the schema 300 background image data in images of a particular object or set of objects, but the neural network frame 206 develops classifiers to identify this background image data in all received image scan data, regardless of which object is captured in this image data.

4 zeigt ein weiteres Schema 400 mit den gleichen Merkmalen wie in 2, jedoch mit einem anderen Beispiel für die Implementierung des Trainingsmodus. Im Schema 300 enthalten die Trainingsbild-Scandaten 204 Bilder von verschiedenen Versionen desselben Objekts. Das gescannte Objekt kann z. B. eine Getränkeflasche oder eine Verpackung von Getränkeflaschen sein. In einigen Versionen hat die Getränkeflasche eine reguläre Version ihrer Produktkennzeichnung auf der Außenseite der Flasche. In anderen Versionen kann diese Produktkennzeichnung jedoch geringfügig oder erheblich von dieser regulären Version abweichen. Zum Beispiel kann die Kennzeichnung spezielle Zeichen oder Änderungen für Feiertagsversionen der Getränkeflasche enthalten. In einigen Versionen hat sich die eigentliche Flasche selbst gegenüber der regulären Flaschenform verändert. In einigen Versionen ändert sich die Flaschenform im Laufe der Zeit leicht. In jedem Fall erfasst der Bildmerkmalsverwalter 210 die Bildscandaten. 4th shows another scheme 400 with the same characteristics as in 2 , but with a different example of the implementation of the training mode. In the scheme 300 contain the training image scan data 204 Images of different versions of the same object. The scanned object can e.g. B. be a beverage bottle or a packaging of beverage bottles. In some versions, the beverage bottle has a regular version of its product identification on the outside of the bottle. In other versions, however, this product identification may differ slightly or significantly from this regular version. For example, the label may contain special characters or changes for holiday versions of the beverage bottle. In some versions, the actual bottle itself has changed from the regular bottle shape. In some versions, the bottle shape changes slightly over time. In either case, the image feature manager captures 210 the image scan data.

In beispielhaften Ausführungsformen wird der neuronale Netzwerkrahmen 206 so trainiert, dass er den Bilddatensatz 212 empfängt und nur variierte Objektbilddaten identifiziert, z. B. physikalische Merkmale, die von erwarteten physikalischen Merkmalen abweichen, die bereits mit den Objektidentifikationsdaten korreliert sind, die den Bildscandaten entsprechen. Beispielsweise ermittelt der Server Identifikationsdaten für ein gescanntes Objekt aus den dekodierten Merkmalen. Der Server bestimmt aus den zuvor ermittelten Gewichtungen, welche physikalischen Merkmale mit diesen Identifikationsdaten korreliert sind. Der neuronale Netzwerkrahmen 206 des Servers identifiziert dann aus den neu empfangenen Bildscandaten, wo Variationen in diesen physikalischen Merkmalen auftreten. Der neuronale Netzwerkrahmen 206 kann z. B. erwarten, dass ein äußeres 2D-Profil einer Getränkeflasche ein bestimmtes Profil aufweist. Der neuronale Netzwerkrahmen 206 kann mehrschichtige Klassifizierer verwenden, um eine Reihe anderer physikalischer Merkmale zu bewerten, die bestätigen, dass die empfangenen Bildscandaten von der Getränkeflasche stammen, aber der neuronale Netzwerkrahmen 206 kann zusätzlich bestimmen, dass das 2D-Profil der Getränkeflasche leicht variiert, wie es von Jahr zu Jahr aufgrund von Produktänderungen oder saisonalen Änderungen auftreten kann. In solchen Beispielen kann der neuronale Netzwerkrahmen 206 nur die veränderten Objektbilddaten identifizieren und diese Daten zur Aktualisierung des trainierten neuronalen Netzwerks 208' verwenden.In exemplary embodiments, the neural network frame 206 trained so that he can see the image dataset 212 receives and only identifies varied object image data, e.g. B. physical features that differ from expected physical features that are already correlated with the object identification data corresponding to the image scan data. For example, the server determines identification data for a scanned object from the decoded features. From the previously determined weightings, the server determines which physical features are correlated with this identification data. The neural network frame 206 the server then identifies from the newly received image scan data where variations in these physical characteristics occur. The neural network frame 206 can e.g. B. expect that an outer 2D profile of a beverage bottle has a certain profile. The neural network frame 206 may use multilayer classifiers to evaluate a number of other physical characteristics that confirm that the received image scan data is from the beverage bottle but the neural network frame 206 can additionally determine that the 2D profile of the beverage bottle varies slightly as it can occur from year to year due to product changes or seasonal changes. In such examples, the neural network frame 206 identify only the changed object image data and this data for updating the trained neural network 208 ' use.

5 zeigt eine schematische Darstellung 500, die veranschaulicht, dass Bildscandaten 502 2D-Bilder von den Scanstationen 504A und 504B und 3D-Bildscandaten von einem bioptischen Scanner 506 oder einer anderen 3D-Bildgebungsvorrichtung enthalten können. In einem Beispiel erfasst der bioptische Scanner 506 mehrere 2D-Bilder des Objekts, und solche 2D-Bilder werden in einer Bildkombinationsprozessorvorrichtung 508 kombiniert, um 3D-Bildscandaten zu bilden. Im dargestellten Beispiel kommunizieren die Scanstationen 504A und 504B und die Bildkombinationsprozessorvorrichtung 508 ihre jeweiligen Bildscandaten über ein Netzwerk 512 an einen Bildverarbeitungs- und Anti-Täuschungsserver 510. Wie bei den anderen Beispielen hier beinhaltet der Bildverarbeitungs- und Anti-Täuschungsserver einen neuronales Netzwerkrahmen. 5 shows a schematic representation 500 that illustrates image scan data 502 2D images from the scan stations 504A and 504B and 3D image scan data from a biopsy scanner 506 or another 3D imaging device. In one example, the biopsy scanner captures 506 several 2D images of the object, and such 2D images are stored in an image combination processing device 508 combined to form 3D image scan data. In the example shown, the scan stations communicate 504A and 504B and the image combination processor device 508 their respective image scan data over a network 512 to an image processing and anti-deception server 510 . As with the other examples here, the image processing and anti-deception server includes a neural network frame.

6 zeigt ein Flussdiagramm eines Prozesses 600, der während eines Trainingsmodus des Bildverarbeitungs- und Anti-Täuschungssystemservers 120 durchgeführt werden kann. Bildscandaten eines Objekts werden in einem Block 602, z. B. am Server 120, vom Scanner 104 empfangen. Im Trainingsmodus enthalten die Bildscandaten typischerweise dekodierte Zeichendaten, die dem Objekt entsprechen. In einem Block 604 werden die dekodierten Zeichendaten verwendet, um ein entsprechendes Produkt zu identifizieren, das diesen Zeichendaten zugeordnet ist, z. B. durch Abfrage der Bestandsverwaltungssteuerung 124, was zu Produktidentifikationsdaten führt. 6th Figure 3 shows a flow diagram of a process 600 running during a training mode of the vision and anti-deception system server 120 can be carried out. Image scan data of an object is in one block 602 , e.g. B. on the server 120 , from the scanner 104 receive. In the training mode, the image scan data typically contains decoded character data corresponding to the object. In a block 604 the decoded character data is used to identify a corresponding product associated with this character data, e.g. B. by querying the inventory management control 124 which leads to product identification data.

In einem Block 606 identifiziert der Bildmerkmalsverwalter 126 physikalische Merkmale in den empfangenen Bildscandaten. In anderen Beispielen kann der Scanner oder die Scanstation physikalische Merkmale bestimmen und diese an den Server 120 senden. Die Merkmale können über das gesamte Bild der Bildscandaten oder nur über einen Teil davon identifiziert werden. In einigen Beispielen identifiziert der Block 606 physikalische Merkmale, die einem zuvor festgelegten Satz physikalischer Merkmale entsprechen. In einigen Beispielen identifiziert der Block 606 alle identifizierbaren physikalischen Merkmale. In einigen Beispielen ist der Block 606 so konfiguriert, dass er Merkmale sequentiell identifiziert und die Identifizierung physikalischer Merkmale stoppt, nachdem eine vorbestimmte Anzahl physikalischer Merkmale identifiziert worden ist. In einigen Beispielen kann der Block 606 so konfiguriert sein, dass er Merkmale in einer Reihenfolge identifiziert, die den zuvor festgelegten Gewichtungen für die physikalischen Merkmale entspricht. In jedem Fall kann der Bildmerkmalsverwalter 126 im Block 206 eine Kantenerkennung, Mustererkennung, formbasierte Bildsegmentierung, farbbasierte Bildsegmentierung oder andere Bildverarbeitungsoperationen durchführen, um physikalische Merkmale über alle oder Teile der Bildscandaten zu identifizieren. In einigen Beispielen führt der Block 206 eine weitere Bildverarbeitung an diesen Teilen durch, um physikalische Merkmale des Objekts zu bestimmen, z. B. um Bildrauschen zu reduzieren.In a block 606 identifies the image feature manager 126 physical characteristics in the received image scan data. In other examples, the scanner or the scanning station can determine physical characteristics and send them to the server 120 send. The features can be identified over the entire image of the image scan data or only over a portion thereof. In some examples, the block identifies 606 physical characteristics that correspond to a predetermined set of physical characteristics. In some examples, the block identifies 606 all identifiable physical characteristics. In some examples, the block is 606 configured to sequentially identify features and stop identifying physical features after a predetermined number of physical features have been identified. In some examples, the block 606 be configured to identify features in an order corresponding to the predetermined weights for the physical features. In either case, the image feature manager 126 in the block 206 perform edge detection, pattern recognition, shape-based image segmentation, color-based image segmentation, or other image processing operations to identify physical features across all or portions of the image scan data. In some examples, the block leads 206 perform further image processing on these parts to determine physical characteristics of the object, e.g. B. to reduce image noise.

Im Beispiel eines Produkts als Scanobjekt, wie z. B. Fleisch in einer Tiefkühlabteilung eines Einzelhandelsgeschäfts, kann der Block 206 einen Teil der Bildscandaten als den Teil der Bildscandaten identifizieren, der das Fleisch umfasst und den Teil der Bildscandaten ausschließt, der einer Styroporverpackung des Fleisches entspricht. In anderen Beispielen kann der Block 206 den umgekehrten Fall identifizieren, d. h. den Teil der Verpackung und nicht das Produkt, für die weitere Analyse.In the example of a product as a scan object, such as B. Meat in a freezer section of a retail store, the block can 206 identify a part of the image scan data as the part of the image scan data which includes the meat and excludes the part of the image scan data which corresponds to a styrofoam packaging of the meat. In other examples, the block 206 identify the reverse case, ie the part of the packaging and not the product, for further analysis.

In einigen Beispielen ist der Teil der Bildscandaten ein Teil, der alle oder zumindest einen Teil der Zeichen enthält. In einigen Beispielen enthält der Teil der Bildscandaten Teile, die die Zeichen ausschließen, so dass die Authentifizierung, die bei der Täuschungserkennung erfolgt, mit nicht überlappenden Daten arbeitet. In einigen Beispielen sind die Bildscandaten 3D-Bilddaten, die aus einer Vielzahl von Punkten mit dreidimensionalen Daten gebildet sind, und der Teil der Bildscandaten ist entweder ein 2D-Teil dieser 3D-Bilddaten oder ein 3D-Teil davon.In some examples, the portion of the image scan data is a portion that includes all or at least a portion of the characters. In some examples, the portion of the image scan data includes portions that exclude the characters so that the authentication that occurs in the case of deception detection works with non-overlapping data. In some examples, the image scan data is 3D image data composed of a plurality of points with three-dimensional data, and the part of the image scan data is either a 2D part of this 3D image data or a 3D part thereof.

Mit den analysierten Bildscandaten und den identifizierten physikalischen Merkmalen werden in einem Block 608 die aus den Bilddaten ermittelten physikalischen Merkmale mit den aus dem Block 604 erhaltenen Produktidentifikationsdaten korreliert, und diese korrelierten Daten werden an einen neuronalen Netzwerkrahmen gesendet, der Block 610 implementiert.With the analyzed image scan data and the identified physical features are in a block 608 the physical features determined from the image data with those from the block 604 obtained product identification data is correlated, and this correlated data is sent to a neural network frame, the block 610 implemented.

Der neuronale Netzwerkrahmen in Block 612 entwickelt (oder aktualisiert) ein neuronales Netzwerk gemäß den hier beschriebenen Beispielprozessen. Das heißt, in einigen Beispielen ist das neuronale Netzwerk so konfiguriert, dass es die physikalischen Merkmale in dem Teil der Bildscandaten untersucht und über einen großen Trainingssatz von Bildern einen Gewichtungsfaktor für eines oder mehrere dieser physikalischen Merkmale bestimmt, wobei der Gewichtungsfaktor ein relativer Wert ist, der die Wahrscheinlichkeit angibt, dass das physikalische Merkmal das Produkt genau von anderen Produkten unterscheiden kann. Zum Beispiel kann für ein Produkt ein physikalisches Merkmal, wie die Gesamtgröße einer Verpackung oder die Farbe der Verpackung, bestimmt werden, um einen höheren Gewichtungsfaktor zu haben, verglichen mit einem physikalischen Merkmal, wie die Länge des Objekts oder die Position der Zeichen auf dem Objekt. In einigen Beispielen kann der Gewichtungsfaktor für eine Sammlung von verknüpften physikalischen Merkmalen bestimmt werden, was zu einer höheren Genauigkeit bei der Objektidentifizierung führen kann.The neural network frame in blocks 612 develop (or update) a neural network according to the example processes described here. That is, in some examples the neural network is configured to examine the physical features in the portion of the image scan data and, over a large training set of images, determine a weighting factor for one or more of these physical features, the weighting factor being a relative value, which indicates the probability that the physical characteristic can precisely distinguish the product from other products. For example, for a product, a physical characteristic such as the overall size of a package or the color of the package can be determined to have a higher weighting factor compared to a physical characteristic such as the length of the object or the position of the characters on the object . In some examples, the weighting factor can be determined for a collection of related physical features, which can lead to a higher accuracy in the object identification.

In einigen Beispielen enthält das neuronale Trainingsnetzwerk aus Block 612 einen charakteristischen Satz von physikalischen Merkmalen des Objekts, wobei dieser charakteristische Satz den Satz von Merkmalen darstellt, von dem das neuronale Netzwerk festgestellt hat, dass er minimal ausreichend prädiktiv für das Objekt ist. In einigen Beispielen kann dieser Merkmalssatz ein Satz sein, der eine Objektvorhersage mit einer Genauigkeit von mehr als 60 %, mehr als 70 %, mehr als 80 %, mehr als 90 %, mehr als 95 % oder mehr als 99 % bereitstellt.In some examples, the training neural network includes block 612 a characteristic set of physical features of the object, this characteristic set representing the set of features which the neural network has determined to be minimal is sufficiently predictive for the object. In some examples, this feature set can be a set that provides an object prediction with an accuracy of greater than 60%, greater than 70%, greater than 80%, greater than 90%, greater than 95%, or greater than 99%.

7 zeigt eine weitere Beispielimplementierung des Trainingsmodus als Prozess 700. In den Blöcken 702, 704 und 706 werden Bildscandaten empfangen, Produktidentifikationsdaten aus dekodierten Zeichendaten bestimmt und physikalische Merkmale aus den Bildern identifiziert, ähnlich wie bei Prozess 600 beschrieben. In einem Block 708 vergleicht ein neuronaler Netzwerkrahmen die identifizierten physikalischen Merkmale mit zuvor identifizierten Bildmerkmalen in einem trainierten Datensatz, z. B. unter Anwendung eines mehrschichtigen Klassifikationsprozesses. Anhand des Vergleichs klassifiziert der Block 708 die Bildmerkmale in eine von drei Klassen: Hintergrundbilddaten 710, Objektbilddaten 712 und Variationen zu Objektbilddaten 714. Die klassifizierten Bilddatentypen werden an einen Block 716 gesendet, wo der neuronale Netzwerkrahmen ein neuronales Netzwerk entwickelt (oder aktualisiert), gemäß den hier beschriebenen Beispielprozessen. 7th shows another example implementation of training mode as a process 700 . In the blocks 702 , 704 and 706 image scan data are received, product identification data are determined from decoded character data and physical features are identified from the images, similar to process 600 described. In a block 708 a neural network frame compares the identified physical features with previously identified image features in a trained data set, e.g. B. using a multilayer classification process. The block classifies on the basis of the comparison 708 the image features into one of three classes: background image data 710 , Object image data 712 and variations on object image data 714 . The classified image data types are sent to a block 716 where the neural network frame develops (or updates) a neural network, according to the example processes described herein.

In einem anderen Beispiel arbeiten die Scanstation 102 und der Server 120 in einem Täuschungserkennungsmodus. Mit einem neuronalen Netzwerk, das gemäß den hier beschriebenen Techniken trainiert wurde, kann der Täuschungserkennungsmodus aus Bildscandaten erkennen, wenn gescannte Bilddaten nicht den gescannten Produktidentifikationsdaten entsprechen. Im Täuschungserkennungsmodus ist der Server 120 in einer Beispielimplementierung in der Lage, eine Transaktion an dem Verkaufspunkt 100 zu autorisieren, einen Alarm für eine nicht autorisierte Transaktion an dem Verkaufspunkt 100 an die Scanstation 102 zu senden oder die Transaktion außer Kraft zu setzen und eine sekundäre Transaktion als Reaktion auf eine nicht autorisierte Transaktion an dem Verkaufspunkt 100 durchzuführen.In another example, the scanning station is working 102 and the server 120 in a deception detection mode. With a neural network trained according to the techniques described here, the deception detection mode can detect from image scan data when the scanned image data does not correspond to the scanned product identification data. The server is in deception detection mode 120 in a sample implementation able to initiate a transaction at the point of sale 100 to authorize an alert for an unauthorized transaction at the point of sale 100 to the scanning station 102 to send or override the transaction and a secondary transaction in response to an unauthorized transaction at the point of sale 100 perform.

8 zeigt ein Beispiel für einen Täuschungserkennungsmodus 800. Ein Bildverarbeitungs- und Anti-Täuschungsserver empfängt in Block 802 Bildscandaten mit dekodierten Zeichen. In einem Block 804 verarbeitet der Server die empfangenen Bildscandaten und identifiziert das Zeichenbild in den Bildscandaten und entfernt dieses Zeichenbild aus den Scandaten. Das Ergebnis des Blocks 804 sind Bilder, aus denen die Zeichen entfernt wurden. Dies ermöglicht es dem Anti-Täuschungsserver, die Bilddaten unabhängig von den Zeichen zu analysieren. Bei einem typischen Täuschungsversuch versucht ein Kunde oder ein Vertriebsmitarbeiter, die Zeichen, z. B. den Strichcode, für ein Produkt durch ein Zeichen für einen günstigeren Artikel zu ersetzen, der dann dem Kunden in Rechnung gestellt wird, um die Transaktion abzuwickeln. Im Prozess 800 werden jedoch in Block 804 Bilddaten generiert, bei denen das Zeichen, z. B. ein falsches Zeichen, entfernt wurde. 8th shows an example of a deception detection mode 800 . An image processing and anti-deception server receives in block 802 Image scan data with decoded characters. In a block 804 the server processes the received image scan data and identifies the character image in the image scan data and removes this character image from the scan data. The result of the block 804 are images from which the characters have been removed. This enables the anti-deception server to analyze the image data independently of the characters. In a typical attempt at deception, a customer or sales rep tries to use the characters; B. to replace the barcode for a product with a sign for a cheaper item, which is then billed to the customer to process the transaction. In process 800 however, are in block 804 Generated image data in which the character, e.g. B. a wrong character, has been removed.

Der Block 804 identifiziert dann Bildmerkmale in den Bildern, um zeichenbefreite Bildmerkmale zu erzeugen. Das heißt, dies können Bildmerkmale sein, die nur aus dem Teil der Bildscandaten ermittelt werden, der Bilddaten auf dem Objektscanner und nicht auf dem Zeichen innerhalb des ursprünglich gescannten Bildes enthält.The block 804 then identifies image features in the images to generate character-free image features. That is, these can be image features that are only determined from the part of the image scan data that contains image data on the object scanner and not on the character within the originally scanned image.

In einem Beispiel werden die zeichenbefreiten Bildmerkmale an einen Block 806 gesendet, der entsprechende Produktinformationen aus den zeichenbefreiten Bildmerkmalen bestimmt, z. B. unter Verwendung des trainierten neuronalen Netzwerks und der gewichteten Bildmerkmale.In one example, the character-exempt image features are attached to a block 806 sent, the corresponding product information determined from the character-exempt image features, z. B. using the trained neural network and the weighted image features.

Im dargestellten Beispiel werden separat dekodierte Zeichendaten, die aus den im Bild gescannten Zeichen bestimmt wurden, an einen Block 808 gesendet, der separat Produktinformationsdaten auf der Grundlage der Merkmale identifiziert. Die Produktidentifikationsdaten werden also aus zwei verschiedenen Daten ermittelt, zeichenbefreite Bilddaten und aus den dekodierten Zeichendaten. Bei einem Täuschungsversuch führen die beiden unterschiedlichen Daten zu zwei unterschiedlichen identifizierten Produkten. Im dargestellten Beispiel des Prozesses 800 wird in einem Block 810 bestimmt, ob die beiden Produktidentifikationsdaten übereinstimmen, und wenn dies der Fall ist, wird die Transaktion authentifiziert und ein Authentifizierungssignal vom Server über Block 812 an die Scanstation übermittelt. Bei Nicht-Übereinstimmung wird vom Server ein Alarmsignal erzeugt und über Block 814 an die Scanstation gesendet.In the example shown, separately decoded character data, which were determined from the characters scanned in the image, are sent to a block 808 which separately identifies product information data based on the characteristics. The product identification data are thus determined from two different data, character-free image data and from the decoded character data. In the case of an attempt at deception, the two different data lead to two different identified products. In the example of the process shown 800 will be in a block 810 determines whether the two product identification data match, and if so, the transaction is authenticated and an authentication signal from the server via block 812 transmitted to the scanning station. If there is a mismatch, an alarm signal is generated by the server and via block 814 sent to the scan station.

In einigen Beispielen erzeugt der Block 810 eine Übereinstimmungsvorhersage in Form einer Übereinstimmungsvorhersagebewertung, die die Wahrscheinlichkeit angibt, dass die aus den zeichenbefreiten Bildmerkmalen identifizierte Produktinformation mit der aus den dekodierten Zeichendaten identifizierten Produktinformation übereinstimmt. In einigen Beispielen ist die Übereinstimmungsvorhersage ein Prozentwert.In some examples, the block generates 810 a match prediction in the form of a match prediction evaluation which indicates the probability that the product information identified from the character-exempted image features matches the product information identified from the decoded character data. In some examples, the match prediction is a percentage.

9 zeigt ein weiteres Beispiel für einen Täuschungserkennungsprozess 900. Die Blöcke 902, 904, 906 und 908 funktionieren ähnlich wie die entsprechenden Blöcke im Prozess 800. In Block 910 vergleicht ein Bildverarbeitungs- und Anti-Täuschungsserver die beiden resultierenden Produktidentifikationsdaten und bestimmt, ob es eine Übereinstimmung gibt. Wenn es eine Übereinstimmung gibt, wird die Transaktion authentifiziert und ein Authentifizierungssignal wird vom Server über einen Block 912 an die Scanstation gesendet. Beispielsweise kann der Block 910 eine Übereinstimmungsvorhersage in Form einer Übereinstimmungsvorhersagebewertung erzeugen, die eine Wahrscheinlichkeit angibt, dass die aus den zeichenbefreiten Bildmerkmalen identifizierten Produktinformationen mit den aus den dekodierten Zeichendaten identifizierten Produktinformationen übereinstimmen. In einigen Beispielen ist die Übereinstimmungsvorhersage ein Prozentwert. 9 shows another example of a deception detection process 900 . The blocks 902 , 904 , 906 and 908 work similarly to the corresponding blocks in the process 800 . In block 910 an image processing and anti-deception server compares the two resulting product identification data and determines whether there is a match. If there is a match, the transaction is authenticated and an authentication signal is sent from the server over a block 912 sent to the scan station. For example, the block 910 generate a match prediction in the form of a match prediction rating which indicates a probability that the product information identified from the character-exempted image features match the product information identified from the decoded character data. In some examples, the match prediction is a percentage.

Der Prozess 900 unterscheidet sich jedoch von Prozess 800 dadurch, dass der Prozess 900 bei Nichtübereinstimmung die Transaktion auflöst, anstatt einen Alarm zu senden. Im dargestellten Beispiel ermittelt der Anti-Täuschungsserver in Block 914 für jede der beiden identifizierten Produktinformationen, welche der beiden Produktinformationen eine höhere Priorität hat. Die Priorität eines Produkts kann durch den Zugriff auf eine Bestandsverwaltungssteuerung und den Erhalt spezifischer Produktdaten zu dem Produkt bestimmt werden. Die Priorität eines Produkts kann auf dem Preis eines Produkts basieren, wobei das höherpreisige Produkt eine höhere Priorität hat als das niedrigpreisige Produkt. Die Priorität eines Produkts kann auf anderen Produktdaten basieren, z. B. auf der Höhe des Preisnachlasses, wenn das Produkt im Ausverkauf ist. Die Priorität kann auf anderen Produktdaten basieren, z. B. auf der Höhe des verbleibenden Lagerbestands des Produkts, darauf, ob das Produkt wieder eingelagert werden kann, auf der Rückverfolgbarkeit des Produkts, darauf, ob das Produkt verderblich ist, darauf, ob das Produkt stark nachgefragt wird, auf einer Kategorieklassifizierung des Produkts, z. B. darauf, ob das Produkt ein essenzieller Haushaltsartikel oder ein lebensnotwendiger Artikel oder ein Haushaltsprodukt im Vergleich zu einem nicht notwendigen Einrichtungsprodukt ist, auf einer Gewinnspanne des Einzelhändlers für das Produkt, auf einer Rückverfolgbarkeit des Produkts (z. B. 1. ein Smart-TV, der eine Geo-Aktivierung erfordert, wird mit geringerer Wahrscheinlichkeit gestohlen als einer ohne Aktivierung, 2. ein mit RFID gekennzeichnetes Kleidungsstück wird mit geringerer Wahrscheinlichkeit gestohlen als ein nicht mit RFID gekennzeichnetes, da der Artikel möglicherweise auch nach dem Verkauf verfolgt werden könnte).The process 900 however, differs from process 800 by having the process 900 if there is a mismatch, resolves the transaction instead of sending an alert. In the example shown, the anti-deception server determines in blocks 914 for each of the two product information identified, which of the two product information has a higher priority. The priority of a product can be determined by accessing an inventory management control and obtaining specific product data on the product. The priority of a product can be based on the price of a product, with the higher priced product having a higher priority than the lower priced product. A product's priority can be based on other product data, e.g. B. at the level of the discount if the product is on sale. The priority can be based on other product data, e.g. B. on the amount of the remaining stock of the product, on whether the product can be put back into storage, on the traceability of the product, on whether the product is perishable, on whether the product is in high demand, on a category classification of the product, z. On whether the product is an essential household item or a vital item or a household product compared to a non-essential furnishing product, on a retailer's profit margin for the product, on a traceability of the product (e.g. 1. a smart TV that requires geo-activation is less likely to be stolen than one without activation, 2. an item of clothing marked with RFID is less likely to be stolen than one that is not marked with RFID, as the item could possibly also be tracked after it has been sold) .

Jede dieser Prioritäten kann durch Anwendung einer Prioritätsheuristik bestimmt werden (z. B. hochpreisiges Produkt gewinnt Priorität, Produkt mit geringerem Bestand gewinnt Priorität, verderbliches Produkt gewinnt Priorität). Solche Prioritätsheuristiken können z. B. auf dem Server 120 gespeichert und ausgeführt werden. Im Prozess 900 bestimmt der Server in einem Block 916, ob eine Prioritätsheuristik vorhanden ist, und wenn nicht, dann wird ein gewöhnlicher Alarmmodus aktiviert und ein Alarmsignal vom Server über Block 918 an die Scanstation gesendet. Einige Verwalter von Einzelhandelsgeschäften können zum Beispiel über ein Kommunikationsnetzwerk eine Anweisung an den Anti-Täuschungsserver senden, um die Prioritätsheuristik zu deaktivieren, damit Transaktionen nicht außer Kraft gesetzt werden.Each of these priorities can be determined by applying a priority heuristic (e.g. high-priced product wins priority, product with lower inventory wins priority, perishable product wins priority). Such priority heuristics can e.g. B. on the server 120 saved and executed. In process 900 determines the server in a block 916 whether a priority heuristic is present, and if not, then an ordinary alarm mode is activated and an alarm signal from the server via block 918 sent to the scan station. For example, some retail store managers may send an instruction to the anti-deception server over a communications network to disable the priority heuristic so that transactions are not overridden.

Im dargestellten Beispiel wendet der Anti-Täuschungsserver, wenn eine Prioritätsheuristik existiert, in einem Block 920 diese Prioritätsheuristik an, bestimmt, welches Produkt an dem Verkaufspunkt berechnet werden soll, und dann authentifiziert der Server die Transaktion auf der Grundlage dieser Heuristik und übermittelt Transaktionsdaten, einschließlich einer Identifikation des Produkts und des Produktpreises, an die Scanstation, um die Transaktion vollständig abzuschließen. In einigen Beispielen sendet der Anti-Täuschungsserver ein Transaktionsabschlusssignal an die Scanstation, um die Transaktion ohne weitere Eingaben des Kunden, des Verkaufsmitarbeiters usw. an dem Verkaufspunkt automatisch abzuschließen.In the example shown, if a priority heuristic exists, the anti-deception server applies in a block 920 this priority heuristic determines which product should be charged at the point of sale, and then the server authenticates the transaction based on this heuristic and transmits transaction data, including an identification of the product and the product price, to the scanning station in order to complete the transaction. In some examples, the anti-deception server sends a transaction completion signal to the scanning station to automatically complete the transaction without further input from the customer, sales representative, etc. at the point of sale.

In der vorstehenden Beschreibung wurden spezifische Ausführungsformen beschrieben. Ein Durchschnittsfachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne den Schutzumfang der Erfindung, wie sie in den untenstehenden Ansprüchen definiert ist, abzuweichen. Dementsprechend sind die Beschreibung und die Figuren vielmehr in einem illustrativen als in einem einschränkenden Sinne zu betrachten, und alle derartigen Modifikationen sollen im Umfang der vorliegenden Lehren eingeschlossen sein. Darüber hinaus sollten die beschriebenen Ausführungsformen/Beispiele/Implementierungen nicht als sich gegenseitig ausschließend interpretiert werden, sondern als potentiell kombinierbar verstanden werden, wenn solche Kombinationen in irgendeiner Weise permissiv sind. Mit anderen Worten kann jedes Merkmal, das in einer der vorgenannten Ausführungsformen/Beispiele/Implementierungen offenbart ist, in jeder der anderen vorgenannten Ausführungsformen/Beispiele/Implementierungen enthalten sein.In the above description, specific embodiments have been described. However, one of ordinary skill in the art will recognize that various modifications and changes can be made without departing from the scope of the invention as defined in the claims below. Accordingly, the specification and figures are to be regarded in an illustrative rather than a restrictive sense, and all such modifications are intended to be included within the scope of the present teachings. In addition, the described embodiments / examples / implementations should not be interpreted as mutually exclusive, but rather as potentially combinable if such combinations are permissive in any way. In other words, any feature disclosed in any of the aforementioned embodiments / examples / implementations may be included in any of the other aforementioned embodiments / examples / implementations.

Die Nutzen, Vorteile, Lösungen für Probleme und alle Elemente, die zum Auftreten oder einer Verstärkung eines Nutzens, eines Vorteils, oder einer Lösung führen können, sind nicht als kritische, erforderliche oder wesentliche Merkmale oder Elemente in einigen oder sämtlichen Ansprüchen zu verstehen. Die Erfindung ist lediglich durch die angehängten Ansprüche definiert, einschließlich jeglicher Änderungen, die während der Anhängigkeit dieser Anmeldung vorgenommen wurden und aller Äquivalente der erteilten Ansprüche.The benefits, advantages, solutions to problems and all elements that may lead to the occurrence or amplification of a benefit, an advantage or a solution are not to be understood as critical, required or essential features or elements in any or all of the claims. The invention is defined only by the appended claims, including any changes made during the pendency of this application and all equivalents of the granted claims.

Darüber hinaus können in diesem Dokument relationale Begriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Ausdrücke „umfasst“, „umfassend“, „hat“, „haben“, „aufweist“, „aufweisend“, „enthält“, „enthaltend“ oder jede andere Variation davon sollen eine nicht-ausschließliche Einbeziehung abdecken, derart, dass ein Prozess, Verfahren, Produkt oder Vorrichtung, das eine Liste von Elementen umfasst, hat, aufweist, enthält, nicht nur diese Elemente aufweist, sondern auch andere Elemente aufweisen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Produkt oder Vorrichtung inhärent sind. Ein Element, dem „umfasst ... ein“, „hat ... ein“, „aufweist ... ein“ oder „enthält ...ein“ vorausgeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Produkt oder der Vorrichtung, die das Element umfasst, hat, aufweist oder enthält, nicht aus. Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern es hierin nicht ausdrücklich anders angegeben wird. Die Begriffe „im Wesentlichen“, „im Allgemeinen“, „ungefähr“, „etwa“ oder jede andere Version davon sind so definiert, dass sie von einem Fachmann auf diesem Gebiet nahekommend verstanden werden, und in einer nicht-einschränkenden Ausführungsform ist der Ausdruck definiert als innerhalb von 10%, in einer weiteren Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in einer weiteren Ausführungsform als innerhalb von 0,5%. Der Ausdruck „gekoppelt“, wie er hierin verwendet wird, ist als verbunden definiert, jedoch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder eine Struktur, die auf eine bestimmte Art „konfiguriert“ ist, ist zumindest auch so konfiguriert, kann aber auch auf Arten konfiguriert sein, die nicht aufgeführt sind.Furthermore, relational terms such as first and second, upper and lower, and the like, may be used in this document merely to distinguish one entity or action from another entity or action, without necessarily implying any actual such relationship or order between such entities or actions require or imply. The terms “comprises”, “comprising”, “has”, “having”, “having”, “having”, “containing”, “containing” or any other variation thereof are intended to cover non-exclusive inclusion such that a Process, method, product or device that comprises, has, has, contains, not only has these elements, but may also have other elements that are not expressly listed or are inherent in such a process, method, product or device are. An element preceded by "comprises ... a", "has ... a", "has ... a" or "contains ... a" excludes, without further restrictions, the existence of additional identical elements in the process, does not affect the method, product, or device comprising, having, or containing the element. The terms “a” and “an” are defined as one or more unless expressly stated otherwise herein. The terms “substantially,” “generally,” “approximately,” “about,” or any other version thereof, are defined to be readily understood by one of ordinary skill in the art, and in one non-limiting embodiment, the term is defined as within 10%, in a further embodiment as within 5%, in a further embodiment as within 1% and in a further embodiment as within 0.5%. As used herein, the term “coupled” is defined as connected, but not necessarily directly and not necessarily mechanically. A device or structure that is "configured" in a certain way is at least so configured as well, but may also be configured in ways that are not listed.

Es versteht sich, dass einige Ausführungsformen von einem oder mehreren generischen oder spezialisierten Prozessoren (oder „Verarbeitungsgeräten“) wie Mikroprozessoren, digitale Signalprozessoren, kundenspezifische Prozessoren und Field-Programmable-Gate-Arrays (FPGAs) und einmalig gespeicherten Programmanweisungen (einschließlich sowohl Software als auch Firmware) umfasst sein können, die den einen oder die mehreren Prozessoren steuern, um in Verbindung mit bestimmten Nicht-Prozessorschaltungen einige, die meisten oder alle der hierin beschriebenen Funktionen des Verfahrens und/oder der Vorrichtung zu implementieren. Alternativ können einige oder alle Funktionen durch eine Zustandsmaschine implementiert sein, die keine gespeicherten Programmanweisungen aufweist, oder in einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs), in denen jede Funktion oder einige Kombinationen von bestimmten Funktionen als benutzerdefinierte Logik implementiert sind. Natürlich kann eine Kombination der beiden Ansätze verwendet werden.It will be understood that some embodiments may include one or more generic or specialized processors (or "processing devices") such as microprocessors, digital signal processors, custom processors, and field programmable gate arrays (FPGAs) and one-time stored program instructions (including both software and Firmware) that control the one or more processors to implement in conjunction with certain non-processor circuitry some, most, or all of the functions of the method and / or apparatus described herein. Alternatively, some or all of the functions may be implemented by a state machine that does not have stored program instructions, or in one or more application specific integrated circuits (ASICs) in which each function or some combination of certain functions is implemented as user-defined logic. Of course, a combination of the two approaches can be used.

Darüber hinaus kann eine Ausführungsform als ein computerlesbares Speichermedium implementiert sein, auf dem computerlesbarer Code gespeichert ist, um einen Computer (der zum Beispiel einen Prozessor umfasst) zu programmieren, um ein Verfahren auszuführen, wie es hierin beschrieben und beansprucht ist. Beispiele solcher computerlesbaren Speichermedien weisen eine Festplatte, eine CD-ROM, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, einen ROM (Nur-Lese-Speicher), einen PROM (programmierbarer Nur-Lese-Speicher), einen EPROM (löschbarer programmierbarer Nur-Lese-Speicher), einen EEPROM (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und einen Flash-Speicher auf, sind aber nicht hierauf beschränkt auf. Ferner wird davon ausgegangen, dass ein Durchschnittsfachmann, ungeachtet möglicher signifikanter Anstrengungen und vieler Designwahlen, die zum Beispiel durch verfügbare Zeit, aktuelle Technologie und wirtschaftliche Überlegungen motiviert sind, ohne Weiteres in der Lage ist, solche Softwareanweisungen und - programme und ICs mit minimalem Experimentieren zu generieren, wenn er durch die hierin offenbarten Konzepte und Prinzipien angeleitet wird.Additionally, an embodiment may be implemented as a computer readable storage medium having stored thereon computer readable code for programming a computer (e.g., comprising a processor) to perform a method as described and claimed herein. Examples of such computer readable storage media include a hard disk, CD-ROM, optical storage device, magnetic storage device, ROM (read only memory), PROM (programmable read only memory), EPROM (erasable programmable read only Memory), an EEPROM (electrically erasable programmable read-only memory) and a flash memory, but are not limited to. Further, it is believed that one of ordinary skill in the art, regardless of potentially significant effort and many design choices, motivated, for example, by available time, current technology, and economic considerations, is readily able to provide such software instructions and programs and ICs with minimal experimentation when guided by the concepts and principles disclosed herein.

Die Zusammenfassung der Offenbarung wird bereitgestellt, um es dem Leser zu ermöglichen, schnell das Wesen der technischen Offenbarung zu ermitteln. Sie wird mit dem Verständnis bereitgestellt, dass sie nicht zur Auslegung oder Einschränkung des Umfangs oder der Bedeutung der Ansprüche verwendet wird. Ferner kann der vorangehenden detaillierten Beschreibung entnommen werden, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Verschlankung der Offenbarung zusammengefasst sind. Diese Art der Offenbarung ist nicht so auszulegen, dass sie die Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als ausdrücklich in jedem Anspruch angegeben sind. Vielmehr ist es so, wie die folgenden Ansprüche zeigen, dass der erfinderische Gegenstand in weniger als allen Merkmalen einer einzigen offenbarten Ausführungsform liegt. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung inkorporiert, wobei jeder Anspruch für sich als ein separat beanspruchter Gegenstand steht.The abstract of the disclosure is provided to enable the reader to quickly ascertain the nature of the technical disclosure. It is provided with the understanding that it will not be used to interpret or limit the scope or meaning of the claims. Furthermore, it can be inferred from the preceding detailed description that various features are combined in various embodiments for the purpose of streamlining the disclosure. This type of disclosure is not to be construed as reflecting the intent that the claimed embodiments require more features than are expressly stated in each claim. Rather, as the following claims demonstrate, inventive subject matter resides in less than all features of a single disclosed embodiment. Thus, the following claims are hereby incorporated into the Detailed Description, with each claim standing on its own as a separately claimed subject matter.

Claims

A computer implemented method for detecting a deception, the method comprising: receiving image scan data at one or more processors, the image scan data being from an object and physical characteristics of the object and wherein the image scan data includes at least one character corresponding to the object and decoded character data for determining first identification data for the object; Cropping the image scan data at the one or more processors to remove the at least one character from the image scan data to generate character-exempt image scan data; Providing the non-character image scan data to the one or more processors for a neural network for examining the physical features of the object in the character-exempt image scan data and determining second identification data based on the physical features; Determining a match prediction of the character-free image scan data on the neural network based on a comparison of the first identification data with the second identification data; and in response to determining that the match prediction indicates a match, generating an authentication signal, and in response to determining that the match prediction indicates a mismatch, generating an alert signal.

Computer-implemented method according to Claim 1 wherein cropping the image scan data further comprises: for each received image frame in the image scan data, creating a bounding box on the one or more processors corresponding to the at least one character; and removing the at least one character contained in the bounding box from the image frame at the one or more processors to generate the character-exempt image scan data.

Computer-implemented method according to Claim 1 wherein determining the match prediction at the neural network comprises: analyzing the unmarked image scan data to identify the physical characteristics of the object; Comparing the identified physical features of the object to a predetermined characteristic set of physical features; Determining the second identification data based on the comparison of the identified physical features with the predetermined set of physical features; and predicting a match between the first identification data and the second identification data.

Computer-implemented method according to Claim 1 , further comprising: communicating the authentication signal from the one or more processors to a computer at a transaction location over a communication network.

Computer-implemented method according to Claim 1 further comprising: communicating the alert signal from the one or more processors to a computer at a transaction location over a communications network.

Computer-implemented method according to Claim 1 wherein the match prediction is a rating indicating a likelihood that a product is mapped in the image scan data.

Computer-implemented method according to Claim 1 , wherein the at least one character is a bar code, a universal product code, a quick read code, or combinations thereof.

A system for detecting deception, the system comprising: a server communicatively coupled to one or more object scanners via a communications network, the server including one or more processors and one or more memories, the server configured to: receive image scan data at one or more processors and from one of the object scanners, the image scan data being from an object and including physical features of the object, and wherein the image scan data includes at least one character corresponding to the object and decoded character data for determining first identification data for the object; at the one or more processors, cropping the image scan data to remove the at least one character from the image scan data to generate character-exempt image scan data; to provide the character-exempt image scan data to a neural network at the one or more processors in order to examine the physical features of the object in the character-exempt image scan data and to determine second identification data based on the physical features; determine at the neural network a match prediction of the character-free image scan data based on a comparison of the first identification data with the second identification data; and in response to determining that the match prediction indicates a match, generate an authentication signal and in response to determining that the match prediction indicates a mismatch, generate an alert signal.

System according to Claim 8 , with the server configured to: for each received image frame in the image scan data to generate at the one or more processors a bounding box which corresponds to the at least one character; and at the one or more processors to remove the at least one character contained in the bounding box from the image frame to generate the character-exempt image scan data.

System according to Claim 8 wherein the server is configured to: analyze the character stripped image scan data to identify the physical characteristics of the object; compare the identified physical features of the object to a predetermined characteristic set of physical features; determine the second identification data based on the comparison of the identified physical features with the predetermined set of physical features; and predict a match between the first identification data and the second identification data.

System according to Claim 8 wherein the server is configured to: transmit the authentication signal from the one or more processors to the one of the object scanners at a transaction location over a communication network.

System according to Claim 8 wherein the server is configured to: communicate the alarm signal from the one or more processors to the one of the object scanners at a transaction location via a communication network.

System according to Claim 8 wherein the match prediction is a rating indicating a likelihood that a product is mapped in the image scan data.

System according to Claim 8 , wherein the at least one character is a bar code, a universal product code, a quick read code, or combinations thereof.

A computer-implemented method for detecting deception, the method comprising: Receiving image scan data at one or more processors, the image scan data being from an object and including physical features of the object, and the image scan data including at least one character corresponding to the object and decoded character data for determining first identification data for the object; Cropping the image scan data at the one or more processors to remove the at least one character from the image scan data to generate character-exempt image scan data; Providing the non-character image scan data to the one or more processors for a neural network for examining the physical features of the object in the character-exempt image scan data and determining second identification data based on the physical features; Determining a match prediction of the character-free image scan data on the neural network based on a comparison of the first identification data with the second identification data; in response to determining that the match prediction indicates a match, generating a first authentication signal; and in response to determining that the match prediction indicates a mismatch, generating a second authentication signal that is different from the first authentication signal.

Computer-implemented method according to Claim 15 wherein generating the second authentication signal different from the first authentication signal comprises: determining a priority difference between the first identification data and the second identification data; and generating the second authentication signal as a signal authenticating a transaction corresponding to those of the first identification data and the second identification data having the higher priority.

Computer-implemented method according to Claim 15 wherein generating the second authentication signal different from the first authentication signal comprises: identifying a priority heuristic; Determining a priority difference between the first identification data and the second identification data based on the priority heuristic; and generating the second authentication signal as a signal authenticating a transaction that corresponds to that of the first identification data and the second identification data having the higher priority based on the priority heuristic.

Computer-implemented method according to Claim 17 wherein the priority heuristic is based on a price associated with the first identification data and a price associated with the second identification data, a demand for the object, a price range for the object, a traceability of the object, a category classification of the object, such as essential basic product or household product versus non-essential home decoration product.

Computer-implemented method according to Claim 15 wherein cropping the image scan data further comprises: for each received image frame in the image scan data, creating a bounding box on the one or more processors corresponding to the at least one character; and removing the at least one character contained in the bounding box from the image frame at the one or more processors to generate the character-exempt image scan data.

Computer-implemented method according to Claim 15 wherein determining the match prediction at the neural network comprises: analyzing the unmarked image scan data to identify the physical characteristics of the object; Comparing the identified physical features of the object to a predetermined characteristic set of physical features; Determining the second identification data based on the comparison of the identified physical features with the predetermined set of physical features; and predicting a match between the first identification data and the second identification data.

Computer-implemented method according to Claim 15 , further comprising: communicating the second authentication signal to a computer at a transaction location over a communication network.

Computer-implemented method according to Claim 15 , wherein the at least one character is a bar code, a universal product code, a quick read code, or combinations thereof.

A system for detecting deception, the system comprising: a server communicatively coupled to one or more object scanners via a communications network, the server including one or more processors and one or more memories, the server configured to: receiving image scan data at one or more processors, the image scan data being from an object and including physical features of the object, and wherein the image scan data includes at least one character corresponding to the object and decoded character data for determining first identification data for the object; at the one or more processors, cropping the image scan data to remove the at least one character from the image scan data to generate character-exempt image scan data; to provide the character-exempt image scan data to a neural network at the one or more processors in order to examine the physical features of the object in the character-exempt image scan data and to determine second identification data based on the physical features; to determine at the neural network a match prediction of the character-free image scan data based on a comparison of the first identification data with the second identification data; in response to determining that the match prediction indicates a match, generate a first authentication signal and in response to determining that the match prediction indicates a mismatch, generate a second authentication signal that is different from the first authentication signal.

System according to Claim 23 wherein the server is configured to: determine a priority difference between the first identification data and the second identification data; and generate the second authentication signal as a signal that authenticates a transaction corresponding to those of the first identification data and the second identification data having the higher priority.

System according to Claim 23 wherein the server is configured to: identify a priority heuristic; determine a priority difference between the first identification data and the second identification data based on the priority heuristic; and generate the second authentication signal as a signal that authenticates a transaction corresponding to that of the first identification data and the second identification data having the higher priority based on the priority heuristic.

System according to Claim 25 , wherein the priority heuristic is based on a price associated with the first identification data and a price associated with the second identification data, a demand for the object, a price range for the object, a traceability of the object, a category classification of the object, e.g. . B. essential basic product or household product versus non-essential home decoration product based.

System according to Claim 23 wherein the server is configured to: for each received image frame in the image scan data, generate at the one or more processors a bounding box corresponding to the at least one character; and at the one or more processors to remove the at least one character contained in the bounding box from the image frame to generate character-free image scan data.

System according to Claim 23 wherein the server is configured to: analyze the character stripped image scan data to identify the physical characteristics of the object; compare the identified physical features of the object to a predetermined characteristic set of physical features; determine the second identification data based on the comparison of the identified physical features with the predetermined set of physical features; and predict a match between the first identification data and the second identification data.

System according to Claim 23 wherein the server is configured to: transmit the second authentication signal to a computer at a transaction location over a communication network.

System according to Claim 23 , wherein the at least one character is a bar code, a universal product code, a quick read code, or combinations thereof.