DE19707155A1 - Verfahren zum Erkennen und Wiedererkennen einzelner Artikel, sowie Vorrichtung zur Durchführung des Verfahrens - Google Patents
Verfahren zum Erkennen und Wiedererkennen einzelner Artikel, sowie Vorrichtung zur Durchführung des VerfahrensInfo
- Publication number
- DE19707155A1 DE19707155A1 DE19707155A DE19707155A DE19707155A1 DE 19707155 A1 DE19707155 A1 DE 19707155A1 DE 19707155 A DE19707155 A DE 19707155A DE 19707155 A DE19707155 A DE 19707155A DE 19707155 A1 DE19707155 A1 DE 19707155A1
- Authority
- DE
- Germany
- Prior art keywords
- article
- data record
- data
- database
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
- G06K7/1092—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing by means of TV-scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Cash Registers Or Receiving Machines (AREA)
Description
Die Erfindung betrifft ein Verfahren zum Erkennen einzelner Artikel, ein
Verfahren zum Wiedererkennen einzelner Artikel sowie eine Vorrichtung
zur Durchführung dieser Verfahren.
In der Vergangenheit sind zahlreiche Versuche unternommen worden, Ver
fahren anzugeben, die mit einer hohen Zuverlässigkeit das Erkennen bzw.
das Wiedererkennen eines Gegenstandes ermöglichen, vorzugsweise einer
Vielzahl von Gegenständen, die in schneller Folge zugeführt werden.
Ein aus der Praxis bekanntes Verfahren besteht darin, daß ein Gegenstand
mit Hilfe einer Videokamera in eine Vielzahl von Bildpunkten (Pixels)
zerlegt wird, wobei jeder dieser Bildpunkte in einem zur Abspeicherung
zweidimensionaler Daten geeigneten Speicher abgelegt wird, und jeder
weitere Gegenstand ebenfalls abgelichtet und in Bildpunkte zerlegt wird
und anschließend die Bildpunkte paarweise miteinander verglichen werden
und geprüft wird, ob diese sich übereinanderlegen lassen (Superposi
tion). Die Durchführung eines Superpositionsverfahrens ist trotz hoher
Rechnerleistungen sehr zeitaufwendig, und gelangt aufgrund der Auflösung
des Bildverarbeitungssystems schnell an Grenzen. Insbesondere, wenn es
darum geht, aus einer Vielzahl von bekannten Bildern dasjenige zu ermit
teln, welches dem erfaßten am nächsten kommt, steigt die Rechenzeit ex
ponentiell an, so daß derartige Systeme nur bei kleinen Artikelmengen
überhaupt einsetzbar sind.
Um derartige Superpositionsverfahren für eine größere Anzahl von Gegen
ständen zugänglich zu machen, ist vorgeschlagen worden, das Verfahren im
Rahmen einer Ja/Nein-Prüfung einzusetzen, d. h. lediglich zu vergleichen,
ob der erfaßte Gegenstand mit einem im voraus ausgewählten Gegenstand
übereinstimmt. Insbesondere in der Robotik, aber auch im täglichen Le
ben, kommen derartige Systeme zum Einsatz. Solche Systeme versagen oft,
denn der Gegenstand unter unterschiedlichen Betrachtungswinkeln eine
stark unterschiedliche Erscheinung besitzt.
So ist beispielsweise in der Praxis vorgeschlagen worden, die aus einem
Hochregallager mittels ihrer Warennummer bestellten Waren am Lageraus
gang aus Gründen der Qualitätssicherung mit einem Untersuchungsgerät auf
ihre Identität hin zu überprüfen. Ein solches Verfahren soll insbesonde
re Verwechslungen unterbinden, oder aber bei Kleinteilen körperlich de
fekte Teile ausschleusen.
Ein anderes Beispiel ist aus der Praxis der Selbstbedienungsgeschäfte
bekannt, bei denen oft die einzelnen Waren (Gegenstände) mit einer Mar
kierung (Strichcode) versehen sind, die den Gegenstand eindeutig identi
fiziert und maschinell lesbar ist. Hierbei kann im Anschluß an einen Le
sevorgang des Strichcodes eine Plausibilitätsprüfung erfolgen, ob die
unter Angabe eines Strichcodes gekaufte Ware mit den in einer Datenbasis
gespeicherten Daten über diese Ware (in Grenzen) übereinstimmt oder in
Widerspruch steht. Die Umsetzung derartiger Systeme in die Praxis schei
terte bisher an der zu langsamen Verarbeitungsgeschwindigkeit.
Bei anderen Systemen sind Preisetiketten an der Ware oder ihrer Verpac
kung angebracht, und die kassierende Person gibt diese Preise in die
Kasse ein.
In beiden Fällen kann ein Käufer zu betrügen versuchen, indem er ein
Preisetikett (oder einen Strichcode-Aufkleber) von der Ware ablöst und
durch ein Etikett bzw. einen Code-Aufkleber einer billigeren Ware er
setzt. Das kann aber von der kassierenden Person festgestellt werden,
wenn Ware und Preis nicht zusammenpassen. Schwieriger ist es allerdings,
einen Betrugsversuch nachzuweisen, wenn der Käufer lose Ware (Obst, Ge
müse) selbst auswiegt, es sei denn, die kassierende Person kann an der
Kasse nachwiegen.
Die DE-C-35 24 231 offenbart ein Selbstbedienungssystem, bei dem die Ge
genstände mit Strichcodes versehen sind. Der Kunde führt die Strichco
des der von ihm gewählten Waren selbst über ein Lesegerät und legt da
nach die Gegenstände auf eine Fördereinrichtung. Es sind zwei Hilfsein
richtungen vorgesehen, um die Codeeingabe auf Plausibilität zu überprü
fen: Jeder Gegenstand wird gewogen, und jeder Gegenstand durchläuft ein
Lichtschrankensystem, das seine Umrisse abtastet. Stimmen die Prüfergeb
nisse im Rahmen vorgegebener Toleranzen mit der Strichcode-Eingabe über
ein, wird der betreffende Gegenstand zu einer Entnahmestation gefördert.
Im anderen Falle wird die Förderrichtung umgekehrt, und der betreffende
Gegenstand kann nicht ausgeschleust werden. Da der Kunde nur noch den
Kassenbon mit dem Saldo präsentieren muß, kann der Personalaufwand dra
stisch gesenkt werden.
Es versteht sich aber, daß ein solches System auch Schwachstellen hat,
denn wenn sich zwei gattungsgleiche Gegenstände weder im Gewicht noch im
Umriß unterscheiden, wohl aber im Preis - etwa eine Flasche billiger
Massenwein einerseits, eine Flasche teurer Wein andererseits - lädt ein
solches System zum Betrugsversuch geradezu ein.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Erkennen
bzw. zum Wiedererkennen von Gegenständen vorzuschlagen, das schnell, mit
hoher Zuverlässigkeit und einer großen Anzahl von Gegenständen arbeiten
kann.
Die Lösung dieser Aufgabe erfolgt durch ein Verfahren zum Anlegen einer
Datenbasis gemäß Anspruch 1, durch ein Verfahren zum Wiedererkennen ei
nes Probanden aus einer Menge bekannter Artikel gemäß Anspruch 2, durch
ein Verfahren zum Erkennen einzelner Gegenstände gemäß Anspruch 10, oder
durch eine Vorrichtung zur Durchführung dieser Verfahren gemäß Anspruch
15.
Die Unteransprüche bilden die Erfindung vorteilhaft fort.
Das erfindungsgemäße Verfahren nach Anspruch 1 legt eine Datenbasis zur
Abspeicherung von Informationen über charakteristische Merkmale einer
Vielzahl verschiedener Artikel als Datensatz an, verläßt dabei aber das
Prinzip der Superposition. Statt dessen wird zunächst der zu erkennende
Gegenstand (Artikel) unter unterschiedlichen Winkeln mittels einer Vi
deokamera beobachtet. Dies kann auf vielerlei Weise geschehen, bei
spielsweise durch das Hin- und Her- bzw. Vorbeifördern des Gegenstands
an einer starren Kamera, oder aber das Drehen des Artikels auf einem
Drehteller vor der Kamera in deren Sichtfeld, oder aber auch durch das
Verschwenken und/oder Heran- und Wegfahren der Kamera.
Die unter den verschiedenen Winkeln von der Kamera beobachteten Bilder
werden in einem anschließenden Schritt in charakteristische Merkmale ge
mäß mindestens einem vorgegebenen Auswertekriterium zerlegt. Hierfür
werden die Bilder zweckmäßigerweise zwischengespeichert. Als geeignete
Auswertekriterien haben sich charakteristische Farbübergänge auf der
Außenfläche des zu erfassenden Artikels erwiesen, aber ebenso die Kan
tenübergänge, wozu sowohl die Umrisse des Artikels im Raum wie auch
zweidimensionale Kantenübergänge innerhalb einer Fläche oder Krümmungs
ebene der Artikel, die auch als Schwarz-Weiß-Übergänge bezeichnet wer
den, zählen, ferner je nach Artikel auch von diesem ausgehende oder
reflektierte Strahlung, z. B. Wärmestrahlung oder eine charakteritische
Spektralfarbe. Bei der Zerlegung des Bildes macht sich das Verfahren al
so insbesondere die emittierten und reflektierten optischen Merkmale des
Gegenstandes in einem Wellenbereich zwischen dem Infraroten und dem Ul
travioletten zu Nutze, und hierbei insbesondere wieder diejenigen topo
logischen Orte des Gegenstands, bei denen bezüglich einer und/oder vor
zugsweise mehrerer Auswertekriterien eine Veränderung eintritt, z. B.
eine Unstetigkeitsstelle oder -linie. Es ist klar, daß diese Linie
nicht als Gerade ausgebildet sein muß. Außerdem kann auf das Vorhanden
sein einer ganz bestimmten Spektralfarbenkombination abgehoben werden.
Zur Erleichterung der Beobachtung ist vorzugsweise ein definierter Hin
tergrund vorgesehen, beispielsweise ein homogen einfarbig weißer Hinter
grund, oder alternativ hierzu ein Hintergrund, der eine Farbskalierung
aufweist. Vorzugsweise wirken mit der mindestens einen Videokamera Be
leuchtungsmittel zusammen, die die Artikel mit "weißem" Licht anstrah
len, oder mit einem Licht einer oder mehrerer, abgegrenzter Wellenlän
gen, wobei die Beleuchtungsmittel auch sukzessive, z. B. durch Taktung
oder Hintereinanderanordnung, zum Einsatz kommen können, um das spezi
fische Reflexionsvermögen der zu erkennenden Gegenstände auszunutzen.
Ausgehend von den charakteristischen Merkmalen gemäß mindestens einem
der vorgegebenen Auswertekriterien wird eine Untermenge hiervon zu einem
Datenvektor, der einen Merkmalssatz bildet, zusammengestellt. Die Aus
wahl der Untermenge orientiert sich an praxis-orientierten Kriterien,
insbesondere der Speicherplatzausnutzung und kann z. B. dadurch optimiert
werden, daß diejenigen Orte des Bildes herangezogen werden, die gemäß
einer vorgegebenen Skala die charakteristischsten Merkmale darstellen.
Existiert bereits in der Datenbasis ein Datensatz für den beobachteten
Artikel, so kann der ermittelte Merkmalssatz vorteilhafterweise herange
zogen werden, um den spezifischen Datensatz aus der Datenbasis auf eine
sicherere Grundlage zu stellen, indem die erfaßten Daten für künftige
Auswertungen dem bestehenden Datensatz unter Ermittlung eines neuen Da
tensatzes zugeführt werden. Hierbei ist eine Gewichtung der alten und
der neuen Daten vornehmbar. Vorzugsweise ist vorgesehen, daß die Anzahl
der dem Datensatz zugrunde liegenden Bilder mit dem Datensatz abgespei
chert ist, um statistische Berechnungen, wie z. B. Standardabweichungen,
Varianzen, und dergleichen, zu ermöglichen, und eine dynamische Berech
nung eines Schwellenwertes zu ermöglichen, der als Maßzahl für eine Aus
sage benötigt wird, ob Merkmalssatz und Datensatz übereinstimmen oder
nicht. Es versteht sich von selbst, daß z. B. die Bezeichnung des Arti
kels (Warenname, Marke, Typ, etc.), welche nicht erfaßbar sind, über ein
Peripheriegerät zur Abspeicherung in dem Datensatz verfügbar gemacht
werden können.
Falls für einen beobachteten Artikel kein Datensatz existiert, werden
zunächst die Merkmale des Merkmalssatzes der Abspeicherung eines neuen
Datensatzes zugrunde gelegt, und in weiteren "Lernvorgängen" die quan
titative Grundlage dieses Datensatzes wie beschrieben vergrößert.
Es kann der Fall auftreten, daß ein Gegenstand unter bestimmten Perspek
tiven so unterschiedlich aussieht, daß sich kein für alle Ansichten ge
eigneter gemeinsamer Datensatz bilden läßt. Dann wird für jede dieser
inkompatiblen Ansichten ein separater Datensatz, z. B. durch "Lernen",
angelegt, so daß bei späteren Abfragen unabhängig von der zufälligen
Ausrichtung eines Probanden ein entsprechender Datensatz auffindbar ist,
wobei alle diese Datensätze auf denselben Artikel verweisen. Dieser
(seltene) Fall kann also, wenn keine direkte Adressierung der Datensätze
benutzt wird, in eleganter Weise so behandelt werden, als würde es sich
bei dem beobachteten Gegenstand tatsächlich um mehrere Gegenstände han
deln. Eine solche Aufteilung auf mehrere Datensätze erhöht signifikant
die Trefferquote, und erlaubt zugleich eine Reduzierung der Toleranzen.
Das erfindungsgemäße Verfahren zum Wiedererkennen eines Probanden aus
einer Menge bekannter Artikel gemäß Anspruch 2 bedient sich vergleichba
rer Beobachtungs-, Zerlegungs- und Verknüpfungsschritte wie das Verfah
ren zum Anlegen einer Datenbasis gemäß Anspruch 1 unter Bildung eines
gemeinsamen erfinderischen Konzepts, so daß für die Darlegung der dort
erfolgenden Schritte auf das oben Gesagte verwiesen werden kann.
In einem anschließenden Vergleichsschritt wird in dem erfindungsgemäßen
Verfahren eine Entscheidung darüber getroffen, ob der erfaßte Proband
erkannt, d. h. in der Datenbasis als Datensatz bereits gespeichert ist,
oder unbekannt ist, d. h. daß der Merkmalssatz des Probanden mit keinem
der Datensätze der Datenbasis derartige Gemeinsamkeiten aufweist, daß
eine sichere Zuordnung vorgenommen werden kann. Es ist zu betonen, daß
die erfindungsgemäßen Verfahren denjenigen Verfahren, die beispielsweise
eine Schrifterkennung durchführen und anschließend die gelesenen
Schriftzeichen mit alphanumerischen Zeichen in einer Datenbank verglei
chen, weit überlegen sind, da bei den letztgenannten kleinste Fehler
in den gelesenen "Strings" zu einer Unbekannt-Aussage führen, so daß
bei derartigen Systemen viele Falschaussagen auftreten. Die erfin
dungsgemäßen Verfahren dagegen beruhen nicht auf einer absoluten Er
fassung, sondern auf einer Erfassung von Änderungen, ist also ähnlich
einem Differentialmeßsystem, das, wie bei Differentialsystemen üblich,
von absoluten Abweichungen zu einer Referenz kaum beeinflußt wird. Das
gilt beispielsweise für die beobachteten Farbübergänge, die unabhängig
von ihrer Entfernung von der Kamera in ihrer relativen Lage zueinan
der erkannt werden.
Vorzugsweise ist es möglich, bei dem Wiedererkennungsverfahren einen
Lernschritt vorzusehen, bei dem die im Merkmalssatz zusammengefaßten In
formationen zu einer Verbesserung der dem Datensatz zugrunde liegenden
Daten eingesetzt werden. Eine weitere Steigerung der Geschwindigkeit der
den konventionellen Verfahren ohnehin an Geschwindigkeit überlegenen
Verfahren ist möglich, wenn weitere Kriterien des Probanden, die durch
Prüf- oder Meßmittel erfaßt werden, mit im Datensatz abgespeicherten
Vergleichswerten verglichen werden. Als solches Kriterium kommt bei
spielsweise das Gewicht eines Artikels in Betracht, weil bei geringen
Wäge-Toleranzen eine Aussage über die fehlende Übereinstimmung des Ge
wichts die Überprüfung der anderen im Datensatz abgelegten Daten über
flüssig macht.
Eine weitere, besonders vorteilhafte Beschleunigung des Verfahrens um
einen Faktor, der in der Größenordnung der Anzahl der Datensätze in der
Datenbasis liegt, läßt sich dadurch erzielen, daß vor dem Beobachtungs
schritt eine artikelspezifische Markierung, z. B. ein Strichcode, eine
Artikelbezeichnung, eine Bestellnummer oder dergleichen, eingelesen
wird, z. B. über einen Barcodeleser oder ein anderes Peripheriegerät,
und in dem Vergleichsschritt der Merkmalssatz zunächst mit demjenigen
Datensatz verglichen wird, welcher durch die artikelspezifische Markie
rung adressiert ist. Optional kann anschließend der Vergleichsschritt
mit den übrigen Datensätzen erfolgen, um zu überprüfen, ob sich ein (an
derer) Datensatz findet, der mit dem Merkmalssatz die vorgeschriebene
Übereinstimmung aufweist. Es ist jedoch möglich, die Vergleichsuntersu
chungen auf diesen ersten Datensatz zu beschränken oder auf eine Men
ge von Datensätzen zu beschränken, die jeweils durch vorzugsweise in
einem Zwischenspeicher abgelegte Markierungen adressierbar sind.
Hierdurch kann besonders vorteilhaft sichergestellt werden, daß mit
einer überschaubaren Anzahl von Datensätzen zunächst verglichen wird,
bevor anschließend optional ein Gesamtvergleich erfolgt. Auf diese Wei
se wird in besonders vorteilhafter Weise eine hohe Verarbeitungsge
schwindigkeit sichergestellt für diejenigen Artikel, deren Adresse in
dem Zwischenspeicher abgelegt ist, während optional für Artikel, für
die (eine artikelspezifische Markierung eingegeben oder richtig erfaßt
wurde, z. B. aufgrund eines Erfassungsfehlers, optional ein Vergleichs
schritt derart erfolgt, daß der Merkmalssatz mit allen Datensätzen
verglichen wird, so daß dieser Artikel dennoch ein positives Ver
gleichsergebnis bewirken kann. Aufgrund der hohen Erfassungsgeschwindig
keit bei den direkt adressierten Artikeln ist ein selten auftretender
umfassender Vergleichsschritt auch im Online-Verfahren bei großen Daten
mengen wirtschaftlich durchführbar.
Bei dem Verfahren gemäß Anspruch 10 wird die Aufgabe gelöst, ein Verfah
ren anzugeben, mittels dem die Plausibilitätsprüfung mit hoher Sicher
heit erfolgen kann. Dabei wird von der Bildverarbeitung Gebrauch ge
macht, das heißt, der Gegenstand wird mittels einer Videokamera aufge
nommen und das Bild mit einem abgespeicherten Muster verglichen.
Auf den ersten Blick wird dieser Ansatz auf schwer überwindbare Hinder
nisse stoßen. Da ein Käufer jeden Gegenstand beliebig der Kamera präsen
tieren können muß, wächst die Zahl der abzuspeichernden Bildmuster ins
Unermeßliche. Dafür bräuchte man riesige Speicher, und der Vergleich
würde entsprechend lange dauern.
Diese Schwierigkeiten umgeht die Erfindung in eleganter Weise. In einer
Lernphase werden die einzelnen Gegenstände der Videokamera unter unter
schiedlichen Winkeln präsentiert, und die einzelnen Abbildungen werden
daraufhin überprüft, welche Gemeinsamkeiten sie aufweisen. Dabei wird
sich für jeden Gegenstand eine Anzahl von Merkmalen ergeben, die in
(fast) jeder Abbildung wiederkehren, unabhängig davon, unter welchem
Winkel der Gegenstand besehen wird. Unter diesen Merkmalen wählt man
solche, die für den betreffenden Gegenstand charakteristisch sind, und
speichert diese Merkmalskombination als Suchkriterium für die Wiederer
kennung ab. "Charakteristisch" bedeutet, daß sich die betreffende Merk
malskombination nur bei diesem Gegenstand des Sortiments findet. Es ver
steht sich, daß die Anzahl von Merkmalen bei kluger Auswahl relativ
klein sein kann, so daß der Speicherbedarf sich in Grenzen hält.
Natürlich wird das obige Verfahren nicht manuell ausgeführt, sondern
mittels einer "lernfähigen" Datenverarbeitungsanlage, die auf neuronalen
setzen aufbaut.
Es hat sich als zweckmäßig erwiesen, die Daten der Kantenübergänge der
Gegenstände (Umrisse wie Kanten und Ecken, aber auch Schwarz-Weiß-Über
gänge in der Fläche wie oben erläutert), vorzugsweise in Verbindung mit
Farbübergängen in der Fläche, z. B. aufgrund von Spektralfarben der Ware,
zu verwerten. Insoweit geht das erfindungsgemäße Verfahren ähnlich vor
wie ein Kassierer, der etwa eine Packung Papiertaschentücher an ihrer
Größe in Verbindung mit einem charakteristischen Farbübergang blau-weiß
erkennt, ohne daß er die Packung öffnen muß, um sich von ihrem Inhalt zu
überzeugen.
Wenn jeder Artikel des Sortiments durch eine Merkmalsgruppe charakteri
siert ist, braucht er nur noch mit seinem Preis korreliert zu werden, um
den Kassenbeleg auszudrucken. Bei einem großen Sortiment mit einigen
zehntausend Artikeln würde aber immer noch viel Zeit benötigt, um alle
Speicherplätze abzufragen. Deshalb ist es bevorzugt, mindestens ein wei
teres Suchkriterium hinzuzunehmen. Bevorzugt ist, jeden Artikel des Sor
timents mit einer Markierung, vorzugsweise einem Strichcode, zu verse
hen, die automatisch erfaßbar ist und den Gegenstand identifiziert. Das
Videosystem führt dann nur noch eine Plausibilitätsprüfung aus, indem
das erfaßte Bild nur mit der einen Merkmalskombination verglichen wird,
die unter der betreffenden Artikelbezeichnung gespeichert ist.
Vorzugsweise ist zusätzlich vorgesehen, daß als weiteres Suchkriterium
das Gewicht des Gegenstandes verwendet wird, dies insbesondere bei Le
bensmittelgeschäften, in denen die Kunden lose Artikel selbst auswiegen.
Bei der Umstellung eines Selbstbedienungsladens auf das neue System er
folgt zunächst ein Training, indem alle Artikel des Sortiments mittels
der (mindestens einen) Videokamera betrachtet werden, bis die charakte
ristische Merkmalskombination eingespeichert ist. Es kann dabei vorkom
men, daß es für Gegenstände zwei oder mehr charakteristische Merkmals
kombinationen gibt, je nachdem, unter welchem Winkel sie betrachtet wer
den, wobei die Schnittmenge beider nicht ausreicht, den betreffenden Ge
genstand von einem anderen, ähnlichen zu unterscheiden. In diesem Fall
sind mehrere solcher Merkmalskombinationen abzuspeichern und im späteren
Betrieb mit den Ausgangssignalen der Videokamera bzw. ihres Bildverar
beitungssystems zu vergleichen.
Nach Installation des Systems wird es natürlich immer wieder vorkommen,
daß neue Artikel in das Sortiment aufgenommen werden. Unter dem neuen
Artikelcode ist dann natürlich noch keine Merkmalskombination abgespei
chert. Stellt die Recheneinheit dies fest, wird das Ausgangssignal der
Videokamera auf einen Bildschirm zu einer Bedienungsperson übertragen.
Diese stellt fest, ob der dem System noch unbekannte Gegenstand mit sei
nem Code richtig eingegeben wurde oder nicht. Im ersteren Fall wird das
System in den Lernmodus gebracht; Bildmerkmale werden abgespeichert, und
der Lernvorgang wird so oft wiederholt, bis die charakteristische Merk
malskombination gefunden ist.
Die erfindungsgemäßen Verfahren sind vielseitig gewerblich einsetzbar,
insbesondere zur Steuerung einer Weichen-Vorrichtung, die bestimmte Ge
genstände, die als bekannt identifiziert wurden, freigibt, beispielswei
se in einen Entnahmebereich, von wo aus weitere Abläufe erfolgen können,
während nicht wiedererkannte Gegenstände, die als unbekannt identifi
ziert wurden, in einen Ablagebereich, wo sie einer anderen Bearbeitungs
folge unterzogen werden, verbracht werden. Die von dem erfindungsgemäßen
Verfahren abgegebenen Signale "BEKANNT" bzw. "UNBEKANNT" dienen als
Steuersignale, gemäß denen die Weiche gesteuert wird. Es ist klar, daß
die Weiche wiederum in einer größeren Einrichtung integriert sein kann,
und die erfindungsgemäßen Verfahren dann, z. B. als Bestandteil, zur
Steuerung dieser Einrichtung dienen.
Die erfindungsgemäße Vorrichtung zur Durchführung der oben beschriebenen
Verfahren weist mindestens eine Videokamera, eine Bildverarbei
tungseinrichtung sowie Komparatormittel zur Durchführung der Vergleichs
schritte auf. Vorteilhafte Weiterbildungen dieser Vorrichtung ergeben
sich aus den Unteransprüchen.
Die Erfindung wird im folgenden anhand eines Ausführungsbeispiels unter
Bezugnahme auf die anliegenden Zeichnungen näher erläutert, wobei
Fig. 1 eine schematische Seitenansicht einer Warenschleuse ist, die über
ein Verifikationssystem zum Erkennen und Wiedererkennen von Gegenständen
verfügt; und
Fig. 2 ein Blockdiagramm des Verifikationssystems aus Fig. 1 ist.
In Fig. 1 ist in schematisierter Darstellung eine Warenschleuse 1 darge
stellt. Die Warenschleuse 1 soll anstelle einer konventionellen Kasse
z. B. am Ausgang eines Selbstbedienungsladens eingesetzt werden. Der Be
griff der Schleuse findet insoweit eine Rechtfertigung, daß im Idealfall
vorgesehen ist, daß Artikel aus dem Sortiment des Ladens diesen nur
durch eine derartige Warenschleuse verlassen sollen, die somit das Mate
rial ausschleust. Diese Schleusenfunktion soll sicherstellen, daß die
ausgeschleusten Artikel alle verbucht und bezahlt werden.
Wird demgemäß die Warenschleuse 1 am Ausgang eines Selbstbedienungsla
dens aufgestellt, liegt der proximal angeordnete Auflagebereich 2 der
Warenschleuse innerhalb der Verkaufsfläche des Ladens, und der distal
angeordnete Entnahmebereich 3 der Warenschleuse in einem Bereich außer
halb der Verkaufsfläche, den ein Kunde regelmäßig ohne weitere Kontrol
len verlassen kann.
Die Warenschleuse 1 weist eine Fördereinrichtung auf, die aus hinterein
ander angeordneten Endlosbändern gebildet ist. Der Auflagebereich 2 ist
durch das Einlauf-Förderband 10 gebildet, an das sich (in Material
flußrichtung gesehen) eine Bandwaage 12, ein Zwischenförderband 14, ein
Weichenförderband 16, und ein auf den Entnahmebereich 3 hin förderndes
Auslauf-Förderband 18 anschließen. Die Arbeitsweise und Vorteile der
Förderbänder wird im folgenden noch erläutert werden. Anstelle der För
derbänder können auch angetriebene Rollen oder dergl. verwendet werden.
Im Auflagebereich 2 ist ferner ein Scanner 20 fest installiert, der Bar
codes lesen kann, die auf den Artikeln des Warensortiments aufge
druckt sind.
Im Bereich der Bandwaage 12 befindet sich eine Registriereinheit 22. Die
Registriereinheit 22 weist eine kastenförmige Abschirmung 24 auf, in der
2 Videokameras 26 derart an zwei diametral gegenüberliegenden oberen Ecken
angeordnet sind, daß sie den Raum oberhalb der Bandwaage 12 beobach
ten. Die Abschirmung 24 schirmt den Bereich der Bandwaage 12 gegen Staub
und dergl. ab, ferner aber auch gegen Fremdlicht, um Schwankungen in der
Ausleuchtung dieses Bereichs zu verhindern.
Im Anschluß an die Abschirmung 24 ist eine gestrichelt dargestellte Hau
be 28 vorgesehen, die ganz oder teilweise durchsichtig ist. Die Hau
be 28 dient dazu, die gekaufte Ware des Kunden vor dem Zugriff unbe
fugter Dritter zu schützen, während er im Auflagebereich 2 beschäftigt
ist, wobei zugleich auch ein Zugriff des Kunden selbst verhindert ist.
Im Bereich der Haube 28 verläuft das Weichenförderband 16, das in Fig.
1 seine erste Endposition (Normalposition) einnimmt, und in Richtung
des Pfeils 30 hin-und herschwenkbar ist. In seiner zweiten Endposition
ist das Weichen-Förderband 16 derart mit seinem proximalen Ende nach
oben verschwenkt angeordnet, daß alle (einer oder mehrere) daraufliegen
den Artikel weiter in den Entnahmebereich gefördert werden, aber eine
Öffnung für den nächstfolgenden, auszusondernden Artikel freigegeben
wird, damit dieser auszusondernde Artikel in einen Sammelraum 32 geför
dert wird. Dieser Sammelraum ist unterhalb der Fördereinrichtung ange
ordnet und bildet einen vom Kunden nicht zugänglichen und von Auflage
bereich 2 und Entnahmebereich 3 abgetrennten Zwischenablagebereich. Der
Sammelraum 32 ist jedoch vom Bedienpersonal des Geschäfts durch eine
nicht dargestellte ansonsten verriegelte Tür zugänglich, um entweder
dort hineingeförderte Artikel manuell zu entsorgen, oder mit Hilfe da
für angepaßter Fördermittel in die Fördereinrichtung zurückzufördern.
Anstelle eines Weichen-Förderbands sind andere Abzweigemittel vorsehbar,
beispielsweise Falltüren, Schieber, Querübergaben etc. Insbesondere ist
es möglich, vor dem Weichenförderband 16 ein weiteres Zwischenförderband
vorzusehen, das gleichzeitig mit seinem distalen Ende nach unten ver
schwenkt wird, um den einen darauf liegenden Artikel in den Sammelraum
32 zu fördern, wodurch ein geteiltes Abzweigemittel resultiert. Dieses
Zwischenförderband kann auch an die Stelle des Weichenförderbandes tre
ten, wobei dann auf dem Zwischen-Förderband sich immer nur ein Artikel
befinden darf; dies wird dadurch sichergestellt, daß das Zwischen-För
derband 14 schneller läuft als die Bandwaage 12 und somit eine Verein
zelung bewirkt, jedoch beim Aussondern eines Artikels stillgesetzt wird.
Das Weichenförderband 16 wird in Abhängigkeit von einem Signal gesteu
ert, daß als Ergebnis einer im weiteren noch beschriebenen Vergleichs
operation erzeugt ist. Vor dem Weichenförderer 16 ist eine Lichtschranke
34 angeordnet, die ein Signal zum Stoppen der warenstromaufwärts ange
ordneten Förderbänder 10, 12, 14 abgibt, wenn sie einen nicht auszuson
dernden Artikel erfaßt und der Weichenförderer 16 nicht seine Normalpo
sition einnimmt.
Am Auslaufende der Fördereinrichtung befindet sich eine Sperre 38 in
Form einer Klappe, die mit der Haube 28 abschließt. Das Auslauf-Förder
band 18 bildet somit einen Stauraum 40 für die Waren eines einzelnen
Käufers. Erst wenn dieser signalisiert, daß er alle Gegenstände
auf dem Einlauf-Förderband 10 abgelegt hat, beginnt eine Zeitperiode,
die ausreicht, auch den zuletzt abgelegten Artikel in den Stauraum 40
(oder ggfs. in den Sammelraum 32) zu fördern, und nach deren Ablauf die
Sperre die Waren freigibt. Sie gelangen dann auf einen als Rutsche aus
gebildeten Packtisch 42. Erst dann wird auch eine (nicht dargestellte)
Personensperre freigegeben, die bis dahin den Kunden von dem Entnahme
bereich 3 trennt. Eine Lichtschranke 38 dient zur Meldung, wenn der
Stauraum 40 voll sein sollte.
Unter Bezugnahme auf Fig. 2 werden weitere Komponenten der Warenschleuse
1 erläutert. Mit 50 ist ein Rechner bezeichnet, der in einem Speicher 52
in einem Lernprozeß abgespeicherte Daten als Datensätze mit Informatio
nen über die Artikel des Warensortiments enthält.
Dem Rechner 50 wird von dem Lesegerät 20 die Artikelidentifikation zuge
führt, die als Adresse für die Daten im Speicher 52 fungiert. Ferner ist
auch ein Zwischenspeicher 54 vorgesehen, in dem die Artikelidentifika
tion ebenfalls abgelegt wird. Der Rechner 50 erhält Gewichtssignale von
der Bandwaage 12 und sowie die Bilddaten der Videokameras 26, aufberei
tet in einer Bilddatenverarbeitung 56, die vorliegend mit dem Rechner 50
integriert ist.
Der Rechner hat einen mit "+" bezeichneten Ausgang "BEKANNT". Wenn an
ihm ein Signal erscheint, wird der Zwischenspeicher 54 in eine Addier- und
Bondruckeinheit 60 ausgelesen, in der auch die zu den jeweiligen Artike
lidentifikationen gehörigen Preise abgespeichert sind. Es ist aber auch
möglich, die Preise in dem Speicher 52 abzulegen, und dem Gerät 60 be
reitzustellen.
Der Rechner hat ferner einen mit "-" bezeichneten Ausgang "UNBEKANNT".
Wenn an diesem ein Signal erscheint, wird das Weichenförderband 16 für
einen definierten Zeitraum zur Aussonderung unbekannter Artikel in seine
zweite Endposition nach oben verschwenkt. In den Sammelraum 32 ausgeson
derte Artikel werden natürlich bei der Berechnung des Kaufpreises stor
niert, und entsprechende Befehle dem Gerät 60 übermittelt.
Die Realisierung von Rechner 50, Speicher 52, Zwischenspeicher 54 und
Bilddatenverarbeitung 56 kann in einem gemeinsamen Rechner erfolgen.
Um unnötige und personalaufwendige Laufereien zu verhindern, ist es mög
lich, bei einem Schleusensystem, welches beispielsweise ein Großteil der
Kassen eines Supermarkts stellt, an einer zentralen Stelle mit einer
Leitebene auszustatten, die beispielsweise mit einem Bildschirm versehen
ist, der mit den Videokameras 26 in Verbindung steht und jeweils dann
aktiviert wird, wenn ein Unbekannt-Signal vom Rechner 50 erzeugt wird,
jedoch noch ausreichend Zeit bis zu einer Betätigung des Weichenförder
bands 16 besteht. Eine Bedienperson kann dann in einer Einblendung von
einigen Sekunden Dauer die als unbekannt angesehene Ware auf dem Bild
schirm beobachten, wobei vorzugsweise eine Artikelbeschreibung, die in
einem mit der Markierung adressierbaren Datensatz abgespeichert ist, auf
dem Bildschirm eingeblendet wird, so daß die Bedienperson in einer Ja-
Nein-Entscheidung beurteilen kann, ob der betrachtete Gegenstand als be
kannt beurteilt werden soll. Nur wenn die Bedienperson ein entsprechen
des Signal auslöst, wird das Unbekannt-Signal "überstimmt" und die Ware
in den Stauraum 40 weiterbefördert. Es versteht sich, daß, wenn die Be
dienperson keinen Befehl auslöst, das Unbekannt-Signal nicht verändert
wird. Mit einer solchen zentralen Leitebene läßt sich bereits der größte
Teil der von dem Verifikationssystem als unbekannt angesehenen Artikel
dennoch verbuchen. Es ist ein besonderer Vorteil, der diese Warenschleu
se auszeichnet, daß eine Überwachung durch den Menschen für den runden
unbemerkt bleibt, nur wo sie benötigt ist auch aktiviert wird, und keine
anderen Videokameras hierfür erforderlich sind als diejenigen, die zur
Erfassung der Artikel verwendet werden.
Es ist möglich, zwischen dem Sammelraum 32 und der Fördereinrichtung ei
nen weiteren verschwenkbaren Bandförderer vorzusehen, der es ermöglicht,
ursprünglich abgelehnte Artikel in den Bereich des Auslauf-Förderbands
18 zurückzufördern, so daß diese Artikel in den Stauraum 40 gelangen.
Diese Vorrichtung wird nur in seltenen Fällen benötigt werden, weshalb
sie in dem vorliegenden Ausführungsbeispiel nicht vorgesehen ist.
Statt dessen kann eine Bedienperson, die den ausgesonderten Artikel aus
dem Sammelraum 32 nimmt, sich durch eine Identifizierung (z. B. Paß
wort, Karte) als autorisiert ausweisen, und das Verifikationssystem für
jeweils einen Artikel stummsetzen, d. h. der Rechner gibt hierfür ein BE
KANNT-Signal ab, und die Bedienperson kann daher, sozusagen in letzter
Instanz, das System überstimmen. Es kann vorgesehen werden, daß in die
sem Fall zu Kontrollzwecken die Leitebene ebenfalls informiert wird, und
den Artikel beobachten kann. Die Bedienperson wird immer dann gerufen,
wenn ein Artikel ausgesondert wird. Dann wird mit dem Ende der Bearbei
tung der Artikel in der Warenschleuse solange gewartet, bis auch die ur
sprünglich ausgesonderten Artikel verbucht wurden. Es ist aber auch
möglich, die Bedienperson nur auf Anforderung durch den Kunden, z. B.
über eine Ruftaste, in Marsch zu setzen.
Es ist möglich, im Auflagebereich 2 um das Einlauf-Förderband 10 zusätz
lich eine Kartenleseeinrichtung vorzusehen, die eine Kundenkarte, eine
Kreditkarte, eine Scheckkarte oder eine andere, einem Zahlungsmittel
gleichzusetzende Personenidentifikation liest und erst im Anschluß dar
an eine Bedienung des Lesegeräts 20 zur Erfassung von Waren zuläßt. In
einer einfacheren Variante ist diese Vorrichtung so ausgebildet, daß sie
Münzen und Geldscheine annimmt, also anonym arbeitet. Diese verhältnis
mäßig einfach zu realisierende Maßnahme beschleunigt die Abfertigung der
Kunden, da sichergestellt ist, daß diese nicht wegen mangelnder Liquidi
tät und/oder Bonität nicht bezahlte Ware zurückgeben müssen. Ferner er
möglicht dies eine Automatisierung des Zahlungsvorgangs, so daß auch
hier Bedienpersonal weitestgehend nicht mehr erforderlich ist. Im Falle
einer Personenidentifikation lassen sich Hausverbote leichter überwachen
und z. B. gute Kunden direkt ansprechen. Hierfür kann beispielsweise vor
gesehen sein, daß ein interaktives System mit Werbedisplays oder der
gleichen vorgesehen ist, das den Kunden begrüßt, wobei dieses gleichzei
tig genutzt werden kann, um die erfaßten Waren und deren Preise anzuzei
gen, und insbesondere den noch zur Verfügung stehenden Geldbetrag bzw.
die bisherige Summe darzustellen, also wie ein Gerät 60. Dies eröffnet
auch einen eleganten Weg, Daten über bestimmte Kunden zu erheben, bei
spielsweise über ihre Ernährungsgewohnheiten und Vorlieben. Es ist dann
auch möglich, die im vorliegenden Ausführungsbeispiel durch eine Zeit
steuerung geöffnete Sperre 38 des Stauraums 40 in einigen Fällen an die
Benutzung derselben Kundenkarte zu koppeln, die im Auflagebereich 2 be
reits einmal verwendet wurde.
Kameras 26 und Bandwaage 12 sind Komponenten eines Verifikationssystems
der Registriereinrichtung, das im Rahmen der Warenschleuse 1 zur Plausi
bilitätsüberprüfung ein Verfahren zum Erkennen und Wiedererkennen von
vom Kunden selbst gescannten Artikel-durchführt. Nach dem Scan-Vorgang
des Lesegeräts 20 werden die Artikel auf die Fördereinrichtung, die aus
den geschilderten Förderbändern 10, 12, 14, 16, 18 besteht, abgelegt und
in den Bereich der Abschirmung 24 gefördert.
Der Artikelcode, gegebenenfalls erweitert um das Sollgewicht der Ware,
wird vom Lesegerät 20 mit ergänzenden Informationen über einen Kassen
rechner 50 dem Verifikationssystem mitgeteilt. Im Gegensatz zu bekannten
"Selfscanning"-Ansätzen ist die einzige Anforderung an die Artikelzufüh
rung, daß die Artikel nacheinander (bedingt durch den Ausschleusungsme
chanismus bei 16) mit minimalem Abstand auf dem Band 10 angeordnet sind.
Auch eine begrenzte Vertauschung von Artikeln ist zulässig, wie noch ge
schildert wird. Dies hat zum Vorteil, daß sich gleichzeitig mehrere Arti
kel auf der Bandwaage 12 und somit im Sichtbereich der Kameras 26 befin
den können.
Das Verifikationssystem ermittelt über die Bandwaage 12 das Artikelge
wicht und mit Hilfe der Bilddatenverarbeitung 56 ausgehend von den von
den Kameras 26 beobachteten Bildern eine Vielzahl von geometrischen und
auf den Farbinformationen basierenden Kenngrößen. Das aktuelle Artikel
gewicht und die optisch gewonnenen Kenngrößen werden mit den Sollgrößen
in einer gespeicherten Datenbasis, abgelegt in Datensätzen, die unter
dem zugehörigen Artikelcode adressierbar sind, verglichen.
Die Kameras 26 beobachten direkt oder über (nicht dargestellte) Spiegel
aus unterschiedlichen Perspektiven den Bereich der Bandwaage 12, die so
mit gleichzeitig als optischer Hintergrund dient. Der Bereich der Band
waage 12 - einschließlich eines Teils des zuführenden Bandes 10 sowie
des abgehenden Bandes 14 - sind gegen Störlicht und gegen Beeinflussung
durch den Kunden abgeschirmt, hier z. B. in der Abschirmung 24 einge
haust.
Als Kameras 26 kommen handelsübliche Farb-CCD-Kameras (Ein-Chip- oder
Drei-Chip-Kameras) zum Einsatz. Aus Kostengründen werden Ein-Chip-Farb-
CCD-Kameras eingesetzt. Prinzipiell ist auch die Verwendung von Farb-
Zeilenkameras möglich.
Über die Bilddatenverarbeitung 56 wird ferner der Anfang und das Ende
der Bandwaage 12 überwacht. Immer dann, wenn sich ein Artikel vollstän
dig auf der Waage 12 befindet und gerade kein Artikel die Waage 12 ver
läßt bzw. ein Artikel die Waage 12 vollständig verlassen hat und kein
Artikel die Waage 12 betritt, kann ein Gewicht der auf der Waage liegen
den Artikel ermittelt werden. Aus der Kenntnis des zuletzt ermittelten
Gewichtes und der Anzahl und ggf. auch des Gewichtes der sich auf der
Waage 12 befindlichen Artikel, können dann die Gewichte von unbekannten
Artikeln, z. B. Artikeln ohne Stück-Gewicht in dem Datensatz, errechnet
werden. Prinzipiell ist eine derartige Aufgabe auch mit Lichtschranken
anstelle der Kamerasysteme 26 zu lösen. Nachteilig wirkt sich bei Ver
wendung von Lichtschranken aus, daß diese flache und dünne Artikel nicht
sicher detektieren können. Durch die oben geschilderten Schritte zum
gleichzeitigen Wiegen einer quasi endlosen Folge unter Einsatz von Vi
deo-Kameras und einer Bilddatenverarbeitung wird eine schnelle Verbu
chung gekaufter Gegenstände ermöglicht, die gegenüber einzeln getrig
gerten Systemen den Durchsatz um ein Vielfaches steigern.
Zur Charakterisierung eines Artikels werden Kombinationen von lokalen
geometrischen und auf der Farbinformation basierenden Merkmalen genutzt.
Die geometrischen Merkmale werden aus dem "Schwarz-Weiß-Bild" der Kame
ras ermittelt und sind als charakteristische "Ecken und Kanten" eines
Artikels zu interpretieren. Dabei wird nicht nur der äußere Umriß be
rücksichtigt, sondern auch Strukturen auf der Oberfläche, die einen ent
sprechend hohen Intensitätsunterschied aufweisen. Aus den Farbanteilen
des Videobildes werden charakteristische Farb-Kanten-Übergänge ermit
telt. Ein Farb-Kanten-Übergang beschreibt, welche Farben auf einem Arti
kel direkt aneinandergrenzen. Die geometrischen Merkmale und die Farb-
Kanten-Übergänge bilden je einen Merkmalsvektor. Die beiden Merkmalsvek
toren werden anschließend verknüpft, wodurch sich ein resultierender
Vektor ergibt, der die Inhalte beider Einzelvektoren miteinander ver
knüpft, d. h. ein Farb-Kanten-Übergang ist jeweils mit der geometrischen
Form bzw. dem Ort, an der er auftritt, verknüpft (topologisch codierte
Farb-Kanten-Übergänge). Für einen Artikel kann der verwendete Merkmals
vektor aus 200 Einzelmerkmalen oder mehr bestehen.
Die Gewichte und die obengenannten optischen Merkmale eines Artikels des
Sortiments sind zunächst nicht bekannt. Das Verifikationssystem muß daher
zunächst im Rahmen eines Lernvorgangs diese artikelspezifischen Größen
erfassen und in einer Datenbasis als Datensatz ablegen. Bei im Geschäft
abgewogenen Artikeln, z. B. Obst und Gemüse, erfaßt der Scanner den aus
gewiesenen Preis, und das Verifikationssystem ermittelt das Sollge
wicht, ausgehend von dem in der Datenbasis abgelegten Preis-kg. Damit
können zum Abwiegen der Artikel auch nichtgeeichte Waagen, die keine Ge
wichtsangaben ausdrucken dürfen, verwendet werden.
Im Lernmodus des Verifikationssystems werden zunächst in dem Verfahren
zum Erkennen eines Artikels der Warenschleuse 1 Artikel in verschiedenen
Perspektiven präsentiert. Zu jeder Ansicht werden die obengenannten
Merkmale generiert und zwischengespeichert. Der anschließende Verknüp
fungsschritt faßt die jeweils für eine Perspektive spezifischen Merkmale
als Vektor zusammen und legt diese anschließend im eigentlichen Merk
malsvektor als Merkmalssatz ab, der später dann für den Auswertebetrieb
zur Verfügung steht.
Im einem Schleusensystem mit mehreren Warenschleusen 1 erfolgt die Merk
malserfassung an den einzelnen Warenschleusen. Die Merkmale werden dann
zur Durchführung der nächsten Schritte auf einen zentralen Server gege
ben. Die im Rahmen des Lernverfahrens erstellte neue oder aktualisierte
Datenbasis wird anschließend wieder an die einzelnen Warenschleusen wei
tergegeben. Somit wird vorteilhaft sichergestellt, daß alle Kassen über
eine identische Datenbasis verfügen.
Im laufenden Auswertebetrieb, also wenn Waren aus dem Sortiment wieder
erkannt werden, erhält das Verifikationssystem von dem Lesegerät 20 den
Artikelcode mit ergänzenden Informationen, wie Bon-Nummer, Bon-Zeilen
nummer, Warengruppe, Artikeltext, Preis und ggf. Gewicht. Vom Verifika
tionssystem werden die optischen Merkmale und das Gewicht wie oben er
wähnt ermittelt. Bei Konsistenz des erfaßten Merkmals mit dem abgelegten
Datensatz (XOR-Verknüpfung des ermittelten und des Vektors aus der Da
tenbasis) wird der Artikel akzeptiert, indem ein bekannt-Signal er
zeugt wird. Für den Fall von Inkonsistenzen - fehlerhaftes Gewicht, der
ermittelte Merkmalssatz läßt sich nicht in ausreichendem Maße auf den
Vektor der Datenbasis abbilden - wird ein unbekannt-Signal erzeugt, und
ferner ein Videobild oder eine Videosequenz des Artikels mit den oben
genannten ergänzenden Artikelinformationen einem menschlichen Supervi
sor präsentiert. Überstimmt der Supervisor nicht das abweisende Si
gnal, wird der Artikel ausgeschleust. Nicht gescannte Artikel, die auf
das Förderband gelangen, werden im vorliegenden Ausführungsbeispiel
direkt ausgeschleust. Gegenüber der "strengen" UND-Verknüpfung der be
kannten Verifikationssysteme hat die XOR-Verknüpfung den Vorteil, daß
sie beim Auftauchen von ansonsten gut an den Datensatz anpaßbarer Merk
malssätze eine bessere Toleranz gegenüber "Ausreißern" bewirkt.
Der Supervisor kann ferner die Durchführung eines Lernschritts wie oben
beschrieben veranlassen, so daß ein zuvor abgewiesener Artikel künftig
angenommen wird. Es ergeben sich somit zwei Lernverfahren, ein "offli
ne" und ein "online"-Lernverfahren. Im offline Verfahren wird die Wa
renschleuse in einen Lernmodus versetzt und bislang unbekannte Artikel
zugeführt, wobei die nicht benötigten Funktionen der Warenschleuse 1,
wie Addieren, Ausschleusen etc. ausgestellt sind. Beim online Verfah
ren werden im laufenden Wiedererkennungsbetrieb Artikelmerkmale erfaßt
und ein zusätzlicher Lernschritt ausgelöst, wenn ein Artikel mehrfach
von dem System als unbekannt bewertet, aber manuell als bekannt be
stätigt wurde.
Es ist jedoch auch möglich, für nichtgescannte Artikel den Merkmalsatz
mit allen in der Datenbasis vorhandenen Vektoren zu vergleichen und zu
prüfen, ob es einen gibt, der in einem besonders hohen Maße in Überein
stimmung mit dem erfaßten Merkmalsvektor zu bringen ist. Es ist möglich
vorzusehen, daß dann der nichtgescannte Artikel dennoch verbucht wird,
so daß keine "Bestrafung" des Kunden (und des Händlers) durch Nicht-Ver
kauf eintritt, wenn er den Scanner nicht ordnungsgemäß bedient hat. Es
leuchtet ein, daß dieses für einen nichtgescannten Artikel durchgeführte
umfassende Vergleichs-Verfahren grundsätzlich für jeden Artikel durchge
führt werden könnte, wodurch die Arbeitsgeschwindigkeit der Warenschleu
se jedoch stark herabgesetzt werden würde. Eine derartige Ausgestaltung
macht daher insbesondere in solchen Bereichen Sinn, wo ein kleines Wa
rensortiment vorliegt, oder aber ausschließlich sehr unterschiedliche
Gegenstände, die leicht auseinandergehalten werden können, so daß der
Schwellenwert für die Wiedererkennung niedrig angesetzt werden kann,
oder aber dort, wo schnelle Recheneinheiten zur Durchführung der Ver
gleiche zur Verfügung stehen. Als Kompromißlösung ist möglich, nur den
jenigen Bereich der Datenbasis zu Wiedererkennungsverfahren heranzuzie
hen, der mit den von der Bandwaage 12 erfaßten Gewichtsdaten innerhalb
gewisser Toleranzen übereinstimmt. In einem solchen Fall wäre es sinn
voll, die Datenbasis nach Gewicht sortiert abzulegen, um einen raschen
Zugriff zu gewährleisten.
Um eine Gesamtabfrage der Datenbasis zu vermeiden, da möglicherweise auf
der Fördereinrichtung lediglich eine Vertauschung in der Reihenfolge der
Artikel gegenüber der Reihenfolge beim Lesen der Strichcodes stattgefun
den hat, ist vorgesehen, die von dem Lesegerät 20 erfaßten Artikelcodes
in dem Zwischenspeicher 54 abzulegen. Stimmt in einer Folge von geprüf
ten Waren ein Artikel nicht mit dem entsprechend erstfolgenden Code im
Zwischenspeicher 54 überein, werden die zwischengespeicherten nachfol
genden Codes überprüft, ob eine Übereinstimmung herstellbar ist. Ist
dies der Fall, gilt der Artikel als bekannt, es wird aber der entspre
chende Code aus dem Zwischenspeicher gelöscht, so daß im Endergebnis für
diesen gelöschten Strichcode keine weiteren Plausibilitätsprüfungen mehr
vorgenommen werden. Da Vertauschungen auf dem Band eine häufige Ursache
für zurückgewiesene Artikel sind, bewirkt diese Variante des Wiederer
kennungsverfahrens eine deutliche Verbesserung des Warendurchsatzes.
Ein bedeutender Aspekt bei der Bildverarbeitung im allgemeinen und bei
der Steuerung einer Warenschleuse im besonderen besteht darin, daß gut
geeignete Schwellenwerte zu ermitteln sind, die das Mindestmaß an Über
einstimmung zum Ausdruck bringen, das erforderlich ist, um einen Artikel
als bekannt einzustufen. Hierzu ist zu bemerken, daß in Selbstbedie
nungsläden die überwiegende Mehrzahl der verkauften Artikel Markenarti
kel sind, die mit ausgesprochen typischen Verpackungen versehen sind,
also spezifische Farbgebung und Design zur Schaffung eines hohen Wieder
erkennungswerts beim Kunden aufweisen. Andererseits sind jedoch auch Wa
ren zu berücksichtigen, die ein zu anderen Waren sehr ähnliches Design
aufweisen, oder aber in einem bestimmten Bereich streuen. Beispielsweise
abgepackter Aufschnitt unterscheidet sich in seiner Erscheinung von Pac
kung zu Packung, ebenso sind Obst- und Gemüsesorten oft mit verschiede
nen Farbtönen, von Stück zu Stück unterschiedlich, durchsetzt. Für die
geeignete Auswahl der Maßzahl ist demnach einerseits der Abstand zu
Merkmalsvektoren anderer Waren zu berücksichtigen, andererseits die
Streubreite innerhalb ein- und derselben Ware. Da solche Angaben nicht
absolut erfolgen können, da sich das Warensortiment und die Verpackungen
von Waren aus dem bestehenden Sortiment ständig ändern können, kann vor
gesehen werden, daß statistische Angaben zu jedem einzelnen bei der Ge
nerierung des Merkmalsvektors zugrunde liegenden Bildes ermittelt werden
und diese während des Lernvorgangs bei der Festlegung der Maßzahlen be
rücksichtigt werden, weiterhin kann vorgesehen sein, daß für die inner
halb der Datenbasis abgelegten Datensätze die Maßzahlen in Abhängigkeit
zu dem Abstand zu den nächstliegenden Datensätzen beeinflußt werden.
Claims (21)
1. Verfahren zum Anlegen einer Datenbasis zur Abspeicherung von
Informationen über charakteristische Merkmale einer Vielzahl verschiede
ner Artikel als Datensatz, gekennzeichnet durch folgende Schritte:
- (a) Beobachten eines Artikels unter unterschiedlichen Winkeln mit tels mindestens einer Videokamera;
- (b) Zerlegung des von der mindestens einen Videokamera erfaßten Bildes des Artikels mittels einer Recheneinheit in charakteristische Merkmale gemäß mindestens einem vorgegebenen Auswertekriterium;
- (c) Verknüpfen einer Untermenge der charakteristischen Merkmale zu mindestens einem als Datenvektor ausgebildetem Merkmalssatz;
- (d) Falls bereits ein Datensatz für den Artikel existiert, Ver gleichen des mindestens einen Merkmalssatzes mit dem Datensatz aus der Datenbasis, und Speicherung eines aus Datensatz und Merkmalssatz gene rierten gemittelten Datensatzes, wenn der Vergleich ein einen mit dem Datensatz gespeicherten Schwellenwert übersteigendes Maß an Übereinstim mung aufweist;
- (e) Falls kein Datensatz für den Artikel existiert, oder der Da tensatz zu verschieden ist, Abspeichern eines Datensatzes mit den Merk malen des Merkmalssatzes.
2. Verfahren zum Wiedererkennen eines Probanden aus einer Menge
bekannter Artikel, bei dem eine Datenbasis zur Abspeicherung von Infor
mationen über charakteristische Merkmale eines jeden bekannten Artikels
als Datensatz vorgesehen ist, gekennzeichnet durch folgende Schritte:
- (a) Beobachten des Probanden unter unterschiedlichen Winkeln mit tels mindestens einer Videokamera;
- (b) Zerlegung des von der mindestens einen Videokamera erfaßten Bildes des Probanden mittels einer Recheneinheit in charakteristische Merkmale gemäß mindestens einem vorgegebenen Auswertekriterium;
- (c) Verknüpfen einer Untermenge der charakteristischen Merkmale zu mindestens einem als Datenvektor ausgebildetem Merkmalssatz;
- (d) Vergleichen des mindestens einen Merkmalssatzes mit wenigstens einem Datensatz aus der Datenbasis, und Ausgabe eines BEKANNT-Signals, wenn der Vergleich ein einen mit dem Datensatz gespeicherten Schwellen wert übersteigendes Maß an Übereinstimmung aufweist, und eines UNBE KANNT-Signals sonst.
3. Verfahren nach Anspruch 2, gekennzeichnet durch im Anschluß
an den Schritt (d) ausgeführte Schritte
- (e) Falls kein dem Probanden entsprechender Datensatz existiert, Abspeichern eines Datensatzes mit den Merkmalen des Merkmalssatzes; und
- (f) Falls bereits ein Datensatz für den Artikel existiert, Ver gleichen des mindestens einen Merkmalssatzes mit dem Datensatz aus der Datenbasis, und Speicherung eines aus Datensatz und Merkmalssatz gene rierten gewichteten Datensatzes, wenn der Vergleich ein einen mit dem Datensatz gespeicherten Schwellenwert übersteigendes Maß an Übereinstim mung aufweist.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekenn
zeichnet, daß die im Zerlegungs-Schritt (b) zugrundegelegten Merkmale
die sichtbaren Kantenübergänge und/oder Farbübergänge auf dem Bild sind.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekenn
zeichnet, daß die im Verknüpfungs-Schritt (c) verknüpften Merkmale unter
mehr als einem Winkel beobachtbar waren.
6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekenn
zeichnet, daß im Vergleichs-Schritt (d) weitere Kriterien, die durch an
dere Mittel erfaßt werden, mit im Datensatz abgespeicherten, die weite
ren Kriterien repräsentierenden Daten verglichen werden, und das Ver
gleichsergebnis der weiteren Kriterien zur Beurteilung des Übereinstim
mungsmaßes herangezogen wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß als
weiteres Kriterium das Gewicht des Artikels berücksichtigt wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekenn
zeichnet, daß vor dem Beobachtungs-Schritt (a) eine artikelspezifische
Markierung des zu beobachtenden Probanden/Artikels gelesen wird, und in
dem Vergleichs-Schritt (d) der Merkmalssatz zunächst mit einem durch die
artikelspezifische Markierung adressierbaren Datensatz verglichen wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß die
gelesenen Markierungen der Probanden in einen Zwischenspeicher ge
schrieben werden, daß in dem Vergleichs-Schritt (d) der Merkmalssatz in
einer Reihenfolge der zwischengespeicherten Markierungen mit durch die
artikelspezifische Markierung adressierbaren Datensätzen verglichen
wird, und im Falle eines BEKANNT-Signals die der Adressierung des Da
tensatzes zugrundeliegende Markierung aus dem Zwischenspeicher gelöscht
wird.
10. Verfahren zum Erkennen einzelner Gegenstände, bei dem die Ge
genstände unter unterschiedlichen Winkeln mittels mindestens einer Vi
deokamera aufgenommen werden, die Bilddaten abgespeichert werden und Ge
meinsamkeiten der Daten einzelner Bilder, die für den betreffenden Ge
genstand charakteristisch sind, als Suchkriterien für das Wiedererkennen
verwendet werden.
11. Verfahren nach Anspruch 10, bei dem die Daten der Umrisse und/
oder Farbübergänge der Gegenstände verwertet werden.
12. Verfahren nach Anspruch 10, bei dem für das Wiedererkennen
mindestens ein weiteres Kriterium berücksichtigt wird.
13. Verfahren nach Anspruch 12, bei dem ein weiteres Kriterium das
Gewicht des Gegenstandes ist.
14. Verfahren nach Anspruch 12 oder 13, bei dem ein weiteres Kri
terium eine an dem Gegenstand angebrachte Markierung ist.
15. Vorrichtung zur Durchführung des Verfahrens gemäß einem der
Ansprüche 1 bis 14, mit
- - mindestens einer Videokamera (26) zur Durchführung eines Beobachtungs-Schritts;
- - einer Bildverarbeitungseinrichtung (56) zur Durchführung ei nes Zerlegungs-Schritts und eines Verknüpfungs-Schritts;
- - einem Komparatormittel (50) zur Durchführung eines Ver gleichs-Schritts.
16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, daß die
mindestens eine Videokamera (26) schwenkbar angeordnet ist.
17. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, daß
mindestens ein bewegbarer Träger (10, 12, 14) zur Bewegung des Probanden
bzw. des Artikels im Sichtfeld der mindestens einen Videokamera (26)
vorgesehen ist.
18. Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, daß der
Träger als Förderband (12) ausgebildet ist.
19. Vorrichtung nach einem der Ansprüche 15 bis 18, dadurch ge
kennzeichnet, daß zwei Farb-CCD-Kamera (26) vorgesehen sind, die einen
überlappendes, aber voneinander verschiedenes Sichtfeld aufweisen.
20. Vorrichtung nach einem der Ansprüche 15 bis 19, dadurch ge
kennzeichnet, daß Beleuchtungsmittel vorgesehen sind, die in einem von
Fremdlicht abgeschirmten Bereich (24) gemeinsam mit der mindestens einen
Videokamera (26) angeordnet sind.
21. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß die
Beleuchtungsmittel mit einer oder mehreren Wellenlängen getaktet oder
hintereinander angeordnet sind.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19707155A DE19707155A1 (de) | 1996-02-23 | 1997-02-22 | Verfahren zum Erkennen und Wiedererkennen einzelner Artikel, sowie Vorrichtung zur Durchführung des Verfahrens |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19606766 | 1996-02-23 | ||
DE19707155A DE19707155A1 (de) | 1996-02-23 | 1997-02-22 | Verfahren zum Erkennen und Wiedererkennen einzelner Artikel, sowie Vorrichtung zur Durchführung des Verfahrens |
Publications (1)
Publication Number | Publication Date |
---|---|
DE19707155A1 true DE19707155A1 (de) | 1997-08-28 |
Family
ID=7786210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19707155A Withdrawn DE19707155A1 (de) | 1996-02-23 | 1997-02-22 | Verfahren zum Erkennen und Wiedererkennen einzelner Artikel, sowie Vorrichtung zur Durchführung des Verfahrens |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE19707155A1 (de) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202006007875U1 (de) * | 2006-05-15 | 2007-09-20 | Big Dutchman International Gmbh | Eierzählsensor |
US9382070B2 (en) | 2012-10-24 | 2016-07-05 | Big Dutchman International Gmbh | Conveyor and method to convey animal products in an agricultural business |
US9834386B2 (en) | 2014-09-12 | 2017-12-05 | Big Dutchman International Gmbh | Dosing apparatus |
US10842134B2 (en) | 2016-09-27 | 2020-11-24 | Big Dutchman International Gmbh | Feeding device for poultry animals |
-
1997
- 1997-02-22 DE DE19707155A patent/DE19707155A1/de not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202006007875U1 (de) * | 2006-05-15 | 2007-09-20 | Big Dutchman International Gmbh | Eierzählsensor |
US7878391B2 (en) | 2006-05-15 | 2011-02-01 | Big Dutchman International Gmbh | Egg counting device and method |
US9382070B2 (en) | 2012-10-24 | 2016-07-05 | Big Dutchman International Gmbh | Conveyor and method to convey animal products in an agricultural business |
US9834386B2 (en) | 2014-09-12 | 2017-12-05 | Big Dutchman International Gmbh | Dosing apparatus |
US10842134B2 (en) | 2016-09-27 | 2020-11-24 | Big Dutchman International Gmbh | Feeding device for poultry animals |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE3524231C2 (de) | ||
DE69734792T2 (de) | Vorrichtung und Verfahren zum Aufrichten, Festhalten und weiter Befördern einer Flasche | |
DE69518947T2 (de) | Produkterkennungssystem | |
DE212017000037U1 (de) | Selbstbedienungskassensystem | |
DE3913162C2 (de) | Selbstabfertigungs-Vorrichtung zur unbeaufsichtigten Abfertigung von zum Kauf ausgewählten Artikeln | |
EP1386293B1 (de) | Bezeichnen eines mit pfand belegten objektes | |
DE2837112A1 (de) | Geraet zur automatischen identifizierung und registrierung von flaschen verschiedener groesse und/oder gestalt | |
DE2113068A1 (de) | Vorrichtung zur Handhabung von Waren | |
EP3100648B1 (de) | Vorrichtung und verfahren zum identifizieren und verfolgen eines objektes | |
DE102019109289A1 (de) | System und Verfahren zur Erkennung des potenziellen Betrugs seitens des Kassierers, sowie das Verfahren zur Bildung des Warenauszugs fürs Training des künstlichen Neuronennetzes | |
DE3724204A1 (de) | Vorrichtung zum abfertigen von zum kauf ausgewaehlten artikeln, produkten, waren oder dgl., insbesondere zur unbeaufsichtigten abfertigung | |
EP3696135B1 (de) | Gabelstapler und system mit gabelstapler zur identifikation einer ware | |
DE2627981A1 (de) | Identifizierungssystem | |
DE19707156A1 (de) | Warenschleuse für Selbstbedienungsläden | |
DE19707155A1 (de) | Verfahren zum Erkennen und Wiedererkennen einzelner Artikel, sowie Vorrichtung zur Durchführung des Verfahrens | |
DE19716672C1 (de) | Verfahren und Vorrichtung zum quantitativen Erfassen von verpackten Altbackwaren-Retouren | |
DE112017006005T5 (de) | System und arbeitsplatz und verfahren zum verhindern von diebstahl eines produkts, das einem elektrooptisch zu lesenden ziel zugeordnet ist | |
EP0924659B1 (de) | Rücknahmesystem für Abpackungen des Handels | |
DE3330301A1 (de) | Einrichtung zum fakturieren von artikeln | |
EP0488952B1 (de) | Verfahren und Gerät zur Rücknahme von Artikeln, z.B. leeren Getränkedosen | |
DE102016014420B3 (de) | Ladenlokal mit Einrichtungen zur Verhütung von Rückgabebetrug sowie Verfahren zur Verhütung von Rückgabebetrug in Ladenlokalen | |
DE102020202657A1 (de) | Erstellung und Aktualisierung einer Produktdatenbank | |
DE102006018836A1 (de) | System und Verfahren zur Schätzung von Objektbeständen | |
DE102019109287A1 (de) | System und Verfahren zum Erkennen von potenziellem Betrug seitens des Kassierers | |
DE10207405A1 (de) | Verfahren und Vorrichtung zum Annehmen und Erfassen von Leergutartikeln |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8139 | Disposal/non-payment of the annual fee |