-
Die
Erfindung betrifft ein Verfahren zum Erkennen von Manipulationsversuchen
an einem Selbstbedienungsterminal nach dem Oberbegriff des Anspruchs
1. Außerdem betrifft die Erfindung eine nach dem Verfahren
arbeitende Vorrichtung, insbesondere eine Datenverarbeitungseinheit
zur Verarbeitung von Bilddaten, sowie ein damit ausgestattetes Selbstbedienungsterminal,
insbesondere ein als Geldautomat ausgestaltetes Selbstbedienungsterminal.
-
Im
Bereich von Selbstbedienungsautomaten, insbesondere Geldautomaten,
werden häufig kriminelle Handlungen in Form von Manipulationen
vorgenommen, die das Ziel verfolgen, sensitive Daten, insbesondere
PINs (Personal Identification Numbers) und/oder Kartennummern, von
Nutzern des Selbstbedienungsterminals auszuspähen. Insbesondere
sind Manipulationsversuche bekannt, bei denen sogenannte Skimming-Vorrichtungen,
wie beispielsweise Tastaturüberbauten und dergleichen,
im Bedienbereich bzw. Bedienfeld widerrechtlich installiert werden.
Solche Tastaturüberbauten verfügen häufig über
eine eigene Stromversorgung, sowie einen Prozessor, einen Speicher
und ein Betriebsprogramm, sodass ein ahnungsloser Nutzer bei Eingabe
seiner PIN oder beim Einführen seiner Bankkarte ausgespäht
wird. Die ausgespähten Daten werden dann über
einen in dem Tastaturüberbau integrierten Sender an einen
entfernten Empfänger übertragen oder werden in
einem im Tastaturüberbau befindlichen Datenspeicher gespeichert.
Viele der heutzutage anzutreffenden Skimming-Vorrichtungen können
nur sehr schwer mit dem menschlichen Auge von originalen Bedienelementen
(Tastatur, Kartenleser usw.) unterschieden werden.
-
Um
derartige Manipulationsversuche zu vereiteln, werden häufig Überwachungssysteme
eingesetzt, die eine oder mehrere Kameras aufweisen, welche im Bereich
des Standortes des Selbstbedienungsterminals montiert sind und das
gesamte Bedienfeld und häufig auch den Aufenthaltsbereich
des Nutzers erfassen. Eine solche Lösung ist beispielsweise
in der
DE 201 02 477
U1 beschrieben. Mittels der dortigen Kamera-Überwachung
kann sowohl das Bedienfeld selbst wie auch der davor liegende Aufenthaltsbereich
des Nutzers erfasst werden. Um zu unterscheiden, ob eine Person
sich im Aufenthaltsbereich befindet, ist noch ein Sensor vorgesehen.
-
Es
sind demnach grundsätzlich Vorrichtungen und Verfahren
zum Erkennen von Manipulationsversuchen an einem Selbstbedienungsterminal
bekannt, wobei eine Kamera auf mindestens eines der im Bedienfeld
vorgesehenen Elemente, wie z. B. Tastatur, Geldausgabefach usw.,
ausgerichtet ist und wobei die von der Kamera erzeugten Bilddaten
ausgewertet werden. Für den Einsatz von Verfahren, die eine
vollautomatisierte Bildauswertung ermöglichen, sind in
der Regel ein hoher Hardware- und Software-Aufwand und die damit
verbundenen Kosten zu überwinden.
-
Aufgabe
der vorliegenden Erfindung ist es daher, eine Lösung für
eine zuverlässige und kostengünstig zu realisierende Kamera-Überwachung
mit Erkennung von Manipulationsversuchen vorzuschlagen.
-
Gelöst
wird die Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs
1 sowie durch eine danach arbeitende Datenverarbeitungseinheit und
ein damit ausgestattetes Selbstbedienungsterminal.
-
Demnach
wird vorgeschlagen, dass aus den von der Kamera erzeugten Bilddaten
mittels einer Kantendetektion mindestens ein Kantenbild erstellt wird,
und dass das Kantenbild mittels eines Referenz-Kantenbildes ausgewertet
wird.
-
Der
Einsatz einer Kantendetektion nach dem hier vorgeschlagenen Verfahren
bewirkt nicht nur eine deutliche Datenreduktion, sondern erhöht
auch die Schnelligkeit und Zuverlässigkeit der Bildauswertung.
-
Vorzugsweise
werden dazu Kantenbilddaten, die das Kantenbild repräsentieren,
mit Referenz-Kantenbilddaten, die das Referenz-Kantenbild repräsentieren,
logisch zu ersten Ergebnisbilddaten, die ein erstes Ergebnisbild
repräsentieren, insbesondere durch eine Exklusiv-ODER-Operation
verknüpft. Diese Datenoperation bewirkt, dass in diesem
derart zusammengefügten Ergebnisbild alle Kanten, die sich
mit dem Referenz-Kantenbild decken, ausgeblendet werden, so dass
im wesentlichen nur die Kanten bzw. die davon umrissenen Elemente
oder Teile zu sehen sind, die manipuliert sein könnten.
-
Anschließend
werden die ersten Ergebnisbilddaten bevorzugt mit den Referenz-Kantenbilddaten
logisch zu zweiten Ergebnisbilddaten, die ein zweites Ergebnisbild repräsentieren,
insbesondere durch eine UND-Operation verknüpft. Durch
diese Operation werden die nicht zu überwachenden Bereiche
ausgeblendet, so dass nur diejenigen Kanten oder Teile davon zu
sehen sind, die zu Fremdobjekten gehören, die in den zu überwachenden
Bereich eingefügt worden sind. Hierbei handelt es sich
insbesondere um Überbauten, Späh-Kameras und ähnliche
Manipulationen.
-
Aufgrund
der hier vorgeschlagenen Kantendetektion kann das Auswerten der
Kantenbilder sehr effizient und schnell auch mit einfacher Rechner-Hardware
und -Software realisiert werden, wenn in dem zweiten Ergebnisbild
der Weißanteil bestimmt wird und wenn zum Erkennen eines
Manipulationsversuches geprüft wird, ob der Weißanteil
einen vorgebaren Schwellwert übersteigt.
-
Diese
und weitere besonders vorteilhafte Ausgestaltungen ergeben sich
auch aus den Unteransprüchen.
-
Demnach
ist es beim Berechnen das mindestens einen Kantenbildes vorteilhaft,
wenn das jeweilige Kantenbild aus mehreren Einzelbildern berechnet
wird, wobei insbesondere mittels Bildung von Durchschnittswerten
aus den jeweiligen Bilddaten ein Durchschnittsbild berechnet wird.
Diese Schritte werden durchgeführt, um u. a. möglichst
rauscharme Bilddaten für die eigentliche Auswertung zu
haben.
-
Die
Anmelderin hat erkannt, dass es besonders vorteilhaft ist, wenn
auch das Referenz-Kantenbild aus mehreren Referenz-Einzelbildern
berechnet wird. Dabei wird ebenfalls insbesondere mittels Bildung
von Durchschnittswerten aus den jeweiligen Bilddaten ein Durchschnittsbild
berechnet. In diesem Zusammenhang wird bei der Bildung der Durchschnittswerte
jeweils der durchschnittliche Farbwert für jeden Bildpunkt
ermittelt. Anschließend wird das jeweilige Durchschnittsbild
in ein Graustufenbild gewandelt.
-
Zur
eigentlichen Kantendetektion wird vorzugsweise eine Sobel-Filterung
der Bilddaten durchgeführt, wobei insbesondere das jeweilige
Graustufenbild der Sobel-Filterung unterzogen wird, um das Kantenbild
bzw. das Referenz-Kantenbild zu erstellen. Es kann ein kombiniertes
Sobel-Filter in einer normalisierten Form (z. B. 3 × 3
horizontal und 3 × 3 vertikal) angewendet werden.
-
Auch
ist es von Vorteil, wenn die Kantendetektion mittels einer Segmentierungs-Filterung
von Bilddaten durchgeführt wird, wobei insbesondere das jeweilige
der Sobel-Filterung unterzogene Graustufenbild anschließend
der Segmentierungs-Filterung unterzogen wird, um das Kantenbild
bzw. das Referenz-Kantenbild zu erstellen. Dabei wird das Kantenbild
mittels eines Schwellwertes in seine Schwarz- und Weißanteile
zerlegt, so dass eine Maske der Kanten entsteht.
-
Sofern
es sich um das Referenz-Kantenbild bzw. um seine Maske handelt ist
es vorteilhaft, wenn dann noch eine manuelle Bildüberarbeitung
erfolgt, wobei insbesondere das jeweilige der Segmentierungs-Filterung
unterzogene Graustufenbild einer manuellen Bildüberarbeitung
unterzogen wird, bei der für die Auswertung unwesentliche
Bildelemente entfernt werden, wie z. B. nicht zu überwachende
Bereiche oder Kanten bzw. Artefakte, die durch Bildrauschen entstanden
sind. Es verbleiben somit in der Referenz nur die wesentlichen Kanten,
insbesondere die Umrisse der zu überwachenden Elemente.
Dies hat auch den Vorteil, dass bei der zuvor genannten UND- Operation
die unwesentlichen Bereiche nicht mehr im Ergebnisbild erscheinen.
-
Vorteilhaft
ist es auch, wenn verschiedene Referenz-Kantenbilder in Abhängigkeit
von vorherrschenden und/oder auftretenden Bedingungen, insbesondere
von Beleuchtungs- und/oder Tageslicht-Bedingungen, erstellt werden.
Somit stehen für die Auswertung der Kantenbilder verschiedene
Referenzen zur Verfügung, die jeweils für eine
typische Situation optimiert sind.
-
Vorgeschlagen
werden auch eine das Verfahren ausführende Datenverarbeitungseinheit,
die z. B. als PC ausgeführt werden kann, und ein damit ausgestattetes
Selbstbedienungsterminal.
-
Durch
die Erfindung kann insbesondere das Erkennen von Überbauten
an einzelnen oder mehreren Elementen deutlich verbessert und vollautomatisiert
werden. Vorzugsweise werden von der Kamera die besonders manipulationsgeeigneten
Elemente und/oder die in besonders manipulationsgeeigneten Bereichen
des Bedienfeldes angeordnete Elemente erfasst, wie z. B. Geldausgabefach,
Tastatur, Karteneingabetrichter und/oder Bildschirm. Die Elemente sind
also vorzugsweise Bedienelemente im engeren Sinne, können
aber auch andere Elemente, wie z. B. Ablagefläche im Bedienbereich
oder ein aufgebrachtes Logo, Hinweisschild Schriftzug und dergleichen sein.
Die Kamera hat einen Erfassungswinkel, der vorzugsweise mehrere
Bedienelemente, wie z. B. das Geldausgabefach und die Tastatur,
erfasst. Dazu weist die Kamera bevorzugt ein Weitwinkelobjektiv mit
einem Erfassungswinkel von mindestens 130 Grad auf.
-
Es
kann vorteilhaft sein, wenn die Kamera in demjenigen Gehäuseabschnitt
des Selbstbedienungsterminals installiert ist, der das Bedienfeld
seitlich oder nach oben begrenzt. Dies kann insbesondere der Rahmen
des Bedienfeldes sein.
-
Die
mit der mindestens einen Kamera verbundene Datenverarbeitungseinheit
kann ganz in das Selbstbedienungsterminal integriert sein. Im Zusammenhang
mit der hier vorgeschlagenen Bildverarbeitung kann vorgesehen sein,
dass die Datenverarbeitungseinheit eine die Bilddaten empfangende erste
Stufe zur Bildverarbeitung, insbesondere zur Schattenentfernung,
Kantendetektion, Vektorisierung und/oder Segmentierung aufweist.
Insbesondere kann die Datenverarbeitungseinheit eine der ersten
Stufe nachgeschaltete zweite Stufe zur Merkmalsextraktion aufweisen,
wobei insbesondere eine sog. Blobanalyse, Kantenposition und/oder
Farbverteilung durchgeführt wird. Zudem kann eine der zweiten
Stufe nachgeschaltete dritte Stufe zur Klassifikation vorgesehen
sein.
-
Auch
kann vorgesehen sein, dass die Datenverarbeitungseinheit, wenn sie
mittels der Verarbeitung der Bilddaten einen Manipulationsversuch
an den erfassten Elementen erkennt, einen Alarm auslöst,
das Selbstbedienungsterminal sperrt und/oder eine zusätzliche
Kamera (Portrait-Kamera) auslöst.
-
Bevorzugt
wird die Kamera und/oder die Datenverarbeitungseinheit während
der Bedienung und/oder Wartung des Selbstbedienungsterminals deaktiviert.
-
Die
Erfindung und die sich daraus ergebenen Vorteile werden nachfolgend
anhand von Ausführungsbeispielen und unter Bezugnahme auf
die beiliegenden schematischen Zeichnungen beschrieben, die folgendes
darstellen:
-
1 zeigt
ein Ablaufdiagramm des erfindungsgemäßen Verfahrens;
-
2a)–d) zeigen Beispiele für
erzeugte Kantenbilder und Ergebnisbilder;
-
3a)–d) zeigen Beispiele für
original aufgenommene Kamera-Bilder und Kanten- bzw. Ergebnisbilder;
-
4 zeigt
eine perspektivische Ansicht auf das Bedienfeld eines Selbstbedienungsterminals
mit einer seitlich integrierten Kamera;
-
5 gibt
den Erfassungsbereich der Kamera aus 4 wieder;
-
6 gibt
den Erfassungsbereich einer Kamera wieder, die von Oben das Bedienfeld
erfasst; und
-
7 zeigt
ein Blockschaltbild für eine mit der Kamera verbundene
Datenverarbeitungseinheit und eine damit verbundene Videoüberwachungs-Einheit.
-
Die
in den 2 und 3 dargestellten Kantenbilder
müssten eigentlich weiße Kantenverläufe
auf schwarzem Hintergrund darstellen. Um den Erfordernissen für
Patentzeichnungen zu genügen, werden diese Darstellungen
hier invertiert wiedergegeben, d. h. es werden schwarze Kantenverläufe
auf weißen Hintergrund dargestellt.
-
Die 1 zeigt
in schematischer Darstellung ein Ablaufdiagramm des erfindungsgemäßen
Verfahrens 100, das sich in folgende Schrittfolgen 110 bis 130 unterteilen
lässt:
In der Schrittfolge 110 mit den einzelnen
Schritten 111 bis 115 wird aus den Kamera-Bilddaten
mindestens eine Referenz-Kantenbild erzeugt. Dabei wird von einem
unmanipulierten Zustand Selbstbedienungsterminals ausgegangen.
-
In
der Schrittfolge 120 mit den einzelnen Schritten 121 bis 124 wird
aus den Kamera-Bilddaten mindestens ein Kantenbild erzeugt. Dabei
befindet sich das Selbstbedienungsterminal im Einsatz, so dass ein
Manipulationsversuch erfolgt sein könnte, der durch das
hier beschriebene Verfahren erkannt werden soll.
-
In
der Schrittfolge 130 mit den einzelnen Schritten 131 bis 133 erfolgt
eine Auswertung des mindestens einen Kantenbildes unter Zuhilfenahme des
mindestens einen Referenz-Kantenbildes.
-
Die
einzelnen Schritte des Verfahrens 100 werden nachfolgend
unter Bezugnahme auf die weiteren Figuren beschrieben:
Die 2a)–d) sowie 3a)–d)
zeigen Beispiele für die in dem Verfahren erzeugten und
weiterverarbeiteten Bilder. Bevor auf weitere Details eingegangen
wird, wird auf die 4 bis 7 verwiesen,
die das hier vorgeschlagene Selbstbedienungsterminal, Kamera-Perspektiven
davon sowie die das Verfahren ausführende Datenverarbeitung
zeigen.
-
Die 4 zeigt
in einer perspektivische Ansicht den prinzipiellen Aufbau eines
Selbstbedienungsterminals in Gestalt eines Geldautomaten ATM, der
ein Bedienfeld CP aufweist und mit einer erfindungsgemäßen
Kamera CAM zum Erkennen von Manipulationsversuchen ausgestattet
ist. Die Kamera CAM befindet sich in einem seitlichen Gehäuseteil, das
das Bedienfeld des Geldautomaten ATM umrahmt bzw. einfasst. Zu dem
Bedienfeld gehören insbesondere ein Geldausgabefach 1,
auch Shutter genannt, sowie eine Tastatur 2. Dies sind
Bedienelemente, an denen bevorzugt Manipulationsversuche, z. B.
in Form von Überbauten, zwecks Skimming auftreten können.
Der Erfassungsbereich bzw. -winkel der Kamera CAM umfasst zumindest
diese beiden Elemente 1 und 2 und ermöglicht
ein sicheres Erkennen solcher Manipulationsversuche.
-
Die 5 zeigt
aus dem Kamerablickwinkel den Erfassungsbereich der Kamera CAM.
Darin befinden sich insbesondere das Geldausgabefach 1 und
die Tastatur 2. Die Kamera ist mit einem Weitwinkelobjektiv
ausgestattet, um zumindest diese beiden Elemente bzw. Teilbereiche
des Bedienfeldes zu erfassen. Der Geldautomat ATM ist dabei so beschaffen,
dass die genannten Elemente 1 und 2 vorzugsweise
möglichst homogene Flächen mit abgrenzenden Kanten
aufweisen. Dadurch wird eine Objekterkennung vereinfacht. Durch
Anbringung der Kamera CAM an dieser besonders geeigneten Position
können die genannten Teilbereiche bzw. Elemente 1 und 2 sehr
zuverlässig optisch vermessen werden. Es kann vorgesehen
werden, dass die Kamera insbesondere auf bestimmte Bereiche scharf
eingestellt ist. Eine alternative Positionierung der Kamera wird anhand
der 6 verdeutlicht.
-
Die 6 veranschaulicht
das Erfassungsfeld einer Kamera, die der Kamera CAM gleicht, die aber
nun im oberen Bereich des Geldautomaten ATM installiert ist und
das Bedienfeld CP von Oben erfasst. Neben dem Geldausgabefach 1 und
der Tastatur 2 können in dem Erfassungsbereich
der Kamera auch noch weitere Elemente vorgesehen sein, wie z. B.
eine Ablagefläche in Nähe der Tastatur, ein Karteneingabetrichter 4,
d. h. ein Zuführungsteil für den Kartenleser,
sowie z. B. ein Bildschirm 5 bzw. Display. Auch diese weiteren
genannten Elemente 3, 4 und 5 stellen
potentielle Ziele für Manipulationsversuche dar.
-
Die
Kamera weist eine auf diese Anwendung hin optimierte Optik sowie
eine Auflösung von beispielsweise 2 Megapixeln und mehr
auf. Die Kamera CAM ist mit einer speziellen Datenverarbeitungseinheit 10 verbunden
(siehe 7). Diese noch später beschriebene Datenverarbeitungseinheit
ermöglicht es, die von der Kamera erzeugten Bilddaten optimal auszuwerten,
um somit mit hoher Sicherheit einen Manipulationsversuch, wie z.
B. einen Überbau der Tastatur 2, sofort zu erkennen
und gegebenenfalls Alarme und Deaktivierungen auszulösen.
Mittels der Datenverarbeitungseinheit sind unter anderem folgende
Manipulationen sicher zu erkennen:
- – Anbringen
eines Tastaturüberbaus
- – Anbringen eines Komplettüberbaus an der
unteren Auflagefläche
- – Anbringen eines Überbaus an dem Geldausgabefach
(Shutter) und/oder das Anbringen von Gegenständen zur Aufnahme
von Sicherheitsinformationen, insbesondere PIN-Nr., wie z. B. Minikameras,
Kamerahandys und ähnliche Spähkameras.
-
Für
das Erkennen von Überbauten wird innerhalb der Datenverarbeitungseinheit 10 mit
Hilfe der Kamera CAM eine optische Vermessung der erfassten Elemente,
wie z. B. der Tastatur 2, durchgeführt, um somit
Abweichungen im Manipulationsfall klar erkennen zu können.
Versuche der Anmelderin haben gezeigt, dass bereits Referenzabweichungen im
Millimeterbereich klar erkannt werden können. Die Erfindung
ist besonders für eine Erkennung von Fremdobjekten (Überbauten,
Spähkamera usw.) geeignet und umfasst insbesondere eine
Kantendetektion, die ggf. mit einer Segmentierung kombiniert wird,
um somit die Konturen von fremden Gegenständen im Bedienfeld
klar und zuverlässig erkennen zu können. Die dazu
erforderliche Bilddatenverarbeitung erfolgt überwiegend
in der nachfolgend beschriebenen Datenverarbeitungseinheit.
-
Die 7 zeigt
das Blockschaltbild einer erfindungsgemäßen Datenverarbeitungseinheit 10,
an welche die Kamera CAM angeschlossen ist, sowie einer Videoüberwachungs-
bzw. CCTV-Einheit 20, die mit der Datenverarbeitungseinheit 10 verbunden
ist. Die Datenverarbeitungseinheit 10 weist insbesondere
folgende Stufen bzw. Module auf, die hier als logische Blöcke
zu verstehen sind, in denen die zuvor genannten Schrittfolgen des
Verfahrens (s. 110 bis 130 in 1)
aufgeführt werden.
-
Im
folgenden werden unter Bezugnahme aller Figuren, insbesondere aber
der 1, 2, 3 und 7 der
Aufbaue und die Funktion der Datenverarbeitung und somit auch der
Ablauf des Verfahrens im Detail beschrieben:
Eine erste Stufe 11 Datenverarbeitung 10 führt
die Schrittfolge 110 zur Erstellung mindestens eines Referenz- Kantenbildes
REF aus (s. auch 1 und 2a). Dazu
wird in einem ersten Schritt 111 aus mehreren Einzelbildern
ein Durchschnittsbild berechnet. Die Einzelbinder stammen z. B.
von einem Videostream, den die Kamera CAM nach der Installation
des Geldautomaten vor der eigentlichen Inbetriebnahme, also in einem
unmanipulierten Zustand, gemacht hat. Die Berechnung eines Durchschnittsbildes,
wobei z. B. pixelweise der durchschnittliche Farbwert berechnet wird,
bewirkt eine Rauschunterdrückung des in den Einzelbildern
auftretenden Bildrauschens. In einem nächsten Schritt 112 wird
aus dem farbigen Durchschnittsbild ein Graustufenbild erzeugt. Danach
wird im Schritt 113 eine Kantendetektion mittels einer
Sobel-Filterung (z. B. 3 × 3 horizontal, 3 × 3
vertikal) durchgeführt, um eine erstes Referenz-Kantenbild
zu erhalten. Zur weiteren Optimierung wird im Schritt 114 ein
Segmentierungs-Filter angewendet, bei dem dieses erste Referenz-Kantenbild
mittels eines Schwellwertes in seine Schwarz- und Weißanteile zerlegt
wird. Dadurch entsteht ein zweites Referenz-Kantenbild, das im Prinzip
einer Maske entspricht. Dieses zweite Bild wird vorzugsweise in
einem optionalen Schritt 115 noch durch eine manuelle Bildverarbeitung
verbessert. Dabei werden insbesondere störende Bildelemente,
die für die spätere Auswertung nicht maßgeblich
sind, von Hand entfernt. Dies sind z. B. Kanten eines nicht zu überwachenden Bereiches
oder virtuelle Kanten bzw. Artefakte, die aufgrund von Bildrauschen
und dergleichen entstanden sind. Somit ergibt sich schließlich
ein Referenz-Kantenbild REF, wie es in der 2a) dargestellt
ist. Dieses Referenz-Kantenbild REF gibt die maßgeblichen
Kanten in der Ansicht der Kamera CAM wieder (s. auch 5).
-
Es
sei hier nochmals angemerkt, dass die in den 2 und 3 dargestellten
Kantenbilder eigentlich weiße Kantenverläufe auf
schwarzem Hintergrund darstellen müssten. Um den Erfordernissen für
Patentzeichnungen zu genügen, werden diese Darstellungen
hier invertiert wiedergegeben, d. h. es werden schwarze Kantenverläufe
auf weißen Hintergrund dargestellt.
-
In
einer zweiten Stufe 12 erfolgt nun die Erstellung mindestens
eines Kantenbild EM (s. 2b) unter
realen Einsatzbedingungen. Dabei werden die Schritte 121 bis 124 durchgeführt,
die analog zu den Schritten 111 bis 114 ausgestaltet
sind. Demnach wird im Schritt 121 aus mehreren unter Realbedingung
aufgenommenen Einzelbildern ein farbiges Durchschnittsbild berechnet.
In einem nächsten Schritt 122 wird daraus ein
Graustufenbild erzeugt, das dann im Schritt 123 einer Kantendetektion
unterzogen wird. Auch hier kommt eine Sobel-Filterung zum Einsatz,
wobei anschließend im Schritt 124 noch ein Segmentierungs-Filter
angewendet wird. Dieses segmentierte Kantenbild EM ist in der 2b) dargestellt (vergl. auch mit 5)
und wird für die eigentliche Bildauswertung herangezogen.
-
In
einer dritten Stufe 13 erfolgt nun diese eigentliche Auswertung
und Erkennung von Manipulationsversuchen anhand der Schrittfolge 130 (s. 1).
In einem ersten Schritt 131 wird das segmentierte Kantenbild
EM mit dem Referenz-Kantenbild REF logisch durch eine Exklusiv-ODER-Operation (XOR)
verknüpft. Daraus ergibt sich ein erstes Ergebnisbild R1
(s. 2c), das sich insbesondere dadurch
auszeichnet, dass überlappende Kanten ausgeblendet sind
(vergl. mit 2a/b). In einem weiteren
Schritt 132 wird nun dieses erste Ergebnisbild R1 mit dem
Referenz-Kantenbild REF durch eine UND-Operation (AND) logisch verknüpft.
Dadurch ergibt sich ein zweites Ergebnisbild R2, das sich insbesondere
dadurch auszeichnet, dass nicht zu überwachende Bereiche
ausgeblendet sind (vergl. mit 2a/b/c).
Demnach enthält dieses zweite Ergebnisbild R2 im wesentlichen
nur noch solche Kanten, die gegenüber der Referenz verändert
sein könnten und auf einen Manipulationsversuch hinweisen
könnten.
-
Die 2d) zeigt ein Ergebnisbild R2, das quasi
keine auffälligen Kanten mehr enthält und somit
keinen Manipulationsversuch anzeigt. Die 3c) zeigt
nochmals dieses Ergebnisbild R2 (Kantenbild) und die 3a) das entsprechende Ausgangsbild, also
das originale Kamerabild des unmanipulierten Geldautomaten (Darstellung
des originalen Kamerabildes, kein Kantenbild).
-
Um
Unterschied dazu zeigt die 3d) ein Ergebnisbild
R2* (Kantenbild), das ebenfalls durch die oben beschriebene Datenauswertung
(Schrittfolge 130) gewonnen wurde und sehr auffällige
Kanten enthält, die auf einen erfolgten Manipulationsversuch hindeuten.
Die 3b) zeigt das entsprechende Ausgangsbild,
also die Darstellung des originalen Kamerabildes (kein Kantenbild).
An beiden Bildern (3b/d) ist die Manipulation
zu erkennen, nämlich dass an dem Geldautomat einen Überbau
angebracht worden ist.
-
Durch
die hier vorgeschlagene Kantendetektion und die damit erzeugten
Kantenbilder ist es nun leicht möglich eine vollautomatisierte
Erkennung von Manipulationsversuchen zu realisieren. Dazu wird der
Schritt 133 (s. 1) durchgeführt, bei
dem das Ergebnisbild R2 bzw. R2* auf seinen Weißanteil
hin untersucht wird. Wird ein vorgebbarer Schwellwert überschritten,
so deutet der hohe Weißanteil auf viele manipulierte Kanten
hin. Ist dies der Fall, so kann das System eine Schutzfunktion auslösen
(automatischer Alarm, Sperren des Geldautomaten usw.).
-
Dazu
ist die Stufe 13 wiederum mit einer Schnittstelle 14 verbunden, über
die verschiedene Alarm- oder Überwachungsvorrichtungen
aktiviert bzw. angesprochen werden können. Die Stufen 11 und/oder 12 wiederum,
welche zur Bildverarbeitung dienen, können mit einer zweiten
Schnittstelle 15 verbunden sein, über die eine
Verbindung zu der CCTV-Einheit 20 hergestellt wird. Mit
Hilfe dieser CCTV-Einheit kann beispielsweise eine Fernüberwachung
bzw. Ferndiagnose ausgeführt werden.
-
Wie
oben beschrieben wurde, ist für die Verarbeitung der von
der Kamera CAM erzeugten Bilddaten D die Datenverarbeitungseinheit 10 zuständig. Die
Bilddaten D gelangen zunächst an die erste Stufe 11 bzw.
zweite Stufe 12, die aus den ankommenden Bilddaten Kantenbilder
erzeugen, wobei neben der eigentlichen Kantendetektion auch noch
Maßnahmen wie Schattenentfernung, Vektorisierung und/oder
Segmentierung durchgeführt werden können. Auch
kann insbesondere in der Stufe 12 ggf. noch eine Merkmalsextraktion
durchgeführt werden, die beispielsweise mittels einer sogenannten
Blobanalyse, einer Kantenpositionierung und/oder einer Farbverteilung
durchgeführt werden kann. Beispielsweise dient die Blob-Analyse
zur Erkennung von zusammenhängenden Regionen in einem Bild
und zur Ausführung von Messungen an den Blobs. Ein Blob (Binary
Large Object) ist ein Bereich angrenzender Bildpunkte mit demselben
logischen Zustand. Alle Bildpunkte in einem Bild, die zu einem Blob
gehören, sind im Vordergrund. Alle übrigen Bildpunkte
sind im Hintergrund. In einem binären Bild haben Bildpunkte im
Hintergrund Werte, die Null entsprechen, während jeder
Bildpunkt ungleich Null Teil eines binären Objekts ist.
-
Anschließend
erfolgt in der Stufe 13 die eigentliche Auswertung. Dabei
kann auch noch eine Klassifikation vorgesehen sein, welche auf der Grundlage
der extrahierten Merkmale bestimmt, ob eine feindliche Manipulation
an dem Selbstbedienungsterminal bzw. Geldautomaten ATM aufgetreten ist
oder nicht.
-
Die
Datenverarbeitungseinheit 10 kann beispielsweise mittels
eines Personalcomputers realisiert werden, der mit dem Geldautomaten
ATM verbunden ist oder der darin integriert ist. Neben der beschriebenen
Kamera CAM, welche die genannten Teilbereiche des Bedienfeldes CP
erfasst, kann auch eine zusätzliche Kamera CAMO am Geldautomaten ATM
montiert sein (s. 4), welche auf den Benutzer
bzw. Kunden gerichtet ist und insbesondere sein Gesicht erfasst.
Diese zusätzliche, auch als Portraitkamera bezeichnete,
Kamera CAMO kann beim Erkennen eines Manipulationsangriffes ausgelöst
werden, um ein Bild von der sich am Geldautomaten befindenden Person
zu machen. Sobald ein Skimming-Angriff erkannt wird, kann das beschriebene System
beispielsweise folgende Aktionen durchführen:
- – Abspeichern eines Fotos des Angreifers, wobei sowohl
die Kamera CAM wie auch die zusätzliche Portraitkamera
CAMO aktiviert werden können
- – Alarmieren der laufenden Geldautomatenapplikation
und/oder eines zentralen Managementservers und/oder einer Person,
z. B. über E-Mail
- – Einleitung von Gegenmaßnahmen, die z. B.
das Sperren bzw. Herunterfahren des Geldautomatens
- – Übermittlung von Daten, insbesondere von
Bildern, der erkannten Manipulation, beispielsweise über
das Internet über eine Zentrale
-
Den
Umfang und die Art der getroffenen Aktionen bzw. Gegenmaßnahmen
kann der Betreiber des Geldautomaten über das hier beschriebene
System konfigurieren.
-
Anstelle
einer einzelnen direkt am Bedienfeld installierten Kamera (s. CAM
in 4) können auch dort mehrere Kameras vorgesehen
werden, wobei eine erste Kamera das Bedienfeld von Außen erfasst,
eine zweite Kamera z. B. den Karteneingabetrichter von Innen erfasst.
Außerdem kann eine dritte Kamera, die der genannten Portraitkamera
entspricht (s. CAMO in 4) vorgesehen sein. Für
die eigentliche Manipulationserkennung werden die Kamera CAM am
Bedienfeld und ggf. auch eine Kamera in der Karteneingabe (hier
nicht dargestellt) benutzt. Zum Zwecke der Dokumentation eines Manipulationsversuches
wird auch die Portraitkamera CAMO benutzt.
-
Vorzugsweise
haben alle Kameras eine Auflösung von mindestens 2 Megapixeln.
Die benutzten Objektive weisen einen Blickwinkel von etwa 140 Grad
und mehr auf. Außerdem ist die Belichtungszeit der eingesetzten
Kameras in einem weiten Bereich von beispielsweise 0,25 msec. bis
zu 8000 msec (8 sec.) frei einstellbar. Dadurch wird die Anpassung
an die unterschiedlichsten Beleuchtungsbedingungen ermöglicht.
Versuche der Anmelderin haben ergeben, dass eine Kameraauflösung
von etwa 10 Pixeln pro Grad erreichbar ist. Bezogen auf einen Abstand von
einem Meter kann somit eine Genauigkeit von 1,5 mm pro Pixel erreicht
werden. Das wiederum bedeutet, dass eine Manipulation ab einer Referenzabweichung
von bereits 2 bis 3 mm sicher erkannt werden kann. Je näher
das Objektiv der Kamera an dem erfassten Element bzw. betrachteten
Objekt ist, desto genauer kann die Messung erfolgen. Demnach kann in
näheren Bereichen sogar eine Genauigkeit von weniger als
1 mm erreicht werden.
-
Je
nach Einsatzbereich des Geldautomatens, z. B. im Außenbereich
oder im Innenbereich, sowie der gegebenen Lichtverhältnisse,
kann es vorteilhaft sein, die Kamera CAM eher im seitlichen Gehäuseteil
des Geldautomatens ATM oder im oberen Gehäusebereich zu
montieren. Auch ergeben sich je nach Kameraposition verschiedene Überwachungsmöglichkeiten.
Bei der Überwachung der verschiedenen Elemente bzw. Teilbereiche
wird insbesondere folgendes erreicht:
Das Erfassen des Geldausgabefachs
(Shutter) 1 ermöglicht das Überprüfen
von Manipulationen in Form sogenannter Cash-Trapper, d. h. spezieller Überbauten.
Das Erfassen des Tastaturfeldes ermöglicht es, dort Manipulationsversuche
durch Überbauten oder Veränderungen an Lichtschutzmaßnahmen
und dergleichen festzustellen. Das Erfassen der Auflagefläche
ermöglicht es insbesondere, Komplettüberbauen zu
erkennen. Das Erfassen des Karteneingabetrichters 4, insbesondere
durch eine darin integrierte Kamera, ermöglicht es, dortige
Manipulationen zu erkennen.
-
Es
hat sich gezeigt, dass insbesondere an dem Tastaturfeld und an dem
Karteneingabetrichter bereits Abweichungen von 2 mm klar erkannt
werden können. Abweichungen an der hinteren Außenkante der
Auflagefläche können bereits ab 4 mm erkannt werden.
Abweichungen an der unteren Kante des Shutters können bereits
ab 8 mm erkannt werden.
-
Eine
optionale Anbindung des Systems an das Internet über die
Schnittstelle 23 (siehe 7) ermöglicht
es, auch per Fernzugriff die Kamera bzw. die verschiedenen Kameras
anzusteuern. Die gewonnenen Bilddaten können auch über
den Internetanschluß an einen Video-Server übermittelt
werden. Somit agiert die jeweilige Kamera quasi als virtuelle IP-Kamera.
Die oben beschriebene CCTV-Einheit 20 dient insbesondere
einer solchen Video-Überwachungsmöglichkeit, wobei
die Schnittstelle 15 zur CCTV-Einheit für folgende
Funktionen ausgelegt ist:
Abfrage eines Bildes, Einstellen
der Bildrate, des Farbmodells, der Bildauflösung, Auslösen
eines Ereignisses im CCTV-Dienst bei Bereitstellung eines neuen
Bildes und/oder eventuell eine visuelle Hervorhebung von erkannten
Manipulationen auf einem bereitgestellten Bild.
-
Das
System ist so ausgelegt, dass im normalen Betrieb (z. B. Geldabheben,
Kontostandsabfrage usw.) keine Fehlalarme durch Hände und/oder
Gegenstände im Bild erzeugt werden. Deshalb wird die Manipulationserkennung
im Zeitraum einer normalen Automatenbenutzung deaktiviert. Auch
soll in Zeitbereichen, in denen beispielsweise eine Reinigung oder eine
kurzfristige anderweitige Benutzung (Ablage von Kontoauszügen,
Interaktionen vor und nach dem Start einer Transaktion) nicht zur
Manipulationserkennung herangezogen werden. Im wesentlichen werden
somit vorzugsweise nur starre und unbewegliche Manipulationsversuche
analysiert und erkannt. Das System ist so ausgelegt, dass eine Überwachung
auch bei unterschiedlichsten Lichtverhältnissen (Tag, Nacht,
Regen, Bewölkung, usw.) funktioniert. Ebenfalls werden
sich kurzzeitig verändernde Lichtverhältnisse,
wie z. B. Lichtspiegelungen, Schattenverläufe und dergleichen,
bei der Bildverarbeitung kompensiert bzw. ignoriert, um einen Fehlalarm
zu vermeiden. Zudem können technisch auftretende Ereignisse,
wie etwa das Ausfallen einer Beleuchtung und dergleichen, berücksichtigt
werden. Diese und weitere Sonderfälle werden insbesondere
durch die dritte Stufe zur Klassifikation erkannt und gelöst.
-
Das
hier beschriebene System wird vorzugsweise modular aufgebaut, um
verschiedene Konfirgurationen zu ermöglichen. Die eigentliche
Bildverarbeitung sowie die CCTV-Anbindung werden in verschiedenen
Modulen realisiert (siehe 7).
-
Das
hier vorgestellte System ist auch dazu geeignet, die erkannten Manipulationen
zu dokumentieren bzw. digital zu archivieren. Im Falle einer erkannten
Manipulation werden die aufgenommenen Bilder mit entsprechenden
Meta-Informationen, wie z. B. Zeitstempel, Art der Manipulation
usw., auf einer Festplatte im System bzw. in einem angeschlossenen
PC abgespeichert. Auch können zwecks eines Reportings Meldungen
an eine Plattform weitergeleitet werden, wie z. B. Fehlermeldungen,
Statusmeldungen (Deaktivierung, Moduswechsel), Statistiken, Manipulationsverdacht
und/oder Alarmmeldungen. Im Falle eines Alarms kann eine entsprechende
Meldung mit der jeweiligen Alarmstufe an das Administrationsinterface
bzw. die Schnittstelle weitergegeben werden. An dieser Schnittstelle
werden außerdem noch folgende Möglichkeiten realisiert:
Abfrage
von Kameradaten, wie z. B. Anzahl der Kameras, Bauzustand, Seriennummer,
usw., Kamerastammdaten bzw. Einstellen von Kameraparametern und/oder
Registrierung für Alarme (Notifikationen).
-
Die
hier vorgestellte Erfindung ist insbesondere dazu geeignet, feindliche
Manipulationen an einem Selbstbedienungsterminal, wie z. B. an einem Geldautomaten,
zuverlässig zu erkennen. Hierzu wird das Bedienfeld durch
mindestens eine Kamera kontinuierlich und automatisch überwacht.
Mittels einer Bilddatenverarbeitung, die eine Kantendetektion umfasst,
werden die von der Kamera erfassten Elemente optisch vermessen,
um Abweichungen von Referenzdaten zu erkennen. Es hat sich gezeigt, dass
bereits Abweichungen im Millimeterbereich sicher erkannt werden
können. Für die Erkennung von Fremdobjekten wird
vorzugsweise eine Kombination aus Kantendetektion und Segmentierung
benutzt, so dass Konturen von zurückgelassenen Gegenständen klar
erkannt und markiert werden können. Im Falle eines Manipulationsversuches
können Gegenmaßnahmen bzw. Aktionen ausgelöst
werden.
-
Die
vorliegende Erfindung wurde am Beispiel eines Geldautomaten beschrieben,
ist aber nicht hierauf beschränkt, sondern kann auf jede
Art von Selbstbedienungsterminal angewendet werden.
-
- 100
- Verfahren
mit folgenden Schrittfolgen:
- 110
- Erstellung
eines Referenz-Kantenbildes aus Einzelbildern (Referenzaufnahmen);
- 120
- Berechnung
min. eines Kantenbildes aus Einzelbildaufnahmen (im Einsatz);
- 130
- Auswertung
des Kantenbildes
- ATM
- Selbstbedienungsterminal,
als Geldautomat ausgebildet, mit einem Bedienfeld CP, das u. a.
aufweist: 1 Geldausgabefach, 2 Tastatur, 3 Ablagefläche, 4 Karteneingabetrichter, 5 Bildschirm
- CAM
- Kamera,
seitlich oder oberhalb des Bedienfeldes montiert
- 10
- Datenverarbeitungseinheit
mit:
- 11
- erster
Stufe zur Bildverarbeitung
- 12
- zweiter
Stufe zur Merkmalsextraktion
- 13
- dritte
Stufe zur Klassifikation
- 14,
15
- Schnittstellen
zu Videoüberwachung (CCTV) bzw. Bildfälschungserkennung
- 20
- Videoüberwachungs-
bzw. CCTV-Einheit mit:
- 21
- Stufe
für Bildaufnahme
- 22
- Stufe
für Komprimierung
- 23
- Schnittstelle
zu einen IP-Netz
- 24
- Stufe
für Parametrisierung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-