EP2422325B1 - Automated teller machine comprising at least one camera that produces image data to detect manipulation attempts - Google Patents

Automated teller machine comprising at least one camera that produces image data to detect manipulation attempts Download PDF

Info

Publication number
EP2422325B1
EP2422325B1 EP10717088.8A EP10717088A EP2422325B1 EP 2422325 B1 EP2422325 B1 EP 2422325B1 EP 10717088 A EP10717088 A EP 10717088A EP 2422325 B1 EP2422325 B1 EP 2422325B1
Authority
EP
European Patent Office
Prior art keywords
atm
camera
image
teller machine
automated teller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP10717088.8A
Other languages
German (de)
French (fr)
Other versions
EP2422325A1 (en
Inventor
Steffen Priesterjahn
Dinh-Khoi Le
Michael Nolte
Alexander Drichel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wincor Nixdorf International GmbH
Original Assignee
Wincor Nixdorf International GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wincor Nixdorf International GmbH filed Critical Wincor Nixdorf International GmbH
Publication of EP2422325A1 publication Critical patent/EP2422325A1/en
Application granted granted Critical
Publication of EP2422325B1 publication Critical patent/EP2422325B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F19/00Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20Automatic teller machines [ATMs]
    • G07F19/207Surveillance aspects at ATMs
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F19/00Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20Automatic teller machines [ATMs]

Definitions

  • the invention relates to a self-service terminal with at least one image data-generating camera according to the preamble of claim 1.
  • the invention relates to a self-service terminal, which is designed as an ATM.
  • the spied out data is then transmitted to a remote receiver via a transmitter built into the keyboard superstructure, or is located in a keyboard overlay Data memory saved.
  • a transmitter built into the keyboard superstructure or is located in a keyboard overlay Data memory saved.
  • Many of today's skimming devices are very difficult to distinguish with the human eye from original controls (keyboard, card reader, etc.).
  • monitoring systems which have one or more cameras which are mounted in the area of the location of the self-service terminal and detect the entire control panel and often also the area of residence of the user.
  • Such a solution is for example in the DE 201 02 477 U1 described.
  • the local camera monitoring By means of the local camera monitoring, both the control panel itself and the user's area in front of it can be detected.
  • a sensor is provided in order to distinguish whether a person is in the occupied area.
  • a trained self-service terminal ATM is described with a camera that is mounted above the screen and detects at least a portion of the panel. The camera is aligned to capture the cash dispenser keypad.
  • a self-service terminal with a control panel and controls disposed therein is known in which a camera for detecting tampering attempts in a surrounding the control panel housing portion of the self-service terminal is mounted.
  • the control panel provided his elements (keyboard, card slot, etc.), which are provided for users of the self-service terminal, wherein at least one image data generating camera is provided for monitoring the self-service terminal.
  • the camera captures at least one of the elements provided in the control panel and generates image data from a plurality of still images.
  • the camera is connected to a data processing unit (micro-processor), which preprocesses the generated image data into a resulting image that serves to detect tampering attempts.
  • micro-processor data processing unit
  • the difference between two individual images is formed there in order to detect changes which may indicate a manipulation attempt.
  • a self-service terminal with a camera arrangement which is equipped with several cameras for monitoring the self-service terminal.
  • the self-service terminal which is eg an ATM
  • several cameras are mounted in the vicinity of the control panel of the ATM. For example, one camera captures the card slot and another camera captures the cash slot. Another camera is aimed at the user of the ATM.
  • the DE 203 18 489 U1 describes an ATM with a monitoring device, the two cameras (image pickup elements 21 and 22 in Fig. 2 ) having. One camera is aimed at the user; the other camera is aligned with the area of the cash dispensing opening or the cash dispenser.
  • Object of the present invention is to propose a solution for a camera surveillance, which allows a secure detection of manipulation attempts without the use of additional sensors. It should be a qualitative created a high-quality database and provided for the detection of manipulation attempts.
  • a self-service terminal in which the data processing unit combines the generated image data of the single image recordings by means of image data processing, which performs a segmentation and / or edge detection, to the result image, wherein the data processing unit segmented the single image recordings into a plurality of the at least one detected element subregions and the Frame data processed differently in segments.
  • the data processing unit composes the result image from the subareas of different individual image recordings, and that the data processing unit processes the image data from the subareas with different image data processing and / or with different variants of image data processing.
  • the at least one camera preferably generates the image data of the individual image recordings as a function of predefinable criteria, in particular at predeterminable time intervals and / or at different exposure ratios or ambient brightness. Also vorgebare camera settings, in particular exposure times andlor frame rates, are taken into account.
  • the data processing unit combines this image data (individual image data) by means of image data preprocessing, in particular averaging, median formation and / or so-called exposure blending, to the result image or overall image, which is then available for manipulation recognition. It is also possible to continuously calculate result or overall images (result image sequence) at time intervals in order to then be available for a comparison for the detection of manipulation attempts.
  • At least one further camera may be provided, which is also mounted on or in the self-service terminal in the vicinity of the control panel and at least one of the controls, such. Keyboard, card slot, cash dispenser, recorded.
  • the image data or individual images generated by this additional camera can also be combined together with the image data of the other camera to form a result image or to a result image sequence.
  • the result images obtained from the single image recordings have a significantly higher image data quality than the respective frames.
  • a high quality database in the form of preprocessed image data is provided for tamper detection.
  • the plurality of individual image recordings are created as a function of at least one predefinable function, which specifies different exposure times for the single image recordings. This ensures that no single images are taken with the same exposure time, which in turn is advantageous for exposure blending.
  • the at least one predefinable function corresponds to at least one ramp function which indicates increasing and / or decreasing exposure times for a series of single-image recordings.
  • the ramp can be sloping, ie, the exposure times successively decrease.
  • the total duration of all still images can also be specified and, for example, be 10 seconds.
  • one of the predeterminable functions predetermines the different exposure times such that they lie within a specific range of values, ie, for example, within a first lower value range, which, for example, ranges from 0.5 ms to 1000 ms. This value range is preferably suitable for a so-called day mode, ie for the case in which a brightness and / or contrast value of at least one of the individual image recordings has a predefinable threshold value exceeds.
  • the different exposure times are settled within a second upper value range, for example ranging from 1000 ms to 2000 ms.
  • the functions can also be put together to form a function.
  • the at least one camera generates the image data of the single image recordings as a function of events, in particular of events recorded by the latter or by another camera.
  • Such events may e.g. sudden onset of image lightening or darkening. It can e.g. also be control signals (operation of the keyboard or the like). It may be advantageous if single image recordings are not made (only) during the occurrence of the event, but also afterwards.
  • the data processing unit combines the generated image data of the single image recordings by means of one or more suitable image data processing, such as so-called exposure blending.
  • image data processing such as so-called exposure blending.
  • an image segmentation and / or edge detection can also be used.
  • the data processing unit segments the individual image recordings into a plurality of partial regions assigned to the at least one detected element and processes the individual image data differently in different segments.
  • the data processing unit composes the result image from the subareas of different single-frame images. It can also be provided that the data processing unit processes the image data from the subregions with different image data processing and / or with different variants of image data processing.
  • the partial regions preferably comprise at least one near or inner region and an ambient or outer region of the detected element, such as the slot region and the surrounding region of a card insertion funnel. It can also be provided that one of the partial regions comprises a transition region between the inner region and the outer region of the element.
  • the data processing unit is preferably designed such that it carries out both the image data preprocessing and the actual image data evaluation, ie that it calculates the preprocessed image data of the resulting image from the individual image data and evaluates these by means of image processing for the purpose of detecting manipulation attempts.
  • the data processing unit has a first stage, which receives the preprocessed image data, for the actual image processing or image data evaluation, wherein, in particular, shadow removal, edge detection, vectorization and / or segmentation can be carried out.
  • the data processing unit also has a second stage downstream of the first stage for feature extraction, in particular by means of blob analysis, edge position and / or color distribution.
  • the data processing unit has a third stage downstream of the second stage for classification.
  • the data processing unit is integrated in the self-service terminal.
  • the elements provided in the control panel of the self-service terminal and detected by the at least one camera include e.g. a cashbox, a keyboard, a tray, a card slot, and / or a screen.
  • the data processing unit if it detects a manipulation attempt on the detected elements by means of processing the preprocessed image data of the result image, triggers an alarm, blocks the self-service terminal and / or triggers the additional camera.
  • This additional camera may be a portrait camera, i. a camera which detects the area where a user, in particular his head, is during the operation of the self-service terminal. Thus, if necessary, a portrait of the user can be included.
  • the respective camera and / or the data processing unit is deactivated during the operation and / or maintenance of the self-service terminal.
  • the Fig. 1 shows in a perspective view of the basic structure of a self-service terminal in the form of an ATM ATM.
  • a cash dispenser 1 also called shutter
  • a keyboard 2 ie controls on which preferably manipulation attempts, eg in the form of superstructures, may occur for the purpose of skimming.
  • the ATM ATM is equipped with several cameras for detecting such and similar manipulation attempts.
  • the Fig. 1 shows first those cameras, which are mounted at different locations, preferably in the vicinity of the control panel. These are a side camera CAMS, a top view camera CAMD and an additional portrait camera CAMO.
  • the cameras CAMS and CAMD are within a demarcation, framing or the like and are mounted there. Each of these cameras CAMS or CAMD detects in each case from the outside at least one of the elements arranged in the control panel of the ATM, eg the cash dispenser 1 (shutter) and / or the keyboard 2.
  • the lateral camera CAMS preferably detects exactly these two elements 1 and 2; the top view camera CAMD also detects other elements (see also Fig. 6 ).
  • a camera CAMK integrated in the card input hopper 4 also detects the interior of this element. This camera CAMK and her Function will be explained later in detail on the basis of Fig. 7a / b described.
  • the additional camera CAMO is located in the upper housing part of the ATM ATM and is directed to the area in which the user is operating the ATM.
  • this camera captures CAMO the head or the face of the user and is therefore referred to here as a portrait camera.
  • the FIG. 2 shows the detection range of the camera CAMS, which is located in a side housing part, which framing the control panel of the ATM ATM or surrounds.
  • this camera CAMS is equipped with a wide-angle lens in order to capture at least these two elements or subregions of the control panel.
  • the ATM ATM is designed so that said elements 1 and 2 preferably have the most homogeneous surfaces with these delimiting edges. This simplifies object recognition. By attaching the camera CAMS at this particularly suitable position, the said subareas or elements 1 and 2 can be measured very reliably optical. It can be provided that the camera is focused in particular on certain areas.
  • FIG. 6 Another perspective, namely that of the top view camera CAMD, is based on the FIG. 6 clarified.
  • the detection field of this camera CAMD illustrated, which is installed in the upper part of the ATM ATM (see also Fig. 1 ) and which captures the control panel from above.
  • the Cash dispenser 1 and the keyboard 2 in the detection range of the camera also other elements may be provided, such as a shelf near the keyboard, a card input funnel 4, ie the feeding part for the card reader, and eg a screen 5 or display.
  • these further mentioned elements 3, 4 and 5 represent potential targets for manipulation attempts.
  • a result image or a result image sequence of high quality is calculated from a plurality of single image recordings.
  • Fig. 3a-c show by way of example three of the side camera CAMS (see FIG. Fig. 2 ) captured at different times frames F1, F2 and F3. From these, a result image R is computed by means of an image data preprocessing which will be described in more detail later Fig. 3d is shown.
  • each of the still images F1, F2 and F3 contains certain image distortions or aberrations due to, for example, reflection effects, poor ambient light, appearance of foreign objects in the form of persons and / or objects, etc.
  • These are schematic representations which illustrate the illustrate each recording situation.
  • the first still image F1 was taken with incident sunlight, causing disturbing reflections on the surface of the control panel in the area of the cash dispenser. This is illustrated here by a light beam coming from the left.
  • the frame F2 appears a Person covering the keyboard of the ATM.
  • frame F3 in turn, a foreign object or a foreign object appears in the background.
  • the result image R is combined by combining the individual image data, whereby the interfering effects are detected and eliminated by comparing the individual images with one another.
  • many subregions, except for the reflection region can be utilized from the individual image F1, with the individual image F1 reproducing the surface structure of the housing and the operating elements particularly well.
  • From the single image F2 also many sub-areas, except for the area of the keyboard and the environment in front of the ATM, can be utilized, in which case in particular the edges of the housing and the operating elements are rendered clearly recognizable.
  • the single image F3 also has many useful portions, in which case in particular the keyboard is reproduced without interference.
  • the result image R can then be calculated from the various subregions and the many image components of the individual images F1 to F3.
  • the result image does not represent a real image acquisition, but corresponds to an optimally calculated image composition that captures the captured area or the operating elements in a form freed from interference shows. This achieves a very high image quality, which clearly exceeds the quality of the individual images. Thus, an optimal basis for the later actual image data evaluation is created.
  • the plurality of individual image recordings can be created in dependence on at least one predetermined function, which specifies the different exposure times for the single image recordings. This ensures that no single image recordings are made with the same exposure time, which in turn is advantageous for exposure blending.
  • Fig. 9 schematically a series is shown with a plurality of still images F1 to Fn, where it is illustrated that each frame shot has a different exposure time T1, T2, ... Tn.
  • the row (exposure row) is preferably given in accordance with a monotone decreasing or increasing function, so that the following applies: T1 ⁇ T2 ⁇ T3 ⁇ ... ⁇ Tn.
  • the still images can also be performed depending on lighting conditions.
  • the exposure times may be dependent on various parameters, such as e.g. Location of the ATM (indoor, outdoor), type and / or mounting location of the camera, lighting conditions, etc ..
  • an edge detection can be used, as this is based on the Fig. 4 to illustrate the schematic representations:
  • Fig. 4 In the Fig. 4 are shown in a first row as sub-figures 4a1) to 4a3) three frame shots F1 'to F3', which at different exposure times of the lateral camera CAMS (s. Fig. 1 and 2 ) have been recorded.
  • This first row reproduces three differently exposed images, namely a1) a very brightly exposed image F1 ', a2) a normally exposed image F2' and a3) an underexposed image F3 '.
  • a second row are shown as sub-figures 4b1) to 4b3), the respectively obtained by means of edge detection individual images.
  • These edge images shown in b1) to b3) would have to represent white edge progressions on a black background.
  • these representations are reproduced here in an inverted manner, ie black edge gradients are displayed on a white background.
  • the Fig. 5a to 5c illustrate a further variant or additional measure for image data preprocessing of single image F1 ", F2", F3 "etc .
  • the image data is pixelwise subjected to a median formation Fig. 5a ) schematically shows the image data for the first pixel in each frame.
  • the first pixel in the image F1 has the value” 3 "
  • the image F2 the value "7”
  • the image F3 the value
  • the next images F4" and F5 have the first pixel location Value "5" or "4".
  • the result for the first pixel is a sequence of the following image data values: a sorting of the values according to their size follows, so that the following sequence results: 3, 3, 4 , 5 and 7.
  • the median of this sequence is thus the value "4".
  • This value is entered in the result image or target image R "at the first pixel location (s. Fig. 4c ).
  • the formation of the median value has the advantage over averaging (the average value would be "4.4") that the moving objects possibly present in individual images are completely eliminated.
  • the image data processing which can also take place on the basis of image data of a plurality of cameras, is carried out in a data processing unit which also performs the actual image analysis and which in the Fig. 8 is shown.
  • FIG. 8 shows the block diagram of a data processing unit 10 according to the invention, to which the cameras CAMS and CAMK are connected, as well as a CCTV unit 20, which is connected to the data processing unit 10.
  • the data processing unit 10 receives the image data D from the camera CAMS and the image data D 'from the camera CAMK. Both cameras take frames at predeterminable time intervals, the recordings being controlled by a pre-stage or control stage ST. In particular, the respective exposure time is given, so that a series of individual shots (exposure series) is created (see also later description of Fig. 9 and 10 ). Then, in a first stage 11, the preprocessing of the frame data follows. There, among other things result images are created on the basis of the image data processing methods or similar methods already described above.
  • the thus prepared image data D * has a very high quality and is then used as input data for a subsequent second stage 12 which serves for feature extraction.
  • a third stage 13 for the classification of the processed input data.
  • the stage 13 is connected to an interface 14, via which various alarm or monitoring devices can be activated or addressed. These devices include, among other things, image tampering detection (IFD).
  • IFD image tampering detection
  • the first stage 11 which serves for image preprocessing, is also connected to a second interface 15 via which a connection to the CCTV unit 20 is established. With the help of this CCTV unit, for example, a remote monitoring or remote diagnosis can be performed. The detection of manipulation attempts and the alarming will be described in more detail later.
  • Fig. 7a which illustrates a camera installation situation in which the CAMK camera is integrated directly into the card input hopper 4.
  • the already used illumination L of the card slot can be used.
  • the camera CAMK is mounted laterally by card slot or insertion slot, which is made of a special, light-conducting plastic K.
  • the lighting L is realized by one or more light sources, such as light-emitting diodes, wherein the generated light is guided via the light-conducting plastic K to the actual insertion slot in order to illuminate it.
  • the light can be guided coming from above and below, so that the card slot is illuminated as evenly as possible.
  • the generated light can be optimally adapted in intensity to the requirements.
  • the light can be colored by the use of colored LEDs and / or color filters to be adapted in particular to the requirements of the camera CAMK.
  • predefinable subregions are detected and optically measured. This allows deviations from reference values (normal state with regard to image composition, image content, weighting of pixel areas, etc.) quickly and reliably be recognized.
  • different image processing methods algorithms
  • image processing steps routines
  • the image data processing can take place partially.
  • the Fig. 7b 1 illustrates the detection area of the camera CAMK segmented into different partial areas, and clearly shows that it is essentially subdivided into three partial areas I, II and III.
  • the first subarea I primarily detects the inner area of the card input funnel, ie the actual card slot, the subarea III detects the outer area of the card entry funnel and subarea II detects the intermediate transition area.
  • the subarea III detects the outer area of the card entry funnel and subarea II detects the intermediate transition area.
  • the camera CAMK is here aligned so that the sub-area III also a person in front of the ATM are located (users or attackers) are detected can.
  • This image data can in particular with those of the portrait camera CAMO (s. Fig. 1 ).
  • the camera CAMK is preferably installed on the same side of the terminal as the camera CAMS, so that the image data of these two cameras can also be compared.
  • the lighting L (s. Fig. 7a ) are used to achieve the best possible illumination for the image recordings.
  • a colored illumination in the green area is particularly advantageous because the image sensors or CCD sensors of camera are particularly sensitive to green shades and have the greatest resolution.
  • the lighting L improves the object recognition, especially in low light conditions (location, night time, etc.).
  • the illumination overcomes possibly by external light (eg solar radiation) occurring reflections on a recognizable superstructure.
  • the already provided lighting L of the card insertion funnel is a reliable light source for the camera CAMK.
  • the actual card slot here has a different color than the card input hopper, so that a larger contrast difference is given, which improves the image analysis.
  • the CAMK camera is designed here as a color camera with a minimum resolution of 400x300 pixels. In the case of saturated illumination, it is thus possible in particular to use a color value distribution-based method for detecting superstructures and the like.
  • the camera CAMK has a wide-angle lens, so that the outdoor area (sub-area III in Fig. 7b ) is detected well.
  • FIG. 8 shows the block diagram of a data processing unit 10 according to the invention, to which the cameras CAMS and CAMK are connected, as well as a CCTV unit 20, which is connected to the data processing unit 10.
  • the data processing unit 10 has in particular the following stages or modules:
  • a pre-stage or control stage ST controls the single-frame images from the cameras to frame data D or D 'to produce, from which then by means of the above-described method preprocessed image data D * can be calculated for the actual data evaluation.
  • a first stage 11 for image processing thereof, a second stage 12 for feature extraction and a third stage 13 for the classification of the processed data are provided.
  • the stage 13 is connected to an interface 14, via which various alarm or monitoring devices can be activated or addressed.
  • These devices include, among other things, image tampering detection (IFD).
  • IFD image tampering detection
  • the first stage 11, which serves for image processing, is also connected to a second interface 15 via which a connection to the CCTV unit 20 is established. With the help of this CCTV unit, for example, a remote monitoring or remote diagnosis can be performed.
  • the control stage ST is responsible for the control of the cameras CAMS and CAMK for generating the individual image data D or D '.
  • the subsequent first stage 11 calculates therefrom the prepared image data D * (calculated total image data), wherein in particular measures such as shadow removal, edge detection, vectorization and / or segmentation are performed.
  • the downstream second stage 12 serves the feature extraction, which can be carried out for example by means of a so-called Blobanalysis, an edge positioning and / or a color distribution.
  • Blob analysis is used to detect contiguous regions in an image and to make measurements on the blobs.
  • a Blob (Binary Large Object) is an area of adjacent pixels with it logical state. All the pixels in a picture belonging to a blob are in the foreground. All other pixels are in the background. In a binary image, pixels in the background have values that correspond to zero, while every pixel other than zero is part of a binary object.
  • a classification is made which determines whether or not an enemy manipulation has occurred at the self-service terminal ATM on the basis of the extracted features.
  • the size and nature of the actions taken or countermeasures can be configured by the operator of the ATM via the system described here.
  • the cameras CAMS and CAMD can be provided directly on the control panel, with the cameras CAMS and CAMD detecting the control panel from the outside and the CAMK camera eg detecting the card input funnel from the inside.
  • an additional portrait camera can be installed (see CAMO in Fig. 1 ).
  • the cameras CAMS and CAMD are used on the control panel and the camera CAMK in the card input.
  • the portrait camera CAMO is also used.
  • all cameras have a resolution of at least 2 megapixels.
  • the lenses used have a viewing angle of about 140 degrees and more.
  • the exposure time of the cameras used in a wide range for example, 0.25 msec. up to 8,000 msec. freely adjustable. This allows adaptation to a wide variety of lighting conditions.
  • Applicant's experiments have shown that a camera resolution of about 10 pixels per degree can be achieved. Based on a distance of one meter, an accuracy of 1.5 mm per pixel can be achieved. This, in turn, means that manipulation starts at one Reference deviation of already 2 to 3 mm can be reliably detected. The closer the camera lens is to the detected element or object, the more accurate the measurement can be. Thus, in closer areas even an accuracy of less than 1 mm can be achieved.
  • the detection of the cash-out tray (shutter) 1 makes it possible to check manipulations in the form of so-called cash-trappers, i. special superstructures.
  • the detection of the keypad makes it possible to determine there manipulation attempts by superstructures or changes to light protection measures and the like.
  • the detection of the support surface makes it possible in particular to detect complete overbuilding.
  • the detection of the card input funnel 4, in particular by a camera integrated therein, makes it possible to detect local manipulations.
  • Deviations at the rear outer edge of the support surface can be detected as early as 4 mm. Deviations at the lower edge of the shutter can already be detected from 8 mm.
  • the data processing unit 10 in particular a comparison of the recorded image data D with reference data.
  • an image of the outside area can be examined for its homogeneity and compared with the image of the outside area of the control panel camera.
  • the connection of the system to the Internet via the interface 23 makes it possible to remotely control the camera or the various cameras.
  • the acquired image data can also be transmitted via the Internet connection to a video server.
  • the respective camera virtually acts as a virtual IP camera.
  • the CCTV unit 20 described above is used for such a video surveillance facility, wherein the interface 15 to the CCTV unit is designed for the following functions:
  • the system is designed so that no false alarms are generated by hands and / or objects in the picture during normal operation (eg withdrawing money, checking account balance, etc.). Therefore, the tamper detection in the period of a normal Machine usage disabled. Also, in time periods in which, for example, a cleaning or a short-term other use (storage of account statements, interactions before and after the start of a transaction) are not used for tamper detection. Essentially, therefore, only rigid and immovable manipulation attempts are preferably analyzed and recognized.
  • the system is designed to work in a wide variety of lighting conditions (day, night, rain, cloudy, etc.). Also, briefly changing light conditions, such as light reflections, shadows and the like, are compensated or ignored during image processing to avoid a false alarm. In addition, technically occurring events, such as the failure of a lighting and the like, are taken into account. These and other special cases are recognized and solved in particular by the third stage for classification.
  • the method for manipulation detection performed by the described system has in particular the following sequence (see also FIG Fig. 8 ):
  • preprocessed total image data D * are calculated from the original frame data D or D ', which serve as the basis for the actual evaluation of the data.
  • a picture is taken in a first step, wherein the camera parameters are adjusted to produce suitable recordings.
  • a series of images or corresponding image data D or D ' is recorded, which then serve as the basis or reference for the preprocessing.
  • Shadow removal, removal of moving objects, removal of noise and / or summary of various exposed shots are annoying and/or recommended to be used as a background.
  • the cameras are u.a. set to different exposure times to remove reflections and to collect well-lit areas. Preferably, the images are collected over a predetermined period of time to obtain the best possible output images for manipulation detection.
  • These steps can be performed by means of the recording control ST in the first stage 11.
  • a feature extraction (step 12) is carried out for the actual data evaluation, in which image analysis methods are carried out on the preprocessed images or image data in order to check these for certain features, such as e.g. on edge positions or color distributions.
  • a number or a value can be specified, which indicates how well the corresponding feature was found again in the viewed image.
  • the values are summarized in a so-called feature vector.
  • a classification is performed (step 13), ie the feature vector is passed to a classification procedure to make a decision to determine whether there is a manipulation or not. It also uses those types of classifiers that can indicate the confidence, ie probability or certainty, of the decision. Classification mechanisms used can be, for example:
  • the system described herein is preferably modular in design to allow for different configurations.
  • the actual image processing as well as the CCTV connection are realized in different modules (see FIG. 4 ).
  • the system presented here is also suitable for documenting the detected manipulations or digitally archiving them.
  • the captured images are provided with corresponding meta information, such as. Timestamp, type of manipulation, etc., stored on a hard disk in the system or in a connected PC.
  • messages may be forwarded to a platform, e.g. Error messages, status messages (deactivation, mode change), statistics, suspected manipulation and / or alarm messages.
  • a corresponding message with the respective alarm level can be forwarded to the administration interface or the interface.
  • the following options are also implemented at this interface:
  • Query of camera data such as number of cameras, construction status, serial number, etc., camera master data or Set camera parameters and / or register for alarms (notifications).
  • the invention presented here is particularly suitable for carrying out hostile manipulations on a self-service terminal, such as e.g. at an ATM, reliable to recognize.
  • the control panel is continuously and automatically monitored by at least one camera.
  • the elements detected by the camera are optically measured in order to detect deviations from reference data. It has been shown that even deviations in the millimeter range can be reliably detected.
  • a combination of edge detection and segmentation is preferably used, so that contours of left objects can be clearly recognized and marked. In the case of a manipulation attempt countermeasures or actions can be triggered.
  • the invention significantly increases the reliability with which manipulations can be detected.
  • the invention has the following camera arrangement:
  • the cameras are connected to the described data processing unit.
  • Within the data processing unit are those of the cameras obtained image data or information among other things used as follows:
  • Recognition or distinction of artificial and natural obscuration If a camera is covered, its captured image contradicts the images from the cameras. If natural or artificial light fails, this effect is equally noticeable on all cameras. Detection of deception attacks on the camera system, e.g. through pre-clicked photos: If a camera displays a different picture (different brightness, movement, colors, etc.), this indicates an attempt to deceive. Increasing the robustness of the cover detection on the card input hopper: If the card slot is hidden, the integrated camera CAMK displays a different image of the outside area than the other cameras do.
  • the preprocessing of the camera image data described here leads to an increase in the reliability of the subsequent data evaluation for the detection of manipulation attempts and accordingly also serves to avoid false alarms.
  • a self-service terminal which has at least one camera for detecting tampering attempts, which detects one or more elements provided in the control panel, such as a keyboard, cash dispenser, card slot, and generates image data from a plurality of single image recordings.
  • the at least one camera is connected to a data processing unit, which preprocesses the generated image data (single image data) into a result image.
  • the preprocessed image data of the result image can, for example are calculated by exposure blending from the frame data and provide a very good database for a data analysis for tamper detection.
  • the present invention has been described using the example of an ATM, but is not limited thereto, but can be applied to any type of self-service terminals.

Description

Die Erfindung betrifft ein Selbstbedienungsterminal mit mindestens einer Bilddaten erzeugenden Kamera nach dem Oberbegriff des Anspruchs 1. Insbesondere betrifft die Erfindung ein Selbstbedienungsterminal, das als Geldautomat ausgestaltet ist.The invention relates to a self-service terminal with at least one image data-generating camera according to the preamble of claim 1. In particular, the invention relates to a self-service terminal, which is designed as an ATM.

Im Bereich von Selbstbedienungsautomaten, insbesondere Geldautomäten, werden häufig kriminelle Handlungen in Form von Manipulationen vorgenommen, die das Ziel verfolgen, sensitive Daten, insbesondere PINs (Personal Identification Numbers) und/oder Kartennummern, von Nutzern des Selbstbedienungsterminals auszuspähen. Insbesondere sind Manipulationsversuche bekannt, bei denen sogenannte Skimming-Vorrichtungen, wie beispielsweise Tastaturüberbauten und dergleichen, im Bedienbereich bzw. Bedienfeld widerrechtlich installiert werden. Solche Tastaturüberbauten verfügen häufig über eine eigene Stromversorgung, sowie einen Prozessor, einen Speicher und ein Betriebsprogramm, sodass ein ahnungsloser Nutzer bei Eingabe seiner PIN oder beim Einführen seiner Bankkarte ausgespäht wird. Die ausgespähten Daten werden dann über einen in dem Tastaturüberbau integrierten Sender an einen entfernten Empfänger übertragen oder werden in einem im Tastaturüberbau befindlichen Datenspeicher gespeichert. Viele der heutzutage anzutreffenden Skimming-Vorrichtungen können nur sehr schwer mit dem menschlichen Auge von originalen Bedienelementen (Tastatur, Kartenleser usw.) unterschieden werden.In the field of self-service machines, in particular ATMs, criminal acts are often carried out in the form of manipulations with the aim of spying on sensitive data, in particular PINs (Personal Identification Numbers) and / or card numbers, from users of the self-service terminal. In particular, manipulation attempts are known in which so-called skimming devices, such as keyboard superstructures and the like, are installed illegally in the operating area or control panel. Such keyboard superstructures often have their own power supply, as well as a processor, a memory and an operating program, so that an unsuspecting user is spied on entering his PIN or inserting his bank card. The spied out data is then transmitted to a remote receiver via a transmitter built into the keyboard superstructure, or is located in a keyboard overlay Data memory saved. Many of today's skimming devices are very difficult to distinguish with the human eye from original controls (keyboard, card reader, etc.).

Um derartige Manipulationsversuche zu vereiteln, werden häufig Überwachungssysteme eingesetzt, die eine oder mehrere Kameras aufweisen, welche im Bereich des Standortes des Selbstbedienungsterminals montiert sind und das gesamte Bedienfeld und häufig auch den Aufenthaltsbereich des Nutzers erfassen. Eine solche Lösung ist beispielsweise in der DE 201 02 477 U1 beschrieben. Mittels der dortigen Kamera-Überwachung kann sowohl das Bedienfeld selbst wie auch der davor liegende Aufenthaltsbereich des Nutzers erfasst werden. Um zu unterscheiden, ob eine Person sich im Aufenthaltsbereich befindet, ist noch ein Sensor vorgesehen.To thwart such attempts at manipulation, monitoring systems are often used which have one or more cameras which are mounted in the area of the location of the self-service terminal and detect the entire control panel and often also the area of residence of the user. Such a solution is for example in the DE 201 02 477 U1 described. By means of the local camera monitoring, both the control panel itself and the user's area in front of it can be detected. In order to distinguish whether a person is in the occupied area, a sensor is provided.

In der GB 2 351 585 A1 wird ein als Geldautomat ausgebildetes Selbstbedienungsterminal mit einer Kamera beschrieben, die oberhalb des Bildschirms montiert ist und zumindest einen Teil des Bedienfeldes erfasst. Die Kamera ist so ausgerichtet, dass sie die Tastatur des Geldautomaten erfasst. Demnach ist ein Selbstbedienungsterminal mit einem Bedienfeld und darin angeordneten Bedienelementen bekannt, bei dem eine Kamera zum Erkennen von Manipulationsversuchen in einem das Bedienfeld umgebenden Gehäuseabschnitt des Selbstbedienungsterminals montiert ist. Demnach ist aus der GB 2 351 585 A1 ein Selbstbedienungsterminal bekannt, das seinem Bedienfeld vorgesehene Elemente (Tastatur, Kartenschlitz usw.) aufweist, die für Nutzer des Selbstbedienungsterminals bereit gestellt sind, wobei mindestens eine Bilddaten erzeugende Kamera zur Überwachung des Selbstbedienungsterminals vorgesehen ist. Die Kamera erfasst zumindest eines der im Bedienfeld vorgesehenen Elemente und erzeugt Bilddaten von mehreren Einzelbildaufnahmen. Die Kamera ist mit einer Datenverarbeitungseinheit (Mikro-Prozessor) verbunden, die die erzeugten Bilddaten zu einem Ergebnisbild vorverarbeitet, das für das Erkennen von Manipulationsversuchen dient. Insbesondere wird dort die Differenz aus zwei Einzelbildern gebildet, um Veränderungen zu erkennen, die auf einen Manipulationsversuch hindeuten können.In the GB 2 351 585 A1 a trained self-service terminal ATM is described with a camera that is mounted above the screen and detects at least a portion of the panel. The camera is aligned to capture the cash dispenser keypad. Accordingly, a self-service terminal with a control panel and controls disposed therein is known in which a camera for detecting tampering attempts in a surrounding the control panel housing portion of the self-service terminal is mounted. Accordingly, is from the GB 2 351 585 A1 a self-service terminal is known, the control panel provided his elements (keyboard, card slot, etc.), which are provided for users of the self-service terminal, wherein at least one image data generating camera is provided for monitoring the self-service terminal. The camera captures at least one of the elements provided in the control panel and generates image data from a plurality of still images. The camera is connected to a data processing unit (micro-processor), which preprocesses the generated image data into a resulting image that serves to detect tampering attempts. In particular, the difference between two individual images is formed there in order to detect changes which may indicate a manipulation attempt.

Aus der WO 2007 / 093977 A1 ist ein Selbstbedienungsterminal mit einer Kamera-Anordnung bekannt, die mit mehreren Kameras zur Überwachung des Selbstbedienungsterminals ausgestattet ist. Zum Erkennen von Manipulationsversuchen an dem Selbstbedienungsterminal, das z.B. einen Geldautomaten darstellt, sind mehrere Kameras im Nahbereich des Bedienfeldes des Geldautomaten montiert. Eine Kamera erfasst z.B. den Kartenschlitz und eine andere Kamera den Geldausgabeschacht. Eine weitere Kamera ist auf den Benutzer des Geldautomaten ausgerichtet.From the WO 2007/093977 A1 a self-service terminal with a camera arrangement is known which is equipped with several cameras for monitoring the self-service terminal. To detect manipulation attempts on the self-service terminal, which is eg an ATM, several cameras are mounted in the vicinity of the control panel of the ATM. For example, one camera captures the card slot and another camera captures the cash slot. Another camera is aimed at the user of the ATM.

Die DE 203 18 489 U1 beschreibt einen Geldautomaten mit einer Überwachungseinrichtung, die zwei Kameras (Bildaufnahme-Elemente 21 und 22 in Fig. 2) aufweist. Die eine Kamera ist auf den Benutzer ausgerichtet; die andere Kamera ist auf den Bereich der Geldausgabeöffnung bzw. das Geldausgabefach ausgerichtet.The DE 203 18 489 U1 describes an ATM with a monitoring device, the two cameras (image pickup elements 21 and 22 in Fig. 2 ) having. One camera is aimed at the user; the other camera is aligned with the area of the cash dispensing opening or the cash dispenser.

Aufgabe der vorliegenden Erfindung ist es, eine Lösung für eine Kamera-Überwachung vorzuschlagen, die auch ohne Einsatz einer zusätzlichen Sensorik ein sicheres Erkennen von Manipulationsversuchen erlaubt. Dabei soll eine qualitativ hochwertige Datenbasis geschaffen und für die Erkennung von Manipulationsversuchen bereitgestellt werden.Object of the present invention is to propose a solution for a camera surveillance, which allows a secure detection of manipulation attempts without the use of additional sensors. It should be a qualitative created a high-quality database and provided for the detection of manipulation attempts.

Gelöst wird die Aufgabe durch eine Vorrichtung mit den Merkmalen des Anspruchs 1.The problem is solved by a device having the features of claim 1.

Demnach wird ein Selbstbedienungsterminal vorgeschlagen, bei dem die Datenverarbeitungseinheit die erzeugten Bilddaten der Einzelbildaufnahmen mittels einer Bilddatenverarbeitung, die eine Segmentierung und/oder Kantendetektion durchführt, zu dem Ergebnisbild kombiniert, wobei die Datenverarbeitungseinheit die Einzelbildaufnahmen in mehrere dem mindestens einem erfassten Element zugeordnete Teilbereiche segmentiert und die Einzelbilddaten segmentweise verschiedenartig verarbeitet. Dabei ist vorgesehen, dass die Datenverarbeitungseinheit das Ergebnisbild aus den Teilbereichen verschiedener Einzelbildaufnahmen zusammensetzt, und dass die Datenverarbeitungseinheit die Bilddaten aus den Teilbereichen mit unterschiedlichen Bilddatenverarbeitungen und/oder mit verschiedenen Varianten einer Bilddaten-verarbeitung verarbeitet.Accordingly, a self-service terminal is proposed, in which the data processing unit combines the generated image data of the single image recordings by means of image data processing, which performs a segmentation and / or edge detection, to the result image, wherein the data processing unit segmented the single image recordings into a plurality of the at least one detected element subregions and the Frame data processed differently in segments. In this case, it is provided that the data processing unit composes the result image from the subareas of different individual image recordings, and that the data processing unit processes the image data from the subareas with different image data processing and / or with different variants of image data processing.

Vorzugsweise erzeugt die mindestens eine Kamera die Bilddaten der Einzelbildaufnahmen in Abhängigkeit von vorgebaren Kriterien, insbesondere in vorgebbaren Zeitintervallen und/oder bei verschiedenen Belichtungsverhältnissen bzw. umgebungshelligkeiten. Auch können vorgebare Kameraeinstellungen, insbesondere Belichtungszeiten undloder Bildraten, berücksichtigt werden. Die Datenverarbeitungseinheit kombiniert diese Bilddaten (Einzelbilddaten) mittels einer Bilddatenvorverarbeitung, insbesondere einer Mittelwertbildung, einer Medianbildung und/oder eines sog. Exposure Blendings, zu dem Ergebnisbild bzw. Gesamtbild, welches dann für eine Manipulationserkennung zur Verfügung steht. Es können auch in Zeitintervallen fortlaufend Ergebnis- bzw. Gesamtbilder (Ergebnis-Bildfolge) berechnet werden, um dann für einen Vergleich zum Erkennen von Manipulationsversuchen zur Verfügung zu stehen.The at least one camera preferably generates the image data of the individual image recordings as a function of predefinable criteria, in particular at predeterminable time intervals and / or at different exposure ratios or ambient brightness. Also vorgebare camera settings, in particular exposure times andlor frame rates, are taken into account. The data processing unit combines this image data (individual image data) by means of image data preprocessing, in particular averaging, median formation and / or so-called exposure blending, to the result image or overall image, which is then available for manipulation recognition. It is also possible to continuously calculate result or overall images (result image sequence) at time intervals in order to then be available for a comparison for the detection of manipulation attempts.

Auch kann zumindest eine weitere Kamera vorgesehen sein, die ebenfalls an oder in dem Selbstbedienungsterminal im Nahbereich des Bedienfeldes montiert ist und mindestens eines der Bedienelemente, wie z.B. Tastatur, Karteneinschubtrichter, Geldausgabefach, erfasst. Auch die von dieser zusätzlichen Kamera erzeugten Bilddaten bzw. Einzelaufnahmen können zusammen mit den Bilddaten der anderen Kamera zu einem Ergebnisbild bzw. zu einer Ergebnis-Bildfolge kombiniert werden.Also, at least one further camera may be provided, which is also mounted on or in the self-service terminal in the vicinity of the control panel and at least one of the controls, such. Keyboard, card slot, cash dispenser, recorded. The image data or individual images generated by this additional camera can also be combined together with the image data of the other camera to form a result image or to a result image sequence.

Die aus den Einzelbildaufnahmen gewonnenen Ergebnisbilder weisen eine deutlich höhere Bilddatenqualität als die jeweiligen Einzelbilder auf. Somit wird für die Manipulationserkennung eine Datenbasis hoher Güte in Form von vorverarbeiteten Bilddaten bereit gestellt.The result images obtained from the single image recordings have a significantly higher image data quality than the respective frames. Thus, a high quality database in the form of preprocessed image data is provided for tamper detection.

Dabei kann es vorteilhaft sein, wenn die mehreren Einzelbildaufnahmen in Abhängigkeit von mindestens einer vorgebbaren Funktion erstellt werden, die für die Einzelbildaufnahmen unterschiedliche Belichtungszeiten angibt. Somit wird sichergestellt, dass keine Einzelbildaufnahmen mit derselben Belichtungszeit erfolgen, was wiederum für ein Exposure Blending vorteilhaft ist. In diesem Zusammenhang kann vorgesehen sein, dass die mindestens eine vorgebbare Funktion mindestens einer Rampenfunktion entspricht, die für eine Reihe von Einzelbildaufnahmen ansteigende und/oder abfallende Belichtungszeiten angibt. Demnach wird also beispielsweise bei der ersten Einzelbildaufnahme mit der kürzesten Belichtungszeit von z.B. 0,5 ms begonnen und bei den nachfolgenden Aufnahmen die Belichtungszeit sukzessive erhöht, bis bei der letzten Aufnahme eine max. Belichtungszeit von z.B. 2000 ms erreicht wird. Alternativ kann die Rampe abfallend verlaufen, d.h. das die Belichtungszeiten sukzessive abnehmen. Die Gesamtdauer aller Einzelbildaufnahmen kann auch vorgegeben werden und z.B. 10 Sek. betragen. Es ist auch von Vorteil, wenn eine der vorgebbaren Funktionen die unterschiedlichen Belichtungszeiten so vorgibt, dass sie innerhalb eines bestimmten Wertebereiches liegen, also z.B. innerhalb eines ersten unteren Wertebereiches, der von beispielsweise von 0,5 ms bis 1000 ms geht. Dieser Wertebereich kommt bevorzugt für einen sog. Tagmodus in Frage, d.h. für den Fall, dass ein Helligkeits- und/oder Kontrastwert von mindestens einer der Einzelbildaufnahmen einen vorgebbaren Schwellwert überschreitet. Im sog. Nachtmodus, d.h. wenn ein Helligkeits- und/oder Kontrastwert von mindestens einer der Einzelbildaufnahmen einen vorgebbaren Schwellwert unterschreitet, werden die unterschiedlichen Belichtungszeiten innerhalb eines zweiten oberen Wertebereiches angesiedelt, der z.B. von 1000 ms bis 2000 ms reicht. Die Funktionen können auch zu einem Funktionsverlauf zusammengesetzt werden.In this case, it may be advantageous if the plurality of individual image recordings are created as a function of at least one predefinable function, which specifies different exposure times for the single image recordings. This ensures that no single images are taken with the same exposure time, which in turn is advantageous for exposure blending. In this context, it can be provided that the at least one predefinable function corresponds to at least one ramp function which indicates increasing and / or decreasing exposure times for a series of single-image recordings. Thus, for example, in the first single image recording with the shortest exposure time of, for example, 0.5 ms started and in the subsequent shots, the exposure time successively increased until at the last recording a max. Exposure time of eg 2000 ms is reached. Alternatively, the ramp can be sloping, ie, the exposure times successively decrease. The total duration of all still images can also be specified and, for example, be 10 seconds. It is also advantageous if one of the predeterminable functions predetermines the different exposure times such that they lie within a specific range of values, ie, for example, within a first lower value range, which, for example, ranges from 0.5 ms to 1000 ms. This value range is preferably suitable for a so-called day mode, ie for the case in which a brightness and / or contrast value of at least one of the individual image recordings has a predefinable threshold value exceeds. In the so-called night mode, ie when a brightness and / or contrast value of at least one of the individual image recordings falls below a predefinable threshold value, the different exposure times are settled within a second upper value range, for example ranging from 1000 ms to 2000 ms. The functions can also be put together to form a function.

Diese und weitere besonders vorteilhafte Ausgestaltungen ergeben sich auch aus den Unteransprüchen.These and other particularly advantageous embodiments will become apparent from the dependent claims.

Demnach ist es auch von Vorteil, wenn die mindestens eine Kamera abhängig von Ereignissen, insbesondere von durch diese oder durch eine andere Kamera erfassten Ereignissen, die Bilddaten der Einzelbildaufnahmen erzeugt. Solche Ereignisse können z.B. plötzlich auftretende Bildaufhellungen oder - abdunkelungen sein. Es können z.B. auch Bediensignale (Betätigung der Tastatur oder dergleichen) sein. Dabei kann es vorteilhaft sein, wenn Einzelbildaufnahmen nicht (nur) während des Auftretens des Ereignisses, sondern auch danach gemacht werden.Accordingly, it is also advantageous if the at least one camera generates the image data of the single image recordings as a function of events, in particular of events recorded by the latter or by another camera. Such events may e.g. sudden onset of image lightening or darkening. It can e.g. also be control signals (operation of the keyboard or the like). It may be advantageous if single image recordings are not made (only) during the occurrence of the event, but also afterwards.

Vorzugsweise kombiniert die Datenverarbeitungseinheit die erzeugten Bilddaten der Einzelbildaufnahmen mittels einer oder mehrerer geeigneter Bilddatenverarbeitungen, wie z.B. dem sog. Exposure Blending. Dabei kann auch eine BildSegmentierung und/oder Kantendetektion zum Einsatz kommen. Auch in diesem Zusammenhang ist es von Vorteil, wenn die Datenverarbeitungseinheit die Einzelbildaufnahmen in mehrere dem mindestens einem erfassten Element zugeordnete Teilbereiche segmentiert und die Einzelbilddaten segmentweise verschiedenartig verarbeitet. Dabei kann vorgesehen sein, dass die Datenverarbeitungseinheit das Ergebnisbild aus den Teilbereichen verschiedener Einzelbildaufnahmen zusammensetzt. Auch kann vorgesehen sein, dass die Datenverarbeitungseinheit die Bilddaten aus den Teilbereichen mit unterschiedlichen Bilddatenverarbeitungen und/oder mit verschiedenen Varianten einer Bilddatenverarbeitung verarbeitet. Die Teilbereiche umfassen vorzugsweise zumindest einen Nah- oder Innenbereich und einen Umgebungs- oder Außenbereich des erfassten Elementes, wie z.B. den Schlitzbereich und den Umgebungsbereich eines Karteneinschubtrichters. Auch kann vorgesehen sein, dass einer der Teilbereiche einen Übergangsbereich zwischen dem Innenbereich und dem Außenbereich des Elementes umfasst.Preferably, the data processing unit combines the generated image data of the single image recordings by means of one or more suitable image data processing, such as so-called exposure blending. In this case, an image segmentation and / or edge detection can also be used. In this context, too, it is advantageous if the data processing unit segments the individual image recordings into a plurality of partial regions assigned to the at least one detected element and processes the individual image data differently in different segments. It can be provided the data processing unit composes the result image from the subareas of different single-frame images. It can also be provided that the data processing unit processes the image data from the subregions with different image data processing and / or with different variants of image data processing. The partial regions preferably comprise at least one near or inner region and an ambient or outer region of the detected element, such as the slot region and the surrounding region of a card insertion funnel. It can also be provided that one of the partial regions comprises a transition region between the inner region and the outer region of the element.

Die Datenverarbeitungseinheit ist vorzugsweise so ausgestaltet, dass sie sowohl die Bilddatenvorverarbeitung wie auch die eigentliche Bilddatenauswertung durchführt, d.h. dass sie aus den Einzelbilddaten die vorverarbeiteten Bilddaten des Ergebnisbildes berechnet und diese zur Erkennung von Manipulationsversuchen mittels einer Bildverarbeitung auswertet. Dazu verfügt die Datenverarbeitungseinheit über eine die vorverarbeiteten Bilddaten empfangende erste Stufe zur eigentlichen Bildverarbeitung bzw. Bilddatenauswerten, wobei insbesondere eine Schattenentfernung, Kantendetektion, Vektorisierung und/oder Segmentierung durchgeführt werden kann. Auch weist die Datenverarbeitungseinheit eine der ersten Stufe nachgeschaltete zweite Stufe zur Merkmalsextraktion, insbesondere mittels Blobanalyse, Kantenposition und/oder Farbverteilung, auf. Zudem weist die die Datenverarbeitungseinheit eine der zweiten Stufe nachgeschaltete dritte Stufe zur Klassifikation auf.The data processing unit is preferably designed such that it carries out both the image data preprocessing and the actual image data evaluation, ie that it calculates the preprocessed image data of the resulting image from the individual image data and evaluates these by means of image processing for the purpose of detecting manipulation attempts. For this purpose, the data processing unit has a first stage, which receives the preprocessed image data, for the actual image processing or image data evaluation, wherein, in particular, shadow removal, edge detection, vectorization and / or segmentation can be carried out. The data processing unit also has a second stage downstream of the first stage for feature extraction, in particular by means of blob analysis, edge position and / or color distribution. In addition, the data processing unit has a third stage downstream of the second stage for classification.

Vorzugsweise ist die Datenverarbeitungseinheit in das Selbstbedienungsterminal integriert.Preferably, the data processing unit is integrated in the self-service terminal.

Die in dem Bedienfeld des Selbstbedienungsterminals vorgesehenen und von der mindestens einen Kamera erfassten Elemente umfassen z.B. ein Geldausgabefach, eine Tastatur, eine Ablagefläche, einen Karteneingabetrichter und/oder einen Bildschirm. Es ist auch vorgesehen, dass die Datenverarbeitungseinheit, wenn sie mittels der Verarbeitung der vorverarbeiteten Bilddaten des Ergebnisbildes einen Manipulationsversuch an den erfassten Elementen erkennt, einen Alarm auslöst, das Selbstbedienungsterminal sperrt und/oder die zusätzliche Kamera auslöst. Bei dieser zusätzlichen Kamera kann es sich um eine Portrait-Kamera handeln, d.h. um eine Kamera die denjenigen Bereich erfasst, an dem ein Benutzer, insbesondere sein Kopf, sich während der Bedienung des Selbstbedienungsterminals befindet. Somit kann im Bedarfsfall auch ein Portrait des Nutzers aufgenommen werden. Auch ist vorgesehen, dass die jeweilige Kamera und/oder die Datenverarbeitungseinheit während der Bedienung und/oder Wartung des Selbstbedienungsterminals deaktiviert ist.The elements provided in the control panel of the self-service terminal and detected by the at least one camera include e.g. a cashbox, a keyboard, a tray, a card slot, and / or a screen. It is also envisaged that the data processing unit, if it detects a manipulation attempt on the detected elements by means of processing the preprocessed image data of the result image, triggers an alarm, blocks the self-service terminal and / or triggers the additional camera. This additional camera may be a portrait camera, i. a camera which detects the area where a user, in particular his head, is during the operation of the self-service terminal. Thus, if necessary, a portrait of the user can be included. It is also provided that the respective camera and / or the data processing unit is deactivated during the operation and / or maintenance of the self-service terminal.

Die Erfindung und die sich daraus ergebenen Vorteile werden nachfolgend anhand von Ausführungsbeispielen und unter Bezugnahme auf die beiliegenden schematischen Zeichnungen beschrieben, die folgendes darstellen:

Fig. 1
zeigt eine perspektivische Ansicht auf das Bedienfeld eines Selbstbedienungsterminals mit mehreren Kameras;
Fig. 2
gibt den Erfassungsbereich derjenigen Kamera aus Fig. 1 wieder, die das Bedienfeld von der Seite erfasst;
Fig. 3a-d
zeigen beispielhaft drei Einzelbildaufnahmen und ein daraus gewonnenes Ergebnisbild;
Fig. 4
veranschaulicht eine Bilddaten-Vorverarbeitung von mehreren Einzelbildern mittels Kantendetektion und Kombination zu einem Ergebnisbild;
Fig. 5
veranschaulicht eine Bilddaten-Vorverarbeitung von mehreren Einzelbildern mittels einer pixelweisen Median-Bildung;
Fig. 6
gibt den Erfassungsbereich derjenigen Kamera aus Fig. 1 wieder, die das Bedienfeld von Oben erfasst;
Fig. 7a
zeigt die Einbaussituation derjenigen Kamera, die in den Karteneingabetrichter integriert ist;
Fig. 7b
gibt den Erfassungsbereich dieser Kamera aus Fig. 7a wieder;
Fig. 8
zeigt ein Blockschaltbild für eine mit mehreren der Kameras verbundener Datenverarbeitungseinheit und damit verbundener Videoüberwachungs-Einheit;
Fig. 9
veranschaulicht die Durchführung von Einzelbildaufnahmen entsprechend einer vorgebbaren Belichtungsreihe; und
Fig. 10a)-c)
zeigen dazu verschiedene Funktionsverläufe in Form von abfallenden und/oder ansteigenden Rampen.
The invention and the advantages arising therefrom are described below by means of exemplary embodiments and with reference to the attached schematic drawings, which show the following:
Fig. 1
shows a perspective view of the control panel of a self-service terminal with multiple cameras;
Fig. 2
outputs the detection range of that camera Fig. 1 again, which captures the control panel from the side;
Fig. 3a-d
show, by way of example, three individual image shots and a result image obtained therefrom;
Fig. 4
Figure 4 illustrates image data preprocessing of multiple frames using edge detection and combination into a result image;
Fig. 5
Figure 4 illustrates image data preprocessing of multiple frames by means of pixel-wise median formation;
Fig. 6
outputs the detection range of that camera Fig. 1 again, which captures the control panel from above;
Fig. 7a
shows the installation situation of the camera integrated in the card slot;
Fig. 7b
outputs the detection range of this camera Fig. 7a again;
Fig. 8
shows a block diagram for a connected to a plurality of cameras data processing unit and associated video surveillance unit;
Fig. 9
illustrates the performance of frame captures according to a predeterminable bracketing series; and
Fig. 10a) -c)
show different function curves in the form of sloping and / or rising ramps.

Die Fig. 1 zeigt in einer perspektivischen Ansicht den prinzipiellen Aufbau eines Selbstbedienungsterminals in Gestalt eines Geldautomaten ATM. Zu dem Bedienfeld des Geldautomaten ATM gehören insbesondere ein Geldausgabefach 1, auch Shutter genannt, sowie eine Tastatur 2, d.h. Bedienelemente, an denen bevorzugt Manipulationsversuche, z.B. in Form von Überbauten, zwecks Skimming auftreten können. Der Geldautomaten ATM ist mit mehreren Kameras zum Erkennen solcher und ähnlicher Manipulationsversuchen ausgestattet.The Fig. 1 shows in a perspective view of the basic structure of a self-service terminal in the form of an ATM ATM. To the control panel of the ATM ATM include in particular a cash dispenser 1, also called shutter, and a keyboard 2, ie controls on which preferably manipulation attempts, eg in the form of superstructures, may occur for the purpose of skimming. The ATM ATM is equipped with several cameras for detecting such and similar manipulation attempts.

Die Fig. 1 zeigt zunächst diejenigen Kameras, welche an verschiedenen Stellen, vorzugsweise im Nahbereich des Bedienfeldes, montiert sind. Dabei handelt es sich um eine seitliche Kamera CAMS, eine Draufsicht-Kamera CAMD und eine zusätzliche Portrait-Kamera CAMO.The Fig. 1 shows first those cameras, which are mounted at different locations, preferably in the vicinity of the control panel. These are a side camera CAMS, a top view camera CAMD and an additional portrait camera CAMO.

Die Kameras CAMS und CAMD befinden sich innerhalb einer Abgrenzung, Umrahmung oder dergleichen und sind dort montiert. Jede dieser Kameras CAMS oder CAMD erfasst jeweils von Außen zumindest eines der im Bedienfeld des Geldautomaten angeordneten Elemente, also z.B. das Geldausgabefach 1 (Shutter) und/oder die Tastatur 2. Die seitliche Kamera CAMS erfasst vorzugsweise genau diese beiden Elemente 1 und 2; die Draufsicht-Kamera CAMD erfasst darüber hinaus noch weitere Elemente (siehe auch Fig. 6). Hingegen erfasst eine in dem Karteneingabetrichter 4 integrierte Kamera CAMK auch den Innenbereich dieses Elements. Diese Kamera CAMK und ihre Funktion werden später noch im Detail anhand der Fig. 7a/b beschrieben.The cameras CAMS and CAMD are within a demarcation, framing or the like and are mounted there. Each of these cameras CAMS or CAMD detects in each case from the outside at least one of the elements arranged in the control panel of the ATM, eg the cash dispenser 1 (shutter) and / or the keyboard 2. The lateral camera CAMS preferably detects exactly these two elements 1 and 2; the top view camera CAMD also detects other elements (see also Fig. 6 ). On the other hand, a camera CAMK integrated in the card input hopper 4 also detects the interior of this element. This camera CAMK and her Function will be explained later in detail on the basis of Fig. 7a / b described.

Neben den unmittelbar am oder im Bedienfeld angeordneten Kamera befindet sich die zusätzliche Kamera CAMO im oberen Gehäuseteil des Geldautomaten ATM und ist auf den Bereich gerichtet, in dem sich der Nutzer beim Bedienen des Geldautomaten befindet. Insbesondere erfasst diese Kamera CAMO den Kopf bzw. das Gesicht des Nutzers und wird deshalb hier auch als Portraitkamera bezeichnet.In addition to the camera arranged directly on or in the control panel, the additional camera CAMO is located in the upper housing part of the ATM ATM and is directed to the area in which the user is operating the ATM. In particular, this camera captures CAMO the head or the face of the user and is therefore referred to here as a portrait camera.

Die Figur 2 zeigt den Erfassungsbereich der Kamera CAMS, welche sich in einem seitlichen Gehäuseteil befindet, der das Bedienfeld des Geldautomaten ATM umrahmt bzw. einfasst. Im Blickwinkel dieser seitlichen Kamera CAMS befinden sich insbesondere das Geldausgabefach 1 und die Tastatur 2. Insbesondere diese Kamera CAMS ist mit einem Weitwinkelobjektiv ausgestattet, um zumindest diese beiden Elemente bzw. Teilbereiche des Bedienfeldes zu erfassen. Der Geldautomat ATM ist dabei so beschaffen, dass die genannten Elemente 1 und 2 vorzugsweise möglichst homogene Flächen mit diese abgrenzenden Kanten aufweisen. Dadurch wird eine Objekterkennung vereinfacht. Durch Anbringung der Kamera CAMS an dieser besonders geeigneten Position können die genannten Teilbereiche bzw. Elemente 1 und 2 sehr zuverlässig optische vermessen werden. Es kann vorgesehen werden, dass die Kamera insbesondere auf bestimmte Bereiche scharf eingestellt ist.The FIG. 2 shows the detection range of the camera CAMS, which is located in a side housing part, which framing the control panel of the ATM ATM or surrounds. In particular, this camera CAMS is equipped with a wide-angle lens in order to capture at least these two elements or subregions of the control panel. The ATM ATM is designed so that said elements 1 and 2 preferably have the most homogeneous surfaces with these delimiting edges. This simplifies object recognition. By attaching the camera CAMS at this particularly suitable position, the said subareas or elements 1 and 2 can be measured very reliably optical. It can be provided that the camera is focused in particular on certain areas.

Ein anderer Blickwinkel, nämlich der der Draufsicht-Kamera CAMD, wird anhand der Figur 6 verdeutlicht. Hier wird das Erfassungsfeld dieser Kamera CAMD veranschaulicht, die im oberen Bereich des Geldautomaten ATM installiert ist (s. auch Fig. 1) und die das Bedienfeld von oben erfasst. Neben dem Geldausgabefach 1 und der Tastatur 2 können in dem Erfassungsbereich der Kamera auch noch weitere Elemente vorgesehen sein, wie z.B. eine Ablagefläche in Nähe der Tastatur, ein Karteneingabetrichter 4, d.h. das Zuführungsteil für den Kartenleser, sowie z.B. ein Bildschirm 5 bzw. Display. Auch diese weiteren genannten Elemente 3, 4 und 5 stellen potentielle Ziele für Manipulationsversuche dar.Another perspective, namely that of the top view camera CAMD, is based on the FIG. 6 clarified. Here is the detection field of this camera CAMD illustrated, which is installed in the upper part of the ATM ATM (see also Fig. 1 ) and which captures the control panel from above. Next to the Cash dispenser 1 and the keyboard 2, in the detection range of the camera also other elements may be provided, such as a shelf near the keyboard, a card input funnel 4, ie the feeding part for the card reader, and eg a screen 5 or display. These further mentioned elements 3, 4 and 5 represent potential targets for manipulation attempts.

Insbesondere anhand der Fig. 3 bis 5 wird die hier vorgeschlagene Bilddaten-Vorverarbeitung veranschaulicht, bei in der Datenverarbeitungseinheit (s. auch Fig. 8) aus mehreren Einzelbildaufnahmen ein Ergebnisbild oder auch eine Ergebnis-Bildfolge hoher Qualität berechnet wird.In particular, based on the Fig. 3 to 5 the image data pre-processing proposed here is illustrated in the data processing unit (see also FIG Fig. 8 ) a result image or a result image sequence of high quality is calculated from a plurality of single image recordings.

Die Fig. 3a-c zeigen beispielhaft drei von der seitlichen Kamera CAMS (vergl. Fig. 2) zu unterschiedlichen Zeitpunkten aufgenommene Einzelbilder F1, F2 und F3. Aus diesen wird mittels einer noch später näher beschriebenen Bilddatenvorverarbeitung ein Ergebnisbild R berechnet, das in der Fig. 3d dargestellt ist.The Fig. 3a-c show by way of example three of the side camera CAMS (see FIG. Fig. 2 ) captured at different times frames F1, F2 and F3. From these, a result image R is computed by means of an image data preprocessing which will be described in more detail later Fig. 3d is shown.

Wie anhand der Fig. 3a bis 3c zu sehen ist, enthält jedes der Einzelbildaufnahmen F1, F2 und F3 gewisse Bildstörungen bzw. Bildfehler aufgrund von z.B. Reflexionseffekten, schlechtem Umgebungslicht, Erscheinen von Fremdobjekten in Gestalt von Personen und/oder Gegenständen usw.. Es handelt sich hier um schematische Darstellungen, die die jeweilige Aufnahmesituation verdeutlichen sollen. Beispielsweise wurde die erste Einzelbildaufnahme F1 bei einstrahlendem Sonnenlicht gemacht, das auf der Oberfläche des Bedienfeldes im Bereich des Geldausgabefaches störende Reflexionen verursachte. Dies wird hier durch einen von links kommenden Lichtstrahl veranschaulicht. Im Einzelbild F2 erscheint eine Person, die die Tastatur des Geldautomaten abdeckt. Im Einzelbild F3 wiederum erscheint im Hintergrund ein Fremdobjekt bzw. ein fremder Gegenstand. Somit weist jedes der Einzelbilder für die eigentliche Bildverarbeitung zur Erkennung von Manipulationsversuchen Schwachpunkte auf, die aber durch die hier beschriebene Bilddatenvorverarbeitung weitestgehend ausgeräumt werden können. Im Ergebnis entsteht ein berechnetes Gesamtbild R (s. Fig. 3d), welches das Bedienfeld und die dort vorhandenen Bedienelemente möglichst störungsfrei und mit sehr hoher Bildqualität wiedergibt.As based on the Fig. 3a to 3c As can be seen, each of the still images F1, F2 and F3 contains certain image distortions or aberrations due to, for example, reflection effects, poor ambient light, appearance of foreign objects in the form of persons and / or objects, etc. These are schematic representations which illustrate the illustrate each recording situation. For example, the first still image F1 was taken with incident sunlight, causing disturbing reflections on the surface of the control panel in the area of the cash dispenser. This is illustrated here by a light beam coming from the left. In the frame F2 appears a Person covering the keyboard of the ATM. In frame F3, in turn, a foreign object or a foreign object appears in the background. Thus, each of the individual images for the actual image processing for the detection of manipulation attempts on weak points, but can be largely eliminated by the image data preprocessing described here. The result is a calculated overall image R (s. Fig. 3d ), which reproduces the control panel and the existing controls there as trouble-free and with very high image quality.

Das Ergebnisbild R wird durch Kombination der Einzelbilddaten zusammen gesetzt, wobei durch Vergleich der Einzelbilder untereinander die störenden Effekte erkannt und eliminiert werden. Beispielsweise können aus dem Einzelbild F1 viele Teilbereiche, außer dem Reflexionsbereich, verwertet werden, wobei das Einzelbild F1 besonders gut die Oberflächenstruktur des Gehäuses und der Bedienelemente wiedergibt. Aus dem Einzelbild F2 können ebenfalls viele Teilbereiche, bis auf den Bereich der Tastatur und der Umgebung vor dem Geldautomaten, verwertet werden, wobei hier insbesondere die Kanten des Gehäuses und der Bedienelemente gut erkennbar wiedergegeben sind. Das Einzelbild F3 hat auch viele verwertbare Teilbereiche, wobei hier insbesondere die Tastatur störungsfrei wiedergegeben ist.The result image R is combined by combining the individual image data, whereby the interfering effects are detected and eliminated by comparing the individual images with one another. For example, many subregions, except for the reflection region, can be utilized from the individual image F1, with the individual image F1 reproducing the surface structure of the housing and the operating elements particularly well. From the single image F2 also many sub-areas, except for the area of the keyboard and the environment in front of the ATM, can be utilized, in which case in particular the edges of the housing and the operating elements are rendered clearly recognizable. The single image F3 also has many useful portions, in which case in particular the keyboard is reproduced without interference.

Aus den verschiedenen Teilbereichen und den vielen Bildkomponenten der Einzelbilder F1 bis F3 kann dann das Ergebnisbild R berechnet werden. Im Gegensatz zu den Einzelbildern gibt das Ergebnisbild keine reale Bildaufnahme wieder, sondern entspricht einer optimal berechneten Bildkomposition, die den erfassten Bereich bzw. die Bedienelemente in einer von Störeffekten befreiten Form zeigt. Dabei wird eine sehr hohe Bildqualität erreicht, die die Qualität der Einzelbilder deutlich übertrifft. Somit wird eine optimale Ausgangsbasis für die spätere eigentliche Bilddatenauswertung geschaffen.The result image R can then be calculated from the various subregions and the many image components of the individual images F1 to F3. In contrast to the individual images, the result image does not represent a real image acquisition, but corresponds to an optimally calculated image composition that captures the captured area or the operating elements in a form freed from interference shows. This achieves a very high image quality, which clearly exceeds the quality of the individual images. Thus, an optimal basis for the later actual image data evaluation is created.

Zur Vorverarbeitung der Bilddaten können an sich aus anderen Bereichen bekannte Verfahren, wie z.B. das sog. Exposure Blending, verwendet werden. Dabei werden mit unterschiedlichen Belichtungszeiten aufgenommene Einzelbilder so kombiniert, dass über- und unterbelichtete Bereiche weitgehend vermieden werden und mehr Details erhalten bleiben. Die einzelnen Aufnahmen einer Belichtungsreihe werden zusammengefügt, wobei jeweils die hellsten Stellen eines Bildes durch die entsprechenden Stellen aus dem nächstdunkleren Bild ersetzt werden.For preprocessing the image data, methods known per se from other fields, such as e.g. the so-called exposure blending. In the process, individual images recorded with different exposure times are combined in such a way that over- and under-exposed areas are largely avoided and more details are retained. The individual shots of an exposure bracketing are combined, whereby the brightest parts of an image are replaced by the corresponding points from the next darker one.

Wie auch anhand der Figuren 9 und 10 veranschaulicht wird, können die mehreren Einzelbildaufnahmen in Abhängigkeit von mindestens einer vorgebbaren Funktion erstellt werden, die für die Einzelbildaufnahmen unterschiedliche Belichtungszeiten angibt. Somit wird sichergestellt, dass keine Einzelbildaufnahmen mit derselben Belichtungszeit erfolgen, was wiederum für das Exposure Blending vorteilhaft ist. In der Fig. 9 ist schematisch eine Reihe mit mehreren Einzelbildaufnahmen F1 bis Fn dargestellt, wobei dort veranschaulicht ist, dass jede Einzelbildaufnahme eine andere Belichtungszeit T1, T2, ... Tn aufweist. Dabei wird vorzugsweise die Reihe (Belichtungsreihe) entsprechend einer monoton abfallenden oder ansteigenden Funktion vorgegeben, so dass gilt: T1 < T2 < T3 < ... < Tn.As well as on the basis of Figures 9 and 10 is illustrated, the plurality of individual image recordings can be created in dependence on at least one predetermined function, which specifies the different exposure times for the single image recordings. This ensures that no single image recordings are made with the same exposure time, which in turn is advantageous for exposure blending. In the Fig. 9 schematically a series is shown with a plurality of still images F1 to Fn, where it is illustrated that each frame shot has a different exposure time T1, T2, ... Tn. In this case, the row (exposure row) is preferably given in accordance with a monotone decreasing or increasing function, so that the following applies: T1 <T2 <T3 <... <Tn.

Die Figuren 10a)-c) veranschaulichen verschiedene Funktionsverläufe, die jeweils eine bestimmte Rampenform aufweisen:

  • In der Fig. 10a) ist eine erste ansteigende Rampenfunktion MD dargestellt, die in einem unteren Wertebereich Belichtungszeiten vorgibt, so dass beim ersten Einzelbild "1" eine Belichtungszeit T = 0,5 ms eingestellt wird und für die nachfolgenden Einzelbildaufnahmen jeweils längere Belichtungszeiten eingestellt werden. Der untere Wertebereich W1, der für den Tagmodus gilt, geht z.B. bis zu einer max. Belichtungszeit von 1000 ms. In der Fig. 10a) auch als Alternative eine zweite abfallende Rampenfunktion MN dargestellt, die in einem oberen Wertebereich W2 Belichtungszeiten für den sog. Nachtmodus vorgibt, so dass beim ersten Einzelbild "1" eine max. Belichtungszeit von T = 2000 ms eingestellt wird und für die nachfolgenden Einzelbildaufnahmen jeweils kürzere Belichtungszeiten eingestellt werden. Der obere Wertebereich geht z.B. bis zu einer min. Belichtungszeit von T = 1000 ms. Die Entscheidung ob der Tagmodus oder der Nachtmodus gilt, kann auf der Grundlage einer Schwellwertentscheidung erfolgen. Dabei wird der Helligkeitswert und/oder Kontrastwert mindestens einer Einzelbildaufnahme mit dem Schwellwert verglichen. Ist der Helligkeitswert und/oder Kontrastwert größer als der Schwellwert, so gilt der Tagmodus, andernfalls der Nachtmodus.
  • Die Fig. 10b) veranschaulicht eine zusammengesetzte ansteigende Rampe, die zunächst entsprechend dem Tagmodus MD Belichtungszeiten im unteren Wertebereich vorgibt. Anschließend werden höhere Belichtungszeiten im oberen Wertebereich entsprechend dem Nachtmodus vorgegeben.
  • Die Fig. 10c) zeigt eine ansteigende Rampe, bei der der Übergang von der Tagmodus-Funktion MD zur Nachtmodus-Funktion MN überlappend erfolgt. Viele andere Funktionsverläufe sind denkbar und können an die Gegebenheiten angepasst werden. Im CCTV-Modus werden z.B. 2 bis 4 Bilder pro Sekunde gemacht.
The FIGS. 10a ) -c) illustrate different function curves, each having a specific ramp shape:
  • In the Fig. 10a ), a first rising ramp function MD is shown, which predetermines exposure times in a lower value range, so that an exposure time T = 0.5 ms is set for the first single frame "1" and longer exposure times are set for the subsequent single frame exposures. The lower value range W1, which applies to the day mode, goes up to a max. Exposure time of 1000 ms. In the Fig. 10a ) as an alternative, a second sloping ramp function MN shown, which sets in an upper range of values W2 exposure times for the so-called. Night mode, so that the first frame "1" a max. Exposure time of T = 2000 ms is set and for the subsequent single shots each shorter exposure times are set. The upper value range goes up to a min. Exposure time of T = 1000 ms. The decision whether to apply the day mode or the night mode may be based on a threshold decision. In this case, the brightness value and / or contrast value of at least one single image acquisition is compared with the threshold value. If the brightness value and / or contrast value is greater than the threshold value, the day mode applies, otherwise the night mode.
  • The Fig. 10b ) illustrates a composite rising ramp which initially sets exposure times in the lower value range according to the day mode MD. Subsequently, higher exposure times are given in the upper value range corresponding to the night mode.
  • The Fig. 10c ) shows a rising ramp where the transition from the day mode function MD to the night mode function MN is overlapping. Many other functional sequences are conceivable and can be adapted to the conditions. In CCTV mode, for example, 2 to 4 frames per second are made.

Beispielsweise können die Einzelbildaufnahmen auch abhängig von Beleuchtungsbedingungen durchgeführt werden. Auch können die Belichtungszeiten abhängig von verschiedenen Parametern sein, wie z.B. Standort des Geldautomaten (Indoor, Outdoor), Art und/oder Montageort der Kamera, Beleuchtungsbedingungen usw..For example, the still images can also be performed depending on lighting conditions. Also, the exposure times may be dependent on various parameters, such as e.g. Location of the ATM (indoor, outdoor), type and / or mounting location of the camera, lighting conditions, etc ..

Auch kann z.B. noch eine Kantendetektion zum Einsatz kommen, wie dies anhand der Fig. 4 veranschaulicht wird, die schematischen Darstellungen entsprechen:Also, for example, an edge detection can be used, as this is based on the Fig. 4 to illustrate the schematic representations:

In der Fig. 4 sind in einer ersten Reihe als Teilfiguren 4a1) bis 4a3) drei Einzelbildaufnahmen F1' bis F3' dargestellt, die bei unterschiedlichen Belichtungszeiten von der seitlichen Kamera CAMS (s. Fig. 1 und 2) aufgenommen worden sind. Diese erste Reihe gibt drei unterschiedlich belichtete Aufnahmen wieder, nämlich in a1) eine sehr hell belichtete Aufnahme F1', in a2) eine normal belichtete Aufnahme F2' und in a3) eine unterbelichtete Aufnahme F3'. In einer zweiten Reihe sind als Teilfiguren 4b1) bis 4b3) die daraus mittels Kantendetektion jeweils gewonnenen Einzelbilder dargestellt. Diese in b1) bis b3) gezeigten Kantenbilder müssten weiße Kantenverläufe auf schwarzem Hintergrund darstellen. Um den Erfordernissen für Patentzeichnungen zu genügen, werden diese Darstellungen hier invertiert wiedergegeben, d.h. es werden schwarze Kantenverläufe auf weißen Hintergrund dargestellt.In the Fig. 4 are shown in a first row as sub-figures 4a1) to 4a3) three frame shots F1 'to F3', which at different exposure times of the lateral camera CAMS (s. Fig. 1 and 2 ) have been recorded. This first row reproduces three differently exposed images, namely a1) a very brightly exposed image F1 ', a2) a normally exposed image F2' and a3) an underexposed image F3 '. In a second row are shown as sub-figures 4b1) to 4b3), the respectively obtained by means of edge detection individual images. These edge images shown in b1) to b3) would have to represent white edge progressions on a black background. In order to meet the requirements for patent drawings, these representations are reproduced here in an inverted manner, ie black edge gradients are displayed on a white background.

Dasselbe gilt für das in c) dargestellte Gesamtbild R'. Wie ein Vergleich der Kantenbilder b1) bis b3) mit den Aufnahmen a1) bis a3) zeigt, liefert die Kantendetektion der Einzelbilder kein optimales Ergebnis. Erfindungsgemäß wird nun aus den Daten der einzelnen Kantendetektionen, d.h. aus den Einzelbildern der Fig. 4b1) bis 4b3), ein Gesamtbild R' errechnet, dass einer deutlich verbesserten Kantendektion entspricht. Insgesamt finden sich in dem Gesamtbild bzw. Ergebnisbild R' alle sicher erkannten Kanten wieder, die in den jeweiligen Einzelbildern nicht oder nur zum Teil zu finden sind. Außerdem konnten Artefakte, insbesondere virtuelle Kanten bzw. "Scheinkanten", eliminiert werden.The same applies to the overall image R 'shown in c). As a comparison of the edge images b1) to b3) with the images a1) to a3) shows, the edge detection of the individual images does not yield an optimal result. According to the invention is now from the data of the individual edge detections, ie from the individual images of the 4b1) to 4b3) , an overall picture R 'calculated that corresponds to a significantly improved edge detection. Overall, all the edges reliably recognized in the overall image or result image R 'are found again, which are not or only partially found in the respective individual images. In addition, artifacts, in particular virtual edges or "dummy edges", could be eliminated.

Die Fig. 5a bis 5c veranschaulichen eine weitere Variante oder auch zusätzliche Maßnahme zur Bilddatenvorverarbeitung von Einzelbildaufnahmen F1", F2", F3" usw.. Hier werden die Bilddaten pixelweise einer Median-Bildung unterzogen. Die Fig. 5a) zeigt schematisch die Bilddaten für das erste Pixel im jeweiligen Einzelbild. Beispielsweise hat des erste Pixel im Bild F1" den Wert "3", im Bild F2" den Wert "7" und im Bild F3" den Wert "5". Die nächsten Bilder F4'' und F5" haben an der ersten Pixelstelle den Wert "5" bzw. "4". Wie die Fig. 4b) veranschaulicht, ergibt sich für das erste Pixel eine Reihe bzw. Sequenz aus folgenden Bilddatenwerten: 3, 7, 3, 5 und 4. Es folgt eine Umsortierung der Werte nach ihrer Größe, so dass sich die folgende Sequenz ergibt: 3, 3, 4, 5 und 7. Der Median dieser Sequenz ist folglich der Wert "4" . Dieser Wert wird in das Ergebnisbild bzw. Zielbild R" an der ersten Pixelstelle eingetragen (s. Fig. 4c). Die Bildung des Medianwertes hat gegenüber einer Mittelwertbildung (der Mittelwert wäre hier "4,4") den Vorteil, dass die evtl. in Einzelbildern vorhandenen bewegten Objekte ganz eliminiert werden.The Fig. 5a to 5c illustrate a further variant or additional measure for image data preprocessing of single image F1 ", F2", F3 "etc .. Here, the image data is pixelwise subjected to a median formation Fig. 5a ) schematically shows the image data for the first pixel in each frame. For example, the first pixel in the image F1 "has the value" 3 ", in the image F2" the value "7" and in the image F3 "the value" 5. "The next images F4" and F5 "have the first pixel location Value "5" or "4". As the Fig. 4b) 3, 7, 3, 5 and 4, the result for the first pixel is a sequence of the following image data values: a sorting of the values according to their size follows, so that the following sequence results: 3, 3, 4 , 5 and 7. The median of this sequence is thus the value "4". This value is entered in the result image or target image R "at the first pixel location (s. Fig. 4c ). The formation of the median value has the advantage over averaging (the average value would be "4.4") that the moving objects possibly present in individual images are completely eliminated.

Die Bilddatenverarbeitung, die auch auf der Grundlage von Bilddaten mehrerer Kameras erfolgen kann, wird in einer Datenverarbeitungseinheit durchgeführt, die auch die eigentliche Bildauswertung durchführt und die in der Fig. 8 dargestellt ist.The image data processing, which can also take place on the basis of image data of a plurality of cameras, is carried out in a data processing unit which also performs the actual image analysis and which in the Fig. 8 is shown.

Die Figur 8 zeigt das Blockschaltbild einer erfindungsgemäßen Datenverarbeitungseinheit 10, an welche die Kameras CAMS und CAMK angeschlossen sind, sowie einer Videoüberwachungs- bzw. CCTV-Einheit 20, die mit der Datenverarbeitungseinheit 10 verbunden ist. Die Datenverarbeitungseinheit 10 empfängt die Bilddaten D von der Kamera CAMS und die Bilddaten D' von der Kamera CAMK. Beide Kameras machen in vorgebaren Zeitintervallen Einzelbilder, wobei die Aufnahmen durch eine Vorstufe bzw. Steuerungsstufe ST gesteuert werden. Dabei wird insbesondere die jeweilige Belichtungszeit vorgegeben, so dass eine Reihe von Einzelaufnahmen (Belichtungsreihe) erstellt wird (s. auch spätere Beschreibung der Fig. 9 und 10). Dann folgt in einer ersten Stufe 11 die Vorverarbeitung der Einzelbilddaten. Dort werden u.a. Ergebnisbilder anhand von den bereits oben beschriebenen Bilddatenverarbeitungsmethoden oder ähnlichen Methoden erstellt. Die derart aufbereiteten Bilddaten D* haben eine sehr hohe Qualität und werden dann als Eingangsdaten für eine nachfolgende zweite Stufe 12 verwendet, die einer Merkmalsextraktion dient. Danach folgt eine dritte Stufe 13 zur Klassifikation der verarbeiteten Eingangsdaten. Die Stufe 13 wiederum ist mit einer Schnittstelle 14 verbunden, über die verschiedene Alarm- oder Überwachungsvorrichtungen aktiviert bzw. angesprochen werden können. Diese Vorrichtungen umfassen unter anderem eine Bildfälschungs- bzw. Manipulationserkennung (IFD). Die erste Stufe 11 wiederum, welche zur Bildvorverarbeitung dient, ist auch mit einer zweiten Schnittstelle 15 verbunden, über die eine Verbindung zu der CCTV-Einheit 20 hergestellt wird. Mit Hilfe dieser CCTV-Einheit kann beispielsweise eine Fernüberwachung bzw. Ferndiagnose ausgeführt werden. Das Erkennen von Manipulationsversuchen und das Alarmieren wird später noch eingehender beschrieben.The FIG. 8 shows the block diagram of a data processing unit 10 according to the invention, to which the cameras CAMS and CAMK are connected, as well as a CCTV unit 20, which is connected to the data processing unit 10. The data processing unit 10 receives the image data D from the camera CAMS and the image data D 'from the camera CAMK. Both cameras take frames at predeterminable time intervals, the recordings being controlled by a pre-stage or control stage ST. In particular, the respective exposure time is given, so that a series of individual shots (exposure series) is created (see also later description of Fig. 9 and 10 ). Then, in a first stage 11, the preprocessing of the frame data follows. There, among other things result images are created on the basis of the image data processing methods or similar methods already described above. The thus prepared image data D * has a very high quality and is then used as input data for a subsequent second stage 12 which serves for feature extraction. This is followed by a third stage 13 for the classification of the processed input data. In turn, the stage 13 is connected to an interface 14, via which various alarm or monitoring devices can be activated or addressed. These devices include, among other things, image tampering detection (IFD). The first stage 11 in turn, which serves for image preprocessing, is also connected to a second interface 15 via which a connection to the CCTV unit 20 is established. With the help of this CCTV unit, for example, a remote monitoring or remote diagnosis can be performed. The detection of manipulation attempts and the alarming will be described in more detail later.

Zunächst wird auf die Fig. 7a verwiesen, welche eine Kamera-Einbausituation veranschaulicht, bei der die Kamera CAMK direkt in den Karteneingabetrichter 4 integriert ist. Um für diese Kamera CAMK eine gute Bildausleuchtung zu erreichen, kann die ohnehin eingesetzte Beleuchtung L des Kartenschlitzes genutzt werden. Die Kamera CAMK ist dazu seitlich von Kartenschlitz bzw. Einführungsschlitz montiert, der aus einem speziellen, lichtleitenden Kunststoff K gefertigt ist. Die Beleuchtung L wird durch ein oder mehrere Leuchtmittel, wie z.B. Leuchtdioden, realisiert, wobei das erzeugte Licht über den lichtleitenden Kunststoff K zu dem eigentlichen Einführungsschlitz geführt, um diesen auszuleuchten. Das Licht kann dabei von Oben und Unten kommend geführt werden, so dass der Kartenschlitz möglichst gleichmäßig ausgeleuchtet ist. Das erzeugte Licht in der Intensität den Erfordernissen optimal angepasst werden. Auch kann das Licht durch Einsatz von farbigen LEDs und/oder Farbfiltern eingefärbt werden, um insbesondere an die Erfordernisse der Kamera CAMK angepasst zu werden.First, on the Fig. 7a which illustrates a camera installation situation in which the CAMK camera is integrated directly into the card input hopper 4. In order to achieve good image illumination for this camera CAMK, the already used illumination L of the card slot can be used. The camera CAMK is mounted laterally by card slot or insertion slot, which is made of a special, light-conducting plastic K. The lighting L is realized by one or more light sources, such as light-emitting diodes, wherein the generated light is guided via the light-conducting plastic K to the actual insertion slot in order to illuminate it. The light can be guided coming from above and below, so that the card slot is illuminated as evenly as possible. The generated light can be optimally adapted in intensity to the requirements. Also, the light can be colored by the use of colored LEDs and / or color filters to be adapted in particular to the requirements of the camera CAMK.

Zur Erkennung von Manipulationen durch fremdartige Eingriffe, Veränderungen und dergleichen, werden vorgebbare Teilbereiche erfasst und optisch vermessen. Damit können Abweichungen von Referenzwerten (Normalzustand bzgl. Bildaufbau, Bildinhalt, Gewichtung von Pixelbereichen usw.) schnell und sicher erkannt werden. Hierzu werden unterschiedliche Bildverarbeitungsverfahren (Algorithmen) bzw. Bildverarbeitungsschritte (Routinen) innerhalb einer noch später genauer beschriebenen Datenverarbeitungseinheit (s. Fig. 5) durchgeführt. Die Bilddatenverarbeitung kann teilbereichsweise erfolgen.In order to detect manipulations due to foreign interventions, changes and the like, predefinable subregions are detected and optically measured. This allows deviations from reference values (normal state with regard to image composition, image content, weighting of pixel areas, etc.) quickly and reliably be recognized. For this purpose, different image processing methods (algorithms) or image processing steps (routines) within a later-described data processing unit (s. Fig. 5 ) carried out. The image data processing can take place partially.

Die Fig. 7b veranschaulicht den in verschiedene Teilbereiche segmentierten Erfassungsbereich der Kamera CAMK, und zeigt deutlich, dass dieser hier im wesentlichen in drei Teilbereiche I, II und III unterteilt ist.The Fig. 7b 1 illustrates the detection area of the camera CAMK segmented into different partial areas, and clearly shows that it is essentially subdivided into three partial areas I, II and III.

Der erste Teilbereich I erfasst vornehmlich den Innenbereich des Karteneingabetrichters, also den eigentlichen Kartenschlitz, der Teilbereich III erfasst den Außenbereich des Karteneingabetrichters und der Teilbereich II erfasst den dazwischen liegenden Übergangsbereich. Im Zusammenhang mit der Fig. 7a werden folgende Vorteile der hier beschriebenen Konstruktion und Einbauweise deutlich:The first subarea I primarily detects the inner area of the card input funnel, ie the actual card slot, the subarea III detects the outer area of the card entry funnel and subarea II detects the intermediate transition area. In connection with the Fig. 7a the following advantages of the construction and installation described here are clear:

Durch die interne Kameraposition, bei der die Kamera CAMK seitlich im Karteneinschubtrichter 4 angeordnet ist und die Teilbereiche I bis III erfasst, können verschiedene Arten von Skimming-Modulen, Überbauten bzw. Manipulationen sehr genau erkannt werden. Denn diese Einbauweise ermöglicht es, eine Bildsegmentierung entsprechend den Teilbereichen I bis III vorzunehmen und diese einzeln zu vermessen. Die Kontrastdifferenz zwischen den Teilbereichen kann gut zur Segmentierung der Bildaufnahme genutzt werden.Due to the internal camera position, in which the camera CAMK is arranged laterally in the card insertion funnel 4 and detects the subregions I to III, various types of skimming modules, superstructures or manipulations can be detected very accurately. Because this method of installation makes it possible to perform an image segmentation according to sub-areas I to III and to measure these individually. The contrast difference between the subregions can be used well for segmenting the image acquisition.

Die Kamera CAMK ist hier so ausgerichtet, dass mit dem Teilbereich III auch eine vor dem Geldautomaten sich befindende Person (Nutzer oder Angreifer) erfasst werden kann. Diese Bilddaten können insbesondere mit denen der Portrait-Kamera CAMO (s. Fig. 1) verglichen werden. Vorzugsweise ist die Kamera CAMK an derselben Seite des Terminals installiert, wie die Kamera CAMS, so dass auch die Bilddaten dieser beiden Kameras verglichen werden können.The camera CAMK is here aligned so that the sub-area III also a person in front of the ATM are located (users or attackers) are detected can. This image data can in particular with those of the portrait camera CAMO (s. Fig. 1 ). The camera CAMK is preferably installed on the same side of the terminal as the camera CAMS, so that the image data of these two cameras can also be compared.

Insbesondere für den Innenbereich I, aber auch für Teile des Übergangsbereiches II wird die Beleuchtung L (s. Fig. 7a) genutzt, um für die Bildaufnahmen eine möglichst optimale Ausleuchtung zu erzielen. Eine farbige Beleuchtung im Grünbereich ist besonders vorteilhaft, weil die Bildsensoren bzw. CCD-Sensoren von Kamera gegenüber grünen Farbtönen besonders sensitiv sind und das größte Auflösungsvermögen aufweisen. Die Beleuchtung L verbessert die Objekterkennung insbesondere bei schlechten Lichtverhältnissen (Standort, Nachtzeit usw.). Außerdem überwindet die Beleuchtung evtl. durch äußeres Licht (z.B. Sonneneinstrahlung) auftretende Reflexionen an einem zu erkennenden Überbau. Die ohnehin vorzusehenden Beleuchtung L des Karteneinschubtrichters stelle eine zuverlässige Lichtquelle auch für die Kamera CAMK dar. Der eigentliche Kartenschlitz weist hier eine andere Farbe als der Karteneingabetrichter auf, so dass ein größerer Kontrastunterschied gegeben ist, der die Bildauswertung verbessert.In particular, for the interior I, but also for parts of the transition region II, the lighting L (s. Fig. 7a ) are used to achieve the best possible illumination for the image recordings. A colored illumination in the green area is particularly advantageous because the image sensors or CCD sensors of camera are particularly sensitive to green shades and have the greatest resolution. The lighting L improves the object recognition, especially in low light conditions (location, night time, etc.). In addition, the illumination overcomes possibly by external light (eg solar radiation) occurring reflections on a recognizable superstructure. The already provided lighting L of the card insertion funnel is a reliable light source for the camera CAMK. The actual card slot here has a different color than the card input hopper, so that a larger contrast difference is given, which improves the image analysis.

Bei der Bilddatenverarbeitung kommen verschiedene Methoden zum Einsatz, insbesondere eine Kombination der Segmentierungen und eine Kantendetektion. Die Datenverarbeitungseinheit (s. Fig. 8) besteht im wesentlichen aus folgenden drei Stufen:

  • einer Bildverarbeitungs-Stufe zur Vorverarbeitung der ankommenden Bilder bzw. Daten (z.B. zwecks Schattenentfernung, Kantendetektion, Segmentierung)
  • einer Merkmalsextraktions-Stufe (mittels Blobanalyse, Analyse von Kantenposition, Farbverteilung usw.)
  • einer Klassifikations-Stufe (zur Bestimmung von Erkennungsmerkmalen für Manipulationen)
In image data processing, various methods are used, in particular a combination of segmentation and edge detection. The data processing unit (s. Fig. 8 ) consists essentially of the following three stages:
  • an image processing stage for preprocessing the incoming images or data (eg for the purpose of shadow removal, edge detection, segmentation)
  • a feature extraction stage (using blob analysis, edge position analysis, color distribution, etc.)
  • a classification level (for determining identification features for manipulations)

Die Datenverarbeitung wird später noch anhand der Fig. 8 eingehender beschrieben und kann z.B. auf einem PC realisiert werden.The data processing will be later on the basis of Fig. 8 described in more detail and can be realized eg on a PC.

Die Kamera CAMK ist hier als Farbkamera mit einer Mindestauflösung von 400x300 Pixel ausgebildet. Bei einer gesättigten Beleuchtung kann somit insbesondere ein farbwertverteilungsbasiertes Verfahren zum Erkennen von Überbauten und dergleichen verwendet werden. Die Kamera CAMK weist ein Weitwinkelobjektiv auf, so dass auch der Außenbereich (Teilbereich III in Fig. 7b) gut erfasst wird.The CAMK camera is designed here as a color camera with a minimum resolution of 400x300 pixels. In the case of saturated illumination, it is thus possible in particular to use a color value distribution-based method for detecting superstructures and the like. The camera CAMK has a wide-angle lens, so that the outdoor area (sub-area III in Fig. 7b ) is detected well.

In dem hier beschriebenen Beispiel sind zumindest die im Nahbereich des Bedienfeldes montierten Kameras CAMS; CAMD und CAMK mit der Datenverarbeitungseinheit 10 verbunden (siehe Figur 8), um durch Kombination von Bilddaten das Erkennen von Manipulationen deutlich zu verbessern. Diese noch später beschriebene Datenverarbeitungseinheit ermöglicht es, die von der Kamera erzeugten Bilddaten optimal auszuwerten, um somit mit hoher Sicherheit einen Manipulationsversuch, wie z.B. einen Überbau der Tastatur 2 oder eine Manipulation an einer der Kameras, sofort zu erkennen und gegebenenfalls Alarme und Deaktivierungen auszulösen. Mittels der noch später eingehender beschriebenen Datenverarbeitungseinheit sind unter anderem folgende Manipulationen sicher zu erkennen:

  • Anbringen eines Tastaturüberbaus
  • Anbringen eines Komplettüberbaus an der unteren Auflagefläche
  • Anbringen eines Überbaus an dem Geldausgabefach (Shutter) und/oder das Anbringen von Gegenständen zur Aufnahme von Sicherheitsinformationen, insbesondere PIN-Nr., wie z.B. Minikameras, Kamerahandys und ähnliche Spähkameras.
In the example described here, at least the cameras mounted in the vicinity of the control panel are CAMS; CAMD and CAMK are connected to the data processing unit 10 (see FIG. 8 ) in order to significantly improve the recognition of manipulations by combining image data. This data processing unit described later makes it possible to optimally evaluate the image data generated by the camera in order to immediately detect a manipulation attempt, such as a superstructure of the keyboard 2 or a manipulation on one of the cameras, and if necessary to trigger alarms and deactivations. By means of the data processing unit described in more detail later, the following manipulations can be reliably detected, among others:
  • Attaching a keyboard superstructure
  • Attaching a complete superstructure to the lower support surface
  • Attaching a superstructure to the cash dispenser (shutter) and / or attaching items for receiving security information, in particular PIN no., Such as miniature cameras, camera phones and similar spy cameras.

Für das Erkennen von Überbauten wird innerhalb der Datenverarbeitungseinheit 10 mit Hilfe der Kameras CAMS und CAMD eine optische Vermessung der erfassten Elemente, wie z.B. der Tastatur 2, durchgeführt, um somit Abweichungen im Manipulationsfall klar erkennen zu können. Versuche der Anmelderin haben gezeigt, dass bereits Referenzabweichungen im Millimeterbereich klar erkannt werden können. Für eine Erkennung von Fremdobjekten (Spähkamera) kann beispielsweise eine Kombination aus Kantendetektion und Segmentierung verwendet werden, um somit die Konturen von fremden Gegenständen im Bedienfeld (z.B. Minikameras) klar erkennen zu können. Die dazu erforderliche Bilddatenverarbeitung erfolgt überwiegend in der nachfolgend beschriebenen Datenverarbeitungseinheit.For the detection of superstructures within the data processing unit 10 with the aid of the cameras CAMS and CAMD an optical measurement of the detected elements, such as e.g. the keyboard 2, carried out so as to be able to clearly recognize deviations in the case of manipulation. Tests by the applicant have shown that even reference deviations in the millimeter range can be clearly recognized. For example, a combination of edge detection and segmentation can be used for recognition of foreign objects (scouting camera) in order to be able to clearly recognize the contours of foreign objects in the control panel (for example miniature cameras). The required image data processing takes place predominantly in the data processing unit described below.

Die Figur 8 zeigt das Blockschaltbild einer erfindungsgemäßen Datenverarbeitungseinheit 10, an welche die Kameras CAMS und CAMK angeschlossen sind, sowie einer Videoüberwachungs- bzw. CCTV-Einheit 20, die mit der Datenverarbeitungseinheit 10 verbunden ist. Die Datenverarbeitungseinheit 10 weist insbesondere folgende Stufen bzw. Module auf:The FIG. 8 shows the block diagram of a data processing unit 10 according to the invention, to which the cameras CAMS and CAMK are connected, as well as a CCTV unit 20, which is connected to the data processing unit 10. The data processing unit 10 has in particular the following stages or modules:

Eine Vorstufe bzw. Steuerungsstufe ST steuert die Einzelbildaufnahmen von den Kameras, um Einzelbilddaten D bzw. D' zu erzeugen, aus denen dann mittels der oben beschriebenen Verfahren vorverarbeitete Bilddaten D* für die eigentliche Datenauswertung berechnet werden können.A pre-stage or control stage ST controls the single-frame images from the cameras to frame data D or D 'to produce, from which then by means of the above-described method preprocessed image data D * can be calculated for the actual data evaluation.

Für die eigentliche Bilddatenverarbeitung und -auswertung sind eine erste Stufe 11 zur Bildverarbeitung derselben, eine zweite Stufe 12 zur Merkmalsextraktion und eine dritte Stufe 13 zur Klassifikation der verarbeiteten Daten vorgesehen. Die Stufe 13 wiederum ist mit einer Schnittstelle 14 verbunden, über die verschiedene Alarm- oder Überwachungsvorrichtungen aktiviert bzw. angesprochen werden können. Diese Vorrichtungen umfassen unter anderem eine Bildfälschungs- bzw. Manipulationserkennung (IFD). Die erste Stufe 11 wiederum, welche zur Bildverarbeitung dient, ist auch mit einer zweiten Schnittstelle 15 verbunden, über die eine Verbindung zu der CCTV-Einheit 20 hergestellt wird. Mit Hilfe dieser CCTV-Einheit kann beispielsweise eine Fernüberwachung bzw. Ferndiagnose ausgeführt werden.For the actual image data processing and evaluation, a first stage 11 for image processing thereof, a second stage 12 for feature extraction and a third stage 13 for the classification of the processed data are provided. In turn, the stage 13 is connected to an interface 14, via which various alarm or monitoring devices can be activated or addressed. These devices include, among other things, image tampering detection (IFD). The first stage 11, which serves for image processing, is also connected to a second interface 15 via which a connection to the CCTV unit 20 is established. With the help of this CCTV unit, for example, a remote monitoring or remote diagnosis can be performed.

Für die Steuerung der Kameras CAMS und CAMK zur Erzeugung der Einzelbilddaten D bzw. D' ist die Steuerungsstufe ST zuständig. Die nachfolgende erste Stufe 11 berechnet daraus die vorbereiteten Bilddaten D* (berechnete Gesamtbilddaten), wobei hier insbesondere Maßnahmen wie Schattenentfernung, Kantendetektion, Vektorisierung und/oder Segmentierung durchgeführt werden. Die nachgeschaltete zweite Stufe 12 dient der Merkmalsextraktion, die beispielsweise mittels einer sogenannten Blobanalyse, einer Kantenpositionierung und/oder einer Farbverteilung durchgeführt werden kann. Beispielsweise dient die Blob-Analyse zur Erkennung von zusammenhängenden Regionen in einem Bild und zur Ausführung von Messungen an den Blobs. Ein Blob (Binary Large Object) ist ein Bereich angrenzender Bildpunkte mit demselben logischen Zustand. Alle Bildpunkte in einem Bild, die zu einem Blob gehören, sind im Vordergrund. Alle übrigen Bildpunkte sind im Hintergrund. In einem binären Bild haben Bildpunkte im Hintergrund Werte, die Null entsprechen, während jeder Bildpunkt ungleich Null Teil eines binären Objekts ist.The control stage ST is responsible for the control of the cameras CAMS and CAMK for generating the individual image data D or D '. The subsequent first stage 11 calculates therefrom the prepared image data D * (calculated total image data), wherein in particular measures such as shadow removal, edge detection, vectorization and / or segmentation are performed. The downstream second stage 12 serves the feature extraction, which can be carried out for example by means of a so-called Blobanalyse, an edge positioning and / or a color distribution. For example, blob analysis is used to detect contiguous regions in an image and to make measurements on the blobs. A Blob (Binary Large Object) is an area of adjacent pixels with it logical state. All the pixels in a picture belonging to a blob are in the foreground. All other pixels are in the background. In a binary image, pixels in the background have values that correspond to zero, while every pixel other than zero is part of a binary object.

Anschließend erfolgt in der Stufe 13 eine Klassifikation, welche auf der Grundlage der extrahierten Merkmale bestimmt, ob eine feindliche Manipulation an dem Selbstbedienungsterminal bzw. Geldautomaten ATM aufgetreten ist oder nicht.Subsequently, in the step 13, a classification is made which determines whether or not an enemy manipulation has occurred at the self-service terminal ATM on the basis of the extracted features.

Die Datenverarbeitungseinheit 10 kann beispielsweise mittels eines Personalcomputers realisiert werden, der mit dem Geldautomaten ATM verbunden ist oder der darin integriert ist. Neben den Kameras CAMS und CAMK, welche die genannten Teilbereiche des Bedienfeldes erfassen, kann auch die zusätzliche Kamera CAMO am Geldautomaten ATM montiert sein (s. Fig. 1), welche auf den Benutzer bzw. Kunden gerichtet ist und insbesondere sein Gesicht erfasst. Diese zusätzliche, auch als Portraitkamera bezeichnete, Kamera CAMO kann beim Erkennen eines Manipulationsangriffes ausgelöst werden, um ein Bild von der sich am Geldautomaten befindenden Person zu machen. Sobald ein Skimming-Angriff erkannt wird, kann das beschriebene System beispielsweise folgende Aktionen durchführen:

  • Abspeichern eines Fotos des Angreifers, wobei sowohl einzelne der Kameras CAMS und/oder CAMK wie auch die zusätzliche Portraitkamera CAMO aktiviert werden können
  • Alarmieren der laufenden Geldautomatenapplikation und/oder eines zentralen Managementservers und/oder einer Person, z.B. über E-Mail
  • Einleitung von Gegenmaßnahmen, die z.B. das Sperren bzw. Herunterfahren des Geldautomatens
  • Übermittlung von Daten, insbesondere von Bildern, der erkannten Manipulation, beispielsweise über das Internet über eine Zentrale
The data processing unit 10 can be realized, for example, by means of a personal computer which is connected to the ATM ATM or which is integrated therein. In addition to the cameras CAMS and CAMK, which detect the mentioned subregions of the control panel, the additional camera CAMO can also be mounted on the ATM ATM (s. Fig. 1 ), which is directed to the user or customer and in particular captures his face. This additional, also known as a portrait camera, camera CAMO can be triggered upon detection of a tampering attack to make a picture of the person located at the ATM. For example, once a skimming attack is detected, the described system can perform the following actions:
  • Storing a photo of the attacker, whereby both individual cameras CAMS and / or CAMK as well as the additional portrait camera CAMO can be activated
  • Alert the current ATM application and / or a central management server and / or a person, eg via e-mail
  • Initiation of countermeasures, such as the locking or shutdown of the ATM
  • Transmission of data, in particular images, the detected manipulation, for example via the Internet via a central office

Den Umfang und die Art der getroffenen Aktionen bzw. Gegenmaßnahmen kann der Betreiber des Geldautomaten über das hier beschriebene System konfigurieren.The size and nature of the actions taken or countermeasures can be configured by the operator of the ATM via the system described here.

Wie oben beschrieben, können direkt am Bedienfeld mehrere installierte Kameras vorgesehen sein, wobei die Kameras CAMS und CAMD das Bedienfeld von Außen erfassen und die Kamera CAMK z.B. den Karteneingabetrichter von Innen erfasst. Außerdem kann eine zusätzliche Portrait-Kamera installiert sein (s. CAMO in Fig. 1). Für die eigentliche Manipulationserkennung werden die Kameras CAMS und CAMD am Bedienfeld und die Kamera CAMK in der Karteneingabe benutzt. Zum Zwecke der Dokumentation eines Manipulationsversuches wird auch die Portraitkamera CAMO benutzt.As described above, several cameras can be provided directly on the control panel, with the cameras CAMS and CAMD detecting the control panel from the outside and the CAMK camera eg detecting the card input funnel from the inside. In addition, an additional portrait camera can be installed (see CAMO in Fig. 1 ). For the actual manipulation detection the cameras CAMS and CAMD are used on the control panel and the camera CAMK in the card input. For the purpose of documenting a manipulation attempt, the portrait camera CAMO is also used.

Vorzugsweise haben alle Kameras eine Auflösung von mindestens 2 Megapixeln. Die benutzten Objektive weisen einen Blickwinkel von etwa 140 Grad und mehr auf. Außerdem ist die Belichtungszeit der eingesetzten Kameras in einem weiten Bereich von beispielsweise 0,25 msec. bis zu 8.000 msec. frei einstellbar. Dadurch wird die Anpassung an die unterschiedlichsten Beleuchtungsbedingungen ermöglicht. Versuche der Anmelderin haben ergeben, dass eine Kameraauflösung von etwa 10 Pixeln pro Grad erreichbar ist. Bezogen auf einen Abstand von einem Meter kann somit eine Genauigkeit von 1,5 mm pro Pixel erreicht werden. Das wiederum bedeutet, dass eine Manipulation ab einer Referenzabweichung von bereits 2 bis 3 mm sicher erkannt werden kann. Je näher das Objektiv der Kamera an dem erfassten Element bzw. betrachteten Objekt ist, desto genauer kann die Messung erfolgen. Demnach kann in näheren Bereichen sogar eine Genauigkeit von weniger als 1 mm erreicht werden.Preferably, all cameras have a resolution of at least 2 megapixels. The lenses used have a viewing angle of about 140 degrees and more. In addition, the exposure time of the cameras used in a wide range, for example, 0.25 msec. up to 8,000 msec. freely adjustable. This allows adaptation to a wide variety of lighting conditions. Applicant's experiments have shown that a camera resolution of about 10 pixels per degree can be achieved. Based on a distance of one meter, an accuracy of 1.5 mm per pixel can be achieved. This, in turn, means that manipulation starts at one Reference deviation of already 2 to 3 mm can be reliably detected. The closer the camera lens is to the detected element or object, the more accurate the measurement can be. Thus, in closer areas even an accuracy of less than 1 mm can be achieved.

Je nach Einsatzbereich des Geldautomatens, z.B. im Außenbereich oder im Innenbereich, sowie der gegebenen Lichtverhältnisse, kann es vorteilhaft sein, die Kamera CAMS eher im seitlichen Gehäuseteil des Geldautomatens ATM oder im oberen Gehäusebereich zu montieren. Auch ergeben sich je nach Kameraposition verschiedene Überwachungsmöglichkeiten. Bei der Überwachung der verschiedenen Elemente bzw. Teilbereiche wird insbesondere folgendes erreicht:Depending on the area of use of the ATM, e.g. in the outdoor or indoor area, as well as the given lighting conditions, it may be advantageous to mount the camera CAMs rather in the side case of the ATM ATM or in the upper housing area. Also arise depending on the camera position different monitoring options. When monitoring the various elements or subareas, the following is achieved in particular:

Das Erfassen des Geldausgabefachs (Shutter) 1 ermöglicht das Überprüfen von Manipulationen in Form sogenannter Cash-Trapper, d.h. spezieller Überbauten. Das Erfassen des Tastaturfeldes ermöglicht es, dort Manipulationsversuche durch Überbauten oder Veränderungen an Lichtschutzmaßnahmen und dergleichen festzustellen. Das Erfassen der Auflagefläche ermöglicht es insbesondere, Komplettüberbauen zu erkennen. Das Erfassen des Karteneingabetrichters 4, insbesondere durch eine darin integrierte Kamera, ermöglicht es, dortige Manipulationen zu erkennen.The detection of the cash-out tray (shutter) 1 makes it possible to check manipulations in the form of so-called cash-trappers, i. special superstructures. The detection of the keypad makes it possible to determine there manipulation attempts by superstructures or changes to light protection measures and the like. The detection of the support surface makes it possible in particular to detect complete overbuilding. The detection of the card input funnel 4, in particular by a camera integrated therein, makes it possible to detect local manipulations.

Es hat sich gezeigt, dass insbesondere an dem Tastaturfeld und an dem Karteneingabetrichter bereits Abweichungen von 2 mm klar erkannt werden können. Abweichungen an der hinteren Außenkante der Auflagefläche können bereits ab 4 mm erkannt werden. Abweichungen an der unteren Kante des Shutters können bereits ab 8 mm erkannt werden.It has been shown that even deviations of 2 mm can be clearly recognized, especially on the keypad and on the card input hopper. Deviations at the rear outer edge of the support surface can be detected as early as 4 mm. Deviations at the lower edge of the shutter can already be detected from 8 mm.

Zum Erkennen von Manipulationen führt die Datenverarbeitungseinheit 10 (siehe Figur 8) insbesondere einen Vergleich der aufgenommenen Bilddaten D mit Referenzdaten durch. Dabei kann insbesondere ein Bild des Außenbereiches auf seine Homogenität hin untersucht und mit dem Bild des Außenbereiches der Bedienfeldkamera abgeglichen werden.To detect manipulations, the data processing unit 10 (see FIG. 8 ) in particular a comparison of the recorded image data D with reference data. In this case, in particular, an image of the outside area can be examined for its homogeneity and compared with the image of the outside area of the control panel camera.

Es werden auch die Bilddaten der verschiedenen Kameras CAMS, CAMD und/oder CAMK miteinander verglichen, um z.B. festzustellen, ob an einzelnen der Kameras manipuliert wurde. Wenn beispielsweise die Kamera CAMD abgedeckt wurde, ergibt sich eine Diskrepanz zu den Bildaufnahmen der anderen Kameras. Insbesondere kann anhand der Bildhelligkeiten sehr schnell festgestellt, ob eine Verdunklung nur an einer einzelnen Kamera auftritt, so dass eine Manipulation bzw. Abdeckung dieser Kamera anzunehmen ist. Die Kombination und Auswertung von mehreren Kamerasignalen bzw. Bilddaten erhöht die Robustheit der Manipulationsüberwachung und die Vermeidung von Fehlalarmen. Unter anderem können die Bilddaten bzw. -informationen auch wie folgt genutzt werden:

  • Unterscheidung von künstlicher und natürlicher Verdunklung: Wird eine Kamera abgedeckt, so steht ihr aufgenommenes Bild im Widerspruch zu den Bildern der anderen Kameras. Fällt das natürliche Licht (Tageslicht) oder das künstliche Licht (Raumbeleuchtung) aus, so ist der Effekt an allen Kameras gleich oder zumindest ähnlich. Andernfalls erkennt das System einen Manipulationsversuch.
  • Erkennung von Täuschungsangriffen auf die Kamera-Anordnung, z.B. durch vorgeklebte Fotos: Zeigt eine einzelne Kamera ein anderes Bild (Helligkeit, Bewegung, Farben, insbesondere bezüglich des Außenbereichs), so deutet dies auf einen Täuschungsversuch hin.
  • Erhöhung der Robustheit, insbesondere bei Abdeckung des Karteneinschubtrichters: Wird dieser verdeckt, so zeigt die darin integrierte Kamera (s. CAMK in Fig. 4a) ein anderes Bild an (insbesondere bezüglich des Außenbereiches) als die übrigen Kameras (s. CAMS, CAMD in Fig. 1).
The image data of the different cameras CAMS, CAMD and / or CAMK are also compared with one another in order to determine, for example, whether manipulation of individual cameras has occurred. If, for example, the CAMD camera has been covered, the result is a discrepancy with the images of the other cameras. In particular, it can be determined very quickly on the basis of the image brightness whether a darkening occurs only on a single camera, so that a manipulation or cover of this camera is to be assumed. The combination and evaluation of several camera signals or image data increases the robustness of the manipulation monitoring and the avoidance of false alarms. Among other things, the image data or information can also be used as follows:
  • Distinction between artificial and natural obscuration: If a camera is covered, its recorded image is in conflict with the images of the other cameras. If the natural light (daylight) or the artificial light (room lighting) fails, the effect is the same or at least similar on all cameras. Otherwise, the system detects a tampering attempt.
  • Detection of deception attacks on the camera arrangement, eg by pre-glued photos: shows a single camera another image (brightness, Movement, colors, especially with regard to the outside), this indicates an attempt to deceive.
  • Increased robustness, especially when the card slot is covered: If it is hidden, the integrated camera (see CAMK in Fig. 4a ) displays another image (especially with respect to the outside area) than the other cameras (see CAMS, CAMD in Fig. 1 ).

Weiterhin kann z.B. auch die Umgebung auf eine Abstrahlung der Beleuchtung für den Karteneingabetricher 4 untersucht werden. Die Anbindung des Systems an das Internet über die Schnittstelle 23 ermöglicht es, auch per Fernzugriff die Kamera bzw. die verschiedenen Kameras anzusteuern. Die gewonnenen Bilddaten können auch über den Internetanschluß an einen Video-Server übermittelt werden. Somit agiert die jeweilige Kamera quasi als virtuelle IP-Kamera. Die oben beschriebene CCTV-Einheit 20 dient insbesondere einer solchen Video-Überwachungsmöglichkeit, wobei die Schnittstelle 15 zur CCTV-Einheit für folegende Funktionen ausgelegt ist:Furthermore, e.g. Also, the environment to be examined for a radiation of lighting for the card entry 4. The connection of the system to the Internet via the interface 23 makes it possible to remotely control the camera or the various cameras. The acquired image data can also be transmitted via the Internet connection to a video server. Thus, the respective camera virtually acts as a virtual IP camera. In particular, the CCTV unit 20 described above is used for such a video surveillance facility, wherein the interface 15 to the CCTV unit is designed for the following functions:

Abfrage eines Bildes, Einstellen der Bildrate, des Farbmodells, der Bildauflösung, Auslösen eines Ereignisses im CCTV-Dienst bei Bereitstellung eines neuen Bildes und/oder eventuell eine visuelle Hervorhebung von erkannten Manipulationen auf einem bereitgestellten Bild.Query an image, adjust frame rate, color model, image resolution, trigger an event in the CCTV service when a new image is provided, and / or possibly visually highlight detected manipulations on a rendered image.

Das System ist so ausgelegt, dass im normalen Betrieb (z.B. Geldabheben, Kontostandsabfrage usw.) keine Fehlalarme durch Hände und/oder Gegenstände im Bild erzeugt werden. Deshalb wird die Manipulationserkennung im Zeitraum einer normalen Automatenbenutzung deaktiviert. Auch soll in Zeitbereichen, in denen beispielsweise eine Reinigung oder eine kurzfristige anderweitige Benutzung (Ablage von Kontoauszügen, Interaktionen vor und nach dem Start einer Transaktion) nicht zur Manipulationserkennung herangezogen werden. Im wesentlichen werden somit vorzugsweise nur starre und unbewegliche Manipulationsversuche analysiert und erkannt. Das System ist so ausgelegt, dass eine Überwachung auch bei unterschiedlichsten Lichtverhältnissen (Tag, Nacht, Regen, Bewölkung, usw.) funktioniert. Ebenfalls werden sich kurzzeitig verändernde Lichtverhältnisse, wie z.B. Lichtspiegelungen, Schattenverläufe und dergleichen, bei der Bildverarbeitung kompensiert bzw. ignoriert, um einen Fehlalarm zu vermeiden. Zudem können technisch auftretende Ereignisse, wie etwa das Ausfallen einer Beleuchtung und dergleichen, berücksichtigt werden. Diese und weitere Sonderfälle werden insbesondere durch die dritte Stufe zur Klassifikation erkannt und gelöst.The system is designed so that no false alarms are generated by hands and / or objects in the picture during normal operation (eg withdrawing money, checking account balance, etc.). Therefore, the tamper detection in the period of a normal Machine usage disabled. Also, in time periods in which, for example, a cleaning or a short-term other use (storage of account statements, interactions before and after the start of a transaction) are not used for tamper detection. Essentially, therefore, only rigid and immovable manipulation attempts are preferably analyzed and recognized. The system is designed to work in a wide variety of lighting conditions (day, night, rain, cloudy, etc.). Also, briefly changing light conditions, such as light reflections, shadows and the like, are compensated or ignored during image processing to avoid a false alarm. In addition, technically occurring events, such as the failure of a lighting and the like, are taken into account. These and other special cases are recognized and solved in particular by the third stage for classification.

Das von dem beschriebenen System durchgeführte Verfahren zur Manipulationserkennung weist insbesondere folgenden Ablauf auf (s. auch Fig. 8):The method for manipulation detection performed by the described system has in particular the following sequence (see also FIG Fig. 8 ):

Zuerst werden aus den originären Einzelbilddaten D bzw. D' vorverarbeitete Gesamtbilddaten D* berechnet, die als Ausgangsbasis für die eigentliche Datenauswertung dienen.First, preprocessed total image data D * are calculated from the original frame data D or D ', which serve as the basis for the actual evaluation of the data.

Dabei erfolgt in einem ersten Schritt eine Bildaufnahme, wobei die Kameraparameter eingestellt werden, um geeignete Aufnahmen zu erzeugen. Dabei wird insbesondere eine Reihe von Bildern bzw. entsprechende Bilddaten D bzw. D' aufgenommen, welche dann als Grundlage bzw. Referenz für die Vorverarbeitung dienen.In this case, a picture is taken in a first step, wherein the camera parameters are adjusted to produce suitable recordings. In particular, a series of images or corresponding image data D or D 'is recorded, which then serve as the basis or reference for the preprocessing.

Anschließend erfolgt eine Weiterbearbeitung der Bilddaten, wobei diese so verarbeitet werden, dass sie sich möglichst gut für die Auswertung eignen. Dazu werden beispielsweise mehrere Bilder zu einem Zielbild zusammengesetzt und mittels Bildverbesserungsalgorithmen optimiert. Insbesondere werden dabei folgende Schritte ausgeführt:Subsequently, a further processing of the image data, whereby these are processed so that they are as well suited for the evaluation. For this purpose, for example, several images are combined to form a target image and optimized by means of image enhancement algorithms. In particular, the following steps are carried out:

Schattenentfernung, Entfernung sich bewegender Objekte, Entfernung von Rauschen und/oder Zusammenfassung verschiedener belichteter Aufnahmen.Shadow removal, removal of moving objects, removal of noise and / or summary of various exposed shots.

Die Kameras werden u.a. auf unterschiedliche Belichtungszeiten eingestellt, um Reflektionen zu entfernen und um gut ausgeleuchtete Bereiche zu sammeln. Vorzugsweise werden die Bilder über einen vorbestimmten Zeitraum gesammelt, um möglichst gute Ausgangsbilder zur Manipulationserkennung zu gewinnen. Diese Schritte können mittels der Aufnahmesteuerung ST in der ersten Stufe 11 durchgeführt werden. In einem weiteren Schritt wird zur eigentlichen Datenauswertung eine Merkmalsextraktion durchgeführt (Stufe 12), bei der Bildanalyseverfahren auf die vorverarbeiteten Bilder bzw. Bilddaten ausgeführt werden, um diese auf bestimmte Merkmale hin zu überprüfen, wie z.B. auf Kantenpositionen oder Farbverteilungen. Für jedes Merkmal kann eine Zahl bzw. ein Wert vorgegeben werden, der angibt, wie gut das entsprechende Merkmal in dem betrachteten Bild wieder gefunden wurde. Die Werte werden in einem sogenannten Merkmalsvektor zusammengefasst .The cameras are u.a. set to different exposure times to remove reflections and to collect well-lit areas. Preferably, the images are collected over a predetermined period of time to obtain the best possible output images for manipulation detection. These steps can be performed by means of the recording control ST in the first stage 11. In a further step, a feature extraction (step 12) is carried out for the actual data evaluation, in which image analysis methods are carried out on the preprocessed images or image data in order to check these for certain features, such as e.g. on edge positions or color distributions. For each feature, a number or a value can be specified, which indicates how well the corresponding feature was found again in the viewed image. The values are summarized in a so-called feature vector.

In einem weiteren Schritt wird eine Klassifikation durchgeführt (Stufe 13), d.h. der Merkmalsvektor wird an einen Klassifikationsablauf übergeben, um eine Entscheidung zu treffen, ob eine Manipulation vorliegt oder nicht. Dabei werden auch solche Arten von Klassifikatoren benutzt, die Konfidenz, d.h. eine Wahrscheinlichkeit oder Sicherheit, angeben können, mit der die Entscheidung zutrifft. Verwendete Klassifikationsmechanismen können z.B. sein:In a further step, a classification is performed (step 13), ie the feature vector is passed to a classification procedure to make a decision to determine whether there is a manipulation or not. It also uses those types of classifiers that can indicate the confidence, ie probability or certainty, of the decision. Classification mechanisms used can be, for example:

Learning Classify Systems, Bayes Klassfikatoren, Support Vector Machines (SVM) oder Entscheidungsbäume (CART bzw. C 4.5).Learning Classify Systems, Bayes Classifiers, Support Vector Machines (SVM) or Decision Trees (CART or C 4.5).

Das hier beschriebene System wird vorzugsweise modular aufgebaut, um verschiedene Konfirgurationen zu ermöglichen. Die eigentliche Bildverarbeitung sowie die CCTV-Anbindung werden in verschiedenen Modulen realisiert (siehe Figur 4).The system described herein is preferably modular in design to allow for different configurations. The actual image processing as well as the CCTV connection are realized in different modules (see FIG. 4 ).

Das hier vorgestellte System ist auch dazu geeignet, die erkannten Manipulationen zu dokumentieren bzw. digital zu archivieren. Im Falle einer erkannten Manipulation werden die aufgenommenen Bilder mit entsprechenden Meta-Informationen, wie z.B. Zeitstempel, Art der Manipulation usw., auf einer Festplatte im System bzw. in einem angeschlossenen PC abgespeichert. Auch können zwecks eines Reportings Meldungen an eine Plattform weitergeleitet werden, wie z.B. Fehlermeldungen, Statusmeldungen (Deaktivierung, Moduswechsel), Statistiken, Manipulationsverdacht und/oder Alarmmeldungen. Im Falle eines Alarms kann eine entsprechende Meldung mit der jeweiligen Alarmstufe an das Administrationsinterface bzw. die Schnittstelle weitergegeben werden. An dieser Schnittstelle werden außerdem noch folgende Möglichkeiten realisiert:The system presented here is also suitable for documenting the detected manipulations or digitally archiving them. In the case of a detected manipulation, the captured images are provided with corresponding meta information, such as. Timestamp, type of manipulation, etc., stored on a hard disk in the system or in a connected PC. Also, for reporting purposes, messages may be forwarded to a platform, e.g. Error messages, status messages (deactivation, mode change), statistics, suspected manipulation and / or alarm messages. In the event of an alarm, a corresponding message with the respective alarm level can be forwarded to the administration interface or the interface. The following options are also implemented at this interface:

Abfrage von Kameradaten, wie z.B. Anzahl der Kameras, Bauzustand, Seriennummer, usw., Kamerastammdaten bzw. Einstellen von Kameraparametern und/oder Registrierung für Alarme (Notifikationen).Query of camera data, such as number of cameras, construction status, serial number, etc., camera master data or Set camera parameters and / or register for alarms (notifications).

Die hier vorgestellte Erfindung ist insbesondere dazu geeignet, feindliche Manipulationen an einem Selbstbedienungsterminal, wie z.B. an einem Geldautomaten, zuverlässig zu erkennen. Hierzu wird das Bedienfeld durch mindestens eine Kamera kontinuierlich und automatisch überwacht. Mittels einer Bilddatenverarbeitung werden die von der Kamera erfassten Elemente optisch vermessen, um Abweichungen von Referenzdaten zu erkennen. Es hat sich gezeigt, dass bereits Abweichungen im Millimeterbereich sicher erkannt werden können. Für die Erkennung von Fremdobjekten wird vorzugsweise eine Kombination aus Kantendetektion und Segmentierung benutzt, so dass Konturen von zurückgelassenen Gegenständen klar erkannt und markiert werden können. Im Falle eines Manipulationsversuches können Gegenmaßnahmen bzw. Aktionen ausgelöst werden.The invention presented here is particularly suitable for carrying out hostile manipulations on a self-service terminal, such as e.g. at an ATM, reliable to recognize. For this purpose, the control panel is continuously and automatically monitored by at least one camera. By means of image data processing, the elements detected by the camera are optically measured in order to detect deviations from reference data. It has been shown that even deviations in the millimeter range can be reliably detected. For the detection of foreign objects, a combination of edge detection and segmentation is preferably used, so that contours of left objects can be clearly recognized and marked. In the case of a manipulation attempt countermeasures or actions can be triggered.

Durch die hier vorgeschlagene Kombination mehrerer Kameras und der intelligenten Bilddatenverarbeitung erhöht die Erfindung deutlich die Zuverlässigkeit, mit der Manipulationen erkannt werden können.By the combination of several cameras proposed here and the intelligent image data processing, the invention significantly increases the reliability with which manipulations can be detected.

In einer bevorzugten Ausführungsform weist die Erfindung folgende Kamera-Anordnung auf:In a preferred embodiment, the invention has the following camera arrangement:

Eine Kamera am Karteneingabetrichter, eine Kamera am Bedienfeld und eine Kamera im oberen Bereich des Geldautomaten zum Aufnehmen von Portraitfotos bzw. -videos. Außerdem sind die Kameras mit der beschriebenen Datenverarbeitungseinheit verbunden. Innerhalb der Datenverarbeitungseinheit werden die von den Kameras gewonnenen Bilddaten bzw. Informationen unter anderem wie folgt genutzt:A camera on the card slot, a camera on the control panel, and a camera on the top of the ATM for taking portraits or videos. In addition, the cameras are connected to the described data processing unit. Within the data processing unit are those of the cameras obtained image data or information among other things used as follows:

Erkennung bzw. Unterscheidung von künstlicher und natürlicher Verdunklung: Wird eine Kamera abgedeckt, so widerspricht sich ihr aufgenommenes Bild mit den Bildern aus den Kameras. Fällt natürliches oder künstliches Licht aus, so tritt dieser Effekt bei allen Kameras gleichermaßen auf. Erkennung von Täuschungsangriffen auf das Kamerasystem, z.B. durch vorgeklickte Fotos: Zeigt eine Kamera ein anderes Bild (unterschiedliche Helligkeit, Bewegung, Farben, usw.), so deutet dies auf einen Täuschungsversuch hin. Erhöhung der Robustheit der Abdeckungserkennung am Karteneingabetrichter: Wird der Karteneingabetrichter verdeckt, so zeigt die dort integrierte Kamera CAMK ein anderes Bild des Außenbereichs an, als dies die übrigen Kameras tun.Recognition or distinction of artificial and natural obscuration: If a camera is covered, its captured image contradicts the images from the cameras. If natural or artificial light fails, this effect is equally noticeable on all cameras. Detection of deception attacks on the camera system, e.g. through pre-clicked photos: If a camera displays a different picture (different brightness, movement, colors, etc.), this indicates an attempt to deceive. Increasing the robustness of the cover detection on the card input hopper: If the card slot is hidden, the integrated camera CAMK displays a different image of the outside area than the other cameras do.

Die hier beschriebene Vorverarbeitung der Kamera-Bilddaten, bei aus Einzelaufnahmen störungsarme oder gar störungsfreie Gesamtbilder berechnet werden führt zu einer Erhöhung der Zuverlässigkeit der anschließenden Datenauswertung zur Erkennung von Manipulationsversuchen und dient demnach auch dazu, Fehlalarme zu vermeiden.The preprocessing of the camera image data described here, with low-interference or even interference-free overall images calculated from individual images, leads to an increase in the reliability of the subsequent data evaluation for the detection of manipulation attempts and accordingly also serves to avoid false alarms.

Zusammenfassend wird ein Selbstbedienungsterminal vorgeschlagen, die zum Erkennen von Manipulationsversuchen mindestens eine Kamera aufweist, die ein oder mehrere der im Bedienfeld vorgesehenen Elemente, wie z.B. Tastatur, Geldausgabefach, Karteneinschubtrichter, erfasst und Bilddaten von mehreren Einzelbildaufnahmen erzeugt. Die mindestens eine Kamera ist mit einer Datenverarbeitungseinheit verbunden, die die erzeugten Bilddaten (Einzelbilddaten) zu einem Ergebnisbild vorverarbeitet. Die vorverarbeiteten Bilddaten des Ergebnisbildes können z.B. mittels Exposure Blending aus den Einzelbilddaten berechnet werden und stellen eine sehr gute Datenbasis für eine Datenauswertung zur Manipulations-erkennung dar.In summary, a self-service terminal is proposed, which has at least one camera for detecting tampering attempts, which detects one or more elements provided in the control panel, such as a keyboard, cash dispenser, card slot, and generates image data from a plurality of single image recordings. The at least one camera is connected to a data processing unit, which preprocesses the generated image data (single image data) into a result image. The preprocessed image data of the result image can, for example are calculated by exposure blending from the frame data and provide a very good database for a data analysis for tamper detection.

Die vorliegende Erfindung wurde am Beispiel eines Geldautomaten beschrieben, ist aber nicht hierauf beschränkt, sondern kann auf jede Art von Selbstbedienungsterminals angewendet werden.The present invention has been described using the example of an ATM, but is not limited thereto, but can be applied to any type of self-service terminals.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

ATMATM
Selbstbedienungsterminal, als Geldautomat ausgebildet, mit einem Bedienfeld CP, das u.a. aufweist:
1 Geldausgabefach, 2 Tastatur, 3 Ablagefläche,
4 Karteneingabetrichter, 5 Bildschirm
CAMS Kamera, seitlich des Bedienfeldes montiert
CAMK Kamera, im Karteneingabetrichter montiert
CAMD Kamera, oberhalb des Bedienfeldes montiert
CAMO zusätzliche Portrait-Kamera
Self-service terminal, designed as an ATM, with a control panel CP, which includes:
1 cash dispenser, 2 keypads, 3 shelves,
4 card entry funnels, 5 screens
CAMS camera, mounted on the side of the control panel
CAMK camera, mounted in card slot
CAMD camera, mounted above the control panel
CAMO additional portrait camera
F1, F2, F3F1, F2, F3
von den Kameras erzeugte EinzelbilderFrames generated by the cameras
D, D'D, D '
EinzelbilddatenFrame data
R, R'R, R '
Ergebnisbilder (berechnete Gesamtbilder)Result images (calculated total images)
D*D *
vorverarbeitete (berechnete) Bilddatenpreprocessed (calculated) image data
1010
Datenverarbeitungseinheit mit:
ST Steuerungsstufe (für Einzelbildaufnahmen)
11 erster Stufe zur Bildvorverarbeitung
12 zweiter Stufe zur Merkmalsextraktion
13 dritte Stufe zur Klassifikation
14, 15 Schnittstellen zu Videoüberwachung (CCTV)
bzw. Bildfälschungserkennung
Data processing unit with:
ST control level (for single-frame shooting)
11 first stage for image preprocessing
12 second stage feature extraction
13 third level for classification
14, 15 interfaces to video surveillance (CCTV)
or image counterfeit detection
2020
Videoüberwachungs- bzw. CCTV-Einheit mit:
21 Stufe für Bildaufnahme, 22 Stufe für Komprimierung,
23 Schnittstelle zu einen IP-Netz,
24 Stufe für Parametrisierung
Video surveillance or CCTV unit with:
21 level for image acquisition, 22 level for compression,
23 interface to an IP network,
24 level for parameterization

Claims (18)

  1. Automated teller machine (ATM) having elements (1, 2, 3, 4, 5) that are made available for users of the automated teller machine (ATM) and located in a control panel of the automated teller machine (ATM), wherein at least one camera generating image data is provided for monitoring the automated teller machine (ATM), wherein the at least one camera (CAMS) captures one or more (1, 2) of the elements located in the control panel to detect attempts of manipulating the automated teller machine (ATM) and generates image data (D) of a plurality of individual image recordings (F1, F2, F3), and wherein the camera (CAMS) is connected to a data processing unit (10) which pre-processes the generated image data (D) into a resulting image (R) which serves for detecting manipulation attempts,
    characterized in that
    the data processing unit (10) combines the generated image data (D) of the individual image recordings (F1', F2', F3') into the resulting image (R) using an image data processing operation which effects segmentation and/or edge detection,
    in that the data processing unit (10) segments the individual image recordings (F1, F2, F3) into a plurality of partial regions (I, II, III) that are assigned to the at least one captured element (4) and processes the image data (D') in various ways in segment-wise fashion by way of the data processing unit (10) assembling the resulting image (R) from the partial regions (I, II, III) of different individual image recordings (F1, F2, F3), and
    in that the data processing unit (10) processes the image data (D) from the partial regions (I, II, III) with different image data processing operations and/or with different variants of an image data processing operation.
  2. Automated teller machine (ATM) according to Claim 1, characterized in that the at least one camera (CAMS) generates the image data (D) of the individual image recordings (F1, F2, F3) in dependence on prespecifiable criteria, in particular in prespecifiable time intervals and/or at different exposure conditions or ambient brightnesses.
  3. Automated teller machine (ATM) according to Claim 1 or 2, characterized in that the at least one camera (CAMS) generates the image data (D) of the individual image recordings (F1, F2, F3) in dependence on events, in particular events captured by said camera or by another camera.
  4. Automated teller machine (ATM) according to one of Claims 1 to 3, characterized in that the at least one camera (CAMS) generates the image data (D) of the individual image recordings (F1, F2, F3) in dependence on prespecifiable camera settings, in particular prespecifiable light exposure times and/or image rates.
  5. Automated teller machine (ATM) according to one of the preceding claims, characterized in that the data processing unit (10) combines the generated image data (D) of the individual image recordings (F1, F2, F3) into the resulting image (R) by way of an image data pre-processing operation, in particular forming an average, forming a median and/or exposure blending.
  6. Automated teller machine (ATM) according to Claim 1, characterized in that the partial regions comprise at least one near or inner region (I) and a surrounding or outer region (III) of the captured element (4), in particular in that one of the partial regions comprises a transitional region (II) between the inner region (I) and the outer region (III) of the element (4).
  7. Automated teller machine (ATM) according to one of the preceding claims, characterized in that the data processing unit (10) evaluates the pre-processed image data of the resulting image (R) to detect manipulation attempts using an image processing operation, in particular in that the data processing unit (10) has a first stage (11), receiving the pre-processed image data (D*) of the resulting image (R), for image processing, in particular for shadow removal, edge detection, vectorization and/or segmentation.
  8. Automated teller machine (ATM) according to Claim 7, characterized in that the data processing unit (10) has a second stage (12), connected downstream of the first stage (11), for feature extraction, in particular using blob analysis, edge position and/or colour distribution, in particular in that the data processing unit (10) has a third stage (13), connected downstream of the second stage (12), for classification.
  9. Automated teller machine (ATM) according to one of the preceding claims, characterized in that the automated teller machine (ATM) has at least one other camera (CAMK), which is mounted at or in the automated teller machine (ATM) within the near region of the control panel and captures at least one of the elements (1, 2, 3, 4, 5) .
  10. Automated teller machine (ATM) according to Claim 9, characterized in that the data processing unit (10) pre-processes the image data (D, D') generated by the two or more cameras (CAMS, CAMK) into a resulting image.
  11. Automated teller machine (ATM) according to one of the preceding claims, characterized in that the elements, which are located in the control panel and are captured by the at least one camera (CAMS, CAMK) comprise a money dispensing compartment (1), a keypad (2), a placement area (3), a card insertion hopper (4) and/or a screen (5).
  12. Automated teller machine (ATM) according to one of Claims 1 to 9, characterized in that, upon detection of an attempt to manipulate the captured elements (1, 2) by way of evaluating the image data (D*) of the resulting image (R), the data processing unit (10) triggers an alarm, locks the automated teller machine (ATM) and/or triggers the additional camera (CAMO).
  13. Automated teller machine (ATM) according to one of Claims 1 to 9, characterized in that the respective camera (CAMS) and/or the data processing unit (10) is deactivated during operation and/or maintenance of the automated teller machine (ATM).
  14. Automated teller machine (ATM) according to one of the preceding claims, characterized in that the data processing unit (10) produces the plurality of individual image recordings (F1, F2,... Fn) in dependence on at least one prespecifiable function (MD, MN) which indicates different exposure times (T1, T2,... Tn) for the individual image recordings, in particular in that the at least one prespecifiable function (MD, MN) corresponds to at least one ramp function which indicates increasing and/or decreasing exposure times (T1, T2,... Tn) for a series of individual image recordings (F1, F2,... Fn) .
  15. Automated teller machine (ATM) according to Claim 14, characterized in that one of the prespecifiable functions (MD) indicates, for a series of individual image recordings (F1, F2,... Fn), different exposure times (T1, T2,... Tn) within a first, lower value range (W1) if a brightness value and/or contrast value of at least one of the individual image recordings exceeds a prespecifiable threshold value.
  16. Automated teller machine (ATM) according to Claim 14, characterized in that one of the prespecifiable functions (MN) indicates, for a series of individual image recordings (F1, F2,... Fn), different exposure times (T1, T2,... Tn) within a second, upper value range (W2) if a brightness value and/or contrast value of at least one of the individual image recordings falls short of a prespecifiable threshold value.
  17. Automated teller machine (ATM) according to one of Claims 14 to 16, characterized in that the exposure times (T1, T2,... Tn) are dependent on various parameters, in particular the setup location of the automated teller machine (ATM) and/or the type and/or the mounting location of the camera.
  18. Automated teller machine (ATM) according to one of Claims 14 to 17, characterized in that the data processing unit (10) produces the individual image recordings in dependence on illumination conditions.
EP10717088.8A 2009-04-22 2010-04-16 Automated teller machine comprising at least one camera that produces image data to detect manipulation attempts Active EP2422325B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009018318A DE102009018318A1 (en) 2009-04-22 2009-04-22 Self-service terminal with at least one image data-generating camera for detecting tampering attempts
PCT/EP2010/055014 WO2010121957A1 (en) 2009-04-22 2010-04-16 Automated teller machine comprising at least one camera that produces image data to detect manipulation attempts

Publications (2)

Publication Number Publication Date
EP2422325A1 EP2422325A1 (en) 2012-02-29
EP2422325B1 true EP2422325B1 (en) 2016-05-25

Family

ID=42667888

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10717088.8A Active EP2422325B1 (en) 2009-04-22 2010-04-16 Automated teller machine comprising at least one camera that produces image data to detect manipulation attempts

Country Status (5)

Country Link
US (1) US9159203B2 (en)
EP (1) EP2422325B1 (en)
CN (1) CN102598072B (en)
DE (1) DE102009018318A1 (en)
WO (1) WO2010121957A1 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3957445A1 (en) * 2012-06-12 2022-02-23 Snap-On Incorporated An inventory control system having advanced functionalities
EP2736026B1 (en) * 2012-11-26 2020-03-25 Wincor Nixdorf International GmbH Device for reading out a magnetic strip and/or chip card with a camera for detecting inserted skimming modules
JP2015012442A (en) * 2013-06-28 2015-01-19 ソニー株式会社 Imaging apparatus, imaging method, image generation apparatus, image generation method, and program
US9342717B2 (en) * 2014-02-26 2016-05-17 Ncr Corporation Tamper detection system and method
US10515367B2 (en) 2014-03-31 2019-12-24 Ncr Corporation Fraud detection in self-service terminal
CN105554391B (en) * 2015-12-31 2019-05-14 广州广电运通金融电子股份有限公司 Control method and device, the finance device terminal of camera
US11128839B2 (en) * 2016-01-29 2021-09-21 Ncr Corporation Image processing to identify conditions of interest within self-service terminals
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10733275B1 (en) 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10346675B1 (en) 2016-04-26 2019-07-09 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
US10354126B1 (en) 2016-04-26 2019-07-16 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
US10643192B2 (en) * 2016-09-06 2020-05-05 Bank Of American Corporation Data transfer between self-service device and server over session or connection in response to capturing sensor data at self-service device
KR102102278B1 (en) * 2018-10-29 2020-04-21 효성티앤에스 주식회사 A doposit/withdrawal apparatus of ATM and the control method thereof
CN112085905B (en) * 2019-06-14 2022-03-01 中电金融设备系统(深圳)有限公司 Magnetic stripe card reader, magnetic stripe data processing device and magnetic stripe data processing method
US11935055B2 (en) 2021-03-22 2024-03-19 Bank Of America Corporation Wired multi-factor authentication for ATMs using an authentication media
US11676460B1 (en) * 2022-02-04 2023-06-13 Ncr Corporation Currency trapping detection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2351585B (en) * 1999-06-29 2003-09-03 Ncr Int Inc Self service terminal
DE20102477U1 (en) 2000-02-22 2001-05-03 Wincor Nixdorf Gmbh & Co Kg Device for protecting self-service machines against manipulation
DE20318489U1 (en) * 2003-11-26 2004-02-19 Conect Kommunikations Systeme Gmbh Monitoring system for use with cashpoint machines has pair of digital image capture units to observe user
US20070200928A1 (en) * 2006-02-13 2007-08-30 O'doherty Phelim A Method and apparatus for automated video surveillance
US20090201372A1 (en) * 2006-02-13 2009-08-13 Fraudhalt, Ltd. Method and apparatus for integrated atm surveillance
US7881497B2 (en) * 2007-03-08 2011-02-01 Honeywell International Inc. Vision based navigation and guidance system
JP4341691B2 (en) * 2007-04-24 2009-10-07 ソニー株式会社 Imaging apparatus, imaging method, exposure control method, program
US8248481B2 (en) * 2009-04-08 2012-08-21 Aptina Imaging Corporation Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
CN102598072B (en) 2015-11-25
DE102009018318A1 (en) 2010-10-28
US9159203B2 (en) 2015-10-13
CN102598072A (en) 2012-07-18
US20120038775A1 (en) 2012-02-16
EP2422325A1 (en) 2012-02-29
WO2010121957A1 (en) 2010-10-28

Similar Documents

Publication Publication Date Title
EP2422325B1 (en) Automated teller machine comprising at least one camera that produces image data to detect manipulation attempts
EP2422328B1 (en) Automated teller machine comprising at least one camera to detect manipulation attempts
EP2422327A1 (en) Automated teller machine comprising camera to detect manipulation attempts
EP2422326A1 (en) Method for recognizing attempts at manipulating a self-service terminal, and data processing unit therefor
DE69934068T2 (en) DETERMINATION OF THE POSITION OF EYES BY LIGHT REFLEX DETECTION AND CORRECTION OF DEFECTS IN A RECORDED IMAGE
EP2897112B1 (en) Method and apparatus for the prevention of false alarms in monitoring systems
EP1395945B1 (en) Method for detecting falsity in fingerprint recognition by classifying the texture of grey-tone differential values
DE602004005358T2 (en) OBJECT DETECTION IN PICTURES
DE102008039130A1 (en) Automatic tracing and identification system for movable object e.g. human, in building, has safety monitoring sensor connected with safety monitoring system such that tracing camera receives desired data when sensor is operated
EP2577620B1 (en) Device for testing the authenticity of valuable documents
DE102010011225B3 (en) System for determination of multiple persons for access control system, has lighting arrangement with electromagnetic radiation for lighting ground of controlling region
EP2603905B1 (en) Method and device for detecting and verifying attempts to manipulate a self-service terminal
DE112004000873T5 (en) Automatic discrimination system
EP2422324B1 (en) Automated teller machine comprising camera arrangement to detect manipulation attempts
DE20318489U1 (en) Monitoring system for use with cashpoint machines has pair of digital image capture units to observe user
EP1329856B1 (en) Method of detecting surface relief on coins in coin actuated machines
EP3782136B1 (en) Method for the verification of a luminescent-material-based security feature
DE102014224557A1 (en) Image processing by means of cross-correlation
AT503008B1 (en) INTERACTIVE OPTICAL SYSTEM AND METHOD FOR EXTRACTING AND ASSESSING INTERACTIONS IN AN OPTICAL SYSTEM
EP1197926A2 (en) Method of detecting surface relief on coins in coin actuated machines
DE102008055884A1 (en) Method for detecting two-dimensional representation of face of person for generating identification document, involves generating signal for displaying representation when intensity is greater than multiple of algorithm and black value

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20111103

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: PRIESTERJAHN, STEFFEN

Inventor name: DRICHEL, ALEXANDER

Inventor name: NOLTE, MICHAEL

Inventor name: LE, DINH-KHOI

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20140626

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20160225

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

Ref country code: AT

Ref legal event code: REF

Ref document number: 802879

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160615

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502010011737

Country of ref document: DE

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160825

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160926

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160826

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502010011737

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20170228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170430

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170416

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170430

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20170430

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170416

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170430

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 802879

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170416

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170416

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20100416

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160925

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502010011737

Country of ref document: DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 502010011737

Country of ref document: DE

Representative=s name: KILBURN & STRODE LLP, NL

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20230323 AND 20230329

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230321

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230321

Year of fee payment: 14

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20230525 AND 20230601

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20230321

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502010011737

Country of ref document: DE

Owner name: DIEBOLD NIXDORF SYSTEMS GMBH, DE

Free format text: FORMER OWNER: WINCOR NIXDORF INTERNATIONAL GMBH, 33106 PADERBORN, DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 502010011737

Country of ref document: DE