KR101372365B1 - Illegal access detecting device for atm - Google Patents

Illegal access detecting device for atm Download PDF

Info

Publication number
KR101372365B1
KR101372365B1 KR1020120098703A KR20120098703A KR101372365B1 KR 101372365 B1 KR101372365 B1 KR 101372365B1 KR 1020120098703 A KR1020120098703 A KR 1020120098703A KR 20120098703 A KR20120098703 A KR 20120098703A KR 101372365 B1 KR101372365 B1 KR 101372365B1
Authority
KR
South Korea
Prior art keywords
financial transaction
face
user
transaction
attempt
Prior art date
Application number
KR1020120098703A
Other languages
Korean (ko)
Other versions
KR20130108041A (en
Inventor
김재희
윤두환
이희찬
Original Assignee
아이포콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이포콤 주식회사 filed Critical 아이포콤 주식회사
Publication of KR20130108041A publication Critical patent/KR20130108041A/en
Application granted granted Critical
Publication of KR101372365B1 publication Critical patent/KR101372365B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/201—Accessories of ATMs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 외부로부터 입력되는 거래 불가 신호에 따라 금융 거래를 위해 접근한 사용자의 금융 거래 시도를 거부할 수 있는 현금 인출기와 연동하는 부정 금융 거래 시도 판단 장치로서: 적어도 하나의 카메라를 구비한 촬영부와; 카메라가 촬영한 실시간 동영상을 입력받는 영상 입력부와; 실시간 동영상으로부터 추적되는 사용자의 얼굴로부터 적어도 하나의 얼굴 부위를 검출하는 영상 분석부와; 검출된 상기 얼굴 부위의 종류 및 개수가 미리정의된 정상 금융 거래 판단용 얼굴 부위의 종류 및 개수 기준(거래 허용 기준)에 부합하지 않은 경우에는, 사용자가 얼굴의 일부를 가리고 부정하게 금융 거래를 시도하는 것으로 판단하는 부정금융거래 판단부와; 사용자가 부정하게 금융 거래를 시도하는 것으로 판단된 경우 금융 거래를 거부할 것을 요청하는 상기 거래 불가 신호를 출력하는 제어신호 통신부를 포함한다.The present invention is an apparatus for determining a fraudulent financial transaction attempt linked with an ATM that can reject a financial transaction attempt of a user approaching a financial transaction in response to a non-trade signal input from the outside: a photographing unit having at least one camera Wow; An image input unit for receiving a real-time video captured by the camera; An image analyzer detecting at least one face part from a face of a user tracked from a real-time video; If the detected type and number of face parts do not meet a predefined standard and number of face parts for normal financial transaction determination (transaction acceptance criteria), the user covers a part of the face and attempts a financial transaction fraudulently. A fraudulent financial transaction judging unit judged to perform; And a control signal communication unit for outputting the non-tradeable signal for requesting the financial transaction to be rejected when it is determined that the user illegally attempts a financial transaction.

Description

현금 인출기용 부정 금융 거래 시도 판단 장치{ILLEGAL ACCESS DETECTING DEVICE FOR ATM}Device for judging fraudulent financial transactions for ATMs {ILLEGAL ACCESS DETECTING DEVICE FOR ATM}

본 발명은 현금 인출기용 부정 금융 거래 시도 판단 장치에 관한 것으로서, 더욱 상세하게는, 현금 인출기에 추가 설치되어 얼굴을 가린 사용자를 검출하여 금융 거래를 차단할 수 있는 현금 인출기용 부정 금융 거래 시도 판단 장치에 관한 것이다.The present invention relates to an attempt to determine a fraudulent financial transaction attempt for an ATM, and more particularly, to an apparatus for determining a fraudulent financial transaction for an ATM that can be added to the ATM and detect a user who covers a face to block a financial transaction. It is about.

최근, 자동화된 현금 인출기의 사용이 증가함에 따라, 불법 현금 인출 또는 불법 자금 이체 등의 범죄 또한 증가하고 있다. 현금 인출기를 부당하게 이용하고자 하는 범죄자들은 본인의 신분을 숨기기 위하여 얼굴의 적어도 일부를 가리고 현금 인출기에 접근한다. 또한, 얼굴에 가면을 쓰거나, 다른 사람의 얼굴을 촬영한 사진을 현금 인출기의 카메라에 비추기도 한다.Recently, as the use of automated cash machines increases, crimes such as illegal cash withdrawals or illegal money transfers also increase. Criminals who wish to use their ATMs unfairly cover at least a part of their face and access the ATM to hide their identity. They can also wear masks on their faces, or even mirror photos of other people's faces on an ATM machine.

따라서 얼굴 인식이 불가하도록 얼굴을 가린 범죄자가 현금 인출기를 사용하는 것을 방지하기 위하여, 얼굴 가림을 검출하거나 얼굴 인식의 가능성을 판단하는 기술의 중요성이 높아지고 있으며, 이러한 필요에 따라 다양한 방법들이 개발되어 왔다. Therefore, in order to prevent criminals who cover their faces from using a cash dispenser to prevent face recognition, the importance of techniques for detecting face occlusion or determining the possibility of face recognition is increasing, and various methods have been developed according to these needs. .

하지만, 종래의 방법들은, 얼굴의 어느 일부가 가려지면 사용을 무조건적으로 차단하고 있으므로, 정당한 사용자가 실제로 현금 인출기를 이용할 때 발생하는 다양한 상황들에 대하여 유연하게 대처할 수 없었다는 문제점이 노출되었다. 예를 들면, 사용자의 머리카락 또는 악세사리 등에 의해 얼굴의 일부가 자연스럽게 가려지는 경우, 얼굴 표정 또는 얼굴의 향하는 방향 등에 따라서 얼굴 인식이 정확하지 않을 수 있는데, 이러한 경우까지도 부당하게 얼굴을 가린 것으로 판단할 수 있어서, 사용자에게 불편함을 끼치는 경우가 많았다. However, the conventional methods have been exposed to a problem in that a part of the face is unconditionally blocked from use, so that a legitimate user could not flexibly deal with various situations that occur when using a cash dispenser. For example, when a part of the face is naturally covered by the user's hair or accessories, the face recognition may not be accurate depending on the facial expression or the direction in which the face is directed. Even in such a case, it may be determined that the face is unjustly covered. In many cases, the user was inconvenienced.

또한, 현금 인출기의 경우에 있어서는, 기존의 금융 거래 기능만을 제공하던 현금 인출기에서 접근한 사용자의 얼굴을 검출하고, 검출된 얼굴에서 가려짐을 판단하는 기능을 동시에 수행하기에는 하드웨어 또는 소프트웨어의 성능이 충분하지 않다. 따라서, 저성능의 현금 인출기에서도 얼굴 가려짐 판단 기능을 정확하고 신속하게 수행할 수 있게 지원할 방법이 요구되고 있다. In addition, in the case of the ATM, the hardware or software does not have enough performance to simultaneously detect the face of the user approaching the ATM and provide the ability to determine the cover of the detected face. not. Therefore, there is a demand for a method for supporting a face masking function accurately and quickly even in a low performance ATM.

상술한 문제점 및 요청에 대응하여, 본 발명은, 현금 인출기에 접근하여 금융 거래를 시도하는 사용자의 얼굴 가려짐이 자연스러운 얼굴 가려짐인지 범죄를 위하여 인위적으로 가린 것인지 정확하게 판단함으로써 부정한 금융 거래를 차단할 수 있는 부정 금융 거래 시도 판단 장치를 제공하고자 하는 것을 목적으로 한다. In response to the above problems and requests, the present invention can block fraudulent financial transactions by accurately determining whether a face mask of a user attempting a financial transaction by accessing an ATM is a natural face mask or artificially masked for a crime. It is an object of the present invention to provide an apparatus for determining a fraudulent financial transaction attempt.

또한, 본 발명은, 저성능의 현금 인출기에서도 얼굴 가려짐 판단 기능을 정확하고 신속하게 수행할 수 있도록 구현된 부정 금융 거래 시도 판단 장치를 제공하고자 하는 것을 또다른 목적으로 한다. In addition, another object of the present invention is to provide an apparatus for determining a fraudulent financial transaction attempt that is implemented to accurately and quickly perform a face masking judgment function even in a low performance ATM.

상술한 목적을 달성하기 위한 본 발명은, 외부로부터 입력되는 거래 불가 신호에 따라 금융 거래를 위해 접근한 사용자의 금융 거래 시도를 거부할 수 있는 현금 인출기와 연동하는 부정 금융 거래 시도 판단 장치로서: 금융 거래를 위해 접근한 상기 사용자를 실시간 동영상으로 촬영하기 위한 적어도 하나의 카메라를 구비한 촬영부와; 상기 촬영부와의 인터페이스를 제공하며 상기 카메라가 촬영한 상기 실시간 동영상을 입력받는 영상 입력부와; 입력받은 상기 실시간 동영상으로부터 상기 사용자의 얼굴을 추적하고, 추적되는 상기 사용자의 얼굴로부터 적어도 하나의 얼굴 부위를 검출하는 영상 분석부와; 검출된 상기 얼굴 부위의 종류 및 개수가 미리정의된 정상 금융 거래 판단용 얼굴 부위의 종류 및 개수 기준(거래 허용 기준)에 부합하는 경우에는 상기 사용자가 얼굴을 가리지 않고 정상적으로 금융 거래를 시도하는 것으로 판단하고, 그렇지 않은 경우에는, 상기 사용자가 얼굴의 일부를 가리고 부정하게 금융 거래를 시도하는 것으로 판단하는 부정금융거래 판단부와; 및 상기 부정금융거래 판단부에서 상기 사용자가 부정하게 금융 거래를 시도하는 것으로 판단된 경우, 상기 현금 인출기로 상기 사용자에 의한 금융 거래를 거부할 것을 요청하는 상기 거래 불가 신호를 출력하는 제어신호 통신부;를 포함한다.According to an aspect of the present invention, there is provided a fraudulent financial transaction attempt determination apparatus that interoperates with a cash dispenser that can reject a financial transaction attempt by a user approaching a financial transaction in response to a non-trading signal input from the outside: A photographing unit having at least one camera for photographing the user approaching a transaction in real time video; An image input unit providing an interface with the photographing unit and receiving the real-time video captured by the camera; An image analyzer for tracking a face of the user from the received real-time video and detecting at least one face part from the tracked face of the user; If the detected type and number of face parts meet a predefined type and number of face parts for normal financial transaction determination (transaction acceptance criteria), it is determined that the user attempts a financial transaction normally without covering the face. Otherwise, the negative financial transaction determination unit which judges that the user covers a part of the face and attempts to perform a financial transaction fraudulently; And a control signal communication unit for outputting the non-trading signal requesting the cash dispenser to reject a financial transaction by the user when it is determined that the user fraudulently attempts a financial transaction. It includes.

또한, 상기 거래 허용 기준은, 하나의 입으로 설정되어 상기 검사용 얼굴 영상에서 적어도 입이 검출되지 않은 경우에 상기 사용자가 부정하게 금융 거래를 시도하는 것으로 판단하거나, 하나의 입 및 적어도 하나의 눈으로 설정되어 상기 검사용 얼굴 영상에서 하나의 입과 적어도 하나의 눈이 검출되지 않은 경우에 상기 사용자가 부정하게 금융 거래를 시도하는 것으로 판단한다.In addition, the transaction acceptance criterion is set to one mouth to determine that the user fraudulently attempts a financial transaction when at least one mouth is not detected in the face image for inspection, or one mouth and at least one eye. When it is determined that one mouth and at least one eye are not detected in the inspection face image, it is determined that the user illegally attempts a financial transaction.

또한, 상기 영상 분석부는, 상기 영상 입력부에서 입력받은 상기 실시간 동영상으로부터 상기 허용 기준에서 요구하는 적어도 하나의 상기 얼굴 부위만을 포함하는 영역으로 동영상을 생성하고, 상기 부정금융거래 판단부는, 상기 생성된 동영상에서의 상기 얼굴 부위의 존재 여부를 분석하여, 상기 사용자의 금융 거래 시도 상황을 판단하는 것을 특징으로 한다. The image analyzer may generate a video from the real-time video input from the image input unit to a region including only at least one face portion required by the acceptance criteria, and the negative financial transaction determination unit may generate the video. Analyzing the presence or absence of the face portion in the to determine the financial transaction attempt situation of the user.

또한, 상기 영상 분석부는, 검출된 상기 얼굴 부위 중 적어도 하나와 상기 얼굴 영상으로부터 추출된 상기 사용자의 얼굴 크기 및 방향에 대한 크기 및 위치 관계를 이용하여, 또는, 검출된 상기 얼굴 부위 중 적어도 2개의 상대적인 크기 및 위치 관계를 이용하여 상기 사용자가 부정하게 금융 거래하는 것인지를 판단하는 것을 특징으로 한다.In addition, the image analyzer may be configured to use at least one of the detected face parts and a size and position relationship with respect to a face size and a direction of the user extracted from the face image, or at least two of the detected face parts. The relative size and positional relationship may be used to determine whether the user fraudulently makes a financial transaction.

또한, 상기 촬영부는, 사용자의 RGB 영상을 생성하는 가시광선 카메라 및 사용자의 적외선 영상을 생성하기 위한 적외선 카메라를 포함하는 것을 특징으로 한다.The photographing unit may include a visible light camera for generating an RGB image of the user and an infrared camera for generating an infrared image of the user.

또한, 상기 제어신호 통신부는, 상기 금융 거래의 발생을 감지한 상기 현금 출금기에서 출력하는 금융 거래 발생 신호를 수신하고, 상기 영상 분석부는, 상기 가시광선 카메라로부터 생성된 상기 RGB 영상을 분석하여 상기 사용자의 존재 여부를 분석하고, 상기 사용자가 존재하는 경우에 상기 적외선 카메라로부터 생성된 상기 적외선 영상을 이용하여 상기 사용자의 얼굴을 추적하는 것을 특징으로 한다.The control signal communication unit may receive a financial transaction generation signal output from the cash dispenser that detects the occurrence of the financial transaction, and the image analyzer may analyze the RGB image generated by the visible light camera to analyze the user. Analyze the presence or absence, and if the user is present, characterized in that tracking the face of the user using the infrared image generated from the infrared camera.

상술한 목적을 달성하기 위한 또다른 형태의 본 발명은, 금융 거래를 위해 접근한 사용자의 얼굴을 촬영할 수 있는 카메라를 내장하고 있으며 외부로부터 입력되는 거래 불가 신호에 따라 상기 사용자의 금융 거래를 거부할 수 있는 현금 인출기와 연동하는 부정 금융 거래 시도 판단 장치로서: 금융 거래를 위해 접근한 상기 사용자를 상기 현금인출기의 상기 카메라가 촬영한 실시간 동영상을 입력받는 영상 입력부와; 입력받은 상기 실시간 동영상으로부터 상기 사용자의 얼굴을 추적하고, 추적되는 상기 사용자의 얼굴로부터 적어도 하나의 얼굴 부위를 검출하는 영상 분석부와; 검출된 상기 얼굴 부위의 종류 및 개수가 미리정의된 정상 금융 거래 판단용 얼굴 부위의 종류 및 개수 기준(거래 허용 기준)에 부합하는 경우에는 상기 사용자가 얼굴을 가리지 않고 정상적으로 금융 거래를 시도하는 것으로 판단하고, 그렇지 않은 경우에는, 상기 사용자가 얼굴의 일부를 가리고 부정하게 금융 거래를 시도하는 것으로 판단하는 부정금융거래 판단부와; 상기 부정금융거래 판단부에서 상기 사용자가 부정하게 금융 거래를 시도하는 것으로 판단된 경우, 상기 현금 인출기로 상기 사용자에 의한 금융 거래를 거부할 것을 요청하는 상기 거래 불가 신호를 출력하는 제어신호 통신부를 포함한다. Another aspect of the present invention for achieving the above object is a built-in camera that can take a picture of the user's face approaching for a financial transaction, the user can refuse the financial transaction in accordance with a non-tradeable signal input from the outside. An apparatus for determining an unfair financial transaction attempt linked with an atm machine, the apparatus comprising: an image input unit configured to receive a real-time video photographed by the camera of the at least one cash dispenser; An image analyzer for tracking a face of the user from the received real-time video and detecting at least one face part from the tracked face of the user; If the detected type and number of face parts meet a predefined type and number of face parts for normal financial transaction determination (transaction acceptance criteria), it is determined that the user attempts a financial transaction normally without covering the face. Otherwise, the negative financial transaction determination unit which judges that the user covers a part of the face and attempts to perform a financial transaction fraudulently; And a control signal communication unit for outputting the non-trading signal requesting the cash dispenser to reject the financial transaction by the user when it is determined that the user fraudulently attempts a financial transaction. do.

상기한 구성으로 구현된 본 발명에 따르면, 현금 인출기에 접근하여 금융 거래를 시도하는 사용자의 얼굴 가려짐이 자연스러운 얼굴 가려짐인지 범죄를 위하여 인위적으로 부정하게 가린 것인지 정확하게 판단하고, 부정 거래를 시도하는 경우에는 금융 거래를 거부함으로써 정당한 사용자의 재산을 보호하고, 부정 거래를 시도하는 범죄자를 검거하는 데에 협력할 수 있게 된다. According to the present invention embodied in the above configuration, to accurately determine whether the face masking of the user attempting a financial transaction by accessing the ATM is a natural face masking or artificially fraudulent for crime, and attempts to make a fraudulent transaction In such cases, refusing financial transactions can protect the legitimate user's property and cooperate in the arrest of criminals attempting fraudulent transactions.

또한, 본 발명에 의하면, 얼굴 가려짐 판단 기능을 저성능의 현금 인출기에서도 정확하고 신속하게 수행할 수 있도록 지원할 수 있다. In addition, according to the present invention, it is possible to support the face masking determination function can be performed accurately and quickly even in a low-performance ATM.

또한, 본 발명에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치는 현금 인출기와는 개별적으로 설계 및 설치될 수 있으므로, 현금 인출기의 하드웨어 및 소프트웨어의 변경에 대하여 유연하게 대응할 수 있으며, 반대로 본 발명에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치의 하드웨어 및 소프트웨어의 변경이 현금 인출기의 하드웨어 및 소프트웨어에 영향을 미치는 것을 최소화할 수 있다. In addition, the apparatus for determining an unfair financial transaction attempt for an ATM according to the present invention can be designed and installed separately from an ATM, and thus can flexibly respond to changes in hardware and software of the ATM, and vice versa. Changes to the hardware and software of the ATM may affect the hardware and software of the ATM.

도 1은 본 발명의 일 실시예에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치의 구성을 보여주는 블록도이다.
도 2는 본 발명에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치의 부정 금융 거래 시도 판단 방법을 설명하는 흐름도이다.
도 3은, 도 2에 도시된 부정 금융 거래 시도 판단 방법 중 얼굴 부위 추적 단계를 더욱 상세하게 설명하는 흐름도이다.
도 4는 본 발명의 또다른 실시예에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치의 구성을 보여주는 블록도이다.1 is a block diagram showing the configuration of an apparatus for determining an unfair financial transaction attempt for an ATM according to an embodiment of the present invention.
2 is a flowchart illustrating a method for determining a fraudulent financial transaction attempt of an apparatus for determining a fraudulent financial transaction attempt for an ATM machine according to the present invention.
FIG. 3 is a flowchart illustrating a face portion tracking step of the fraudulent financial transaction attempt determination method illustrated in FIG. 2 in more detail.
4 is a block diagram illustrating a configuration of an apparatus for determining an unfair financial transaction attempt for an ATM according to another embodiment of the present invention.

이하에서, 첨부한 도면을 참조하여 본 발명의 다양한 실시예에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치의 구성 및 동작을 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the configuration and operation of the apparatus for determining the unfair financial transaction attempt for the ATM according to various embodiments of the present invention.

본 발명에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치(이하, 판단 장치)(200)는, 사용자가 카드나 통장 등을 이용하여 시도하는 금융 거래를 관리자 없이 자동으로 처리할 수 있는 현금 인출기(100)에 추가적으로 장착될 수 있는 구조로 형성된다. 즉, 본 발명에 따른 판단 장치(200)는, 현금 인출기(100)와 독립적으로 영상을 촬영하거나 현금 인출기(100)에서 촬영한 영상을 입력받고, 촬영되거나 또는 입력된 영상에서 사용자 얼굴이 누구인지 식별할 수 있을 정도로 보여지고 있는지에 대한 식별 가능성을 검사하고, 검사된 결과만을 현금 인출기(100)에 제공하게 된다. 현금 인출기(100)는 제공된 검사 결과에 따라 금융 거래를 정상 처리하거나 거절하게 된다. The apparatus for determining a fraudulent financial transaction attempt for a cash machine according to the present invention (hereinafter, the determination device) 200 is an ATM machine 100 which can automatically process a financial transaction that a user attempts using a card or a bankbook without a manager. It can be formed into a structure that can be additionally mounted. That is, the determination apparatus 200 according to the present invention receives an image taken independently from the ATM 100 or receives an image taken by the ATM 100, and who is the face of the user in the taken or input image. The identification possibility of being seen to be identifiable is checked and only the checked result is provided to the ATM. The ATM 100 normally processes or rejects the financial transaction according to the provided inspection result.

이로써, 현금 인출기(100)는 금융 거래를 처리하기 위하여 자체 구비한 처리 수단(예를 들면, CPU)을 이용하지 않으면서도, 사용자가 얼굴을 가리고 부정 거래를 시도하는 것인지 얼굴을 노출하고 정상적으로 금융 거래를 시도하는 것인지를 판단하여, 금융 거래의 허용 또는 거절에 반영할 수 있게 된다. As a result, the ATM 100 exposes the face of a user to cover a face and attempts to make a fraudulent transaction without using a self-equipped processing means (eg, a CPU) to process a financial transaction. It is determined whether to attempt to reflect, to allow or reject the financial transaction.

따라서, 금융 거래를 처리할 수 있을 정도만으로 설계된 저사양 하드웨어 또는 소프트웨어를 구비한 현금 인출기에 있어서도, 고도의 연산이 필요한 얼굴 식별 가능성 검사 결과를 금융 거래 허용 또는 거절 판단에 적용할 수 있게 된다. Therefore, even in a cash machine equipped with low-spec hardware or software designed only to handle financial transactions, it is possible to apply the face identification test result that requires a high level of computation to allow or reject financial transactions.

이러한 본 발명에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치(200)는, 모듈 형태로 구성되어 현금 인출기(100)의 상부 또는 측면에 부착되어 현금 인출기와 연동할 수 있으며, 경우에 따라서는 현금 인출기(100)의 내부에 내장될 수도 있다. 또는, 판단 장치(200)의 모듈은 현금 인출기(100)와는 원격지에 별도로 배치되어 유무선 통신 네트워크를 통해 필요한 정보를 송수신하도록 구성될 수도 있다.
The apparatus for determining a fraudulent financial transaction attempt for a cash machine according to the present invention 200 is configured in a module form and is attached to an upper or side surface of the cash machine 100 to interlock with an ATM, and in some cases, an ATM machine. It may be embedded inside the (100). Alternatively, the module of the determination device 200 may be arranged to be remote from the ATM 100 and configured to transmit and receive necessary information through a wired or wireless communication network.

먼저, 도 1의 블록도를 참조하여, 본 발명의 일 실시예에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치의 구성을 설명한다. 본 발명의 일 실시예에 따른 부정 금융 거래 시도 판단 장치(200)는, 카드 투입부(120)와 조작/표시부(130)와 금융거래 처리부(140)를 구비한 현금 인출기(100)에 대응하여 동작하는 것으로서, 촬영부(210)와 영상 입력부(220)와 영상 분석부(230)와 부정금융거래 판단부(240)와 제어신호 통신부(250)를 포함하여 이루어진다. First, referring to the block diagram of FIG. 1, a configuration of an apparatus for determining an unfair financial transaction attempt for a cash dispenser according to an embodiment of the present invention will be described. The fraudulent financial transaction attempt determination apparatus 200 according to an embodiment of the present invention corresponds to the cash dispenser 100 including the card input unit 120, the operation / display unit 130, and the financial transaction processing unit 140. In operation, the photographing unit 210, the image input unit 220, the image analysis unit 230, the negative financial transaction determination unit 240, and the control signal communication unit 250 are included.

먼저, 현금 인출기(100)에 있어서, 카드 투입부(120)는, 현금 인출기(100)를 통해 금융 거래를 시도하려는 사용자가 금융거래용으로 발급받은 카드를 삽입하거나 접촉시키는 부분이다. 카드 투입부(120)는 삽입 또는 접촉된 카드에 전자기적으로 내장된 정보를 획득한다. 획득된 정보는 사용자의 계좌번호, 거래 가능한 업무 종목, 개인 정보등일 수 있으며, 금융거래 처리부(140)로 전송된다.First, in the cash dispenser 100, the card injector 120 inserts or contacts a card issued for a financial transaction by a user who attempts a financial transaction through the cash dispenser 100. The card input unit 120 acquires information electromagnetically embedded in the inserted or contacted card. The obtained information may be a user's account number, tradeable business item, personal information, etc., and is transmitted to the financial transaction processing unit 140.

조작/표시부(130)는, 사용자가 인출 또는 이체할 금액, 금융 거래를 위한 비밀번호와 같은 정보를 입력할 수 있는 조작 수단과, 입력한 정보 또는 현금 인출기의 처리 상황을 시각적 또는 청각적으로 표시하는 표시 수단을 포함한다. 이러한 조작/표시부는 바람직하게는 터치 스크린일 수 있다. The operation / display unit 130 may display an operation means for inputting information such as an amount of money to be withdrawn or transferred, a password for a financial transaction, and a visual or audio display of the input information or the processing status of the ATM. And display means. This manipulation / display portion may preferably be a touch screen.

금융거래 처리부(140)는, 카드 투입부를 통해 입력된 각종 정보를 바탕으로, 자체적으로 또는 은행 서버와의 통신을 통해 사용자가 원하는 금융 거래를 처리한다. 또한, 현금 지급 수단(도시하지 않음)을 제어하여 요청된 금액의 현금을 지급하도록 한다. The financial transaction processing unit 140 processes a financial transaction desired by the user on its own or through communication with a bank server based on various information input through the card input unit. In addition, a cash payment means (not shown) is controlled to pay cash of the requested amount.

또한, 금융거래 처리부(140)는 본 발명에서 제공하는 부정 금융 거래 판단 장치(이하, 판단 장치)와 통신할 수 있다. 즉, 금융거래 처리부(140)는 카드 투입부(120)에 카드가 입력되는 경우에 사용자가 금융 거래의 시도가 발생한 것으로 판단하고, 판단 장치(200)로 금융 거래 발생 신호를 전송한다. In addition, the financial transaction processing unit 140 may communicate with an illegal financial transaction determining apparatus (hereinafter, the determining apparatus) provided in the present invention. That is, when the card is input to the card input unit 120, the financial transaction processor 140 determines that an attempt has been made by the financial transaction, and transmits a financial transaction generation signal to the determination device 200.

그리고, 판단 장치(200)로부터, 사용자의 얼굴을 분석하여 얻어진 결과에 따른 거래 불가 신호를 통보받으면, 현재 접근한 사용자에 의한 금융 거래를 거부한다. 이때, 사용자에게 얼굴 가려짐을 해소한 후 다시 금융 거래를 시도하라는 안내 등을 조작/표시부(130)를 통해 표출할 수도 있다. And, if the notification device notified of the transaction is not possible according to the result obtained by analyzing the face of the user from the determination device 200, and rejects the financial transaction by the currently accessed user. In this case, after the face is removed by the user, a guide or the like may be displayed through the manipulation / display unit 130 to attempt a financial transaction again.

다음, 본 발명의 부정 금융 거래 판단 장치(200)의 각 부에 대하여 설명한다. Next, each part of the illegal financial transaction determining apparatus 200 of the present invention will be described.

먼저, 촬영부(210)는, 현금 인출기(100)의 전방을 향하여 배치되어, 현금 인출기(100)에서 금융 거래를 실행하고자 현금 인출기를 향하여 접근하는 사용자를 촬영한다. 촬영부(210)는, 다양한 형식의 동영상을 촬영하는 카메라일 수 있으며, 매우 짧은 주기마다 복수의 정지 영상을 촬영하는 카메라일 수도 있다. 본 발명에서는 동영상을 촬영 가능하게 구성되는 것이 바람직하다.First, the photographing unit 210 is disposed toward the front of the cash machine 100 to photograph a user approaching the cash machine to execute a financial transaction in the cash machine 100. The photographing unit 210 may be a camera photographing various types of moving images, or may be a camera photographing a plurality of still images every very short period. In the present invention, it is preferable that the moving picture is configured to be photographed.

또한, 촬영부(210)는, 적어도 가시광선에 의한 영상을 촬영하는 RGB 카메라(212)와, 적외선에 의한 영상을 촬영하는 적외선 카메라(214)를 동시에 구비하는 것이 바람직하다. 물론, 일반적인 RGB 카메라(212)에 장착된 적외선 차단 필터의 온/오프에 의해 가시광선에 의한 촬영과 적외선에 의한 촬영을 선택적으로 수행할 수도 있지만, 시스템의 기구적인 안정성 및 운용 소프트웨어의 안정성을 위하여 개별적으로 카메라를 배치하는 것이 바람직하다.In addition, the photographing unit 210 preferably includes at least an RGB camera 212 for capturing an image with visible light and an infrared camera 214 for capturing an image with infrared light. Of course, by the on / off of the infrared cut-off filter mounted on the general RGB camera 212 can be selectively performed by the visible light and infrared imaging, but for the mechanical stability of the system and the stability of the operating software It is desirable to arrange the cameras individually.

영상 입력부(220)는, 촬영부(210)의 각 카메라로부터 촬영된 영상을 입력받는다. 영상 입력부(220)에서 수신한 동영상(또는, 정지 영상)은 영상 분석부로 실시간으로 전송된다. 영상 입력부(220)는, 이어지는 얼굴 가림 분석을 위하여, 입력된 영상의 명도/채도/색상을 조정하여, 얼굴의 형태 및 바라보는 방향, 얼굴을 구성하는 각 얼굴 부위를 선명하게 식별할 수 있도록 전처리를 수행할 수도 있다. The image input unit 220 receives an image captured by each camera of the photographing unit 210. The video (or still image) received by the image input unit 220 is transmitted to the image analyzer in real time. The image input unit 220 adjusts the brightness / saturation / color of the input image for subsequent face occlusion analysis, and preprocesses to clearly identify each face part constituting the face, the direction of the face, and the face. You can also do

영상 분석부(230)는, 입력받은 실시간 동영상에서 사용자의 얼굴을 검출하여 추적하고, 추적되는 사용자의 얼굴 중에서 적어도 하나의 얼굴 부위를 검출한다. 검출되는 얼굴 부위는, 적어도 하나의 눈과 하나의 입일 수 있다. 특히, 본 발명에서는 입을 검출하는 것이 바람직하다. The image analyzer 230 detects and tracks a user's face in the received real-time video, and detects at least one face part among the tracked user's faces. The face region to be detected may be at least one eye and one mouth. In particular, in the present invention, it is preferable to detect the mouth.

또한, 영상 분석부(230)는, 추적되는 얼굴 중 검출 대상의 얼굴 부위(예를 들면, 입 또는 입술)만을 추출하고, 추출된 얼굴 부위만으로 별도의 동영상을 생성할 수도 있다. 또는 해당 얼굴 부위가 포함된 영역을 설정하고, 설정된 영역을 계속적으로 추적하여 해당 영역에 대한 동영상(얼굴 부위 동영상)을 생성할 수 있다. In addition, the image analyzer 230 may extract only a face portion (eg, mouth or lips) of the detection target among the tracked faces, and may generate a separate video using only the extracted face portions. Alternatively, an area including a corresponding face part may be set, and a video (face part video) of the corresponding area may be generated by continuously tracking the set area.

이렇게 생성된 얼굴 부위 동영상은, 부정금융거래 판단부(240)에서, 해당 영역(예를 들면, 얼굴의 하부 또는 입 주변 영역)에서 해당 얼굴 부위(예를 들면, 입)의 존재 상태가 계속되거나 또는 중간에 손 등으로 얼굴 부위를 가렸거나 하는 등의 상황을 판단하고, 사용자가 정상적으로 금융 거래를 시도하고 있는 것인지, 아니면, 부정하게 시도하고자 얼굴을 가리는 것인지 판단할 수 있다. The facial part video generated in this way may be present in the negative financial transaction determination unit 240 in a state where the facial part (eg, mouth) exists in the corresponding area (for example, the lower part of the face or the area around the mouth). Alternatively, it is possible to determine a situation such as covering a face part with a hand or the like in the middle, and determine whether the user is attempting a financial transaction normally or covering the face in an attempt to fraudulently attempt.

또한, 이렇게 얼굴 부위 동영상을 이용함으로써, 실제 사용자로부터 얼굴 영상이 촬영되고 있는 것이 아니라, 가면으로부터 촬영된 얼굴 영상인지(사용자가 가면을 착용하고 금융 거래를 시도하는 경우), 다른 사람의 얼굴을 촬영한 영상을 카메라에 비추고 있는지 등의 조작된 상황을 검증할 수 있도록 한다. In addition, by using the video of the facial part, the face image is not being captured by the actual user, but is a face image photographed from a mask (when a user wears a mask and attempts to make a financial transaction). It is possible to verify the manipulated situation, such as whether the image is shining on the camera.

부정금융거래 판단부(240)는, 영상 분석부에서 검출한 얼굴 부위를 이용하여 또는 어느 얼굴 부위만을 포함하도록 생성된 얼굴 부위 동영상을 이용하여, 사용자가 얼굴을 노출시켜 누구인지 인식 가능한 정도의 상태로 금융 거래를 시도하고 있는지 또는 얼굴의 일부를 가렸거나 가면을 착용하였거나 다른 사람의 얼굴을 촬영한 영상을 카메라에 비추고 있는 상태에서 금융 거래를 시도하고 있는지를 판단할 수 있게 된다. The negative financial transaction determination unit 240 is a state in which a user can recognize a face by exposing a face by using a face portion detected by the image analyzer or a face portion video generated to include only a certain face portion. It is possible to determine whether a financial transaction is being attempted or whether a part of the face is covered, a mask is worn, or another person's face is being reflected on the camera.

즉, 부정금융거래 판단부(240)는, 금융 거래의 허용 기준이 되는 정상 금융 거래 판단용 얼굴 부위의 종류 및 개수에 대한 기준(거래 허용 기준)을 미리 저장하고 있으며, 영상 분석부(230)로부터 제공되는 얼굴 부위 동영상의 얼굴 부위가 이 기준에 부합하는지 판단한다. 그리고, 영상 분석부(230)로부터 제공된 얼굴 부위가 상기 기준에 부합하는 경우에는 사용자가 얼굴을 가리지 않고 정당하게 현금 인출기(100)를 사용하는 것(정상 거래)으로 판정할 수 있으며, 반대로, 영상 분석부(230)로부터 제공된 얼굴 부위가 상기 기준에 부합하지 않는 경우, 즉, 허용 기준에서 요구하는 얼굴 부위를 검출할 수 없거나 검출된 얼굴 부위가 임의의 범위 이상 가려져 있거나 그 형태가 선명하지 않은 등의 경우에는 사용자가 얼굴의 일부를 가리고 부정하게 금융 거래를 시도하고 있는 것(부정 금융 거래)으로 판단하게 된다. That is, the negative financial transaction determination unit 240 stores in advance a criterion for the type and number of normal financial transaction determination face parts, which are the acceptance criteria for financial transactions, and the image analysis unit 230. It is determined whether the face region of the face region video provided from the video meets this criterion. When the face part provided from the image analyzer 230 meets the above criteria, it may be determined that the user does not cover the face and uses the ATM machine 100 (normal transaction). When the face portion provided from the analysis unit 230 does not meet the above criteria, that is, the face portion required by the acceptance criterion cannot be detected, or the detected face portion is covered over an arbitrary range or the shape is not clear. In the case of the user, it is determined that the user covers a part of the face and is illegally attempting a financial transaction (negative financial transaction).

만일 부정 금융 거래인 것으로 판단된 경우에는, 현금 인출기(100)의 금융 거래를 즉시 중지시키기 위한 거래 불가 신호가 부정금융거래 판단부(240)로부터 출력될 수 있다. 출력된 거래 불가 신호는 현금 인출기(100)로 전달된다.If it is determined that the fraudulent financial transaction, a non-tradeable signal for immediately stopping the financial transaction of the ATM machine 100 may be output from the fraudulent financial transaction determining unit 240. The output non-trading signal is transmitted to the ATM.

한편, 상기한 정상 금융 거래 판단용 얼굴 부위는, 입으로 설정될 수 있다. 즉, 눈은 시야를 확보하기 위해 가릴 수 없다고 전제할 수 있으며, 현금 인출기를 부당하게 사용하고자 사용자(범죄자)가 눈을 제외한 얼굴을 가리는 경우, 단지 코만을 가리거나 귀와 같은 부위를 가리는 경우는 거의 없고, 입을 가림과 동시에 코를 가리던지, 입과 볼을 가리는 등, 입과 함께 다른 부위까지 가리는 경우가 대부분이다. On the other hand, the face portion for determining the normal financial transaction may be set to the mouth. In other words, it can be assumed that the eyes cannot be covered to secure the field of view, and in the case where the user (criminal) covers the face except the eyes to improperly use the cash dispenser, it rarely covers the nose or the part such as the ear. Most of the time, covering your mouth and covering your nose, covering your mouth and cheeks, and covering other areas with your mouth.

따라서, 입을 가리지 않았다면, 해당 사용자는 얼굴을 가리지 않은 것으로 간주할 수 있게 되는 것이다. 그러므로, 본 발명의 일 실시예에서는, 입을 검출할 수 있는지를 판단함으로써 얼굴의 가려짐을 판단한다. Therefore, if the mouth is not covered, the user can be regarded as not covering the face. Therefore, in one embodiment of the present invention, it is determined that the face is covered by determining whether the mouth can be detected.

또한, 상기한 정상 금융 거래 판단용 얼굴 부위는, 적어도 하나의 눈과 하나의 입으로 설정될 수 있는데, 이는, 하나의 눈과 입이 검출되었다면, 적어도 얼굴의 절반은 노출된 상태인 것으로 간주할 수 있고, 일반적인 사람은, 얼굴의 형태가 거의 대칭이라는 점을 이용하여, 하나의 눈과 입을 통해 나머지 얼굴 부위도 유추하여 생성할 수 있으므로, 얼굴 절반 형태만으로도 어느 정도 원래 얼굴을 식별할 수 있다는 점에 기초한다.In addition, the face portion for determining the normal financial transaction may be set to at least one eye and one mouth, which, if one eye and mouth is detected, at least half of the face will be considered to be exposed. In general, the human face can be generated by inferring the remaining face parts through one eye and mouth by using the fact that the shape of the face is almost symmetrical, so that only half of the face shape can identify the original face to some extent. Based on.

이와 같이, 적어도 입을 이용하여, 또는 적어도 하나의 눈과 입을 이용하여 사용자의 얼굴 가려짐 여부를 판단하게 되므로, 사용자가 머리카락의 흘러내림 또는 악세사리에 의한 일시적인 얼굴 가려짐, 또는 안대와 같은 부득이한 물체에 의해 얼굴의 일부가 가려졌더라도 정상적으로 금융 거래를 수행하는 데에 있어서, 불편함을 끼치지 않도록 유연함을 제공할 수 있다. In this way, at least one mouth or at least one eye and mouth is used to determine whether the user's face is covered, so that the user is temporarily obscured by hair falling or accessories, or by an unavoidable object such as an eye patch. Even if a part of the face is covered, it is possible to provide flexibility so as not to cause inconvenience in performing a normal financial transaction.

한편, 부정금융거래 판단부(240)는, 앞서 설명한 바와 같이, 검출 대상이 되는 얼굴 부위만을 이용하여 동영상을 생성하고, 사용자의 현재 상황을 분석할 수 있다. Meanwhile, as described above, the negative financial transaction determination unit 240 may generate a video using only the face portion to be detected and analyze the current situation of the user.

즉, 예를 들면, 거래 허용 기준에서 요구하는 부위가 입인 경우에, 촬영된 실시간 동영상으로부터 입을 검출하고, 검출된 입의 형태만을 연속적으로 추출하여 동영상을 생성하고, 생성된 동영상에서의 입의 모양 변화 등을 분석함으로써, 현재 사용자가 실제 사람인지, 아니면, 마네킨 또는 다른 사람의 얼굴을 촬영한 사진을 카메라에 비추고 있는 것인지, 가면을 착용하고 있는 것인지 등을 검출할 수 있게 된다. 또한, 사용자의 금융 거래 시도 상황이 제3자(예를 들면, 범죄자)에 의해 강제적으로 강요되는 상황인지 또는 자의적으로 수행되고 있는 상황인지를 판단하는 자료로 이용될 수도 있다. That is, for example, when the area required by the transaction acceptance criteria is the mouth, the mouth is detected from the captured real-time video, and only the shape of the detected mouth is continuously extracted to generate a video, and the shape of the mouth in the generated video By analyzing the change, it is possible to detect whether the current user is a real person, a photograph of a mannequin or another person's face, or whether the user is wearing a mask. In addition, the financial transaction attempt situation of the user may be used as data for determining whether the situation is forcibly enforced by a third party (for example, a criminal) or is being arbitrarily performed.

또한, 부정금융거래 판단부(240)는, 영상 분석부(230)에서 검출된 얼굴 부위의, 사용자 얼굴의 윤곽을 이용하여 측정된 얼굴 크기 및 방향에 대한 상대적인 크기 및 위치 관계를 이용하여 현재 촬영되는 사용자가 실제 사람인지, 사진인지, 마네킨인지, 가면인지 등을 검출할 수 있다. In addition, the negative financial transaction determination unit 240 is currently photographed by using the relative size and position relationship of the face size and direction measured using the contour of the user's face of the face portion detected by the image analyzer 230. The user may be detected as a real person, a photo, a manikin, or a mask.

또한, 영상 분석부(230)에서 적어도 2개의 얼굴 부위를 검출하는 경우에는, 각 얼굴 부위 사이의 위치 관계 및 크기 관계를 이용할 수도 있다. 예를 들어, 적어도 하나의 눈과 입이 검출되는 경우에는, 하나의 눈과 입과 가상으로 위치가 지정될 수 있는 나머지의 눈(검출되지 않은 눈)을 이용하여 역삼각형을 설정하고, 설정된 역삼각형이 정상적인 사람의 얼굴에서 그려질 수 있는 역삼각형인지 판단한다. In addition, when the image analyzer 230 detects at least two face parts, the positional relationship and the size relationship between the face parts may be used. For example, if at least one eye and mouth are detected, an inverted triangle is set using one eye and mouth and the remaining eye (undetected eye) that can be virtually positioned, and the set inverse Determine if the triangle is an inverted triangle that can be drawn from the face of a normal person.

이와 같이, 부정금융거래 판단부(240)에서 현재 금융 거래를 시도하는 사용자가 정상적으로 얼굴을 노출시키고 있는지, 부정하게 금융 거래를 시도하기 위하여 얼굴을 가리고 있거나 가면을 쓰고 있는지 등의 상황을 판단한 후, 정상 거래를 시도하고 있다고 판단한 경우에는 정상 거래 신호를 생성하여 출력하고, 부정 금융 거래를 시도하고 있다고 판단한 경우에는 거래 불가 신호를 생성하여 출력한다.As described above, after the negative financial transaction determining unit 240 determines whether the user who is currently attempting a financial transaction is exposing his / her face normally, or is covering a face or wearing a mask in order to illegally attempt a financial transaction, If it is determined that a normal transaction is attempted, a normal transaction signal is generated and outputted, and if it is determined that a false financial transaction is attempted, a non-tradeable signal is generated and output.

제어 신호 통신부(250)는, 현금 인출기의 금융거래 처리부(140)로부터 전송되는 금융 거래 발생 신호를 영상 분석부(또는 부정금융거래 판단부)로 전송하고, 또한, 부정금융거래 판단부(240)에서 출력한 정상 거래 신호 또는 거래 불가 신호를 현금 인출기의 금융 거래 처리부(140)로 전송한다. The control signal communication unit 250 transmits a financial transaction generation signal transmitted from the financial transaction processing unit 140 of the ATM to the image analysis unit (or the negative financial transaction determination unit), and further, the negative financial transaction determination unit 240. The normal transaction signal or a signal not available for the transaction is transmitted to the financial transaction processor 140 of the ATM.

이러한 구성에 의하면, 현금 인출기 측에서는, 얼굴 가려짐을 판단하여 부정 거래 여부를 판단하는 추가적인 수단을 금융 거래 처리를 위한 하드웨어 또는 소프트웨어와 함께 설계하여 내장하지 않더라도, 현금 인출기(100)와 독립적으로 구성되어 부가될 수 있는 본 발명에 따른 부정금융거래 판단 장치(200)와 연동함으로써 사용자의 얼굴 가림 여부를 확인하여 금융 거래를 허용 또는 거부하는 기능을 간단하게 실현할 수 있다. According to this configuration, the ATM machine is configured independently of the ATM machine 100 even though an additional means for judging a face is not designed and built together with hardware or software for processing a financial transaction. By interlocking with the fraud determination apparatus 200 according to the present invention, it is possible to easily realize a function of allowing or rejecting a financial transaction by checking whether a user's face is covered.

한편, 상술한 설명에서는, 현금 인출기의 금융 거래 처리부(140)가 금융 거래 발생 신호를 부정금융거래 판단 장치(200)로 발송한 경우에 촬영부(210)로부터의 영상을 분석하는 구성으로 설명하였으나, 부정 금융 거래 판단 장치(200)의 촬영부(210) 자체에서 사용자의 접근을 감지하고, 사용자 얼굴의 촬영 및 분석을 실행하여 금융 거래 허용/차단 여부를 결정할 수도 있다. On the other hand, in the above description, when the financial transaction processing unit 140 of the ATM machine sends a financial transaction generation signal to the negative financial transaction determination apparatus 200, the configuration of analyzing the image from the photographing unit 210 has been described. In addition, the photographing unit 210 itself of the fraudulent financial transaction determination apparatus 200 may detect the user's approach, and determine whether to allow / block the financial transaction by performing photographing and analyzing of the user's face.

이를 위하여, 상술한 판단 장치(200)는, 개별적으로 적외선 센서 등의 감지 수단(도시하지 않음)을 포함하고, 이 센서의 동작으로 현금 인출기(100)에 접근하는 사용자를 감지한 경우에 촬영부의 동작 또는 영상 분석부(230)의 동작을 개시하도록 구성될 수도 있다.
To this end, the above-described determination device 200 individually includes a sensing means (not shown) such as an infrared sensor, and when the user detects a user approaching the cash dispenser 100 by the operation of the sensor, It may be configured to initiate an operation or operation of the image analyzer 230.

다음, 도 2 내지 3을 참조하여, 본 발명에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치의 부정 금융 거래 시도 판단 방법 및 부정 금융 거래 시도 판단 방법 중 얼굴 부위 추적 단계를 더욱 상세하게 설명한다.Next, with reference to FIGS. 2 to 3, a face portion tracking step of a method for determining a fraudulent financial transaction attempt and a method for determining a fraudulent financial transaction attempt of an apparatus for determining an unfair financial transaction attempt for an ATM according to the present invention will be described in more detail.

먼저, 사용자가 현금 인출기에 접근하여 카드 투입부에 금융 거래용 카드를 삽입하게 되면, 현금 인출기는 금융 거래의 시도가 발생하였음을 판단 장치로 통보한다(S10). First, when the user approaches the ATM and inserts the card for the financial transaction into the card input unit, the ATM informs the determination device that an attempt has been made for the financial transaction (S10).

판단 장치는, RGB 카메라를 이용하여 전방을 촬영한 영상으로부터 사용자의 존재를 분석한다(S20). 사용자가 현금 인출기의 전방에 존재하는 것으로 판정되면, 적외선 카메라를 이용하여 사용자를 동영상으로 촬영하고, 촬영되는 영상을 실시간으로 출력한다(S30).The determination device analyzes the presence of the user from the image photographed forward using the RGB camera (S20). If it is determined that the user is present in front of the ATM, the camera photographs the user using an infrared camera and outputs the captured image in real time (S30).

판단 장치에서는 촬영되어 전송되는 실시간 적외선 동영상으로부터 지정된 얼굴 부위를 검출하고(S40), 검출된 얼굴 부위의 형태 및 이동 상황 등을 추적하여 해당 얼굴 부위만으로 이루어진 동영상을 생성한다(S50). The determination device detects a specified face region from the real-time infrared video photographed and transmitted (S40), and tracks the shape and movement of the detected face region to generate a video composed of only the corresponding face region (S50).

그리고, 생성된 얼굴 부위 동영상에 기초하여 사용자가 얼굴을 노출시킨 상태로 정상적으로 금융 거래를 시도하고 있는지 또는 얼굴의 일부를 가리고 부정하게 금융 거래를 시도하고 있는지를 판단한다(S60). In operation S60, it is determined whether the user is attempting a financial transaction normally with the face exposed or a part of the face being illegally attempted based on the generated facial region video (S60).

판단 장치는, 이러한 판단에서 정상 거래인 것으로 판단된 경우에는, 현금 인출기로 정상 거래임을 통보하게 되고, 현금 인출기에서는 시도되는 금융 거래를 정상적으로 처리하게 된다(S70). 반대로, 판단 장치에서, 부정 금융 거래인 것을 판단된 경우에는, 현금 인출기로 부정 거래임을 나타내는 거래 불가 신호를 출력하게 된다. 현금 인출기에서는, 거래 불가 신호의 접수에 따라 즉시 금융 거래를 차단시키고, 사용자에게 얼굴 가림을 해제하라는 안내를 통보하거나, 거래 불가 상황을 안내한다(S80).If it is determined in the judgment that the transaction is a normal transaction, the determination device notifies that the ATM is a normal transaction, and the ATM dispenser normally processes the attempted financial transaction (S70). Conversely, in the case where it is determined that the transaction is a negative financial transaction, the determination device outputs a non-tradeable signal indicating that the transaction is illegal. In the ATM, the financial transaction is immediately blocked according to the reception of the non-trading signal, and the user is notified of the guidance of releasing the face mask, or the untradeable situation is notified (S80).

한편, 얼굴 부위를 추적하여 얼굴 부위 동영상을 생성하는 단계(S50)는, 다음과 같이 상세하게 구현될 수 있다(도 3 참조). On the other hand, the step (S50) of generating a facial region video by tracking the facial region may be implemented in detail as follows (see Fig. 3).

먼저, 카메라(RGB 카메라 또는 적외선 카메라)에서 실시간 영상을 입력받으면, 입력된 영상을 분석하여 얼굴 영역을 추출하고(S51), 추출된 얼굴 영역으로부터 얼굴을 구성하는 얼굴 부위 중 거래 허용 기준에서 요구하는 하나 또는 복수의 얼굴 부위를 식별한다. 이때, 식별되는 얼굴 부위는 예를 들면 입(또는 입술)인 것이 바람직하다(S52). First, when a real-time image is input from a camera (RGB camera or an infrared camera), the input region is analyzed to extract a face region (S51), and the face portion constituting the face is extracted from the extracted face region. Identifies one or more facial parts. At this time, the face region to be identified is preferably a mouth (or lips) (S52).

식별되는 입 부위는 동영상 내에서 검출되는 것이므로, 그의 형태 변화를 추적하여 얼굴 부위 동영상으로 구성할 수 있다(S53). 구성된 얼굴 부위 동영상은, 사용자가 실제 사람인지 또는 촬영되고 있는 얼굴 영상이 사진과 같은 조작된 상황으로부터 촬영되고 있는 것인지, 사용자가 악의적인 제3자에 의해 위협받는 상황에서 촬영되고 있는 것인지 등을 판단하는 데에 활용될 수 있다(S54).
Since the mouth part to be identified is detected in the video, the shape change can be tracked to constitute a facial video (S53). The composed face video determines whether the user is a real person or whether the face image being photographed is being photographed from a manipulated situation such as a photograph, or is the user being photographed in a situation threatened by a malicious third party. It can be used to make (S54).

다음, 본 발명의 또다른 실시예에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치의 구성을 도 4를 참조하여 설명한다. 도면을 참조하면, 본 발명의 또다른 실시예에 따른 현금 인출기용 부정 금융 거래 시도 판단 장치(200)는, 도 1에 도시된 판단 장치에 비하여, 카메라를 구비하지 않으며, 현금 인출기(100)에 탑재된 카메라(110)로부터 영상을 제공받도록 구성되어 있다. Next, a configuration of an apparatus for determining an unfair financial transaction attempt for an ATM according to another embodiment of the present invention will be described with reference to FIG. 4. Referring to the drawings, an apparatus for determining a fraudulent financial transaction attempt for a cash machine according to another embodiment of the present invention does not have a camera and has a cash dispenser 100 in comparison with the determination device shown in FIG. 1. It is configured to receive an image from the mounted camera 110.

이러한 구성은, 이미 현금 인출기(100) 자체에 카메라(110)가 내장되어 있다는 점을 이용한 것으로서, 현금 인출기(100)와 통신하여 현금 인출기(100)에서 촬영한 영상을 입력받아 얼굴 부위를 분석하고 얼굴 가림이 존재하는지를 판단하는 구조로 이루어진다. 다만, 현금 인출기의 카메라(110)는 RGB 카메라와 적외선 카메라를 동시에 구비하지 않을 수 있으므로, 단지 RGB 영상을 이용하여(또는 적외선 영상을 이용하여) 얼굴 분석을 실행하게 된다. 물론, 현금 인출기의 카메라(110)가 적외선 필터를 구비한 경우에는, 이 필터의 온/오프를 제어하여 RGB 영상과 적외선 영상을 선택적으로 획득하고 상술한 처리를 수행하도록 구성될 수도 있다. Such a configuration is that the camera 110 is already built in the ATM 100 itself, and communicates with the ATM 100 to receive an image taken by the ATM 100 to analyze a face part. It is composed of a structure for judging whether a face covering exists. However, the camera 110 of the ATM machine may not be equipped with an RGB camera and an infrared camera at the same time, thus performing face analysis using only an RGB image (or using an infrared image). Of course, when the cashier camera 110 is equipped with an infrared filter, it may be configured to control the on / off of the filter to selectively acquire the RGB image and the infrared image and perform the above-described processing.

그 외의 구성 및 동작은, 앞서 설명한 실시예의 구성을 참조할 수 있으므로, 상세한 설명은 생략한다. Other configurations and operations can be referred to the configurations of the above-described embodiment, so detailed description thereof will be omitted.

이와 같이, 현금 인출기의 카메라(110)를 그대로 이용하는 구성에 의하면, 판단 장치(200)에 개별적으로 카메라를 설치할 필요가 없으므로, 판단 장치(200)를 간단하게 구성할 수 있게 된다. 또한, 이러한 구성은, 판단 장치(200)를 현금 인출기(100)의 내부에 내장시킬 수 있다는 장점을 제공할 수 있다. Thus, according to the structure which uses the camera 110 of an ATM machine as it is, since it is not necessary to install a camera separately in the determination apparatus 200, the determination apparatus 200 can be comprised simply. In addition, such a configuration may provide an advantage that the determination device 200 may be embedded in the cash dispenser 100.

Claims (10)

외부로부터 입력되는 거래 불가 신호에 따라 금융 거래를 위해 접근한 사용자의 금융 거래 시도를 거부할 수 있는 현금 인출기와 연동하는 부정 금융 거래 시도 판단 장치로서:
금융 거래를 위해 접근한 상기 사용자를 실시간 동영상으로 촬영하기 위한 적어도 하나의 카메라를 구비한 촬영부와;
상기 촬영부와의 인터페이스를 제공하며 상기 카메라가 촬영한 상기 실시간 동영상을 입력받는 영상 입력부와;
입력받은 상기 실시간 동영상으로부터 상기 사용자의 얼굴을 추적하고, 추적되는 상기 사용자의 얼굴로부터 적어도 하나의 얼굴 부위를 검출하는 영상 분석부와;
검출된 상기 얼굴 부위의 종류 및 개수가 미리정의된 정상 금융 거래 판단용 얼굴 부위의 종류 및 개수 기준(거래 허용 기준)에 부합하는 경우에는 상기 사용자가 얼굴을 가리지 않고 정상적으로 금융 거래를 시도하는 것으로 판단하고, 그렇지 않은 경우에는, 상기 사용자가 얼굴의 일부를 가리고 부정하게 금융 거래를 시도하는 것으로 판단하는 부정금융거래 판단부와;
상기 부정금융거래 판단부에서 상기 사용자가 부정하게 금융 거래를 시도하는 것으로 판단된 경우, 상기 현금 인출기로 상기 사용자에 의한 금융 거래를 거부할 것을 요청하는 상기 거래 불가 신호를 출력하는 제어신호 통신부;를 포함하고,
상기 부정금융거래 판단부는, 상기 영상 분석부에서 입력받은 얼굴 부위들이 거래 허용 기준에 부합하는 얼굴 부위만을 포함하여 얼굴 동영상을 생성하고, 생성된 얼굴 동영상에서 얼굴의 움직임을 분석하여 상기 사용자의 금융 거래 시도 상황을 판단하는 것을 특징으로 하는 현금 인출기용 부정 금융 거래 시도 판단 장치. A fraudulent financial transaction attempt determination device interworking with an ATM that can deny a financial transaction attempt by a user approaching a financial transaction in response to a non-trading signal input from the outside:
A photographing unit having at least one camera for photographing the user approaching a financial transaction in real time video;
An image input unit providing an interface with the photographing unit and receiving the real-time video captured by the camera;
An image analyzer for tracking a face of the user from the received real-time video and detecting at least one face part from the tracked face of the user;
If the detected type and number of face parts meet a predefined type and number of face parts for normal financial transaction determination (transaction acceptance criteria), it is determined that the user attempts a financial transaction normally without covering the face. Otherwise, the negative financial transaction determination unit which judges that the user covers a part of the face and attempts to perform a financial transaction fraudulently;
A control signal communication unit for outputting the non-trading signal requesting the cash dispenser to reject a financial transaction by the user when it is determined that the user fraudulently attempts a financial transaction by the negative financial transaction determination unit; Including,
The negative financial transaction determination unit generates a face video including only the face parts inputted from the image analyzer that meet the transaction acceptance criteria, and analyzes the movement of the face in the generated face video to perform the financial transaction of the user. An attempt to determine a fraudulent financial transaction for a cash machine, characterized in that for determining the attempt situation. 제1항에 있어서,
상기 거래 허용 기준은, 하나의 입으로 설정되고, 검출된 상기 얼굴 부위에서 적어도 입이 검출되지 않은 경우에 상기 사용자가 부정하게 금융 거래를 시도하는 것으로 판단하는 현금 인출기용 부정 금융 거래 시도 판단 장치.The method of claim 1,
The transaction acceptance criterion is set to one mouth, and at least a mouth is not detected in the detected face part, and the user determines that the user illegally attempts a financial transaction. 제1항에 있어서,
상기 거래 허용 기준은, 하나의 입 및 적어도 하나의 눈으로 설정되고, 검출된 상기 얼굴 부위에서 하나의 입과 적어도 하나의 눈이 검출되지 않은 경우에 상기 사용자가 부정하게 금융 거래를 시도하는 것으로 판단하는 현금 인출기용 부정 금융 거래 시도 판단 장치.The method of claim 1,
The transaction acceptance criteria is set to one mouth and at least one eye, and it is determined that the user fraudulently attempts a financial transaction when one mouth and at least one eye are not detected in the detected face part. Determination device for attempting a fraudulent financial transaction for an ATM. 삭제delete 제1항에 있어서,
상기 부정금융거래 판단부는,
검출된 상기 얼굴 부위 중 적어도 하나와 상기 얼굴 동영상으로부터 추출된 상기 사용자의 얼굴 크기 및 방향에 대한 크기 및 위치 관계를 이용하여, 또는, 검출된 상기 얼굴 부위 중 적어도 2개의 상대적인 크기 및 위치 관계를 이용하여 상기 사용자가 부정하게 금융 거래하는 것인지를 판단하는 것을 특징으로 하는 현금 인출기용 부정 금융 거래 시도 판단 장치.The method of claim 1,
The negative financial transaction determination unit,
Using a size and positional relationship with respect to at least one of the detected face regions and the face size and direction of the user extracted from the face video, or using a relative size and positional relationship of at least two of the detected face regions And determining whether the user illegally conducts a financial transaction. 제1항에 있어서,
상기 촬영부는, 사용자의 RGB 영상을 생성하는 가시광선 카메라 및 사용자의 적외선 영상을 생성하기 위한 적외선 카메라를 포함하는 것을 특징으로 하는 현금 인출기용 부정 금융 거래 시도 판단 장치.The method of claim 1,
The photographing unit includes a visible light camera for generating an RGB image of the user and an infrared camera for generating an infrared image of the user. 제6항에 있어서,
상기 제어신호 통신부는, 상기 금융 거래의 발생을 감지한 상기 현금 출금기에서 출력하는 금융 거래 발생 신호를 수신하고,
상기 영상 분석부는, 상기 가시광선 카메라로부터 생성된 상기 RGB 영상을 분석하여 상기 사용자의 존재 여부를 분석하고, 상기 사용자가 존재하는 경우에 상기 적외선 카메라로부터 생성된 상기 적외선 영상을 이용하여 상기 사용자의 얼굴을 추적하는 것을 특징으로 하는 현금 인출기용 부정 금융 거래 시도 판단 장치.The method according to claim 6,
The control signal communication unit receives a financial transaction generation signal output from the cash dispenser that detects the occurrence of the financial transaction,
The image analyzing unit analyzes the presence of the user by analyzing the RGB image generated by the visible light camera, and the face of the user using the infrared image generated from the infrared camera when the user exists. Device for determining a fraudulent financial transaction attempt for the ATM, characterized in that for tracking the. 금융 거래를 위해 접근한 사용자의 얼굴을 촬영할 수 있는 카메라를 내장하고 있으며 외부로부터 입력되는 거래 불가 신호에 따라 상기 사용자의 금융 거래를 거부할 수 있는 현금 인출기와 연동하는 부정 금융 거래 시도 판단 장치로서:
금융 거래를 위해 접근한 상기 사용자를 상기 현금인출기의 상기 카메라가 촬영한 실시간 동영상을 입력받는 영상 입력부와;
입력받은 상기 실시간 동영상으로부터 상기 사용자의 얼굴을 추적하고, 추적되는 상기 사용자의 얼굴로부터 적어도 하나의 얼굴 부위를 검출하는 영상 분석부와;
검출된 상기 얼굴 부위의 종류 및 개수가 미리정의된 정상 금융 거래 판단용 얼굴 부위의 종류 및 개수 기준(거래 허용 기준)에 부합하는 경우에는 상기 사용자가 얼굴을 가리지 않고 정상적으로 금융 거래를 시도하는 것으로 판단하고, 그렇지 않은 경우에는, 상기 사용자가 얼굴의 일부를 가리고 부정하게 금융 거래를 시도하는 것으로 판단하는 부정금융거래 판단부와;
상기 부정금융거래 판단부에서 상기 사용자가 부정하게 금융 거래를 시도하는 것으로 판단된 경우, 상기 현금 인출기로 상기 사용자에 의한 금융 거래를 거부할 것을 요청하는 상기 거래 불가 신호를 출력하는 제어신호 통신부를 포함하고,
상기 부정금융거래 판단부는, 상기 영상 분석부에서 입력받은 얼굴 부위들이 거래 허용 기준에 부합하는 얼굴 부위만을 포함하여 얼굴 동영상을 생성하고, 생성된 얼굴 동영상에서 얼굴의 움직임을 분석하여 상기 사용자의 금융 거래 시도 상황을 판단하는 것을 특징으로 하는 현금 인출기용 부정 금융 거래 시도 판단 장치.A built-in camera for capturing a face of an approaching user for a financial transaction, and a device for determining a fraudulent financial transaction attempt linked with an ATM that can reject the financial transaction of the user according to a non-trading signal input from the outside:
An image input unit configured to receive a real-time video photographed by the camera of the at least one cash dispenser from the user approaching a financial transaction;
An image analyzer for tracking a face of the user from the received real-time video and detecting at least one face part from the tracked face of the user;
If the detected type and number of face parts meet a predefined type and number of face parts for normal financial transaction determination (transaction acceptance criteria), it is determined that the user attempts a financial transaction normally without covering the face. Otherwise, the negative financial transaction determination unit which judges that the user covers a part of the face and attempts to perform a financial transaction fraudulently;
And a control signal communication unit for outputting the non-trading signal requesting the cash dispenser to reject the financial transaction by the user when it is determined that the user fraudulently attempts a financial transaction. and,
The negative financial transaction determination unit generates a face video including only the face parts inputted from the image analyzer that meet the transaction acceptance criteria, and analyzes the movement of the face in the generated face video to perform the financial transaction of the user. An attempt to determine a fraudulent financial transaction for a cash machine, characterized in that for determining the attempt situation. 제8항에 있어서,
상기 거래 허용 기준은, 하나의 입으로 설정되고, 검출된 상기 얼굴 부위에서 적어도 입이 검출되지 않은 경우에 상기 사용자가 부정하게 금융 거래를 시도하는 것으로 판단하는 현금 인출기용 부정 금융 거래 시도 판단 장치.9. The method of claim 8,
The transaction acceptance criterion is set to one mouth, and at least a mouth is not detected in the detected face part, and the user determines that the user illegally attempts a financial transaction. 삭제delete
KR1020120098703A 2012-03-23 2012-09-06 Illegal access detecting device for atm KR101372365B1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020120030080 2012-03-23
KR20120030080 2012-03-23
KR1020120049365 2012-05-09
KR20120049365 2012-05-09

Publications (2)

Publication Number Publication Date
KR20130108041A KR20130108041A (en) 2013-10-02
KR101372365B1 true KR101372365B1 (en) 2014-03-13

Family

ID=49631204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120098703A KR101372365B1 (en) 2012-03-23 2012-09-06 Illegal access detecting device for atm

Country Status (1)

Country Link
KR (1) KR101372365B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019182409A1 (en) * 2018-03-22 2019-09-26 Samsung Electronics Co., Ltd. Electronic device and authentication method thereof
KR102579610B1 (en) 2023-08-02 2023-09-18 주식회사 인텔리빅스 Apparatus for Detecting ATM Abnormal Behavior and Driving Method Thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934954A (en) * 2017-03-01 2017-07-07 天津楠石科技有限公司 A kind of self-help drawing money machine

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040074424A (en) * 2003-02-18 2004-08-25 삼성전자주식회사 Method of discriminating illegal transactor in automatic cash transaction machine
KR20040098134A (en) * 2003-05-13 2004-11-20 전자부품연구원 Embedded method of intelligent automated teller machine by digital image processing
KR20080016253A (en) * 2006-08-18 2008-02-21 학교법인 포항공과대학교 Facial disguise discrimination apparatus and method
KR20100058809A (en) * 2008-11-25 2010-06-04 한국전자통신연구원 Method for detecting forged face by using infrared image and apparatus thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040074424A (en) * 2003-02-18 2004-08-25 삼성전자주식회사 Method of discriminating illegal transactor in automatic cash transaction machine
KR20040098134A (en) * 2003-05-13 2004-11-20 전자부품연구원 Embedded method of intelligent automated teller machine by digital image processing
KR20080016253A (en) * 2006-08-18 2008-02-21 학교법인 포항공과대학교 Facial disguise discrimination apparatus and method
KR20100058809A (en) * 2008-11-25 2010-06-04 한국전자통신연구원 Method for detecting forged face by using infrared image and apparatus thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019182409A1 (en) * 2018-03-22 2019-09-26 Samsung Electronics Co., Ltd. Electronic device and authentication method thereof
KR20190111329A (en) * 2018-03-22 2019-10-02 삼성전자주식회사 An electronic device and authentication method thereof
US11605145B2 (en) 2018-03-22 2023-03-14 Samsung Electronics Co., Ltd. Electronic device and authentication method thereof
KR102584459B1 (en) * 2018-03-22 2023-10-05 삼성전자주식회사 An electronic device and authentication method thereof
KR102579610B1 (en) 2023-08-02 2023-09-18 주식회사 인텔리빅스 Apparatus for Detecting ATM Abnormal Behavior and Driving Method Thereof

Also Published As

Publication number Publication date
KR20130108041A (en) 2013-10-02

Similar Documents

Publication Publication Date Title
US20210287026A1 (en) Method and apparatus with liveness verification
KR100695155B1 (en) Apparatus and method for detecting occluded face and apparatus and method for discriminating illicit transactor employing the same
EP1635307A1 (en) Information processing apparatus
JP2007135149A (en) Mobile portable terminal
CA3048775A1 (en) Atm with biometric security
KR101372365B1 (en) Illegal access detecting device for atm
TWM566865U (en) Transaction system based on face recognitioin for verification
KR100825689B1 (en) Facial Disguise Discrimination method
US20220277311A1 (en) A transaction processing system and a transaction method based on facial recognition
TWI687872B (en) Transaction system based on face recognitioin for verification and method thereof
CN109196517B (en) Comparison device and comparison method
TW201942879A (en) Transaction system based on face recognition for verification and method thereof
KR101806028B1 (en) User authentication method using user physical characteristics and user authentication system
KR101742064B1 (en) A terminal for providing banking services, a method for operating the terminal, a server for providing banking services and a method for operatin the server
JP2005149145A (en) Object detecting device and method, and computer program
JP5339942B2 (en) Transaction monitoring device
KR20060117865A (en) Image security apparatus in automatic tellex machine and method thereof
JP5448468B2 (en) Transaction monitoring device
KR101148883B1 (en) Automated teller machine preventing illegal use and method for preventing illegal use in automated teller machine
US20230141541A1 (en) Authentication control apparatus, authentication system, authentication control method, and storage medium
KR101057718B1 (en) How to determine whether the acquired image can be identified by the user
JP5317735B2 (en) Transaction monitoring device
CN112069915A (en) ATM with face recognition system
KR102594998B1 (en) Non-face-to-face identity authentication customer verification device and method
KR102579610B1 (en) Apparatus for Detecting ATM Abnormal Behavior and Driving Method Thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 4

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 6

R401 Registration of restoration