KR101978795B1 - Apparatus for user authentication using sound of input device and method thereof - Google Patents

Apparatus for user authentication using sound of input device and method thereof Download PDF

Info

Publication number
KR101978795B1
KR101978795B1 KR1020170165761A KR20170165761A KR101978795B1 KR 101978795 B1 KR101978795 B1 KR 101978795B1 KR 1020170165761 A KR1020170165761 A KR 1020170165761A KR 20170165761 A KR20170165761 A KR 20170165761A KR 101978795 B1 KR101978795 B1 KR 101978795B1
Authority
KR
South Korea
Prior art keywords
frequency
user
user authentication
frequency characteristic
input device
Prior art date
Application number
KR1020170165761A
Other languages
Korean (ko)
Inventor
서효중
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020170165761A priority Critical patent/KR101978795B1/en
Application granted granted Critical
Publication of KR101978795B1 publication Critical patent/KR101978795B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information

Abstract

The present invention relates to a user authentication device using a sound from an input device and a method thereof. The user authentication method using the user authentication device includes: a step of collecting and recording a sound outputted from an input device through a connected microphone when a user inputs information for user authentication through the input device; a step of extracting a frequency characteristic by signaling the recorded sound data; a step of determining whether the extracted frequency characteristic and the frequency characteristic pre-registered for user confirmation match by comparing the frequency characteristics; and a step of conducting user authentication on the user when a difference between the extracted frequency characteristic and the pre-registered frequency characteristic is subject to a predetermined range, and disapproving the user authentication by determining pirate authentication when the difference between the extracted frequency characteristic and the pre-registered frequency characteristic is out of the predetermined range. According to the present invention, since each user can be characterized and classified in accordance with input devices and unique input characteristics of the users, the user authentication device can verify whether the same person accesses the same device or not. Moreover, the user authentication device can be additionally applied without making a change to an existing confirmation and authentication process, and even an acoustic difference according to the type of a key and a specific letter can be recognized, so precise identity verification is possible.

Description

입력장치의 소리를 이용한 사용자 인증 장치 및 그 방법{APPARATUS FOR USER AUTHENTICATION USING SOUND OF INPUT DEVICE AND METHOD THEREOF}[0001] APPARATUS FOR USER AUTHENTICATION USING SOUND OF INPUT DEVICE AND METHOD THEREOF [0002]

본 발명은 입력장치의 소리를 이용한 사용자 인증 장치 및 그 방법에 관한 것으로, 보다 상세하게는 사용자 인증을 위해 입력장치에 입력을 수행하는 과정에서 발생하는 소리를 이용하여 인증 도용을 탐지하는 입력장치의 소리를 이용한 사용자 인증 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for authenticating a user using sound of an input device, and more particularly, to an apparatus and method for authenticating a user using sound of an input device, To a user authentication apparatus using sound and a method thereof.

일반적으로 유무선 인터넷을 통하여 이루어지는 로그인, 전자상거래, 뱅킹 등 비대면 형태의 인증 및 거래는 등록된 본인확인 과정을 거치게 된다. 하지만 비대면 거래의 특성상 인터넷을 경유하여 이루어지게 되며, 계정의 탈취, 암호의 유출, 해킹 등 다양한 보안유출에 따라 타인에 의한 계정 및 인증 도용의 발생 우려가 있다.In general, non-face-to-face authentication and transactions such as log-in, e-commerce, and banking via wired and wireless Internet will go through a registered identity verification process. However, due to the nature of non-face-to-face transactions, it is done via the Internet, and there is a risk of account and authentication theft by others due to a variety of security breaches such as account hijacking, password leakage, and hacking.

그러므로 계정 및 인증도용을 방지하기 위해 다양한 보조적 기술을 이용하게 되며, 가장 강력하게는 금융거래에서 사용하는 일회용 패스워드 발생장치로부터 일회용 패스워드 발생 프로그램의 사용, 기 인증 및 등록되어 있는 별도의 기기를 통한 본인확인 절차 수행, 이동통신망을 이용한 문자메시지를 이용한 확인, ARS 전화를 통한 확인 등 다양한 방법을 사용하고 있다. Therefore, various auxiliary technologies are used to prevent account and authentication theft. Most strongly, the use of a one-time password generating program from a one-time password generating device used in financial transactions, an authentication through a separate device Performing a confirmation procedure, confirming using a text message using a mobile communication network, and checking through an ARS telephone.

하지만 이러한 부가적 방법은 사용상에 있어서 불편함을 초래하며, 본인확인 및 인증과정에 있어서 부가적인 비용을 발생시키기 때문에, 모든 경우에 이러한 다양한 절차 및 다중경로를 이용한 본인인증을 실시하고 있지 않고 있으며, 편리함을 위해 복잡한 인증 절차를 간소화하는 방향으로 연구되고 있다. However, these additional methods cause inconvenience in use and incur additional costs in the identity verification and authentication process. Therefore, in all cases, the user authentication is not performed using these various procedures and multipath, It is being studied to simplify complicated authentication procedures for convenience.

한편, 일반적으로 각 개인의 생활에 있어서, 본인 인증을 수행하기 위한 패턴, 장소 및 주변 환경이 반복적이고 고정적인 경우가 대다수이며, 사용자가 이용하는 주변 장치 또한 일정 기간 이상 지속되는 특성을 이용하여 본인 도용을 탐지하고 위험성을 평가할 수 있는 기술이 요구된다. On the other hand, in general, the pattern, the place and the surrounding environment for performing the authentication of the individual are repeated and fixed in most of the lives of the individual, and the peripherals used by the users are also used for the self- And to assess the risk.

본 발명의 배경이 되는 기술은 대한민국 국내등록특허 제 10-1457131호(2014.10.31 공고)에 개시되어 있다.The technology which is the background of the present invention is disclosed in Korean Patent No. 10-1457131 (published on October 31, 2014).

본 발명이 이루고자 하는 기술적 과제는 사용자 인증을 위해 입력장치에 입력을 수행하는 과정에서 발생하는 소리를 이용하여 인증 도용을 탐지하는 입력장치의 소리를 이용한 사용자 인증 장치 및 그 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention provides an apparatus and method for authenticating a user using a sound of an input device that detects authentication theft using sounds generated in an input device for user authentication.

이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 사용자 인증 장치를 이용한 사용자 인증 방법에 있어서, 사용자가 입력장치를 통해 본인인증을 위한 정보를 입력하면, 연동되는 마이크를 통해 상기 입력장치로부터 출력되는 소리를 집음하여 기록하는 단계, 기록된 소리 데이터를 신호 처리하여 주파수 특성을 추출하는 단계, 상기 추출된 주파수 특성과 기 등록된 본인 확인을 위한 주파수 특성과 비교하여 일치 여부를 판단하는 단계, 그리고 상기 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위 내에 해당하는 경우, 상기 사용자의 본인인증을 수행하고, 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위를 벗어나는 경우, 인증 도용으로 판단하여 상기 사용자의 본인인증을 불승인하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for authenticating a user using a user authentication apparatus, the method comprising: inputting information for authenticating the user through an input device; Extracting a frequency characteristic by signal processing the recorded sound data, comparing the extracted frequency characteristic with a frequency characteristic for identifying the registered person, and determining whether the extracted frequency characteristic is coincident with the frequency characteristic, When the difference between the extracted frequency characteristic and the pre-registered frequency characteristic falls within a certain range, the user authentication of the user is performed, and when the difference between the extracted frequency characteristic and the previously registered frequency characteristic deviates from a certain range, And the step of authenticating the user of the user .

상기 주파수 특성을 추출하는 단계는, 상기 기록된 소리 데이터를 고속 푸리에 변환(FFT)하여 주파수 별로 각 주파수 구성 요소 값을 산출하고, 상기 각 주파수 구성 요소의 세기 값이 가장 큰 순서대로 나열하여 상기 입력장치의 주파수 특성을 추출할 수 있다. The step of extracting the frequency characteristics may further comprise the steps of: performing Fast Fourier Transform (FFT) on the recorded sound data to calculate each frequency component value for each frequency; The frequency characteristics of the apparatus can be extracted.

상기 주파수 특성을 추출하는 단계는, 상기 세기 값이 가장 큰 순서대로 나열된 세 개의 주파수 구성 요소의 각 피크 지점에 대한 주파수 값과 주파수 크기간 비율을 상기 입력장치의 주파수 특성으로 추출할 수 있다. The extracting of the frequency characteristic may extract a ratio between a frequency value and a frequency magnitude for each peak point of the three frequency components arranged in the order of the largest intensity value as a frequency characteristic of the input device.

상기 일치 여부를 판단하는 단계는, 상기 추출된 주파수 특성 값의 세 개의 피크 지점의 주파수 값과 주파수 크기간 비율이 상기 기 등록된 주파수 특성 값의 세 개의 피크 지점의 주파수 값과 주파수 크기간 비율의 일정 범위 이내에 포함되는 경우, 일치하는 것으로 판단할 수 있다.Wherein the step of judging whether or not the extracted frequency characteristic value has a ratio of a frequency value and a frequency size of three peak points of the extracted frequency characteristic value to a frequency characteristic value of three peak points of the pre- If they are included within a certain range, they can be judged to match.

상기 마이크는, 상기 입력 변조 탐지 장치에 내장되거나, 별도의 단말에 장착된 마이크일 수 있다. The microphone may be embedded in the input modulation detection device or may be a microphone mounted on a separate terminal.

상기 입력장치는 키보드를 포함할 수 있다. The input device may include a keyboard.

본 발명의 다른 실시예에 따르면, 사용자 인증 장치는 사용자가 입력장치를 통해 본인인증을 위한 정보를 입력하면, 연동되는 마이크를 통해 상기 입력장치로부터 출력되는 소리를 집음하여 기록하는 소리 기록부, 기록된 소리 데이터를 신호 처리하여 주파수 특성을 추출하는 주파수 특성 추출부, 상기 추출된 주파수 특성과 기 등록된 본인 확인을 위한 주파수 특성과 비교하여 일치 여부를 판단하는 판단부, 그리고 상기 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위 내에 해당하는 경우, 상기 사용자의 본인인증을 수행하고, 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위를 벗어나는 경우, 인증 도용으로 판단하여 상기 사용자의 본인인증을 불승인하는 제어부를 포함한다.According to another embodiment of the present invention, a user authentication apparatus includes a sound recording unit for collecting and recording sounds output from the input device through a linked microphone when a user inputs information for authenticating the user through an input device, A frequency characteristic extracting unit for extracting a frequency characteristic by processing the sound data, a judging unit for comparing the extracted frequency characteristic with a frequency characteristic for confirming the registered person, If the difference between the extracted frequency characteristics and the pre-registered frequency characteristics deviates from a certain range, it is determined that authentication is fraudulent, And a control unit for disallowing authentication of the user.

본 발명에 따르면, 사용자의 고유한 입력 특성과 입력장치에 따라 각각의 사용자를 특성화하여 구별할 수 있어 동일인이 동일 기기를 이용한 접근이 이루어지고 있는지를 검증할 수 있다. According to the present invention, it is possible to characterize and distinguish each user according to the unique input characteristics of the user and the input device, and it is possible to verify whether the same person is accessing using the same device.

또한, 기존의 본인 확인 및 인증 과정에 대한 변동 없이 추가적으로 적용 가능하며, 특정 문자와 키의 종류에 따른 소리 차이까지를 포괄해 인식함으로써 정밀한 동일성 검증이 가능하다. In addition, the present invention can be applied additionally without changing the existing identification and authentication process, and it is possible to verify the exactity by recognizing the difference in sound according to the type of a specific character and key.

도 1은 본 발명의 실시예에 따른 사용자 인증 시스템을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 사용자 인증 장치를 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 사용자 인증 방법을 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 입력장치에서 발생하는 소리의 파형을 나타낸 예시도이다.
도 5는 도 4의 예시도를 주파수 성분으로 변환된 그래프이다.1 is a block diagram illustrating a user authentication system according to an embodiment of the present invention.
2 is a configuration diagram illustrating a user authentication apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a user authentication method according to an embodiment of the present invention.
4 is a diagram illustrating waveforms of sound generated in an input device according to an embodiment of the present invention.
5 is a graph obtained by converting the example of FIG. 4 into frequency components.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when an element is referred to as " comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.

이하에서는 도 1을 이용하여 입력장치의 소리를 이용하여 사용자 인증을 수행하는 사용자 인증 시스템에 대해서 상세하게 설명한다. Hereinafter, a user authentication system for performing user authentication using the sound of the input device will be described in detail with reference to FIG.

도 1은 본 발명의 실시예에 따른 사용자 인증 시스템을 나타낸 구성도이다.1 is a block diagram illustrating a user authentication system according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 사용자 인증 시스템은 입력장치(100), 사용자 인증 장치(200), 마이크(300) 및 인증 서버(400)를 포함한다. As shown in FIG. 1, the user authentication system includes an input device 100, a user authentication device 200, a microphone 300, and an authentication server 400.

사용자는 사용자 인증을 수행하기 위해, 인증을 필요로 하는 사이트 또는 인증 서버(400)에 접속하여 인증을 위한 정보를 입력장치(100)를 통해 입력한다. In order to perform user authentication, the user accesses a site or an authentication server 400 requiring authentication, and inputs information for authentication through the input device 100. [

예를 들어, 사용자는 인증 서버(400)에 접속하여 입력 장치(100)를 통해 일회용 패스워드 발생장치로부터 일회용 패스워드 입력, 기 인증 및 등록된 패스 워드 중 일부 번호 입력, 기 인증 및 등록되어 있는 별도의 기기를 통한 본인확인 절차 수행 후 번호 입력 등 다양한 방법을 통해 본인 인증 정차를 수행한다. For example, the user accesses the authentication server 400 and inputs a one-time password from the one-time password generating device through the input device 100, authenticates and inputs some of the registered passwords, After the identity verification procedure is performed through the device, the user authentication stop is performed through various methods such as entering the number.

이와 같은 과정에서, 사용자가 인증 서버(400)에 접속하면, 인증 서버(400)는 사용자 인증 장치(200)가 구동할 수 있도록 구동 신호를 전달할 수 있다. In this process, when the user accesses the authentication server 400, the authentication server 400 can transmit a driving signal so that the user authentication apparatus 200 can operate.

그리고 사용자가 입력장치(100)를 통해 본인 인증 정보를 입력하면, 사용자 인증 장치(200)는 입력하는 과정에서 발생하는 입력장치(100) 소리를 연동된 마이크(300)를 통해 기록한다. When the user inputs the authentication information through the input device 100, the user authentication device 200 records the sound of the input device 100 generated in the input process through the linked microphone 300.

이때, 소리는 가청 주파수 대역에서 다양한 요소로 나타나며, 음원으로부터 거리가 2배가 될 때 6 dB 감소하여 1/4의 크기가 되는 만큼, 거리에 따라 급격히 감소한다. 따라서, 사용자 인증 장치(200)는 입력장치(100) 주변의 작은 반경 내 위치하는 마이크(300)를 통해 반복적으로 발생하는 소리를 집음할 수 있다. At this time, the sound appears as various elements in the audio frequency band, and when the distance from the sound source is doubled, it decreases by 6 dB to 1/4. Therefore, the user authentication apparatus 200 can collect sounds generated repeatedly through the microphone 300 located within a small radius around the input apparatus 100. [

그리고 입력장치(100)는 키보드와 같이, 사용자가 정보를 입력하고자 히팅할 때 소리가 나는 키패드, 단말 등을 모두 포함할 수 있다. The input device 100 may include a keypad, a terminal, or the like that sounds when the user hits the information to input information, such as a keyboard.

예를 들어, 입력 장치(100)가 키보드의 경우, 자판을 누를 때 충격에 의한 반복적 소음을 발생시키고, 이러한 소음은 키보드의 모델 및 타이핑을 하는 사람의 습성에 대응하는 특성을 가지게 된다.For example, when the input device 100 is a keyboard, repetitive noises due to shocks are generated when the keyboard is pressed, and such noise has characteristics corresponding to the model of the keyboard and the habit of the typing person.

따라서, 사용자 인증 장치(200)는 입력장치(100)로부터 발생되는 소리를 집음하여 기록하고, 반복성과 각 사람간의 소리에 대한 차이를 구별하기 위해 주파수분석을 수행한다. 이때, 주파수 분석 방법은 대표적인 주파수 변환 방법인 고속 푸리에 변환(Fast Fourier Transform: FFT)으로 소리에 대하여 구성하는 주파수 주기에 따라 각 어느 정도의 크기를 차지하고 있는지 분석될 수 있다. Accordingly, the user authentication apparatus 200 collects and records the sound generated from the input apparatus 100, and performs frequency analysis to distinguish between the repeatability and the difference between the persons. At this time, the frequency analysis method can be analyzed by a fast Fourier transform (FFT), which is a representative frequency conversion method, according to the frequency period constituting sound.

그리고 사용자 인증 장치(200)는 사용자에 대응되는 기 설정된 주파수 특성과 비교하여 일치하는 경우, 본인 인증을 승인하고, 기 설정된 주파수 특성과 비교하여 일치하지 않는 경우, 본인 인증을 불승인할 수 있다. If the user authentication apparatus 200 compares the frequency characteristics with the predetermined frequency characteristics corresponding to the user, the user authentication apparatus 200 approves the user authentication and compares the predetermined frequency characteristics with the predetermined frequency characteristics.

이처럼 사용자 인증 장치(200)는 인증 서버(400)로 본인 인증 결과를 전송할 수 있으며, 최종적으로 인증 서버(400)는 사용자 인증 장치(200)로부터 본인 인증 결과를 고려하여 최종적인 본인 인증을 수행할 수 있다. In this way, the user authentication apparatus 200 can transmit the authentication result to the authentication server 400. Finally, the authentication server 400 performs the final authentication by considering the authentication result from the user authentication apparatus 200 .

또한, 마이크(300)는 입력 장치(100)의 주변의 작은 반경 이내의 주변 기기에 내장될 수 있으며, 별도의 휴대용 단말에 장착될 수 있다. Also, the microphone 300 may be embedded in a peripheral device within a small radius around the input device 100, and may be mounted on a separate portable terminal.

이때, 마이크(300)가 별도의 휴대용 단말에 장착되는 경우, 사용자 인증 장치(200)는 입력 장치(100)와 일정 거리 이내에 위치하도록 사용자에게 요청하는 메시지를 휴대용 단말에 표시할 수 있다. At this time, when the microphone 300 is mounted on a separate portable terminal, the user authentication apparatus 200 can display a message requesting the user to be located within a certain distance from the input apparatus 100 on the portable terminal.

이와 같이, 본 발명의 실시예에 따른 사용자 인증 시스템은 유선 또는 무선 네트워크로 연결되어 데이터 또는 신호를 송수신할 수 있다. As described above, the user authentication system according to the embodiment of the present invention can be connected to a wired or wireless network to transmit / receive data or signals.

이하에서는 도 2를 이용하여 입력 장치의 소리를 이용한 사용자 인증 장치에 대해서 상세하게 설명한다. Hereinafter, a user authentication apparatus using sound of an input device will be described in detail with reference to FIG.

도 2는 본 발명의 실시예에 따른 사용자 인증 장치를 나타낸 구성도이다. 2 is a configuration diagram illustrating a user authentication apparatus according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 사용자 인증 장치(200)는 소리 기록부(210), 주파수 특성 추출부(220), 판단부(230) 및 제어부(240)를 포함한다. 2, the user authentication apparatus 200 includes a sound recording unit 210, a frequency characteristic extraction unit 220, a determination unit 230, and a control unit 240.

먼저, 소리 기록부(210)는 사용자가 입력장치를 통해 본인인증을 위한 정보를 입력하면, 연동되는 마이크를 통해 입력장치로부터 출력되는 소리를 집음하여 기록한다. First, when the user inputs information for authenticating the user through the input device, the sound recording unit 210 collects and records the sound output from the input device through the interlocked microphone.

그리고 소리 기록부(210)는 마이크로부터 집음된 소리 데이터를 실시간으로 기록할 수 있다. The sound recording unit 210 can record the sound data collected from the microphones in real time.

다음으로 주파수 특성 추출부(220)는 기록된 소리 데이터를 신호 처리하여 주파수 특성을 추출한다. 즉, 주파수 특성 추출부(200)는 기록된 소리 데이터를 고속 푸리에 변환(FFT)을 통해 주파수로 변환할 수 있다. Next, the frequency characteristic extraction unit 220 processes the recorded sound data to extract frequency characteristics. That is, the frequency characteristic extracting unit 200 may convert the recorded sound data into a frequency through Fast Fourier Transform (FFT).

다음으로 판단부(230)는 추출된 주파수 특성과 기 등록된 본인 확인을 위한 주파수 특성과 비교하여 일치 여부를 판단한다. Next, the determination unit 230 compares the extracted frequency characteristics with the frequency characteristics for identifying the registered person and determines whether they match or not.

여기서, 기 등록된 본인 확인을 위한 주파수 특성은 이전 시점에서 사용자가 기 등록한 입력장치의 소리를 기록하여 기록된 소리에서 추출된 주파수 특성을 나타낸다.Here, the frequency characteristic for confirming the previously registered person identifies the frequency characteristic extracted from the recorded sound by recording the sound of the input device previously registered by the user at the previous time point.

다음으로 제어부(240)는 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위 내에 해당하는 경우, 사용자의 본인인증을 승인한다. Next, when the difference between the extracted frequency characteristic and the pre-registered frequency characteristic falls within a certain range, the control unit 240 approves the user's identity authentication.

한편, 제어부(240)는 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위를 벗어나는 경우, 인증 도용으로 판단하여 사용자의 본인인증을 불승인한다. On the other hand, if the difference between the extracted frequency characteristics and the pre-registered frequency characteristics deviates from a certain range, the control unit 240 determines that authentication is fraudulent and disallow the user's identity authentication.

그리고 제어부(240)는 사용자의 본인인증의 승인 여부를 인증서버(400)로 전송할 수 있다. Then, the control unit 240 can transmit to the authentication server 400 whether or not the user's authentication has been approved.

이하에서는 도 3 내지 도 5를 이용하여 본 발명의 실시예에 따른 사용자 인증 과정에서 입력장치로부터 발생하는 소리의 특징을 이용하여 본인인증을 수행하는 사용자 인증 방법에 대해서 상세하게 설명한다. Hereinafter, a user authentication method for performing authentication using a feature of a sound generated from an input device in a user authentication process according to an embodiment of the present invention will be described in detail with reference to FIG. 3 to FIG.

도 3은 본 발명의 실시예에 따른 사용자 인증 방법을 나타낸 순서도이고, 도 4는 본 발명의 실시예에 따른 입력장치에서 발생하는 소리의 파형을 나타낸 예시도이다. 그리고 도 5는 도 4의 예시도를 주파수 성분으로 변환된 그래프이다.FIG. 3 is a flowchart illustrating a method for authenticating a user according to an embodiment of the present invention, and FIG. 4 is a diagram illustrating waveforms of sound generated in an input device according to an embodiment of the present invention. And FIG. 5 is a graph obtained by converting the example of FIG. 4 into frequency components.

도 3에 도시한 바와 같이, 사용자 인증 장치(200)는 사용자가 입력장치를 통해 본인인증을 위한 정보를 입력하면(S305), 연동되는 마이크를 통해 입력장치로부터 출력되는 소리를 집음하여 기록한다(S310). 3, when the user inputs information for authenticating the user through the input device (S305), the user authentication device 200 collects and records the sound output from the input device through the associated microphone ( S310).

이때, 사용자 인증 장치(200)는 내장된 마이크 또는 입력장치와 일정 거리 이내에 위치하는 주변 기기에 내장된 마이크 또는 별도의 단말에 장착된 마이크를 통해 입력장치의 소리를 집음할 수 있다. At this time, the user authentication apparatus 200 can pick up the sound of the input device through a built-in microphone or a microphone built in a peripheral device located within a certain distance from the input device, or a microphone mounted in a separate terminal.

도 4에 도시한 바와 같이, 사용자 인증 장치(200)는 집음된 소리 데이터를 시간에 따라 기록할 수 있다. As shown in Fig. 4, the user authentication apparatus 200 can record the collected sound data according to time.

다음으로 사용자 인증 장치(200)는 기록된 소리 데이터를 신호 처리하여 주파수 특성을 추출한다(S320). Next, the user authentication apparatus 200 processes the recorded sound data to extract frequency characteristics (S320).

즉, 사용자 인증 장치(200)는 시간에 따른 소리 파형을 주파수 별로 분석하고, 주파수별 각 주파수 구성 요소 값을 산출할 수 있다. 이때, 해당 주파수분석 결과는 각 주파수성분의 세기에 따라 차이가 나타나며, 고유한 소리에 따라 다른 형상과 값이 나타난다.That is, the user authentication apparatus 200 can analyze the sound waveform according to time by frequency and calculate each frequency component value by frequency. At this time, the frequency analysis result shows a difference according to the intensity of each frequency component, and different shapes and values are displayed according to the unique sound.

그리고 사용자 인증 장치(200)는 사용자 인증 장치(200)는 세기 값이 가장 큰 순서대로 나열된 세 개의 주파수 구성 요소의 각 피크 지점에 대한 주파수 값과 주파수 크기간 비율을 입력장치의 주파수 특성으로 추출할 수 있다. In the user authentication apparatus 200, the user authentication apparatus 200 extracts the ratio between the frequency value and the frequency size for each peak point of the three frequency components listed in order of greatest intensity value as the frequency characteristics of the input device .

즉, 도 5에 도시한 바와 같이, 사용자 인증 장치(200)는 각 주파수 구성 요소의 세기 값이 가장 큰 순서대로 290Hz(A), 50Hz(B), 680Hz(C)를 추출할 수 있다. That is, as shown in FIG. 5, the user authentication apparatus 200 can extract 290 Hz (A), 50 Hz (B), and 680 Hz (C) in the order in which the intensity values of the respective frequency components are the greatest.

이를 다음의 표 1과 같이 나타낼 수 있다.This can be expressed as shown in Table 1 below.

Figure 112017121138941-pat00001
Figure 112017121138941-pat00001

표 1은 주파수 분석 결과에 의해 취득된 가장 큰 값을 나타낸 세 개의 주파수 값과 크기간의 비율을 나타낸 것으로 사용자 인증 장치(200)는 도 5 그래프의 주파수 특성을 표 1과 같이 추출할 수 있다. Table 1 shows the ratio between the three frequency values indicating the largest value obtained by the frequency analysis result and the size. The user authentication apparatus 200 can extract the frequency characteristics of the graph of FIG. 5 as shown in Table 1.

다음으로 사용자 인증 장치(200)는 추출된 주파수 특성과 기 등록된 본인 확인을 위한 주파수 특성과 비교하여 일치 여부를 판단한다(S330).Next, the user authentication apparatus 200 compares the extracted frequency characteristics with the frequency characteristics for confirming the registered identity (S330).

여기서, 기 등록된 본인 확인을 위한 주파수 특성은, 이전 시점에서 사용자가 본인 인증 과정에서 등록한 입력장치의 기 등록된 주파수 특성으로 가장 큰 값을 나타낸 세 개의 주파수와 크기간의 비율을 포함한다. Here, the frequency characteristics for identifying the registered principal includes the ratio between the three frequencies and magnitudes that represent the largest value of the pre-registered frequency characteristics of the input device registered by the user in the authentication process at the previous time.

이와 같은 주파수 특성은, 입력장치의 종류, 제조사에 따라 각각 상이하며, 사용자의 타자 습관에 따라 상이하게 나타난다. Such frequency characteristics are different depending on the type of the input device and the manufacturer, and are different depending on the habits of the user.

그리고 사용자 인증 장치(200)는 추출된 주파수 특성 값의 세 개의 피크 지점의 주파수 값과 주파수 크기간 비율이 기 등록된 주파수 특성 값의 세 개의 피크 지점의 주파수 값과 주파수 크기간 비율의 일정 범위 이내에 포함되는 경우, 일치하는 것으로 판단할 수 있다. Then, the user authentication apparatus 200 determines that the ratio between the frequency values of the three peak points of the extracted frequency characteristic values and the frequency magnitudes is within a certain range of the ratio between the frequency values of the three peak points of the previously registered frequency characteristic values and the frequency magnitudes If they are included, they can be judged to match.

한편, 습도, 벽반사와 같은 환경 변화, 등에 따라 주파수 값 및 비율이 조금씩 상이하게 분석되기 때문에, 일정한 범위 이내에 포함되는 경우, 일치한다고 판단할 수 있다. On the other hand, since frequency values and ratios are slightly differently analyzed according to environmental changes such as humidity, wall reflection, and the like, it can be determined that they coincide when they are included within a certain range.

예를 들어, 표 1의 값이 기 등록된 주파수 특성 값으로 가정하고, 추출된 주파수 특성에서 첫번째 주파수값이 280에서 300 사이의 값이면서 비율값이 100이고, 두번째 주파수 값이 45에서 55 사이의 값이면서 비율 값이 58에서 62이며, 세번째 주파수 값이 660에서 700 사이의 값이면서 비율 값이 55에서 60이면 일치하다고 판단할 수 있다. For example, assume that the values in Table 1 are pre-registered frequency characteristics, the first frequency value in the extracted frequency characteristic is between 280 and 300, the ratio value is 100, and the second frequency value is between 45 and 55 And the ratio value is 58 to 62, the third frequency value is 660 to 700, and the ratio value is 55 to 60.

이와 같이, 사용자 인증 장치(200)는 추출된 주파수 특성과 기 등록된 주파 특성의 차이가 일정 범위 내에 해당하는 경우, 사용자의 본인인증을 수행한다(S340).In this manner, if the difference between the extracted frequency characteristics and the pre-registered frequency characteristics falls within a certain range, the user authentication apparatus 200 performs authentication of the user's identity (S340).

한편 사용자 인증 장치(200)는 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위를 벗어나는 경우, 인증 도용으로 판단하여 사용자의 본인인증을 불승인한다(S350). On the other hand, if the difference between the extracted frequency characteristics and the pre-registered frequency characteristics deviates from a certain range, the user authentication apparatus 200 determines that authentication is fraudulent and disallow the user's identity authentication (S350).

즉, 사용자 인증 장치(200)는 기존에 기록된 주파수 값과 일치하지 않으면 사용자의 본인인증을 거부할 수 있다. 그리고 사용자 인증 장치(200)는 본인인증 승인 여부를 인증 서버(400)로 전달하거나 추가적인 인증을 수행하도록 요청할 수 있다. That is, if the user authentication apparatus 200 does not match the previously recorded frequency value, the user authentication apparatus 200 may deny the user's identity authentication. Then, the user authentication apparatus 200 may request the authentication server 400 to confirm whether or not the user authentication has been approved, or to perform additional authentication.

한편, 사용자 인증 장치(200)는 입력장치를 등록한 이후부터 본인인증을 실시한 시점 및 추출된 주파수 특성 값들을 누적하여 별도의 데이터베이스에 저장할 수 있다. On the other hand, the user authentication apparatus 200 may accumulate the time of the identity authentication and the extracted frequency characteristic values after storing the input device in a separate database.

이와 같이 본 발명의 실시예에 따르면, 사용자의 고유한 입력 특성과 입력장치에 따라 각각의 사용자를 특성화하여 구별할 수 있어 동일인이 동일 기기를 이용한 접근이 이루어지고 있는지를 검증할 수 있다. As described above, according to the embodiment of the present invention, it is possible to characterize and distinguish each user according to the unique input characteristics of the user and the input device, and it is possible to verify whether the same person is accessing using the same device.

또한, 기존의 본인 확인 및 인증 과정에 대한 변동 없이 추가적으로 적용 가능하며, 특정 문자와 키의 종류에 따른 소리 차이까지를 포괄해 인식함으로써 정밀한 동일성 검증이 가능하다. In addition, the present invention can be applied additionally without changing the existing identification and authentication process, and it is possible to verify the exactity by recognizing the difference in sound according to the type of a specific character and key.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

100: 입력장치 200: 사용자 인증 장치
210: 소리 기록부 220: 주파수 특성 추출부
230: 판단부 240: 제어부
300: 마이크 400: 인증 서버 100: input device 200: user authentication device
210: sound recording unit 220: frequency characteristic extracting unit
230: determination unit 240:
300: microphone 400: authentication server

Claims (12)

사용자 인증 장치를 이용한 사용자 인증 방법에 있어서,
사용자가 키보드 입력장치를 통해 본인인증을 위한 정보를 입력하면, 연동되는 마이크를 통해 상기 키보드 입력장치로부터 출력되는 소리를 집음하여 기록하는 단계,
기록된 소리 데이터를 신호 처리하여 주파수 특성을 추출하는 단계,
상기 추출된 주파수 특성과 기 등록된 본인 확인을 위한 주파수 특성과 비교하여 일치 여부를 판단하는 단계, 그리고
상기 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위 내에 해당하는 경우, 상기 사용자의 본인인증을 수행하고, 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위를 벗어나는 경우, 인증 도용으로 판단하여 상기 사용자의 본인인증을 불승인하는 단계를 포함하며,
상기 주파수 특성을 추출하는 단계는,
상기 소리 데이터를 고속 푸리에 변환(FFT)하여 주파수 별로 각 주파수 구성 요소 값을 산출하고, 상기 각 주파수 구성 요소의 세기 값이 가장 큰 순서대로 세 개의 주파수 구성 요소를 나열한 다음,
상기 세 개의 주파수 구성 요소의 각 피크 지점에 대한 주파수 값과, 상기 각 피크 지점에 대응된 주파수 세기 값 중 최대 세기 값에 대비한 상기 각 피크 지점의 주파수 세기 값의 비율을 상기 키보드 입력 장치의 주파수 특성으로 각각 추출하는 사용자 인증 방법.A user authentication method using a user authentication device,
Collecting and recording sound output from the keyboard input device through a linked microphone when the user inputs information for authentication through the keyboard input device,
Processing the recorded sound data to extract frequency characteristics,
Comparing the extracted frequency characteristics with the frequency characteristics for identifying the registered person and determining whether the frequency characteristics match or not; and
When the difference between the extracted frequency characteristic and the pre-registered frequency characteristic falls within a certain range, the user authentication of the user is performed, and when the difference between the extracted frequency characteristic and the previously registered frequency characteristic deviates from a certain range, And authenticating the identity of the user,
The step of extracting the frequency characteristic includes:
The frequency components of the sound data are subjected to fast Fourier transform (FFT) to calculate frequency component values for each frequency, the three frequency components are listed in order of magnitude of the frequency components,
A ratio of a frequency value for each peak point of the three frequency components and a frequency intensity value of each peak point relative to a maximum intensity value among frequency intensity values corresponding to the respective peak points, The user authentication method for extracting each attribute. 삭제delete 삭제delete 제1항에 있어서,
상기 일치 여부를 판단하는 단계는,
상기 추출된 주파수 특성 값의 세 개의 피크 지점의 주파수 값과 주파수 크기간 비율이 상기 기 등록된 주파수 특성 값의 세 개의 피크 지점의 주파수 값과 주파수 크기간 비율의 일정 범위 이내에 포함되는 경우, 일치하는 것으로 판단하는 사용자 인증 방법.The method according to claim 1,
The step of judging whether or not the above-
When the ratio between the frequency values of the three peak points of the extracted frequency characteristic values and the frequency magnitudes is within a certain range of the frequency values of the three peak points of the previously registered frequency characteristic values and the frequency magnitudes, User authentication method judged to be valid. 제4항에 있어서,
상기 마이크는,
입력 변조 탐지 장치에 내장되거나, 별도의 단말에 장착된 마이크인 사용자 인증 방법.5. The method of claim 4,
The microphone
A user authentication method, which is built in an input modulation detector or is a microphone mounted on a separate terminal. 삭제delete 사용자가 키보드 입력장치를 통해 본인인증을 위한 정보를 입력하면, 연동되는 마이크를 통해 상기 키보드 입력장치로부터 출력되는 소리를 집음하여 기록하는 소리 기록부,
기록된 소리 데이터를 신호 처리하여 주파수 특성을 추출하는 주파수 특성 추출부,
상기 추출된 주파수 특성과 기 등록된 본인 확인을 위한 주파수 특성과 비교하여 일치 여부를 판단하는 판단부, 그리고
상기 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위 내에 해당하는 경우, 상기 사용자의 본인인증을 수행하고, 추출된 주파수 특성과 기 등록된 주파수 특성의 차이가 일정 범위를 벗어나는 경우, 인증 도용으로 판단하여 상기 사용자의 본인인증을 불승인하는 제어부를 포함하며,
상기 주파수 특성 추출부는,
상기 소리 데이터를 고속 푸리에 변환(FFT)하여 주파수 별로 각 주파수 구성 요소 값을 산출하고, 상기 각 주파수 구성 요소의 세기 값이 가장 큰 순서대로 세 개의 주파수 구성 요소를 나열한 다음,
상기 세 개의 주파수 구성 요소의 각 피크 지점에 대한 주파수 값과, 상기 각 피크 지점에 대응된 주파수 세기 값 중 최대 세기 값에 대비한 상기 각 피크 지점의 주파수 세기 값의 비율을 상기 키보드 입력 장치의 주파수 특성으로 각각 추출하는 사용자 인증 장치.A sound recording unit for picking up and recording sound output from the keyboard input device through a linked microphone when the user inputs information for authentication through the keyboard input device,
A frequency characteristic extracting unit for extracting a frequency characteristic by processing the recorded sound data,
A determination unit for comparing the extracted frequency characteristics with the frequency characteristics for confirming the identity of the user,
When the difference between the extracted frequency characteristic and the pre-registered frequency characteristic falls within a certain range, the user authentication of the user is performed, and when the difference between the extracted frequency characteristic and the previously registered frequency characteristic deviates from a certain range, And a control unit for deciding that the identity of the user is unauthorized,
Wherein the frequency characteristic extracting unit comprises:
The frequency components of the sound data are subjected to fast Fourier transform (FFT) to calculate frequency component values for each frequency, the three frequency components are listed in order of magnitude of the frequency components,
A ratio of a frequency value for each peak point of the three frequency components and a frequency intensity value of each peak point relative to a maximum intensity value among frequency intensity values corresponding to the respective peak points, User authentication device for extracting each of the attributes. 삭제delete 삭제delete 제7항에 있어서,
상기 판단부는,
상기 추출된 주파수 특성 값의 세 개의 피크 지점의 주파수 값과 주파수 크기간 비율이 상기 기 등록된 주파수 특성 값의 세 개의 피크 지점의 주파수 값과 주파수 크기간 비율의 일정 범위 이내에 포함되는 경우, 일치하는 것으로 판단하는 사용자 인증 장치.8. The method of claim 7,
Wherein,
When the ratio between the frequency values of the three peak points of the extracted frequency characteristic values and the frequency magnitudes is within a certain range of the frequency values of the three peak points of the previously registered frequency characteristic values and the frequency magnitudes, The user authentication device judging that the authentication is successful. 제10항에 있어서,
상기 마이크는,
입력 변조 탐지 장치에 내장되거나, 별도의 단말에 장착된 마이크인 사용자 인증 장치.11. The method of claim 10,
The microphone
A user authentication device which is built in an input modulation detection device or is a microphone mounted on a separate terminal. 삭제delete
KR1020170165761A 2017-12-05 2017-12-05 Apparatus for user authentication using sound of input device and method thereof KR101978795B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170165761A KR101978795B1 (en) 2017-12-05 2017-12-05 Apparatus for user authentication using sound of input device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170165761A KR101978795B1 (en) 2017-12-05 2017-12-05 Apparatus for user authentication using sound of input device and method thereof

Publications (1)

Publication Number Publication Date
KR101978795B1 true KR101978795B1 (en) 2019-05-15

Family

ID=66579911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170165761A KR101978795B1 (en) 2017-12-05 2017-12-05 Apparatus for user authentication using sound of input device and method thereof

Country Status (1)

Country Link
KR (1) KR101978795B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748710B1 (en) * 2016-03-03 2017-07-03 영남대학교 산학협력단 Method for unlocking and computing device for executing the method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748710B1 (en) * 2016-03-03 2017-07-03 영남대학교 산학협력단 Method for unlocking and computing device for executing the method

Similar Documents

Publication Publication Date Title
JP4390122B2 (en) User authentication system using biometric information
EP3272101B1 (en) Audiovisual associative authentication method, related system and device
US10083695B2 (en) Dialog-based voiceprint security for business transactions
JP4573792B2 (en) User authentication system, unauthorized user discrimination method, and computer program
CN103678977A (en) Method and electronic device for protecting information security
CN110874541A (en) Electronic ticket entrance verification anti-counterfeiting system and method
KR100297833B1 (en) Speaker verification system using continuous digits with flexible figures and method thereof
CN104331652A (en) Dynamic cipher generation method for electronic equipment for fingerprint and voice recognition
EP3248188B1 (en) Authentication method
CN106778179A (en) A kind of identity identifying method based on the identification of ultrasonic wave lip reading
CN112751838A (en) Identity authentication method, device and system
CN111131202A (en) Identity authentication method and system based on multiple information authentication
CN106357411A (en) Identity verification method and device
KR102080994B1 (en) Method for user authentication using data extracting
Yang et al. EchoLock: Towards low-effort mobile user identification leveraging structure-borne echos
Huang et al. Notification privacy protection via unobtrusive gripping hand verification using media sounds
KR101978795B1 (en) Apparatus for user authentication using sound of input device and method thereof
KR20180049422A (en) Speaker authentication system and method
JP3978322B2 (en) Authentication system and information processing apparatus
CN108694314A (en) A kind of computer security login management system and method
CN112597465A (en) Voice password verification method and verification device
CN111414601A (en) Continuous identity authentication method, system and medium for kylin mobile operating system
JP4239512B2 (en) Personal identification device, personal identification method, information processing device, information processing method, information recording medium, identification method for user of information recording medium, personal identification system, program recording medium, and program
CN208939994U (en) Mobile device for long-distance identity-certifying
Yang et al. BioCase: Privacy Protection via Acoustic Sensing of Finger Touches on Smartphone Case Mini-Structures

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant