KR20200032923A - Non contract fingerprint recognition method using smart terminal - Google Patents
Non contract fingerprint recognition method using smart terminal Download PDFInfo
- Publication number
- KR20200032923A KR20200032923A KR1020180112173A KR20180112173A KR20200032923A KR 20200032923 A KR20200032923 A KR 20200032923A KR 1020180112173 A KR1020180112173 A KR 1020180112173A KR 20180112173 A KR20180112173 A KR 20180112173A KR 20200032923 A KR20200032923 A KR 20200032923A
- Authority
- KR
- South Korea
- Prior art keywords
- finger
- terminal
- fingerprint
- image
- camera
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G06K9/00087—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
개시된 기술은 스마트 단말기를 이용하여 비접촉 방식으로 지문을 인증하는 방법에 관한 것이다.The disclosed technology relates to a method of authenticating a fingerprint in a contactless manner using a smart terminal.
바이오정보를 인증수단으로 활용하는 움직임이 활발해짐에 따라 최근 지문이나 홍채와 같은 수단을 이용하여 출입통제나 결제인증을 수행하는 시스템이 증가하고 있다. 특히 지문을 이용하는 시스템은 그 이용방식이 간편하고 사용자 입장에서도 별다른 거부감이 없어서 종래부터 비교적 널리 이용되고 있는 추세이다.As the movement to utilize bio-information as an authentication means becomes active, systems for performing access control or payment authentication using means such as fingerprints and irises are increasing. In particular, the system using a fingerprint has a tendency to be relatively widely used in the related art because the method of use is simple and the user does not have a feeling of rejection.
통상적인 지문인증 시스템에 있어서 가장 보편적으로 이용되고 있는 것은 광학식 시스템으로, 사용자가 단말기의 광처리 지점에 손가락을 접촉하면 지문의 이미지를 필터링하거나 선명하게 가공하여 지문의 고유값인 특징점을 추출하고 이를 인증에 이용하는 것인데, 손가락을 접촉할 때마다 손가락이 접촉되는 방향이나 각도에 따라 획득되는 지문의 이미지가 조금씩 달라져서 인증이 매끄럽게 수행되지 못하거나 손가락이 광처리부에 접촉될 때 표면에 손가락으로 인한 습기나 유분이 껴서 인증에 실패하는 경우가 발생하기 때문에 이를 보정하기 위한 다양한 알고리즘들이 개발되어왔다.The most commonly used in a conventional fingerprint authentication system is an optical system. When a user touches a finger on the light processing point of the terminal, the image of the fingerprint is filtered or sharply processed to extract the characteristic points that are the unique values of the fingerprint and authenticate it. It is used for, but each time the finger is touched, the image of the fingerprint that is obtained varies slightly depending on the direction or angle at which the finger is touched, so that authentication cannot be performed smoothly or when the finger touches the light processor, moisture or oil from the finger Since there are cases in which authentication fails due to interception, various algorithms have been developed to correct this.
한편, 최근에는 광학식 지문인증 방식의 단점을 탈피하고자 손가락을 접촉하지 않고 지문의 특징점을 추출하는 이른바 비접촉식 지문인증 방법이점차 증가되고 있다. 한국 등록특허 제10-1596298(발명의 명칭 : 스마트폰을 활용한 비접촉식 지문인식방법)을 참조하면 스마트폰에 내장된 카메라를 이용하여 비접촉 방식으로 지문의 특정점을 추출하여 인증을 수행하는 기술을 개시하고 있다. 그러나 촬영시 손가락을 가이드라인에 맞추어야만 인증에 필요로 하는 최적의 이미지를 획득할 수 있기 때문에 손가락을 촬영하는데 다소 제한이 있어서 사용자 친화적이지 못하다는 문제점이 있다.On the other hand, in recent years, in order to escape the disadvantages of the optical fingerprint authentication method, a so-called non-contact fingerprint authentication method for extracting a feature point of a fingerprint without touching a finger has gradually increased. Referring to Korean Registered Patent No. 10-1596298 (Invention name: a contactless fingerprint recognition method using a smartphone), a technology for performing authentication by extracting a specific point of a fingerprint in a contactless manner using a camera built in a smartphone It is disclosed. However, since the optimal image required for authentication can be obtained only when the finger is aligned with the guidelines when shooting, there is a problem in that it is not user-friendly due to some limitations in photographing the finger.
개시된 기술은 손가락이 촬영되는 방향에 구애받지 않고 스마트 단말기를 이용하여 사용자 친화적으로 비접촉 지문인증을 수행하는 방법을 제공하는데 있다.The disclosed technology provides a method of performing contactless fingerprint authentication in a user-friendly manner using a smart terminal regardless of a direction in which a finger is photographed.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 카메라가 구비된 단말기를 이용하여 비접촉 지문인증을 수행하는 방법에 있어서, 상기 단말기가 비접촉 지문인증을 위한 어플리케이션을 실행하여 카메라를 구동하는 단계, 상기 단말기가 상기 어플리케이션이 실행된 화면의 일측에 사용자 인터페이스를 표시하고 상기 카메라를 통해 전송되는 손가락에 대한 이미지를 토대로 상기 인터페이스의 출력값을 변경하여 상기 손가락의 위치를 조정하는 단계, 상기 단말기가 미리 설정된 기준값을 만족하는 위치에서 상기 손가락을 촬영하고, 촬영된 손가락 영상에서 지문에 대한 특징점을 추출하는 단계 및 상기 단말기가 상기 어플리케이션을 통해 미리 등록된 사용자의 바이오정보와 상기 추출된 특징점을 비교하여 인증을 수행하는 단계를 포함하는 비접촉 지문인증 방법을 제공하는데 있다.In order to achieve the above technical problem, a first aspect of the disclosed technology is a method of performing contactless fingerprint authentication using a terminal equipped with a camera, wherein the terminal drives an camera by executing an application for contactless fingerprint authentication, Adjusting the position of the finger by displaying the user interface on one side of the screen on which the application is executed and changing the output value of the interface based on an image of a finger transmitted through the camera, wherein the terminal is preset Photographing the finger at a position that satisfies a reference value, extracting a feature point for the fingerprint from the photographed finger image, and comparing the extracted feature point with the bio-information of the user registered in advance through the application by the terminal. Steps to perform To provide a non-contact fingerprint authentication method comprising.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다. Embodiments of the disclosed technology may have effects including the following advantages. However, since the embodiments of the disclosed technology are not meant to include all of them, the scope of rights of the disclosed technology should not be understood as being limited thereby.
개시된 기술의 일 실시예에 따르면 스마트 단말기를 이용한 비접촉 지문인식 방법은 손가락이 촬영되는 방향을 자동으로 보정하여 지문의 인증실패를 방지하는 효과가 있다.According to an embodiment of the disclosed technology, a non-contact fingerprint recognition method using a smart terminal has an effect of automatically correcting a direction in which a finger is photographed to prevent authentication failure of the fingerprint.
또한, 손가락 촬영 시 유저 인터페이스를 이용하여 지문인증이 매끄럽게 수행될 수 있도록 사용자를 유도하는 장점이 있다.In addition, there is an advantage of inducing a user to perform fingerprint authentication smoothly using a user interface when taking a finger.
도 1은 개시된 기술의 일 실시예에 따른 스마트 단말기를 이용한 비접촉 지문인식 방법에 대한 순서도이다.
도 2는 스마트 단말기의 전면 카메라로 손가락의 지문을 촬영하는 것을 나타낸 도면이다.
도 3은 스마트 단말기의 후면 카메라로 손가락의 지문을 촬영하는 것을 나타낸 도면이다.
도 4는 스마트 단말기의 화면에 표시되는 인터페이스를 나타낸 도면이다.1 is a flowchart of a method for recognizing a contactless fingerprint using a smart terminal according to an embodiment of the disclosed technology.
2 is a view showing a finger of the fingerprint taken by the front camera of the smart terminal.
FIG. 3 is a diagram illustrating photographing a fingerprint of a finger by a rear camera of a smart terminal.
4 is a diagram showing an interface displayed on a screen of a smart terminal.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention can be applied to various changes and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, B, etc. may be used to describe various components, but the components are not limited by the above terms, and only for the purpose of distinguishing one component from other components Used only. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component. The term and / or includes a combination of a plurality of related described items or any one of a plurality of related described items.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.It should be understood that a singular expression in the terminology used herein includes a plural expression unless the context clearly interprets otherwise. And the term "comprises" means that there are features, numbers, steps, operations, components, parts or combinations of the features described, and one or more other features, numbers, steps, operating elements, parts. Or it should be understood that it does not exclude the possibility of the presence or addition of those in combination.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. Prior to the detailed description of the drawings, it is intended to clarify that the division of components in this specification is only divided by the main functions of each component. That is, two or more components to be described below may be combined into one component, or one component may be divided into two or more for each subdivided function.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.In addition, each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions in charge of the components, and some of the main functions of each of the components are different. Needless to say, it may also be carried out in a dedicated manner. Therefore, the presence or absence of each component described through this specification should be interpreted functionally.
도 1은 개시된 기술의 일 실시예에 따른 스마트 단말기를 이용한 비접촉 지문인식 방법에 대한 순서도이다. 도 1을 참조하면 비접촉 지문인식 방법은 이하의 단계들(110, 120, 130, 140)을 포함한다.1 is a flowchart of a method for recognizing a contactless fingerprint using a smart terminal according to an embodiment of the disclosed technology. Referring to Figure 1, the non-contact fingerprint recognition method includes the following steps (110, 120, 130, 140).
110 단계에서 스마트 단말기는 비접촉 지문인증을 위한 어플리케이션을 실행하여 카메라를 구동한다. 일 실시예로, 스마트 단말기는 카메라로 촬영된 손가락 영상으로부터 지문의 특징점을 추출할 수 있는 어플리케이션을 사전에 구비할 수 있고 어플리케이션을 실행시키는 것으로 스마트 단말기에 포함된 카메라를 구동시킬 수 있다.In
한편, 상술한 바와 같이 스마트 단말기는 비접촉 지문 인증을 수행하기 위해서 카메라를 통해 전송되는 손가락 영상을 이용한다. 종래 스마트 단말기에는 다양한 방식으로 사용자의 지문을 인증하는 기술이 적용되고 있다. 예를 들면, 홈버튼과 같이 단말기 내부에 지문인식 센서가 구비되어 있는 특정 위치에 손가락을 접촉시켜서 정전용량값의 변화에 따라 지문의 특징을 인식하는 기술이 적용되어 있는데 이러한 접촉식 지문 인증 기술은 손가락 표면에 유분이나 이물질이 묻어 있는 경우에는 제대로 동작하지 못하고, 손가락이 접촉되는 방향에 따라 인식률에 오차가 많이 발생하기 때문에 개시된 기술에서는 비접촉 방식으로 지문 인증을 수행하기 위해서 구동된 카메라를 이용한다.Meanwhile, as described above, the smart terminal uses a finger image transmitted through a camera to perform contactless fingerprint authentication. Conventional smart terminals are applied with a technique of authenticating a user's fingerprint in various ways. For example, a technology for recognizing the characteristics of a fingerprint according to a change in the capacitance value by applying a finger to a specific location equipped with a fingerprint recognition sensor inside the terminal, such as a home button, is applied. In the case where there is oil or foreign matter on the surface of the finger, it does not work properly, and since the recognition rate occurs a lot depending on the direction in which the finger touches, the disclosed technology uses a driven camera to perform fingerprint authentication in a non-contact manner.
120 단계에서 스마트 단말기는 어플리케이션이 실행된 화면을 일측에 사용자 인터페이스를 표시한다. 사용자 인터페이스는 사용자가 손가락을 촬영할 때 손가락의 위치를 조절하기 위해서 제공된다. 스마트 단말기는 화면에 카메라의 구동에 따른 화면을 출력하고 그 화면의 일측에 사용자 인터페이스를 함께 표시할 수 있다. 카메라의 구동에 따른 화면에는 사용자가 손가락 촬영에 따른 지문 인증을 보다 수월하게 진행할 수 있도록 화면 중앙에 기준점을 출력시킬 수 있다. 예컨대, 사용자가 손가락 지문의 코어점이 되는 부분이 중앙에 촬영될 수 있도록 스마트 단말기의 화면 상에 십자가 형태 또는 점(Dot) 형태의 기준점이 표시될 수 있다. 사용자는 화면에 표시된 기준점에 지문이 형성된 손가락의 끝 부분이 위치하도록 직접 손가락을 움직일 수 있다.In
한편, 스마트 단말기는 사용자가 손가락을 촬영하는데 따른 위치를 조절하기 위해 소정의 출력값을 사용자 인터페이스로 출력된다. 일 실시예로, 스마트 단말기는 사용자 인터페이스의 출력값으로 텍스트, 색상 및 그림 중 적어도 하나를 포함할 수 있다. 만약 사용자의 손가락 위치가 적정 수준에 속하면 출력값을 파란색 라이트로 출력하고, 적정 위치가 아니라면 빨간색 라이트로 출력할 수 있다. 물론 상술한 바와 같이 손가락의 위치에 따라 위치 조정을 위한 텍스트나 그림을 출력값으로 표시할 수도 있다. 그리고 2개의 종류를 함께 출력값으로 표시하는 것도 가능하다. On the other hand, the smart terminal outputs a predetermined output value to the user interface in order to adjust the position of the user taking a finger. In one embodiment, the smart terminal may include at least one of text, color, and picture as an output value of the user interface. If the user's finger position is within the proper level, the output value can be output as a blue light, and if not, the red light can be output. Of course, as described above, text or a picture for positioning may be displayed as an output value according to the position of the finger. And it is also possible to display two types together as output values.
여기에서 손가락의 위치를 조절한다는 것은 지문이 형성된 손가락 끝 부분을 카메라로부터 가까워지거나 멀어지게 하는 것 뿐만 아니라 카메라 화면의 기준점을 중심으로 상하 방향이나 좌우 방향으로 이동시키는 것을 의미한다. 즉, 사용자 인터페이스는 최적의 손가락 지문 영상을 촬영하기 위해서 사용자의 손가락 움직임을 최적의 위치로 유도하는 역할을 수행한다.Adjusting the position of the finger here means not only bringing the fingertip formed with the finger closer or farther away from the camera, but also moving it in the vertical or horizontal direction around the reference point of the camera screen. That is, the user interface serves to induce the user's finger movement to an optimal position in order to photograph the optimal finger fingerprint image.
한편, 사용자 단말기는 카메라를 통해 전송되는 손가락 영상을 토대로 인터페이스의 출력값을 변경하여 손가락의 초점을 조정하는 것이 가능하다. 만약 손가락의 초점이 미리 설정된 기준값에 부합되면 손가락 영상을 촬영하고 기준값에 부합되지 않으면 출력값을 다시 변경하여 사용자가 초점을 맞추도록 유도할 수 있다. 일 실시예로, 스마트 단말기는 손가락의 초점이 기준값에 부합하는 것으로 판단하면 사용자 인터페이스를 녹색으로 출력하고, 손가락의 초점이 기준값에 부합하지 않는 것으로 판단하면 사용자 인터페이스를 적색으로 출력할 수 있다.Meanwhile, the user terminal can adjust the focus of the finger by changing the output value of the interface based on the finger image transmitted through the camera. If the focus of the finger meets the preset reference value, the image of the finger is photographed, and if it does not match the reference value, the output value may be changed again to induce the user to focus. In one embodiment, the smart terminal may output the user interface in green when it is determined that the focus of the finger meets the reference value, and output the user interface in red when it is determined that the focus of the finger does not match the reference value.
다른 일 실시예로, 스마트 단말기는 손가락의 초점이 상기 기준값에 부합하지 않으면 손가락의 위치를 조절하기 위해서 ‘좀 더 앞으로’나 ‘좀 더 뒤로’와 같은 소정의 메시지를 사용자 인터페이스로 출력할 수도 있다.In another embodiment, if the focus of the finger does not meet the reference value, the smart terminal may output a predetermined message such as 'more forward' or 'more backward' to the user interface in order to adjust the position of the finger. .
한편, 스마트 단말기는 화면 중앙에 표시되는 포인트에 사용자의 손가락이 제대로 위치하는지 판단하기 위해서 손가락 끝의 지문에 대한 곡률을 계산하여 지문의 코어점을 파악하는 것이 가능하다. 일 실시예로, 일반적인 지문에 포함되는 다양한 정보들 중에서 손가락 끝에 있는 지문은 그 시작점의 곡률값이 가장 높고 밖으로 펼쳐질수록 곡률값이 낮아지는데 이러한 곡률값을 알리즘을 이용해 수치적으로 계산하는 것이 가능하다. 곡률값을 파악하는 알고리즘은 종래에 이미 널리 알려져 있으므로 생략한다.On the other hand, the smart terminal can grasp the core point of the fingerprint by calculating the curvature of the fingerprint at the fingertip in order to determine whether the user's finger is properly positioned at the point displayed on the center of the screen. In one embodiment, among various pieces of information included in a general fingerprint, the fingerprint at the tip of the finger has the highest curvature value at the starting point and the curvature value is lowered as it spreads out, and it is possible to numerically calculate the curvature value using an algorithm. Do. Algorithm for determining the curvature value is omitted because it is widely known in the related art.
130 단계에서 스마트 단말기는 미리 설정된 기준값을 만족하는 위치에서 손가락을 촬영하고, 촬영된 손가락 영상에서 지문에 대한 특징점을 추출한다. 스마트 단말기는 상술한 바와 같이 곡률 계산을 통해 지문의 코어점을 파악하고 화면 중앙에 표시된 기준점 안에 지문의 코어점이 포함되도록 유도하는데, 이 때 기준점 안에 코어점이 얼마나 포함되는지에 대한 기준값을 미리 설정하여 지문인증이 매끄럽게 수행될 수 있도록 동작하는 것이 가능하다. 예컨대, 지문의 코어점의 70% 이상이 화면 중앙의 기준점 안에 들어오면 스마트 단말기가 사용자 인터페이스를 통해 현재의 상태로 손가락을 촬영하도록 유도할 수 있다. 다른 예로, 기준점 안에 포함된 코어점의 비율이 70% 미만이라면 사용자 인터페이스를 통해 코어점이 포인트에 좀더 들어올 수 있도록 움직임을 유도할 수도 있다. 이 경우 상술한 바와 같이 사용자 인터페이스의 출력값을 변경하는 것으로 움직임을 유도하게 된다.In
한편, 기준값을 만족하는 상태에서 손가락의 영상을 촬영하면, 스마트 단말기는 영상에 포함된 손가락에서 지문의 특징점을 추출한다. 여기에서 추출되는 지문의 특징점은 사용자 개인의 생체적 특징이 반영된 것으로 종래의 다른 지문인증 시스템과 마찬가지로 지문의 특징점을 추출할 수 있다. 예컨대, 지문의 곡률, 분기점, 융기되는 형태 등을 파악하여 특징점을 추출할 수 있다.Meanwhile, when an image of a finger is photographed while the reference value is satisfied, the smart terminal extracts a feature point of the fingerprint from the finger included in the image. The feature point of the fingerprint extracted from this is a reflection of the biometric characteristics of the user, and like the other conventional fingerprint authentication systems, the feature point of the fingerprint can be extracted. For example, the feature points can be extracted by grasping the curvature, bifurcation point, and raised shape of the fingerprint.
한편, 상술한 바와 같이 지문의 특징점을 추출하는 단계에 앞서 스마트 단말기는 비접촉 지문 인증이 보다 수월하게 진행될 수 있도록 손가락 영상의 방향을 보정하는 단계를 수행한다. 예컨대, 바이오정보를 등록할 당시에 촬영한 손가락의 방향이 인증시에 촬영한 손가락의 방향과 서로 다를 수 있기 때문에 이를 보정하여 지문의 특징값의 매칭에 오류가 발생하지 않도록 영상을 보정할 수 있다. 스마트 단말기는 이하의 단계들에 따라 촬영된 이미지의 손가락 방향을 보정하는 것이 가능하다.On the other hand, as described above, prior to the step of extracting the feature points of the fingerprint, the smart terminal performs a step of correcting the direction of the finger image so that the non-contact fingerprint authentication can proceed more easily. For example, since the direction of the finger photographed at the time of registering the bio-information may be different from the direction of the finger photographed at the time of authentication, the image may be corrected so that there is no error in matching the feature values of the fingerprint. The smart terminal can correct the finger direction of the photographed image according to the following steps.
먼저 촬영된 이미지에 포함된 손가락의 윤곽선을 추출하는 단계를 수행한다. 일 실시예로, 스마트 단말기는 손가락이 촬영된 이미지에서 윤곽선을 추출하여 손가락과 배경을 구별하는 것이 가능하다. 즉, 이미지에서 손가락 가장자리의 선을 인지하여 배경과 구별할 수 있다. 그리고 손가락의 적어도 하나의 마디선을 탐색하는 단계를 수행한다. 예컨대, 손가락의 윤곽선을 추출하면 윤곽선 내부에 즉 손가락 안쪽 면에는 촬영된 방법에 따라 적게는 하나에서 많게는 3개의 마디선이 존재하는데 스마트 단말기는 윤곽선을 추출하는 방식과 마찬가지로 이러한 마디선을 더 추출하는 것이 가능하다. First, a step of extracting the outline of the finger included in the captured image is performed. In one embodiment, the smart terminal is capable of distinguishing a finger from a background by extracting an outline from an image where a finger is photographed. That is, a line at the edge of a finger can be recognized from the image to distinguish it from the background. Then, a step of searching for at least one node of the finger is performed. For example, when extracting the outline of a finger, there are at least one to three node lines inside the outline, that is, on the inside surface of the finger, according to the photographed method. The smart terminal extracts these lines more like the method of extracting the outline. It is possible.
한편, 스마트 단말기는 앞서 추출한 윤곽선과 상기 적어도 하나의 마디선을 이용하여 바이오정보에 포함된 손가락의 이미지에 상기 이미지를 매칭시키는 단계를 수행한다. 일 실시예로, 스마트 단말기는 손가락의 윤곽선과 마디선을 이용하여 기 등록된 바이오정보에 포함되어 있는 손가락 이미지의 손가락 각도와 인증을 위해 촬영된 이미지의 손가락 각도를 각각 계산할 수 있다. 그리고 각도의 차이값 만큼 인증을 위해 촬영된 이미지의 방향을 회전시켜서 두 손가락 이미지를 매칭시키는 것이 가능하다. 스마트 단말기는 두 개의 손가락 이미지를 매칭시키는데 있어서도 소정의 매칭 기준을 활용하여 서로 완벽하게 매칭시키기 보다는 어느 정도 유사한 정도로 이미지를 매칭시킬 수 있다.On the other hand, the smart terminal performs the step of matching the image to the image of the finger included in the bioinformation using the previously extracted contour line and the at least one node line. In one embodiment, the smart terminal may calculate the finger angle of the finger image included in the pre-registered bio-information and the finger angle of the photographed image for authentication, respectively, using the outline and the node line of the finger. And it is possible to match the two-finger image by rotating the direction of the photographed image for authentication by the difference value of the angle. In matching two-finger images, the smart terminal may match images to a certain degree of similarity rather than perfectly matching each other by using predetermined matching criteria.
140 단계에서 스마트 단말기는 어플리케이션을 통해 미리 등록된 사용자의 바이오정보와 추출된 특징점을 비교하여 인증을 수행한다. 스마트 단말기에 설치된 어플리케이션은 손가락 영상을 촬영하여 지문의 특징점을 획득하는 것과 마찬가지로 사전에 미리 사용자의 손가락에 대한 영상으로부터 바이오정보를 획득하는 것이 가능하다. 물론 별도로 입력되는 바이오정보에 대한 데이터를 통해 등록하는 것도 얼마든지 가능하다. 다만, 사용자의 편의성을 위해 지문을 인증하는 과정과 동일한 단계에 따라 지문을 등록하는 것이 바람직하다.In
한편, 스마트 단말기는 미리 등록된 사용자의 바이오정보와 추출된 지문의 특징점을 비교한다. 앞서 두 영상을 보다 정확하게 비교할 수 있도록 손가락 영상의 방향을 보정한 상태이기 때문에 스마트 단말기는 바이오정보에 포함되어 있는 지문의 특징정보와 촬영된 영상에서 추출된 지문의 특징점을 비교하는 것이 가능하다. 이러한 사용자는 비접촉 방식으로 지문을 인증하는 것이 가능하다. 따라서, 종래의 광학식 지문인증 방식보다 사용자의 편의성이 증대되는 장점이 있으며, 손가락을 촬영할 때 유저 인터페이스를 통해 매끄럽게 지문인증을 수행할 수 있도록 이미지 촬영을 유도하는 효과를 제공한다.Meanwhile, the smart terminal compares the bio-information of the pre-registered user with the feature points of the extracted fingerprint. Since the direction of the finger image is corrected so that the two images can be compared more accurately, the smart terminal can compare the feature information of the fingerprint included in the bio information with the feature points of the fingerprint extracted from the captured image. It is possible for such a user to authenticate a fingerprint in a non-contact manner. Therefore, there is an advantage that the user's convenience is increased than the conventional optical fingerprint authentication method, and it provides an effect of inducing image capture so that fingerprint authentication can be performed smoothly through a user interface when photographing a finger.
도 2는 스마트 단말기의 전면 카메라로 손가락의 지문을 촬영하는 것을 나타낸 도면이다. 그리고 도 3은 스마트 단말기의 후면 카메라로 손가락의 지문을 촬영하는 것을 나타낸 도면이다. 스마트 단말기는 기종마다 서로 다른 위치에 카메라를 구비할 수 있다. 먼저 도 2를 참조하면 사용자는 스마트 단말기의 전면에 구비된 카메라를 이용하는 경우에 엄지손가락의 지문을 인증에 이용할 수 있다. 일 실시예로, 한 손으로 스마트 단말기의 몸체를 지지한 상태로 엄지손가락을 스마트 단말기의 전면부에서 소폭 떨어트린 상태로 엄지손가락의 지문 영상을 촬영할 수 있다.2 is a view showing a finger of the fingerprint taken by the front camera of the smart terminal. And Figure 3 is a view showing a finger of the fingerprint taken by the rear camera of the smart terminal. The smart terminal may have a camera at a different location for each model. First, referring to FIG. 2, a user can use a fingerprint of a thumb for authentication when using a camera provided on the front of a smart terminal. In one embodiment, a fingerprint image of a thumb may be taken in a state in which the thumb is slightly dropped from the front of the smart terminal while the body of the smart terminal is supported with one hand.
한편, 지문인식의 성공률를 최대치로 증가시키기 위해서는 양 손을 모두 이용하여 손가락을 지문을 촬영하는 것이 바람직하다. 예컨대, 왼손으로 단말기의 몸체를 지지하고 오른손의 지문과 손가락 안쪽의 마디선이 정확히 촬영되도록 자세를 취하는 것이 기 저장된 정보와의 일치율을 높이는 방법일 수 있다. 다만 사용자의 편의성을 위해서 한 손으로도 얼마든지 비접촉 지문인증을 수행하는 것이 가능하다.On the other hand, in order to increase the success rate of fingerprint recognition to the maximum value, it is preferable to photograph the finger with both hands. For example, supporting the body of the terminal with the left hand and taking a posture such that the fingerprint of the right hand and the node line inside the finger are accurately photographed may be a method of increasing the matching rate with the previously stored information. However, for user convenience, it is possible to perform non-contact fingerprint authentication with just one hand.
한편, 도 3을 참조하면 단말기의 후면에 구비된 카메라를 이용하는 경우에는 검지손가락의 지문을 인증에 이용할 수 있다. 일 실시예로, 검지손가락을 제외한 나머지 손가락으로 스마트 단말기의 몸체를 지지하고 스마트 단말기의 후면에 검지손가락을 소폭 떨어트린 상태로 지문의 영상을 촬영할 수 있다. 도 2 및 도 3의 실시예의 경우 스마트 단말기의 카메라로 촬영을 하기 위해 화면의 버튼 영역을 탭할 필요 없이 기준점에 일정 이상 지문이 포함되면서 초점 또한 기준치를 만족하는 경우에 자동으로 카메라가 지문 영상을 촬영할 수 있도록 동작할 수 있다. 이 경우 사용자가 지문이 촬영되었음을 인지할 수 있도록 소리를 출력하거나 인터페이스에 촬영이 수행되었음을 알리는 출력값을 표시할 수도 있다.Meanwhile, referring to FIG. 3, in the case of using the camera provided on the back of the terminal, the fingerprint of the index finger may be used for authentication. In one embodiment, the body of the smart terminal is supported with the rest of the fingers except for the index finger, and an image of the fingerprint can be photographed with the index finger slightly dropped on the back of the smart terminal. In the case of the embodiment of FIGS. 2 and 3, the camera automatically captures the fingerprint image when the reference point is included in the reference point and the focus is also satisfied without the need to tap the button area of the screen to shoot with the camera of the smart terminal. Can work. In this case, a sound may be output so that the user can recognize that the fingerprint has been taken, or an output value indicating that the shooting has been performed may be displayed on the interface.
도 4는 스마트 단말기의 화면에 표시되는 인터페이스를 나타낸 도면이다. 도 4를 참조하면 스마트 단말기의 카메라가 구동된 화면의 일측에 출력값을 나타내는 인터페이스 영역이 형성될 수 있다. 인터페이스 영역은 출력값의 형태에 따라 크기나 모양이 다소 변경될 수 있다. 인터페이스는 어플리케이션의 디폴트 설정에 따라 화면의 특정 영역에 형성되는데 사용자의 설정에 따라 인터페이스가 표시되는 영역이 변경될 수 있다. 예컨대, 도면에 표시된 바와 같이 화면의 우측 상단 영역에 인터페이스가 표시될 수 있다. 그리고 설정에 따라 좌측 상단, 좌측 하단 및 우측 하단으로 위치가 변경될 수 있다.4 is a diagram showing an interface displayed on a screen of a smart terminal. Referring to FIG. 4, an interface area indicating an output value may be formed on one side of a screen on which the camera of the smart terminal is driven. The size or shape of the interface area can be changed depending on the type of the output value. The interface is formed in a specific area of the screen according to the default setting of the application, but the area in which the interface is displayed may be changed according to the user's setting. For example, as shown in the figure, the interface may be displayed in the upper right area of the screen. And the position can be changed to the upper left, lower left and lower right depending on the setting.
한편, 사용자 인터페이스의 출력값은 어플리케이션에 설정된 주기에 따라 출력될 수 있다. 여기에서 설정되는 주기는 사용자가 손가락을 이동시키는 것을 실시간에 가깝게 반영하기 위해서 다소 짧게 설정하는 것이 바람직하다. 또는 출력값을 연속으로 유지하되 상기 주기에 따라 점멸하거나 하이라이팅 되도록 동작하여 사용자가 손가락 위치를 적정 위치로 이동하게 쉽게 보조할 수 있다.Meanwhile, the output value of the user interface may be output according to a cycle set in the application. It is preferable that the period set here is set slightly shorter in order to reflect the user's movement of the finger in near real time. Alternatively, the output value can be continuously maintained, but it can be easily flashed or highlighted according to the cycle to assist the user to move the finger position to the appropriate position.
개시된 기술의 일 실시예에 따른 스마트 단말기를 이용한 비접촉 지문인증 방법은 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.The non-contact fingerprint authentication method using a smart terminal according to an embodiment of the disclosed technology has been described with reference to the embodiment shown in the drawings for ease of understanding, but this is only an example, and a person having ordinary knowledge in the field may use this. It will be understood that various modifications and other equivalent embodiments are possible. Therefore, the true technical protection scope of the disclosed technology should be defined by the appended claims.
110 : 카메라 구동
120 : 손가락 위치 조정
130 : 지문 특징점 추출
140 : 특징점 비교110: camera driving 120: finger position adjustment
130: fingerprint feature point extraction 140: feature point comparison
Claims (7)
상기 단말기가 비접촉 지문인증을 위한 어플리케이션을 실행하여 카메라를 구동하는 단계;
상기 단말기가 상기 어플리케이션이 실행된 화면의 일측에 사용자 인터페이스를 표시하고 상기 카메라를 통해 전송되는 손가락에 대한 이미지를 토대로 상기 인터페이스의 출력값을 변경하여 상기 손가락의 위치를 조정하는 단계;
상기 단말기가 미리 설정된 기준값을 만족하는 위치에서 상기 손가락을 촬영하고, 촬영된 손가락 영상에서 지문에 대한 특징점을 추출하는 단계; 및
상기 단말기가 상기 어플리케이션을 통해 미리 등록된 사용자의 바이오정보와 상기 추출된 특징점을 비교하여 인증을 수행하는 단계;를 포함하는 비접촉 지문인증 방법.In the method of performing a contactless fingerprint authentication using a terminal equipped with a camera,
The terminal running an application for contactless fingerprint authentication to drive a camera;
Adjusting, by the terminal, a position of the finger by displaying a user interface on one side of a screen on which the application is executed and changing an output value of the interface based on an image of a finger transmitted through the camera;
Photographing the finger at a position where the terminal satisfies a preset reference value, and extracting a feature point for the fingerprint from the photographed finger image; And
And comparing, by the terminal, the biometric information of the user registered in advance through the application and the extracted feature point to perform authentication.
상기 단말기는 상기 손가락의 지문의 코어점이 상기 화면 중앙에 위치하도록 상기 화면 중앙에 기준점을 출력하는 비접촉 지문인증 방법.According to claim 1,
The terminal is a contactless fingerprint authentication method for outputting a reference point in the center of the screen so that the core point of the fingerprint of the finger is located in the center of the screen.
상기 단말기는 상기 손가락의 초점이 상기 기준값에 부합하는 것으로 판단하면 상기 사용자 인터페이스를 녹색으로 출력하고, 상기 손가락의 초점이 상기 기준값에 부합하지 않는 것으로 판단하면 상기 사용자 인터페이스를 적색으로 출력하는 비접촉 지문인증 방법.According to claim 1,
The terminal outputs the user interface in green when it is determined that the focus of the finger meets the reference value, and outputs the user interface in red when it is determined that the focus of the finger does not match the reference value. Way.
상기 단말기는 상기 손가락의 초점이 상기 기준값에 부합하지 않으면 상기 손가락의 위치를 조절하기 위한 소정의 메시지를 상기 인터페이스로 출력하는 비접촉 지문인증 방법.According to claim 1,
The terminal is a non-contact fingerprint authentication method for outputting a predetermined message for adjusting the position of the finger to the interface if the focus of the finger does not meet the reference value.
상기 단말기는 상기 사용자 인터페이스의 출력값으로 텍스트, 색상 및 그림 중 적어도 하나를 포함하는 비접촉 지문인증 방법.According to claim 1,
The terminal is a contactless fingerprint authentication method including at least one of text, color, and picture as an output value of the user interface.
상기 지문에 대한 특징점을 추출하는 단계는, 상기 단말기가 상기 특징점을 추출하기 이전에 상기 손가락 영상의 방향을 보정하는 단계를 포함하는 비접촉 지문인증 방법.According to claim 1,
The step of extracting the feature points for the fingerprint includes correcting the direction of the finger image before the terminal extracts the feature points.
상기 손가락 영상의 방향을 보정하는 단계는,
상기 손가락 영상에 포함된 손가락의 윤곽선을 추출하는 단계;
상기 손가락 영상에서 적어도 하나의 손가락 마디선을 탐색하는 단계; 및
상기 윤곽선 및 상기 적어도 하나의 마디선을 토대로 상기 바이오정보에 포함된 손가락의 이미지에 상기 손가락 영상을 매칭시키는 단계;를 포함하는 비접촉 지문인증 방법.The method of claim 6,
Compensating the direction of the finger image,
Extracting a contour of a finger included in the finger image;
Searching for at least one finger node in the finger image; And
And matching the finger image to an image of a finger included in the bio-information based on the contour line and the at least one node line.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180112173A KR102151474B1 (en) | 2018-09-19 | 2018-09-19 | Non contract fingerprint recognition method using smart terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180112173A KR102151474B1 (en) | 2018-09-19 | 2018-09-19 | Non contract fingerprint recognition method using smart terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200032923A true KR20200032923A (en) | 2020-03-27 |
| KR102151474B1 KR102151474B1 (en) | 2020-09-03 |
Family
ID=69959225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180112173A KR102151474B1 (en) | 2018-09-19 | 2018-09-19 | Non contract fingerprint recognition method using smart terminal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102151474B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220126332A (en) * | 2021-03-08 | 2022-09-16 | 계명대학교 산학협력단 | System and method for registration and authentication management service for sports events using non-contact fingerprint or palm print recognition |
| KR20220137222A (en) * | 2021-04-01 | 2022-10-12 | 계명대학교 산학협력단 | Franchise membership management service system and method using contactless biometric authentication |
| WO2023101202A1 (en) * | 2021-12-02 | 2023-06-08 | (주)위닝아이 | User-friendly non-contact type fingerprint authentication method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3058176B2 (en) * | 1989-12-08 | 2000-07-04 | 富士通株式会社 | Fingerprint image input device |
| KR20060003638A (en) * | 2004-07-07 | 2006-01-11 | 삼성전자주식회사 | Mobile phone with digital camera having security function using fingerprint information and registration and authentication control method of the fingerprint by the mobile phone |
-
2018
- 2018-09-19 KR KR1020180112173A patent/KR102151474B1/en active IP Right Review Request
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3058176B2 (en) * | 1989-12-08 | 2000-07-04 | 富士通株式会社 | Fingerprint image input device |
| KR20060003638A (en) * | 2004-07-07 | 2006-01-11 | 삼성전자주식회사 | Mobile phone with digital camera having security function using fingerprint information and registration and authentication control method of the fingerprint by the mobile phone |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220126332A (en) * | 2021-03-08 | 2022-09-16 | 계명대학교 산학협력단 | System and method for registration and authentication management service for sports events using non-contact fingerprint or palm print recognition |
| KR20220137222A (en) * | 2021-04-01 | 2022-10-12 | 계명대학교 산학협력단 | Franchise membership management service system and method using contactless biometric authentication |
| WO2023101202A1 (en) * | 2021-12-02 | 2023-06-08 | (주)위닝아이 | User-friendly non-contact type fingerprint authentication method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102151474B1 (en) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11188734B2 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
| KR100854203B1 (en) | Image authenticating apparatus, image authenticating method, recording medium and electronic device | |
| CN110326001B (en) | System and method for performing fingerprint-based user authentication using images captured with a mobile device | |
| US20170339137A1 (en) | Method, device and computer program for authenticating a user | |
| JP2016212636A (en) | Organism imaging apparatus, organism imaging method and organism imaging program | |
| CN104933344A (en) | Mobile terminal user identity authentication device and method based on multiple biological feature modals | |
| US7760916B2 (en) | Registration apparatus, collation apparatus, image correction method and program | |
| JP7269711B2 (en) | Biometric authentication system, biometric authentication method and program | |
| US9880634B2 (en) | Gesture input apparatus, gesture input method, and program for wearable terminal | |
| US20140121528A1 (en) | Information processing apparatus, information processing method and program | |
| KR20200032923A (en) | Non contract fingerprint recognition method using smart terminal | |
| KR20160009972A (en) | Iris recognition apparatus for detecting false face image | |
| CN107209936B (en) | Information processing apparatus, information processing method, and program | |
| KR101327939B1 (en) | Biometrics system using relative ratio information of finger geometry features and the method thereof | |
| JP5796523B2 (en) | Biological information acquisition apparatus, biological information acquisition method, and biological information acquisition control program | |
| WO2022244357A1 (en) | Body part authentication system and authentication method | |
| JP2018128785A (en) | Biometric authentication apparatus, biometric authentication method, and biometric authentication program | |
| WO2019095097A1 (en) | Identity authentication method for electronic terminal, and electronic terminal | |
| CN113282164A (en) | Processing method and device | |
| JP6692413B2 (en) | Biometric authentication system and biometric authentication method | |
| JP6082766B2 (en) | Blood vessel imaging device | |
| KR20200053792A (en) | Payment method and system using bio credit card | |
| JP4603610B2 (en) | Entrance / exit management system | |
| CN115050062A (en) | Identity recognition method, device, equipment and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| J204 | Request for invalidation trial [patent] | ||
| J121 | Written withdrawal of request for trial | ||
| J204 | Request for invalidation trial [patent] | ||
| J301 | Trial decision |
Free format text: TRIAL NUMBER: 2021100001749; TRIAL DECISION FOR INVALIDATION REQUESTED 20210609 Effective date: 20220822 |