KR20030020152A - Apparatus and the method for verification of blood vessel-patterns of the back of the hand for person identification - Google Patents

Apparatus and the method for verification of blood vessel-patterns of the back of the hand for person identification Download PDF

Info

Publication number
KR20030020152A
KR20030020152A KR1020010053842A KR20010053842A KR20030020152A KR 20030020152 A KR20030020152 A KR 20030020152A KR 1020010053842 A KR1020010053842 A KR 1020010053842A KR 20010053842 A KR20010053842 A KR 20010053842A KR 20030020152 A KR20030020152 A KR 20030020152A
Authority
KR
South Korea
Prior art keywords
hand
user
image
blood vessel
finger
Prior art date
Application number
KR1020010053842A
Other languages
Korean (ko)
Other versions
KR100438418B1 (en
Inventor
최환수
임상균
Original Assignee
주식회사 테크스피어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테크스피어 filed Critical 주식회사 테크스피어
Priority to KR10-2001-0053842A priority Critical patent/KR100438418B1/en
Publication of KR20030020152A publication Critical patent/KR20030020152A/en
Application granted granted Critical
Publication of KR100438418B1 publication Critical patent/KR100438418B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

PURPOSE: A blood vessel recognition system and method is provided to compensate for a moving or a rotation of a hand by using a hand position, continuously input hand images and a gray scale distribution when an extracted blood pattern of a back of a hand is extracted so that it can reduce an error in a person identification. CONSTITUTION: The method comprises several steps. A user fixes a hand at a main knob and an assistant knob, makes a main camera take an image of a back of the hand, and makes an assistant camera take an image of fingers(S1). A microprocessor senses a position of the hand, continuously analyzes the input hand images, and senses a moving or a rotation of the hand by using a gray scale distribution(S2). The microprocessor compensates for the moving or the rotation of the hand on a basis of the reference data stored at a database(S3), and extracts a blood vessel pattern and its feature data from the static image data transmitted via a frame grabber and a memory(S4). The microprocessor compares the extracted blood vessel pattern and its feature data with those stored at a database(S5). In a case that the extracted blood vessel pattern and its feature data are the same as those stored at a database, the microprocessor permits the user to pass an entrance or release a security system(S6). Otherwise, the microprocessor rejects a request of the user(S7).

Description

개인식별을 위한 손등 혈관패턴 인식 시스템 및 그 방법{ Apparatus and the method for verification of blood vessel-patterns of the back of the hand for person identification }BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a blood vessel pattern recognition system and a blood vessel pattern recognition system,

본 발명은 개인식별을 위한 손등 혈관패턴 인식 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 사용자 손의 위치 변화에 의한 손등 혈관패턴의 회전 및 이동을 보상하기 위한 개인식별을 위한 손등 혈관패턴 인식 시스템 및 그 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a system and method for recognizing a hand blood vessel pattern for personal identification, and more particularly to a hand blood vessel pattern recognition system for individually identifying a hand blood vessel pattern recognition system And a method thereof.

일반적으로, 사용자 출입 통제 및 보안을 위해 사용자 인증을 요구하는 시스템에서는 마그네틱 카드, 스마트 카드, RF 카드 등을 이용한 카드가 주로 사용되고있다.In general, in a system requiring user authentication for user access control and security, a card using a magnetic card, a smart card, or an RF card is mainly used.

이 경우, 사용자의 도난 및 오용, 분실 등으로 인해 여러 문제점이 발생할 뿐만 아니라 사용자 수가 대규모인 경우에는 개인에게 지급되는 카드 수가 많아지므로 경제적 부담이 커지는 문제점도 발생한다.In this case, various problems arise due to the theft, misuse and loss of the user, and in the case where the number of users is large, the number of cards to be paid to the individual is increased, which increases the economic burden.

따라서, 상기 문제점을 해결하기 위해 사용자의 신체적인 특징을 이용해 자동 인식하여 사용자의 신원 확인, 신원 인증 및 출입 통제에 사용될 수 있는 생체 인식 시스템이 상용화되고 있는 추세이다.Accordingly, in order to solve the above problem, a biometric identification system that can be used for identification, identification, and access control of a user by automatically recognizing the user's physical characteristics is being commercialized.

상기 생체 인식 시스템은 대개 지문패턴을 이용한 지문인식 시스템, 얼굴의 형상을 인식하는 시스템, 손의 형태를 이용하는 시스템 등이 있는데, 이러한 시스템들은 생체 특징의 변형, 외부 환경, 액세서리 등으로 인해 안정적인 인식 성능을 얻기 힘들다.The biometrics recognition system generally includes a fingerprint recognition system using a fingerprint pattern, a system for recognizing a shape of a face, and a system using a shape of a hand. These systems have a stable recognition performance It is difficult to obtain.

즉, 지문인식 시스템은 사용자의 지문이 고유하다는 점에서는 개인 식별에 유용하게 사용되나 양호한 지문을 얻을 수 없는 근로 현장이나 군대 등에서는 사용할 수 없다.In other words, the fingerprint recognition system is useful for identification of the user in that the user's fingerprint is unique, but it can not be used in the workplace or the military where good fingerprints can not be obtained.

그리고, 얼굴의 형상을 인식하는 시스템은 사용자 편의성에서는 매우 우수하나 외부 조명, 화장, 액세서리 등에 의해서 발생되는 성능저하 요인을 해결하여 안정된 인식 성능을 얻기에는 기술적으로 어려움이 있다. 손의 형태를 이용하는 시스템은 사용자가 류마치스, 관절염에 의해 생체 특징의 변형이 쉽게 발생될 수 있어 시스템 성능 저하가 나타난다.In addition, although the system for recognizing the shape of the face is excellent in user convenience, it is technically difficult to obtain a stable recognition performance by solving the deterioration factors caused by external lighting, makeup, accessories, and the like. In the system using the shape of the hand, the deformation of the biometric characteristic can be easily generated by the user due to rheumatism and arthritis, resulting in deterioration of system performance.

이러한 기존 생체 인식 시스템의 단점을 개선하기 위해 피하에 위치하는 사용자 손등의 정맥패턴을 인식하는 방식이 대한민국 특허등록 제10-259475호의 정맥분포패턴을 이용한 개인식별 방법에 나타나 있다.In order to improve the disadvantages of such conventional biometric systems, a method of recognizing a vein pattern of a user's hand placed under the skin is disclosed in the Korean Patent Registration No. 10-259475 using a vein distribution pattern.

정맥분포패턴을 이용한 개인식별 방법은 먼저 그 기구적인 설계면에서 크게, 사용자의 고정적인 손의 위치를 확보하기 위한 안착수단, 사용자의 손등에서 정맥패턴을 추출하기 위한 추출수단, 사용자 손의 회전 및 이동에 대한 보상을 위한 비교수단으로 구성된다.The personal identification method using the vein distribution pattern can be classified as follows: first, from the viewpoint of the mechanical design, there are a mounting means for securing the position of the fixed hand of the user, an extracting means for extracting the vein pattern from the user's hand, And comparison means for compensation for movement.

안착수단은 도 1a 및 도 1b에 도시된 바와 같이 손으로 잡을 수 있는 봉이 장착되어 있어 사용자가 그 봉을 잡게 되면 사용자 손등의 원시 영상이 카메라를 통해 입력되도록 한다.As shown in FIGS. 1A and 1B, the mounting means is equipped with a rod which can be held by hand. When the user holds the rod, the original image of the user's hand is input through the camera.

그리고, 추출수단은 카메라를 통해 입력되는 원시 영상에서 정맥패턴 검출 영역, 즉 Region of Interest(ROI) 영상만을 추출하여 고대역 처리와 이치화 (Binary) 처리를 적용하여 개개인의 손등의 정맥패턴을 추출한다.The extracting means extracts only a vein pattern detection region, that is, a region of interest (ROI) image, from a raw image input through a camera, extracts a vein pattern of an individual's hand by applying high-band processing and binarization processing .

이때, 비교수단은 사용자가 손을 회전하거나 이동하는 경우에 손등 정맥패턴의 왼쪽 상단의 분기점과 오른쪽 하단의 분기점을 사용하여 손의 움직임에 대한 보상처리를 수행한다.At this time, when the user rotates or moves the hand, the comparison means performs a compensation process for the motion of the hand by using the upper left branch point and the lower right branch point of the hand vein pattern.

즉, 도 2a 및 도 2b에 도시된 바와 같이 안착수단에서 사용자가 손으로 봉을 잡는 위치에 따라 봉을 기준으로 위, 아래로의 회전이 발생되므로, 원시 영상을 촬영하는 카메라와의 거리적인 변화와 추출하려는 손등 정맥패턴의 왜곡이 발생하기 때문에 시스템의 정맥패턴 인식 성능이 저하될 수 있다.That is, as shown in FIG. 2A and FIG. 2B, since the rotation of the rod up and down occurs with respect to the rod according to the position where the user holds the rod with the hand at the mounting means, And the distortion of the hand vein pattern to be extracted occurs, so that the vein pattern recognition performance of the system may be degraded.

다음, 상기 정맥분포패턴을 이용한 개인식별 방법의 동작을 도 3을 참고하여살펴보면 다음과 같다.Next, the operation of the personal identification method using the vein distribution pattern will be described with reference to FIG.

제1 단계에서는 안착수단 및 카메라를 통해 불특정 사용자 손등에 관한 원시영상을 입력한다(S1). 그리고, 제2 단계에서는 제1 단계(S1)에서 입력한 원시영상에서 정맥패턴을 추출하기 위해 ROI 영상을 추출한다(S2).In the first step, a raw image related to an unspecified user's hand is input through a seating unit and a camera (S1). In the second step, an ROI image is extracted to extract a vein pattern from the raw image input in the first step S1 (S2).

제3 및 제4 단계에서는 상기 제2 단계(S2)에서 추출한 ROI 영상을 고대역 처리와 이치화 처리하고(S3, S4), 제5 단계에서는 데이터 필터링을 위해 고대역 및 이치화 처리된 영상에서 사용자 손등의 정맥패턴을 추출한다(S5).In the third and fourth steps, the ROI image extracted in the second step S2 is subjected to high-band processing and binarization processing S3 and S4. In the fifth step, in the high-band and binarized video, (Step S5).

이렇게 하여, 제 6 단계에서는 정맥패턴의 분기 특성을 검출하고 손등 정맥패턴의 왼쪽 상단의 분기점과 오른쪽 하단의 분기점을 이용하여 사용자 손의 회전 및 이동에 의해서 발생되는 시스템 오거절(False Rejection), 즉 정당한 사용자임에도 불구하고 사용자를 올바르지 못한 사용자로 처리하는 오류를 해결한다(S6).In this manner, in the sixth step, the branching characteristic of the vein pattern is detected, and system false rejection (False Rejection) generated by the rotation and movement of the user's hand, that is, And resolves the error that the user is treated as an invalid user despite the legitimate user (S6).

최종적으로, 시스템은 상기 단계를 거친 정맥패턴 분기특성을 이용하여 개인 식별을 판단한다.Finally, the system judges the individual identification using the vein pattern branching characteristic that has undergone the above step.

이와 같이, 종래 정맥분포패턴을 이용한 개인식별 장치 및 방법에서는 안착수단에서 사용자가 손으로 봉을 잡는 위치에 따라서 봉을 기준으로 위, 아래로 회전이 발생할 수 있다. 따라서, 사용자 손의 움직임은 사용자의 손등에 관한 영상을 촬영하는 카메라와의 거리적인 변화와 추출하려는 정맥패턴의 왜곡을 발생시켜 시스템 인식 성능 저하요인으로 작용한다는 문제점이 있다.As described above, in the personal identification device and method using the conventional vein distribution pattern, rotation may occur up and down with respect to the rod depending on the position where the user holds the rod with the hand. Therefore, the movement of the user's hand causes a change in the distance from the camera that captures the image of the user's hand, and a distortion of the vein pattern to be extracted, which causes a problem of deterioration in system recognition performance.

또한, 사용자 손등의 정맥패턴을 추출하는 추출수단은 정맥패턴의 중요한 특징인 패턴 연결성(vessel-patterns connectivity)을 부분적으로 손실하고 있어 시스템 인식 성능의 저하 요인으로 작용하고 있다. 즉, 정맥패턴의 분포 방향성을 고려하지 않고 동일한 처리 단계를 거침으로써 정맥패턴의 패턴 연결성을 부분적으로 손실한다. 게다가, 실제적인 생체 인식 특징으로 사용하는 정맥패턴의 분기점, 분기각도, 분기점에서의 길이와 같은 정맥패턴의 분기 특성을 추출하는데 많은 문제점이 있었다.In addition, the extraction means for extracting the vein pattern on the user's hand partly loses vessel-patterns connectivity, which is an important feature of the vein pattern, and thus acts as a deterioration factor of the system recognition performance. That is, the pattern connectivity of the vein pattern is partially lost by performing the same processing step without considering the distribution direction of the vein pattern. In addition, there are many problems in extracting the branching characteristics of the vein pattern such as the branching point, the branching angle, and the length at the branching point of the vein pattern used in actual biometric features.

또한, 종래 정맥분포패턴을 이용한 개인식별 장치 및 방법은 실제적인 시스템 운영에서 외부 환경변화, 입력 영상의 변화 등에 대해서 매우 민감하게 반응할 뿐만 아니라, 최종적으로 추출된 손등 정맥패턴의 분기 특성에 모두 일괄적인 가중치(Uniform weighting factor)를 적용하여 사용자를 인식하게 되므로 실질적인 생체 인식 시스템으로의 안정성이 현저히 떨어지는 문제점이 있었다.In addition, the personal identification apparatus and method using the conventional vein distribution pattern are very sensitive to changes in the external environment and the input image in the actual system operation. In addition, Since the user is recognized by applying a uniform weighting factor, there is a problem that the stability of the biometric system is substantially reduced.

무엇보다도, 종래 정맥분포 패턴을 이용한 개인식별 장치 및 방법은 사용자 손의 회전 및 이동에 의해서 발생되는 시스템 오거절을 해결하기 위해 추출된 손등 정맥패턴의 왼쪽 상단의 분기점과 오른쪽 하단의 분기점을 이용한다. 이러한 종래 방법은 기준점으로 추출된 분기점이 부분적으로 손실되게 되면 시스템에서 기준 분기점을 잘못 인식함으로써 시스템 성능 저하의 중요한 요인으로 작용한다는 문제점이 있다.Above all, the personal identification apparatus and method using the conventional vein distribution pattern use a bifurcation at the upper left corner and a bifurcation at the lower right corner of the extracted hand vein pattern to solve the system false rejection caused by the rotation and movement of the user's hand. Such a conventional method has a problem that when the branch point extracted as the reference point is partially lost, the system erroneously recognizes the reference point, which is an important factor of system performance degradation.

본 발명은 위의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 개인 식별을 위해 사용자 손등 혈관패턴 추출시 사용자 손의 회전 및 이동에 의한 위치 변화를 입력된 손의 위치, 연속적인 손의 입력 영상, 그레이 스케일 분포를 이용하여보상할 수 있는 개인식별을 위한 손등 혈관패턴 인식 시스템 및 그 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide an apparatus and a method for detecting a positional change of a user's hand, , And a method for recognizing a hand blood vessel pattern for personal identification that can be compensated using a gray scale distribution and a method therefor.

도 1a 및 도 1b는 종래 기술에 따른 정맥분포패턴을 이용한 개인식별 방법에서 사용자가 안착수단을 이용해 손에 힘을 주는 상태가 도시된 도면이다.FIGS. 1A and 1B are views showing a state in which a user applies force to a hand using a seating unit in a personal identification method using a vein distribution pattern according to the related art.

도 2a 및 도 2b는 종래 기술에 따른 정맥분포패턴을 이용한 개인식별 방법에서 사용자가 손을 위/아래로 회전하는 상태가 도시된 도면이다.FIGS. 2A and 2B are views showing a state where a user rotates his / her hand up / down in a personal identification method using a vein distribution pattern according to the related art.

도 3은 종래 기술에 따른 정맥분포패턴을 이용한 개인식별 방법의 동작이 도시되 순서도이다.FIG. 3 is a flowchart illustrating an operation of a personal identification method using a vein distribution pattern according to the related art.

도 4 및 도 5는 본 발명에 따른 실시예로서 개인식별을 위한 손등 혈관패턴 인식 시스템이 도시된 외부도 및 내부도이다.4 and 5 are an external view and an internal view illustrating a hand blood vessel pattern recognition system for personal identification according to an embodiment of the present invention.

도 6은 본 발명의 실시예에 따른 개인식별을 위한 손등 혈관패턴 인식 시스템의 내부 구성이 도시된 도면이다.FIG. 6 is a diagram illustrating an internal structure of a hand blood vessel pattern recognition system for identifying an individual according to an embodiment of the present invention.

도 7은 본 발명의 실시예에 따른 개인식별을 위한 손등 혈관패턴 인식 방법이 도시된 순서도이다.FIG. 7 is a flowchart illustrating a method of recognizing a hand blood vessel pattern for identifying an individual according to an embodiment of the present invention.

도 8은 본 발명의 제1 실시예에 따른 사용자 손의 입력 위치를 이용한 위치 보상 상태가 도시된 도면이다.8 is a diagram illustrating a position compensation state using an input position of a user's hand according to the first embodiment of the present invention.

도 9는 사용자 손이 우측으로 회전된 경우에 보상을 수행한 결과 영상이 도시된 도면이다.9 is a view showing a resultant image obtained by performing compensation when the user's hand is rotated to the right.

도 10은 사용자 손이 좌측으로 회전된 경우에 보상을 수행한 결과 영상이 도시된 도면이다.10 is a diagram showing a resultant image obtained when compensation is performed when the user's hand is rotated to the left.

도 11은 본 발명의 제1 실시예에 따른 사용자 손의 상하 이동 발생시 위치 보상 상태가 도시된 도면이다.11 is a view illustrating a position compensation state when a user's hand moves up and down according to the first embodiment of the present invention.

도 12는 사용자 손이 상측으로 이동된 경우에 보상을 수행한 결과 영상이 도시된 도면이다.12 is a diagram showing a resultant image obtained by performing compensation when a user's hand is moved upward.

도 13은 사용자 손이 하측으로 이동된 경우에 보상을 수행한 결과 영상이 도시된 도면이다.FIG. 13 is a diagram illustrating a result of performing compensation when a user's hand is moved downward. FIG.

도 14는 본 발명의 제1 실시예에 따른 사용자 손이 회전 및 상하 이동이 동시 발생시 위치 보상 상태가 도시된 도면이다.FIG. 14 is a diagram illustrating a position compensation state when a user's hand rotates and moves up and down simultaneously according to the first embodiment of the present invention. FIG.

도 15는 사용자 손이 우 회전 및 상측으로 이동된 경우에 보상을 수행한 결과 영상이 도시된 도면이다.FIG. 15 is a diagram showing a resultant image in which compensation is performed when the user's hand is rotated rightward and moved upward. FIG.

도 16에서 도 25는 연속적인 입력영상 분석에 의한 회전 보상에 관한 도면을 도시한 것이다.FIGS. 16 to 25 illustrate the rotation compensation by continuous input image analysis. FIG.

도 16은 본 발명의 제2 실시예에 따른 연속적인 입력 영상 분석을 이용한 위치 보상을 위해 사용자 손의 연속적인 입력 영상이 도시된 도면이다.16 is a diagram illustrating a continuous input image of a user's hand for position compensation using continuous input image analysis according to a second embodiment of the present invention.

도 17은 체인 코드를 이용한 손가락 진행 방향 분석을 위한 4-연결 체인의 형태가 도시된 도면이다.FIG. 17 is a view showing a form of a 4-connected chain for analyzing a finger traveling direction using a chain code. FIG.

도 18은 체인 코드를 이용한 손가락 진행 방향 분석을 위해 중지의 좌표 및 각도 측정 과정이 도시된 도면이다.18 is a diagram showing a process of measuring coordinates and angles of a stop for analyzing a finger traveling direction using a chain code.

도 19는 체인 코드를 이용한 손가락 진행 방향 분석에 의한 위치 보상 방법이 도시된 순서도이다.FIG. 19 is a flowchart showing a position compensation method by analyzing a finger traveling direction using a chain code.

도 20은 실제 연속적인 사용자 손의 영상 입력과 ROI 영상이 도시된 도면이다.FIG. 20 is a diagram showing an actual continuous user's hand image input and ROI image.

도 21은 도 20의 ROI 영상을 체인 코드를 이용 처리하여 중지 자취 및 선분 방향 데이터의 추출 상태가 도시된 도면이다.FIG. 21 is a diagram showing extraction states of discontinuity trace and line direction data by processing the ROI image of FIG. 20 using a chain code.

도 22는 핑거 에지 검출을 이용한 손가락 진행 방향 분석에 의한 위치 보상 방법이 도시된 순서도이다.FIG. 22 is a flowchart showing a position compensation method by analyzing a finger traveling direction using finger edge detection.

도 23은 핑거 에지 검출을 이용한 손가락 진행 방향 분석을 위해 중지의 좌표 및 각도 측정 과정이 도시된 도면이다.23 is a diagram showing a process of measuring coordinates and angles of a stop for analyzing a finger traveling direction using finger edge detection.

도 24는 도 22의 핑거 에지 검출 영상을 처리하여 중지 자취 및 선분 방향 데이터의 추출 상태가 도시된 도면이다.FIG. 24 is a diagram showing extracted states of discontinuity trace and line direction data by processing the finger edge detection image of FIG. 22; FIG.

도 25는 본 발명의 제2 실시예로서 사용자 손이 우측으로 회전된 영상의 위치 보상 상태가 도시된 도면이다.FIG. 25 is a diagram illustrating a position compensation state of an image in which a user's hand is rotated to the right as a second embodiment of the present invention. FIG.

도 26에서 도 32는 그레이 스케일 분포를 이용한 위치 보상 방법에 관한 도면을 도시한 것이다.26 to 32 illustrate a position compensation method using a gray scale distribution.

도 26은 본 발명의 제3 실시예에 따른 그레이 스케일 분포를 이용한 위치 보상 방법에서 기하학 특성 벡터를 구하는 순서도이다.26 is a flowchart for obtaining a geometric feature vector in the position compensation method using the gray scale distribution according to the third embodiment of the present invention.

도 27은 도 26에 의해 추출된 기하학 특성 벡터의 2차원 투영도가 도시된 도면이다.Fig. 27 is a diagram showing a two-dimensional projection diagram of the geometric characteristic vector extracted by Fig. 26; Fig.

도 28은 기하학 특성 벡터의 3차원 투영도가 도시된 도면이다.28 is a diagram showing a three-dimensional projection diagram of a geometric characteristic vector.

도 29는 사용자가 시스템 실제 사용시 추출된 기본 기하학 특성 벡터와 회전에 의한 기하학 특성 벡터가 도시된 도면이다.29 is a diagram showing a basic geometric feature vector extracted by a user in actual use of the system and a rotation-based geometric feature vector.

도 30은 그레이 스케일을 이용한 회전과 이동 보상 상태가 도시된 도면이다.30 is a diagram showing a state of rotation and movement compensation using gray scale.

도 31은 실제로 기하학 특성 벡터를 이용한 위치 보상 실례로서 데이터베이스 상에 저장된 영상이 도시된 도면이다.FIG. 31 is a diagram showing an image stored on a database as a position compensation example using a geometric characteristic vector. FIG.

도 32는 기하학 특성 벡터(geometric feature vector)를 이용한 위치 보상 실례로서 그레이 스케일을 이용한 회전과 이동 보상을 수행한 영상이 도시된 도면이다.32 is a view illustrating an image obtained by performing rotation and motion compensation using gray scale as an example of position compensation using a geometric feature vector.

상기한 바와 같은 목적을 실현하기 위한 본 발명의 특징에 따른 개인식별을 위한 손등 혈관패턴 인식 방법은, 손잡이에 사용자의 손과 손가락이 고정되면 카메라를 이용해 사용자 손의 원시 영상을 촬영하는 단계, 상기 촬영된 손의 원시 영상에서 손가락간의 교차점과 손가락 사이에 위치되는 손잡이의 좌우 모서리로 이루어지는 다각형을 산출하는 단계, 상기 산출된 다각형과 데이터베이스에 기저장된 기준 다각형과의 위상차 및 높이 차이를 비교하여 사용자 손의 움직임을 감지하고 위치 보상을 수행하는 단계, 상기 위치 보상이 완료되면, 상기 사용자 손의 원시영상에서 손등 혈관패턴과 그 특성을 추출하여 데이터베이스에 기저장된 기준 손등 혈관패턴 및 그 특성과 비교하는 단계, 상기 손등 혈관패턴간의 비교 결과에 따라 사용자의 본인 여부를 확인하고 입장 허락/거부를 결정하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for recognizing a hand blood vessel pattern for identifying an individual, comprising the steps of: capturing a raw image of a user's hand using a camera when a user's hand and a finger are fixed to the handle; Calculating a polygon comprising a crossing point between the fingers and left and right edges of a handle positioned between the fingers in a raw image of the picked hand, comparing the calculated difference in phase difference and height between the calculated polygon and the reference polygon previously stored in the database, A step of extracting a hand blood vessel pattern and its characteristics from a raw image of the user's hand and comparing the reference hand blood vessel pattern with the reference hand blood vessel pattern previously stored in the database, , Whether the user is the user himself or herself And determining permission / denial of admission.

상기 다각형을 산출하는 단계는, 상기 제1 손잡이의 좌우 모서리와 검지와 중지의 교차점을 서로 연결하여 삼각형을 산출하고, 상기 제2 손잡이의 좌우 모서리와 중지와 약지의 교차점을 서로 연결하여 삼각형을 산출한다.The step of calculating the polygon may include calculating a triangle by connecting the left and right edges of the first handle and the intersections of the detection and the stop and connecting the intersections of the left and right edges of the second handle with the stop and the finger, do.

또한, 본 발명의 다른 특징에 따른 개인식별을 위한 손등 혈관패턴 인식 방법은, 카메라를 이용해 사용자 손의 원시 영상 촬영시, 사용자 손의 입력 시작 시점부터 입력 완료 시점까지 일정한 처리 속도로 연속적으로 사용자 손을 촬영하고, 손잡이에 사용자의 손과 손가락이 고정되면 사용자 손의 원시 영상을 촬영하는 단계, 상기 촬영된 사용자 손의 연속 연상을 토대로 손의 진행방향을 확인하고, 데이터베이스에 기저장된 기준 손등 혈관패턴의 진행방향과 비교하여 사용자의 움직임을 감지하고 위치 보상을 수행하는 단계, 상기 위치 보상이 완료되면, 상기 사용자 손의 원시영상에서 손등 혈관패턴과 그 특성을 추출하여 데이터베이스에 기저장된 기준 손등 혈관패턴 및 그 특성과 비교하는 단계, 상기 손등 혈관패턴간의 비교 결과에 따라 사용자의 본인 여부를 확인하고 입장 허락/거부를 결정하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for recognizing a hand blood vessel pattern for personal identification, comprising the steps of: capturing a raw image of a user's hand using a camera; Capturing an original image of the user's hand when the user's hand and a finger are fixed to the handle, checking the progress direction of the hand based on the continuous association of the captured user's hand, Detecting a motion of a user and performing position compensation; and when the position compensation is completed, extracting a hand blood vessel pattern and its characteristics from a raw image of the user's hand and comparing the reference hand blood vessel pattern And comparing the results with the characteristics of the user, To verify your identity and includes determining the entry permit / deny.

상기 손의 진행방향 파악 단계에서는, 상기 사용자 손의 원시영상에서 이진화된 영상을 검출하고, 체인 코드(Chain code)를 이용하여 손의 형태를 근사화시켜 손가락의 진행 방향을 구한다.In the step of recognizing the direction of the hand, a binarized image is detected from a raw image of the user's hand, and the direction of the finger is obtained by approximating the shape of the hand using a chain code.

상기 체인 코드를 이용하는 단계에서는,In the step of using the chain code,

상기 사용자 손의 이진화된 영상에서 중지의 경계면에 따라 체인이 이동하면서 체인된 값의 자취 데이터를 생성하는 단계, 상기 자취 데이터 중 체인의 순환 부분을 찾아 제거하고, 상기 제거된 부분의 전후 체인을 연결해주는 단계, 상기 자취 데이터 중 중지의 자취에서 손가락의 높이를 기준으로 설정된 제1 및 제2 지점의 좌표를 측정하여 중지의 수직 진행방향 선분을 검출하는 단계, 상기 중지의 수직 진행방향 선분과 수평면과의 각도를 측정하여 중지의 진행방향을 파악하는 단계를 포함한다.The method of claim 1, further comprising: generating trace data of chained values while moving the chain along a boundary of the stop in the binarized image of the user's hand; searching and removing a circulating portion of the chain of the trace data; Measuring a coordinate of a first point and a second point based on a height of a finger in a trail of a stop in the trace data to detect a vertical proceeding direction segment of the stop, And determining the progress direction of the stop.

상기 손의 진행방향 파악 단계에서는, 상기 사용자 손의 원시영상에서 이진화된 영상을 검출하고, 핑거 에지(Finger edge) 검출을 이용하여 손가락의 경계면을 찾아 손가락의 형태를 근사화하여 손의 진행방향을 구한다.In the step of grasping the direction of the hand, a binarized image is detected from a raw image of the user's hand, and a direction of the hand is obtained by approximating the shape of the finger by looking for the boundary of the finger using finger edge detection .

상기 핑거 에지 검출을 이용하는 단계에서는, 상기 자취 데이터 중 중지의 자취에서 손가락의 높이를 기준으로 설정된 제1 및 제2 지점의 좌표를 측정하여 중지의 수직 진행방향 선분을 검출하고, 상기 중지의 수직 진행방향 선분과 수평면과의 각도를 측정함으로 중지의 진행방향을 파악하는 단계를 포함한다.Wherein the step of using the finger edge detection comprises the steps of measuring the coordinates of the first and second points set on the basis of the height of the finger in the trace of the stop of the trace data to detect the vertical progress direction segment of the stop, And determining the direction of the stop by measuring the angle between the direction line segment and the horizontal plane.

또한, 본 발명의 또 다른 특징에 따른 개인식별을 위한 손등 혈관패턴 인식 방법은 사용자 시스템 등록시 사용자의 손등 굴곡에 대한 기준 벡터를 추출하여 데이터베이스에 저장하는 단계, 손잡이에 사용자의 손과 손가락이 고정되면 카메라를 이용해 사용자 손의 원시 영상을 촬영하는 단계, 상기 사용자 손의 원시 영상에서 그레이 스케일을 사용하여 사용자 손등 굴곡에 특성 벡터를 산출하여 데이터베이스에 기저장된 기준 벡터와 비교하여 사용자의 움직임을 감지하고 위치 보상을 수행하는 단계, 상기 위치 보상이 완료되면, 상기 사용자 손의 원시영상에서 손등 혈관패턴과 그 특성을 추출하여 데이터베이스에 기저장된 기준 손등 혈관패턴 및 그 특성과 비교하는 단계, 상기 손등 혈관패턴간의 비교 결과에 따라 사용자의 본인 여부를 확인하고 입장 허락/거부를 결정하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for recognizing a hand blood vessel pattern for personal identification, comprising the steps of: extracting a reference vector for a user's hand bending during user system registration and storing the extracted reference vector in a database; The method includes capturing a raw image of a user's hand using a camera, calculating a feature vector in a user's hand curve using grayscale in a raw image of the user's hand, comparing the feature vector with a reference vector previously stored in the database, A step of extracting a hand blood vessel pattern and its characteristics from a raw image of the user's hand when the position compensation is completed, comparing the extracted hand blood vessel pattern and its characteristics with a reference hand blood vessel pattern previously stored in a database and its characteristics, Based on the result of the comparison, Chapter determining the permit / deny.

상기 기준 벡터 추출 단계에서는,In the reference vector extraction step,

사용자 손의 원시 영상에서 사용자가 움직이더라도 촬영 범위 내에서 벗어나지 않는 영역 내에서의 손등 영상을 추출하는 단계, 상기 추출된 손등 영상에서 수직 및 수평 방향의 최대 그레이 스케일(gray scale) 값의 집합을 구하여 기준 벡터를 생성하는 단계를 포함한다.Extracting a back image in an area that does not deviate from the shooting range even if the user moves from the original image of the user's hand, obtaining a set of maximum gray scale values in the vertical and horizontal directions in the extracted back image, And generating a reference vector.

상기 기준 벡터를 생성하는 단계에서는, 상기 추출된 손등 영상에서 이동 평균 필터(Moving Average filter)를 사용하여 노이즈를 제거하는 단계를 더 포함한다.The generating of the reference vector may further include removing noise using a moving average filter in the extracted hand image.

한편, 본 발명의 특징에 따른 개인식별을 위한 손등 혈관패턴 인식 시스템은, 사용자가 동작 진행에 필요한 번호나 사용자 등록번호를 입력하는 키입력부, 사용자 손등 혈관패턴에 관한 기준 데이터가 사용자별로 저장되는 데이터베이스, 사용자의 손과 손가락을 고정시키는 손잡이부, 상기 손잡이부에 고정된 사용자의 손을 촬영하는 카메라부, 상기 카메라부를 통해 촬영된 사용자 손의 원시영상을 혈관패턴 추출을 위한 정지화상으로 변환 출력하는 영상처리부, 상기 영상처리부의 정지화상을 입력받아 사용자의 움직임에 따른 위치 보상을 수행하고, 손등 혈관패턴에 따른 분기 특성을 추출하여 이를 데이터베이스에 기저장된 기준영상과 비교함으로써 사용자 본인 여부를 확인하는 마이크로 프로세서, 상기 마이크로프로세서의 제어에 의해 외부장치와 데이터 및 제어 통신 기능을 수행하는 인터페이스부를 포함한다.Meanwhile, the hand blood vessel pattern recognition system for identifying an individual according to an aspect of the present invention includes a key input unit for inputting a number or a user registration number required for a user to perform an operation, a reference database for a user's hand blood vessel pattern, A grip portion for fixing the user's hand and a finger, a camera portion for photographing a user's hand fixed to the grip portion, and a raw image of the user's hand picked up through the camera portion, into a still image for extracting a blood vessel pattern An image processing unit for receiving a still image of the image processing unit, performing position compensation according to a movement of a user, extracting a branching characteristic according to a hand blood vessel pattern, and comparing the branching characteristic with a reference image stored in a database, A processor, which, under control of the microprocessor, It includes an interface unit for performing value and the data and control communication functions.

상기 손잡이부는, 사용자의 손을 고정시키는 주손잡이와, 사용자 손의 회전과 이동을 보상하기 위해 손가락을 고정시키는 보조손잡이로 구성된다.The handle portion includes a main handle for fixing the user's hand and an auxiliary handle for fixing the finger to compensate for the rotation and movement of the user's hand.

상기 카메라부는, 상기 주손잡이에 대응되는 방향으로 주손잡이의 상부쪽에 설치되어 사용자 손등 혈관패턴을 촬영하는 주카메라와, 상기 보조손잡이에 대응되는 방향으로 보조손잡이의 상부쪽에 설치되어 사용자의 손가락 부분을 촬영하는 보조 카메라로 구성된다.The camera unit includes a main camera installed on the upper side of the main handle in a direction corresponding to the main handle and photographing a user's hand vein pattern, and a main camera installed on the upper side of the auxiliary handle in a direction corresponding to the auxiliary handle, And an auxiliary camera for photographing.

상기 카메라부의 전면 방향에 외부 조명의 영향을 감소시키기 위한 중간파 필터가 설치된다.A middle-wave filter for reducing the influence of external illumination is provided in the front direction of the camera unit.

상기 마이크로프로세서는, 사용자 손의 입력 위치 검출 방식, 사용자 손의 연속 입력 영상 분석 방식, 사용자 손등 굴곡에 대한 그레이 스케일 분포 적용 방식 중 어느 한 방식을 사용하여 위치 보상을 수행한다.The microprocessor performs position compensation using any one of an input position detecting method of a user's hand, a continuous input image analyzing method of a user's hand, and a gray scale distribution applying method for a user's hand curvature.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 4 및 도 5는 본 발명에 따른 실시예로서 개인식별을 위한 손등 혈관패턴 인식 시스템의 외부도 및 내부도를 각각 도시한 것이다.4 and 5 illustrate an external view and an internal view, respectively, of a hand-held blood vessel pattern recognition system for personal identification according to an embodiment of the present invention.

도 4 및 도 5에 도시된 바에 의하면, 장치의 외관을 형성하는 케이스(1)는 그 하부 쪽에 사용자 손이 안착되어 사용자 손등이 상부를 향하도록 개방된 공간이 마련되어 있다.4 and 5, the case 1 forming the outer appearance of the apparatus is provided with a space in which the user's hand is seated on the lower side thereof and the user's hand is opened upward.

케이스(1)의 하부에는 사용자 손등이 상부를 향하도록 사용자가 손바닥으로 잡아 손을 고정시키는 주손잡이(11)가 설치되고, 주손잡이(11)의 하부 쪽에 주손잡이(11)와 일정 이격거리를 두고 배치되어 손가락을 고정시키는 보조손잡이(12)가 설치된다.A main handle 11 for holding a user's hand by holding the hand with the palm of the hand so that the user's hand is facing upward is provided in the lower portion of the case 1 and a predetermined distance from the main handle 11 is formed on the lower side of the main handle 11 And an auxiliary handle 12 which is arranged and fixed to fix the finger is provided.

주손잡이(11)는 도 4에 도시된 바와 같이 제1 손잡이(11a)와 제2 손잡이 (11b)로 구성된다.The main handle 11 is composed of a first handle 11a and a second handle 11b as shown in Fig.

또한, 케이스(1)의 내부에는 소정 공간을 확보하면서 하부가 개구되어 있는경통(20)이 설치되어 있는데, 경통(20)의 내부 벽은 중간파(mid-wave) 적외선를 흡수할 수 있는 흡수체가 도포되어 있다.An inner wall of the lens barrel 20 is provided with an absorbent body capable of absorbing mid-wave infrared rays. The inner wall of the lens barrel 20 is provided with a light- Respectively.

경통(20)은 그 개구 부분의 끝단에 외부 빛을 차단시키는 러버(rubber, 21)가 설치되고, 러버(21) 반대편 쪽 경통(20)의 내부에는 사용자 손등 혈관패턴을 촬영하기 위해 하부 방향을 향해 배치되는 주카메라(31), 및 주카메라(31)의 양측에 위치되어 손등 혈관패턴을 강조하기 위해 사용자 손등으로 빛을 조명하는 제1 중간파 적외선 조명(33)이 각각 설치된다.The barrel 20 is provided with a rubber 21 for blocking external light at the end of the opening and a downward direction for photographing the user's hand vein pattern on the inside of the barrel 20 opposite to the rubber 21 And a first medium-wave infrared ray illuminator 33, which is located on both sides of the main camera 31 and illuminates the user's hand with a light for emphasizing the hand blood vessel pattern, is installed.

특히, 경통(20)은 러버(21)와 주카메라(31) 사이에서 사용자가 움직이더라도 촬영 범위에서 벗어나지 않는 혈관패턴 검출 영역인 ROI(Region of Interest) 영상 촬영을 위한 초점거리를 확보한다.In particular, the lens barrel 20 secures a focal distance for ROI (Region of Interest) imaging, which is a blood vessel pattern detection region that does not deviate from the imaging range, even if the user moves between the rubber 21 and the main camera 31.

그리고, 보조손잡이(12) 상부쪽에는 사용자 손가락 부분을 촬영하는 보조 카메라(32)가 설치되고, 보조 카메라(32)의 양측에는 제2 중간파 적외선 조명(34)이 설치된다.An auxiliary camera 32 for photographing the user's fingers is provided on the upper side of the auxiliary handle 12 and a second intermediate wave infrared light 34 is installed on both sides of the auxiliary camera 32.

또한, 주카메라(31)와 제1 중간파 적외선 조명(33)의 하부 쪽에는 중간파 적외선만을 통과시키는 제1 중간파 적외선 필터(41)가 설치되고, 보조손잡이(12)와 보조 카메라(32) 사이에는 손가락의 움직임을 감시하기 위해 제2 중간파 적외선 필터(42)가 설치된다.A first intermediate wave infrared ray filter 41 for passing only intermediate wave infrared rays is provided below the main camera 31 and the first intermediate wave infrared ray illuminator 33. The first intermediate wave infrared ray filter 41 passes through the auxiliary handle 12 and the auxiliary camera 32 A second intermediate-wave infrared ray filter 42 is installed to monitor the movement of the finger.

한편, 도 6에는 본 발명의 실시예에 따른 개인식별을 위한 손등 혈관패턴 인식 시스템의 내부 구성이 도시된 도면이다.FIG. 6 is a diagram illustrating an internal structure of a hand blood vessel pattern recognition system for identifying an individual according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 본 발명의 실시예에 따른 개인식별을 위한 손등혈관패턴 인식 시스템은, 사용자가 시스템 진행에 필요한 번호나 사용자 등록번호를 입력하는 키입력부(51), 사용자 등록번호별 혈관패턴 분기 특성에 관한 데이터가 업데이트되면서 사용자의 혈관패턴에 관한 분기특성과 기준 영상이 저장되고, 위치 보상을 위한 기준 데이터가 저장되어 있는 데이터베이스(52), 주카메라(31) 및 보조 카메라(32)로부터 입력되는 사용자 손에 관한 영상신호를 정지 화상 데이터로 변환하는 프레임 그레버(53)를 포함한다.6, a hand blood vessel pattern recognition system for identifying an individual according to an embodiment of the present invention includes a key input unit 51 for inputting a number necessary for a system operation or a user registration number, A database 52, a main camera 31, and an auxiliary camera 32, in which the branch characteristic of the user's blood vessel pattern and the reference image are stored and reference data for position compensation is stored, And a frame grabber 53 for converting a video signal related to the user's hand input from the video processor 50 into still image data.

또한, 프레임 그레버(53)에서 생성된 정지 화상 데이터를 임시 저장하는 화상 메모리(54), 화상 메모리(54)에 저장된 정지 화상 데이터에서 혈관패턴을 추출하여 데이터베이스(52)에 저장된 기준 영상 및 기준 데이터와 비교를 통해 위치 보상과 개인 식별을 수행하여 사용자의 입장 허락/거부 결정하는 마이크로프로세서 (55), 마이크로프로세서(55)의 제어에 의해 외부장치와의 데이터 및 제어 통신 기능을 수행하는 인터페이스부(56)를 포함한다.The image memory 54 for temporarily storing the still image data generated by the frame grabber 53, the blood vessel pattern extracted from the still image data stored in the image memory 54, the reference image stored in the database 52, A microprocessor 55 for performing position compensation and individual identification through comparison with the data and determining acceptance / rejection of a user's entry, an interface unit 55 for performing data communication with the external device under control of the microprocessor 55, (56).

마이크로프로세서(55)는 정지 화상 데이터로부터 추출된 혈관패턴에서 분포특성 데이터를 검출하고, 상기 분포특성 데이터를 데이터베이스(52) 내의 분포 특성과 비교하여 동일 여부를 판별한다.The microprocessor 55 detects the distribution characteristic data in the blood vessel pattern extracted from the still image data, and compares the distribution characteristic data with the distribution characteristic in the database 52 to determine whether or not they are the same.

또한, 마이크로프로세서(55)는 데이터베이스(52) 내의 기준 데이터와 입력된 손의 위치, 연속적인 손 입력 영상 분석, 그레이 스케일 분포 등의 데이터를 비교하여 사용자 손의 회전 또는 이동에 의한 손등 혈관패턴의 위치 보상을 수행한다.In addition, the microprocessor 55 compares the reference data in the database 52 with the input hand position, continuous hand input image analysis, gray scale distribution, and the like to determine whether the hand blood vessel pattern Perform position compensation.

상기와 같이 구성되는 본 발명의 실시예에 따른 개인식별을 위한 손등 혈관패턴 인식 시스템의 동작을 살펴보면 다음과 같다.Hereinafter, the operation of the hand-held blood vessel pattern recognition system for personal identification according to the embodiment of the present invention will be described.

도 7은 본 발명의 실시예에 따른 개인식별을 위한 손등 혈관패턴 인식 방법이 도시된 순서도이다.FIG. 7 is a flowchart illustrating a method of recognizing a hand blood vessel pattern for identifying an individual according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 시스템에 등록된 다수의 사용자 중에서 불특정 사용자가 주손잡이(11)와 보조손잡이(12)에 손을 고정시킨다. 그러면, 주카메라(31)는 사용자 손등 부분을 촬영하고, 보조 카메라(32)는 사용자의 손가락 부분의 영상을 촬영한다.(S1)As shown in FIG. 7, an unspecified user among a plurality of users registered in the system fixes his or her hand to the main grip 11 and the auxiliary grip 12. Then, the main camera 31 photographs the part of the user's hand, and the assistant camera 32 photographs the image of the user's finger. (S1)

이렇게 촬영된 사용자 손의 원시 영상은 주카메라(31) 및 보조 카메라(32)에 의해 촬영된 영상 신호는 프레임 그레버(53)를 통하여 정지 화상 데이터로 처리되고, 화상 메모리(54) 및 마이크로프로세서(55)에 입력된다.The original image of the user's hand photographed in this way is processed by the main camera 31 and the auxiliary camera 32 through the frame grabber 53 into the still image data and the image memory 54 and the microprocessor 32, (55).

마이크로프로세서(55)는 손의 입력 위치를 감지하고, 연속적으로 손 입력 영상을 분석하며, 또는 그레이 스케일 분포를 이용하여 사용자 손의 회전 또는 이동에 관한 움직임을 감지한다.(S2)The microprocessor 55 senses the input position of the hand, continuously analyzes the hand input image, or detects the movement related to the rotation or movement of the user's hand using the gray scale distribution (S2)

마이크로프로세서(55)는 데이터베이스(52) 내에 저장되어 있는 위치 보상에 관한 기준 데이터를 근거로 사용자의 움직임에 대한 보상을 수행한다.(S3) 그리고, 마이크로프로세서(55)는 프레임 그레버(53)와 화상 메모리(54)를 통해 전달되는 정지 화상 데이터에서 사용자 손등 혈관패턴과 그 특성을 추출한다.(S4)The microprocessor 55 compensates the movement of the user on the basis of the reference data related to the position compensation stored in the database 52. The microprocessor 55 then compares the frame grabber 53, The user's hand blood vessel pattern and its characteristics are extracted from the still image data transmitted through the image memory 54 and the image memory 54. (S4)

그 후, 마이크로프로세서(55)는 추출된 사용자의 손등 혈관패턴과 그 특성을 데이터베이스(52)에 저장된 동일 사용자의 기준 영상과 그에 따른 특성과 상호 비교하여 동일인인지를 확인한다.(S5)Thereafter, the microprocessor 55 compares the extracted user's hand blood vessel pattern and its characteristics with the reference image of the same user stored in the database 52 and the characteristics thereof,

마이크로프로세서(55)는 동일인이라고 확인한 경우에 출입통제 또는 보안과같은 시스템 통제를 해제하고 해당 사용자의 입장을 허가한다.(S6) 그런데, 마이크로프로세서(55)가 동일인이 아니라고 확인되면 해당 사용자의 입장을 거부한다. (S7)The microprocessor 55 cancels the system control such as access control or security and permits the user's position (S6). However, if it is determined that the microprocessor 55 is not the same person, . (S7)

이때, 마이크로프로세서(55)에서는 사용자 손의 움직임을 감지하여 위치 보상하기 위해 다양한 보상 방법을 적용할 수 있는데, 아래 다양한 보상 방법 중 몇 가지 실시예들을 제시한다.At this time, the microprocessor 55 may apply various compensation methods to detect the motion of the user's hand and perform position compensation.

먼저, 실시예들 중에서 손의 입력 위치와 연속적인 손 입력 영상 분석에 의한 위치 보상은 다음과 같다.First, among the embodiments, the hand input position and the position compensation by continuous hand input image analysis are as follows.

중간파 적외선 필터(42)가 외부 조명의 영향을 최소화하게 되면, 보조 카메라(32)는 사용자의 손가락 부분 영상을 촬영하고, 마이크로프로세서(55)는 사용자의 손가락 부분 영상을 프레임 그레버(53)와 화상 메모리(54)를 통해 정지 화상 데이터로 전달받는다.The auxiliary camera 32 photographs the image of the finger portion of the user and the microprocessor 55 controls the image of the user's finger to the frame grabber 53. [ And the image memory 54, as shown in Fig.

이때, 도 8에 도시되어 있듯이 손가락의 위치는 중지의 경우 제1 손잡이 (11a)와 제2 손잡이(11b)의 중앙, 보조손잡이(12)의 좌측과 우측 중간에 위치되며, 검지는 제1 손잡이(11a)의 좌측, 약지는 제2 손잡이(11b)의 우측에 위치된다.At this time, as shown in FIG. 8, the position of the finger is located at the center of the first handle 11a and the second handle 11b in the case of stop, and the middle of the left and right sides of the auxiliary handle 12, The left side of the first handle 11a and the ring finger are located on the right side of the second handle 11b.

마이크로프로세서(55)는 위치 보상시 사용자의 손가락 모두를 측정하여 보상을 수행할 수 있지만 아래 실시예에서는 중지만을 이용하여 보상을 실시한다. 중지만을 주로 위치 보상에 이용하는 이유는, 주손잡이(11)와 보조손잡이(12) 사이에 위치하는 중지는 고정된 범위에서 이동되므로 시스템에서 쉽게 중지의 위치를 찾을 수 있어 빠른 시간에 손가락의 진행에 대한 방향을 예측할 수 있기 때문이다.The microprocessor 55 can perform compensation by measuring all of the user's fingers during position compensation, but in the embodiment below, compensation is performed using only the stop. The stop is mainly used for position compensation because the stop located between the main handle 11 and the auxiliary handle 12 is moved in a fixed range so that the position of the stop can be easily found in the system, This is because the direction can be predicted.

다음, 도 8은 본 발명의 제1 실시예에 따른 사용자 손의 입력 위치를 이용한 위치 보상 상태와 좌우 회전된 손 영상을 PHI (A), PHI (B)의 위상차와 삼각형의 높이를 이용하여 보상하는 방법이 제시되고, 보상시 기준이 되는 기준 삼각형과 사용자 손의 움직임에 따라 형성되는 비교 삼각형이 도시되어 있다.Next, FIG. 8 is a view illustrating a state in which the position compensation state using the input position of the user's hand according to the first embodiment of the present invention and the left and right hand images are compensated using the phase difference of PHI (A) and PHI (B) And a reference triangle which is a reference for compensation and a comparative triangle formed according to the movement of the user's hand are shown.

마이크로프로세서(55)는 데이터베이스(52)에 도 8에 도시되어 있듯이 위치 보상을 위한 기준 데이터를 저장하는데, 여기서 기준 데이터는 사용자가 손등 혈관패턴을 시스템에 등록하는 경우 설정되며, 등록한 사용자 손등 혈관패턴에 따라 생성되는 기준 삼각형(Tr)의 각도와 높이를 기준으로 한다.The microprocessor 55 stores the reference data for position compensation in the database 52 as shown in FIG. 8, where the reference data is set when the user registers the hand blood vessel pattern in the system, and the registered user's hand blood vessel pattern The angle and height of the reference triangle Tr generated in accordance with the reference angle.

기준데이터는 두 개의 기준 삼각형으로 구성되며, 하나의 기준 삼각형(Tr)은 검지와 중지의 교차점(A)과 제1 손잡이(11a)이의 좌우 모서리를 연결하여 형성하고, 다른 기준 삼각형(Tr)은 검지와 약지의 교차점(B)과 제2 손잡이(11b)의 좌우 모서리를 연결하여 형성한다.The reference data is composed of two reference triangles. One reference triangle Tr is formed by connecting the intersection A of the detection and the stop with the left and right edges of the first handle 11a, and the other reference triangle Tr And the intersection B of the finger and the finger is connected to the left and right edges of the second handle 11b.

데이터베이스(52)는 이와 같이 형성되는 기준 삼각형(Tr)을 기준 데이터로 저장하고, 손등 혈관패턴 등록시 기준 삼각형의 각도와 높이를 기준으로 손의 위치를 보상하도록 한다.The database 52 stores the reference triangle Tr formed as described above as reference data, and compensates the position of the hand with reference to the angle and height of the reference triangle at the time of registration of the hand blood vessel pattern.

또한, 도 8에 도시된 보상 방법과 같이, 제1 및 제2 손잡이(11a, 11b)는 기구적으로 고정되어 있기 때문에 손의 회전만이 발생하는 경우에, 위에 기술된 바와 같이 사용자 손의 입력 위치, 즉 검지, 중지, 약지 위치에 따라 형성될 수 있는 삼각형의 밑면 부분은 고정되어 있고 그 각도와 높이만 변하게 된다. 이때, 삼각형 높이의 변화는 정상적인 높이를 기준으로 한쪽은 높고 한쪽은 낮은 회전조건(Rotation-condition)이 발생한다.8, since the first and second grips 11a and 11b are mechanically fixed, when only the rotation of the hand occurs, as described above, the input of the user's hand The bottom part of the triangle which can be formed according to the position, that is, the detection, the stop and the finger position, is fixed and only the angle and the height are changed. At this time, the change of the height of the triangle is based on the normal height, one side is high and the other side is low-rotation condition (Rotation-condition).

이러한 사용자 손의 위치 변화에 따라 형성될 수 있는 비교 삼각형의 예가 도 8에 도시되어 있으며, 도 8에서와 같이 기준 삼각형(Tr)의 양측에 사용자 손의 좌우 회전된 상태가 도시되어 있고, 비교 삼각형(T1)은 사용자 손이 기준 위치에서 우회전된 경우를 나타내고, 비교 삼각형(T2)은 사용자 손이 기준 위치에서 좌회전된 경우를 나타낸다.An example of a comparative triangle that can be formed in accordance with the positional change of the user's hand is shown in FIG. 8, and the left and right rotated states of the user's hand are shown on both sides of the reference triangle Tr as shown in FIG. (T1) indicates the case where the user's hand is rotated right at the reference position, and the comparative triangle (T2) indicates the case where the user's hand is rotated left at the reference position.

사용자 손이 우회전된 경우에 기준 삼각형(Tr)과 비교 삼각형(T1)을 비교해보면, 위상차 PHI (A), PHI (B)가 반시계 방향으로 발생되며, 좌측의 비교 삼각형(T1)의 높이는 높아지며, 우측의 비교 삼각형(T1)의 높이는 낮아진다. 따라서, 기준 삼각형(Tr)과 비교하여 비교 삼각형(T1)의 높이는차이가 발생한다.Comparing the reference triangle Tr and the comparison triangle T1 when the user's hand is turned to the right, the phase differences PHI (A) and PHI (B) are generated counterclockwise and the height of the left comparison triangle T1 is high , And the height of the comparison triangle T1 on the right side is lowered. Therefore, the height of the comparison triangle T1 compared with the reference triangle Tr A difference occurs.

반대로, 사용자 손이 좌회전된 경우에 기준 삼각형(Tr)과 비교 삼각형(T2)을 비교해보면, 위상차 PHI (A), PHI (B)가 시계 방향으로 발생되고, 좌측 비교 삼각형(T2)의 높이는 낮아지며, 우측 비교 삼각형(T2)의 높이는 높아진다.On the contrary, when the user's hand is turned to the left and the reference triangle Tr and the comparison triangle T2 are compared, the phase differences PHI (A) and PHI (B) are generated in the clockwise direction and the height of the left comparison triangle T2 is low , The height of the right comparative triangle T2 increases.

이러한 위상차 및 높이 변화가 발생된 영상에 대하여 위치 보상을 수행하면 도 9 및 도 10에 도시된 바와 같은 결과를 얻을 수 있다.When the position compensation is performed on the image in which the phase difference and the height change are generated, the results shown in FIGS. 9 and 10 can be obtained.

도 9는 사용자 손이 우측으로 회전된 경우에 보상을 수행한 결과 영상이 도시된 도면이다.9 is a view showing a resultant image obtained by performing compensation when the user's hand is rotated to the right.

도 9의 (a)는 사용자 손이 우측으로 회전된 영상이고, (b)는 위상차 PHI (A), PHI (B)와 삼각형 높이 차이를 토대로 보상을 수행한 영상을 각각 나타낸다.9 (a) shows a user's hand rotated to the right, and FIG. 9 (b) shows a compensated image based on a phase difference PHI (A), PHI (B) and a triangle height difference.

마이크로프로세서(55)는 사용자 손등 혈관패턴을 시스템에 등록시 4가지 벡터, 즉 PHI (A), PHI (B), 좌측 및 우측 비교 삼각형 높이를 이용한다. 따라서 마이크로프로세서(55)는 데이터베이스(52) 상의 기준 삼각형과 비교 삼각형을 비교하여 현재 입력된 사용자 손의 원시영상이 정상적인 영상보다 우측으로 회전된 영상임을 알 수 있다.The microprocessor 55 uses four vectors, PHI (A), PHI (B), left and right comparative triangle heights, when registering the user's hand blood vessel pattern in the system. Accordingly, the microprocessor 55 compares the reference triangle on the database 52 with the comparison triangle to find that the raw image of the currently input user's hand is rotated to the right than the normal image.

따라서, 마이크로프로세서(55)는 현재 입력된 사용자 손등 혈관패턴에 관한 영상을 데이터베이스(52) 내의 기준 데이터를 근거로 시계방향으로 회전된 각도만큼 보상하여 준다.Accordingly, the microprocessor 55 compensates the image of the currently input user's hand blood vessel pattern by the clockwise rotation angle based on the reference data in the database 52.

도 10은 사용자 손이 좌측으로 회전된 경우에 보상을 수행한 결과 영상이 도시된 도면이다.10 is a diagram showing a resultant image obtained when compensation is performed when the user's hand is rotated to the left.

도 10의 (a)는 사용자 손이 좌측으로 회전된 영상이고, (b)는 위상차 PHI (A), PHI (B)와 삼각형 높이 차이를 토대로 보상을 수행한 영상을 각각 나타낸다.10 (a) shows a user's hand rotated to the left, and FIG. 10 (b) shows a compensated image based on a phase difference PHI (A), PHI (B) and a triangle height difference.

마이크로프로세서(55)는 4가지 벡터를 이용하여 현재 입력된 사용자 손등 혈관패턴에 관한 영상이 좌측으로 회전된 영상임을 판단하고, 데이터베이스 내의 기준 데이터를 근거로 반시계 방향으로 회전된 각도만큼 보상하여 준다.The microprocessor 55 determines that the image of the currently input user's hand blood vessel pattern is rotated to the left by using the four vectors and compensates the rotated image counterclockwise based on the reference data in the database .

도 11은 본 발명의 제1 실시예에 따른 사용자 손의 상하 이동 발생시 위치 보상 상태가 도시된 도면이다.11 is a view illustrating a position compensation state when a user's hand moves up and down according to the first embodiment of the present invention.

도 11에 도시된 바와 같이, 제1 및 제2 손잡이(11a, 11b)는 기구적으로 고정되어 있기 때문에 사용자 손이 상하로 이동된 경우에 기준 삼각형과 비교해보면, 현재 사용자 손이 상하 이동된 영상에서 추출된 비교 삼각형(T3, T4)들은 삼각형의 밑면과 위상차는 고정되어 있고 삼각형의 높이만 변하게 된다.11, since the first and second grips 11a and 11b are mechanically fixed, when the user's hand is moved up and down, when compared with the reference triangle, when the current user's hand is moved up and down (T3, T4) extracted from the triangle are fixed with respect to the bottom surface of the triangle and only the height of the triangle is changed.

사용자 손이 상측으로 이동된 경우에 비교 삼각형(T3)은 기준 삼각형(Tr)에 비해 높이가만큼 작아지고, 사용자 손이 하측으로 이동된 경우에 비교 삼각형(T4)은 기준 삼각형에 비해 높이가만큼 높아짐을 알 수 있다.When the user's hand is moved upward, the comparison triangle T3 has a height greater than the reference triangle Tr And when the user's hand is moved downward, the comparison triangle T4 is higher than the reference triangle . ≪ / RTI >

따라서, 마이크로프로세서(55)는 사용자 손이 상하로 이동되어 있을 경우에 삼각형의 높이 변화를 통해 상하 이동을 보상하여 준다.Accordingly, the microprocessor 55 compensates for the up-and-down movement through the change of the height of the triangle when the user's hand is moved up and down.

도 12는 사용자 손이 상측으로 이동된 경우에 보상을 수행한 결과 영상이 도시된 도면이다.12 is a diagram showing a resultant image obtained by performing compensation when a user's hand is moved upward.

도 12의 (a)는 사용자 손이 상측 이동(up-shift)된 영상, (b)은 기준 삼각형과 비교 삼각형의 높이 차이를 이용하여 보상한 결과 영상을 각각 나타낸다.12 (a) shows an image obtained by up-shifting the user's hand, and FIG. 12 (b) shows a result image obtained by using a height difference between a reference triangle and a comparative triangle.

마이크로프로세서(55)는 데이터베이스(52) 내의 기준 삼각형과 현재 입력된 영상에서 추출된 비교 삼각형을 상호 비교한다. 마이크로프로세서(55)는 두 삼각형의 비교 결과가 위상차 PHI (A), PHI (B)는 고정되어 있고, 좌측 및 우측 비교 삼각형이 기준 삼각형에 비해 높이가 작아진 상태로 나타나면, 현재 입력된 영상이 사용자 손이 상측으로 이동된 영상이라고 판단한다.The microprocessor 55 compares the reference triangle in the database 52 with the comparison triangle extracted from the currently input image. When the comparison result of the two triangles indicates that the phase differences PHI (A) and PHI (B) are fixed and the left and right comparison triangles are smaller in height than the reference triangle, the microprocessor 55 determines that the current input image It is judged that the user's hand is moved to the upper side.

그리고, 마이크로프로세서(55)는 기준 삼각형과 비교 삼각형의 높이 차이만큼 현재 입력된 영상을 아래쪽으로 이동하여 보상하여 준다.Then, the microprocessor 55 compensates for the current input image by moving it downward by the height difference between the reference triangle and the comparison triangle.

한편, 도 13은 사용자 손이 하측으로 이동된 경우에 보상을 수행한 결과 영상이 도시된 도면이다.Meanwhile, FIG. 13 is a diagram illustrating a result of performing compensation when a user's hand is moved downward.

도 13의 (a)는 사용자 손이 하측 이동(down-shift)된 영상, (b)은 기준 삼각형과 비교 삼각형의 높이 차이를 이용하여 보상한 후 결과 영상을 각각 나타낸다.13 (a) shows a down-shifted image of a user's hand, and FIG. 13 (b) shows a result image after compensating using a height difference between a reference triangle and a comparative triangle.

마이크로프로세서(55)는 기준 삼각형과 비교 삼각형을 비교하여 두 삼각형의 위상차가 도 12와 유사하게 PHI (A), PHI (B)가 고정되어 있고, 기준 삼각형에 비해 비교 삼각형의 높이가 높아진 상태이므로 사용자 손이 아래 측으로 이동된 영상이라고 판단한다.The microprocessor 55 compares the reference triangle with the comparative triangle. The PHI (A) and PHI (B) are fixed similarly to those in FIG. 12, and the height of the comparison triangle is higher than that of the reference triangle It is judged that the user's hand is moved downward.

따라서, 마이크로프로세서(55)는 기준 삼각형과 비교 삼각형의 높이 차이만큼 현재 입력된 영상을 위쪽으로 이동하여 보상하여 준다.Accordingly, the microprocessor 55 compensates for the current input image by moving upward by the height difference of the reference triangle and the comparison triangle.

도 14는 본 발명의 제1 실시예에 따른 사용자 손이 회전 및 상하 이동이 동시 발생시 위치 보상 상태가 도시된 도면이다.FIG. 14 is a diagram illustrating a position compensation state when a user's hand rotates and moves up and down simultaneously according to the first embodiment of the present invention. FIG.

도 14에 도시된 바와 같이, 마이크로프로세서(55)가 현재 입력된 사용자 손의 영상에서 비교 삼각형(T5)을 추출하고, 비교 삼각형(T5)과 기준 삼각형(Tr)을 비교한다.14, the microprocessor 55 extracts the comparison triangle T5 from the currently input user's hand image, and compares the comparison triangle T5 with the reference triangle T r.

이때, 비교 삼각형(T5)이 기준 삼각형(Tr)과 위상차 PHI (C), PHI (D)가 반시계방향으로 발생하고, 기준 삼각형에 비해 좌측의 비교 삼각형(T5)은, 우측의 비교 삼각형(T5)은만큼의 높이 차이가 발생함을 알 수 있다.At this time, the reference triangle T5, the reference triangle Tr, the phase differences PHI (C) and PHI (D) are generated in the counterclockwise direction, and the left comparison triangle T5 , And the comparison triangle T5 on the right side As shown in FIG.

따라서, 마이크로프로세서(55)는 PHI (C), PHI (D)가 반시계 방향으로 발생하고,간에 높이 차이는 있으나 기준 삼각형(Tr)에 비해 비교 삼각형(T5)의 높이가 낮음으로 사용자 손이 우측 회전과 동시에 상측으로 이동된 경우라고 판단한다.Accordingly, the microprocessor 55 generates PHI (C) and PHI (D) in the counterclockwise direction, Wow The height of the comparison triangle T5 is lower than that of the reference triangle Tr so that the user's hand is moved to the upper side simultaneously with the right rotation.

반대로, 마이크로프로세서(55)는 위상차가 시계방향으로 발생하고, 기준 삼각형에 의한 기준선보다 비교 삼각형의 높이가 낮으면 사용자 손이 좌측 회전과 동시에 상측으로 이동된 경우라고 판단한다.Conversely, if the phase difference is generated in the clockwise direction and the height of the comparative triangle is lower than the reference line by the reference triangle, the microprocessor 55 determines that the user's hand has moved to the upper side simultaneously with the left rotation.

도 15는 사용자 손이 우 회전 및 상측으로 이동된 경우에 보상을 수행한 결과 영상이 도시된 도면이다.FIG. 15 is a diagram showing a resultant image in which compensation is performed when the user's hand is rotated rightward and moved upward. FIG.

이때, 도 15의 (a)는 사용자 손이 우 회전 및 상 이동된 영상, (b)은 기준 삼각형과 비교 삼각형의 위상차와 높이 차이를 이용하여 보상한 후 결과 영상을 각각 나타낸다.15 (a) shows the result of compensating the user's hand using the right and left images, and (b) using the difference in phase and height between the reference triangle and the comparative triangle.

이 경우, 마이크로프로세서(55)는 현재 입력된 영상을 시계방향으로 회전시키고, 기준 삼각형과의 높이 차이만큼 아래로 이동시켜 보상한다.In this case, the microprocessor 55 rotates the currently input image clockwise and compensates by moving the image downward by a height difference from the reference triangle.

도 16은 본 발명의 제2 실시예에 따른 연속적인 입력 영상 분석을 이용한 위치 보상을 위해 촬영된 사용자 손의 연속적인 입력 영상이 도시되어 있다.16 shows a continuous input image of a user's hand photographed for position compensation using continuous input image analysis according to a second embodiment of the present invention.

사용자 손등 혈관패턴을 입력하는 패턴 입력부(도시되지 않음)가 도 16에 도시된 바와 같이, 연속적으로 손의 입력을 획득한다. 이때, 마이크로프로세서(55)는 30[frame/sec]의 처리속도를 사용하면 순간적인 손가락의 진행 방향의 변경이 매우 미소하여 예측되는 손가락의 진행 방향으로 사용자의 회전 방향을 예측하여 사용자 손의 회전에 대한 보상을 수행할 수 있다.A pattern input section (not shown) for inputting a user's hand blood vessel pattern successively acquires hand input, as shown in Fig. At this time, if the processing speed of 30 [frame / sec] is used, the microprocessor 55 predicts the rotation direction of the user in the progress direction of the predicted finger, Lt; / RTI >

이렇게, 마이크로프로세서(55)는 사용자가 시스템 사용시 사용자 손의 진행방향을 예측하여 기준 방향을 설정한 후 데이터베이스(52) 내에 기준 데이터로 저장시키고, 손등 혈관패턴을 시스템 등록시의 기준 방향을 토대로 손의 위치를 보상한다.In this way, the microprocessor 55 predicts the direction of the user's hand at the time of using the system and sets the reference direction, stores the reference data in the database 52, and sets the hand blood vessel pattern as the hand direction Compensate for location.

이때, 제2 실시예도 제1 실시예와 마찬가지로, 사용자 손가락 중 중지가 시스템에 의해 고정된 범위를 갖고 있기 때문에 손가락의 진행에 대한 방향 예측을 할 때 고정된 범위 내의 이진화된 영상에서 중지를 찾는다.At this time, as in the first embodiment, the second embodiment also finds a stop in a binarized image within a fixed range when making a directional prediction on the progress of the finger because the stop of the user's finger has a fixed range by the system.

사용자 손의 연속적인 입력 영상을 이용해 손가락 진행 방향을 분석하는 방식에는 체인 코드를 이용하는 방식과 핑거 에지 검출을 이용하는 방식이 있다.There are two methods of analyzing the direction of the finger using a continuous input image of the user's hand: a method using a chain code and a method using finger edge detection.

먼저, 체인 코드를 이용한 손가락 진행 방향 분석 방법은 이치화된 영상에서 이진 물체 경계면을 계산할 수 있는 체인 코드(Patert's turtle 알고리즘)를 사용하여 손가락 형태를 근사화하여 사용자 손가락 중의 중지 진행 방향을 구한다.First, the finger advance direction analysis method using a chain code approximates a finger shape using a chain code (Patert's turtle algorithm) that can calculate a binary object boundary in a binarized image to obtain a stop advance direction in the user's finger.

도 17은 체인 코드를 이용한 손가락 진행 방향 분석을 위한 4-연결 체인의 형태가 도시된 도면이다.FIG. 17 is a view showing a form of a 4-connected chain for analyzing a finger traveling direction using a chain code. FIG.

도 17에 도시된 바와 같이, Patert's turtle 알고리즘은 체인 방향을 이용하여 출발점에서 물체가 있으면 반시계 방향으로, 물체가 없으면 시계방향으로 이동하면서 체인된 값의 결과를 보여준다.As shown in FIG. 17, the Patert's turtle algorithm uses the chain direction to display the result of the chained value when the object is present in the counterclockwise direction if there is an object, and clockwise in the absence of the object.

이때, Patert's turtle 알고리즘에서 체인이 순환하는 현상이 일어난다. 예를 들어, 1-0-3-2, 3-2-1-0 등과 같은 체인 방향이 제자리로 돌아오는 현상이 일어난다.At this time, the phenomenon of chain circulation occurs in the Patert's turtle algorithm. For example, chain orientations such as 1-0-3-2, 3-2-1-0, and so on return to their original position.

이러한 현상은 체인 코드 심플(Chain Code Simple) 과정을 통하여 제거하는데, 체인 코드 심플 과정은 체인의 순환 부분을 찾아 그 부분을 제거하고, 그 제거된 부분의 전후 체인을 연결시켜 준다.This phenomenon is eliminated by Chain Code Simple process. The simple process of chain code finds the circulation part of the chain, removes the part, and connects the chain before and after the removed part.

도 18은 체인 코드를 이용한 손가락 진행 방향 분석을 위한 중지의 좌표 및 각도 측정 과정을 도시한 도면이다.FIG. 18 is a diagram illustrating a process of measuring coordinate and angle of a stop for analyzing a finger moving direction using a chain code.

도 18에 도시되어 있듯이, 손가락의 이진화된 영상에서 체인 코드의 자취 데이터를 산출하고(a), 체인 코드의 자취 데이터 중 중지의 자취(b)에서 손가락의 높이를 기준으로 설정된 제1 및 제2 지점인 1/3 지점과 2/3 지점에서 손가락이 만나는 두 지점의 좌표를 측정한다.(c)As shown in Fig. 18, (a) the trace data of the chain code is calculated from the binarized image of the finger, and (b) the first and second Measure the coordinates of the two points where the fingers meet at points 1/3 and 2/3 (c)

그리고, 도 18의 (c)에서 측정한 두 지점의 수평 차이 A와 수직 차이 B를 이용하여 수학식 1에 의해 각도를 측정한다.(d)18 (c), the angle is measured using Equation 1 using the horizontal difference A and the vertical difference B of two points (d)

도 19는 체인 코드를 이용한 손가락 진행 방향 분석에 의한 위치 보상 방법이 도시된 순서도이다.FIG. 19 is a flowchart showing a position compensation method by analyzing a finger traveling direction using a chain code.

도 19를 참고하면, 사용자 손의 영상이 30[frame/sec]의 처리 속도로 입력된다.(S11), 그러면, 마이크로프로세서(55)는 사용자 손의 영상에서 사용자가 움직임이더라도 촬영 범위 내에서 벗어나지 않는 선택된 영역, 즉 ROI(Region Of Interest) 영상을 추출한다.(S12)19, the image of the user's hand is input at a processing speed of 30 [frames / sec] (S11). Then, the microprocessor 55 moves out of the shooting range That is, a region of interest (ROI) image is extracted (S12)

이때, 도 20은 실제 연속적인 사용자 손의 영상 입력과 ROI 영상을 도시한 것이다. 도 21은 도 20의 ROI 영상을 처리하여 중지 자취 및 선분 방향 데이터의 추출 상태를 도시한 것이다.Here, FIG. 20 shows an actual continuous user's hand image input and ROI image. FIG. 21 shows the extracted state of the stop trace and line direction data by processing the ROI image of FIG. 20. FIG.

그리고, ROI 영상은 5*5 커널 사이즈의 무빙 애버리지(Moving Average, MA) 필터에 대하여 도 20의 A11과 같이 이진화 영상으로 처리된다.(S13, S14) 마이크로프로세서(55)는 이진화 영상을 체인 코드를 통해 체인된 값의 결과를 산출하고, 그 체인된 값의 결과를 토대로 중지의 진행 방향을 체인 코드의 자취 데이터로 나타난다.(S15)The ROI image is processed into a binarized image as shown in A11 of FIG. 20 with respect to a Moving Average (MA) filter of a size of 5 * 5 kernel. (S13, S14) The microprocessor 55 converts the binarized image into a chain code And the progress direction of the stop is represented by the trace data of the chain code based on the result of the chained value. (S15)

여기서, 체인된 값의 결과가 순환하는 현상이 방지되도록 체인 코드 심플 과정을 거쳐 체인의 순환 부분이 제거되고, 그 제거된 부분의 전후 체인이 연결된다. (S16)Here, the circulating portion of the chain is removed through the chain code simple process so that the result of the chained value is prevented from being circulated, and the front and rear chains of the removed portion are connected. (S16)

도 21의 A12 및 A13과 같이, 마이크로프로세서(55)는 체인 코드의 자취 데이터 중 중지 자취에서 손가락 높이를 기준으로 설정된 제1 및 제2 지점인 1/3, 2/3 지점에서 손가락이 만나는 두 지점의 중간을 잇는 선분과 수평면과의 각도( PHI (E))를 측정한 후 선분 방향을 저장한다.(S17, S18)As shown in A12 and A13 in Fig. 21, the microprocessor 55 calculates the number of fingers at the first and second points, i.e., 1/3 and 2/3, (PHI (E)) between the line segment connecting the center of the point and the horizontal plane, and then stores the segment direction (S17, S18)

도 22는 핑거 에지 검출을 이용한 손가락 진행 방향 분석에 의한 위치 보상 방법이 도시된 순서도이다.FIG. 22 is a flowchart showing a position compensation method by analyzing a finger traveling direction using finger edge detection.

도 22에 도시된 바와 같이, 중지 진행에 대한 방향은 외부 환경에 영향을 받지 않고 기존 에지 검출보다 우수한 핑거 에지 검출을 이용하여 손가락의 경계면을 찾은 다음 이진화된 영상으로 손가락의 형태를 근사화하여 구한다.As shown in FIG. 22, the direction of the stop progression is obtained by approximating the shape of the finger with the binarized image after the boundary of the finger is detected using finger edge detection that is superior to the conventional edge detection without being affected by the external environment.

더욱 상세히, 패턴 입력부가 30[frame/sec]의 처리 속도로 사용자 손의 영상을 입력하면(S21), 사용자 손이 영상에서 ROI 영상을 분리 추출한다.(S21, S22)More specifically, when the pattern input unit inputs an image of the user's hand at a processing speed of 30 [frame / sec] (S21), the user's hand extracts the ROI image from the image (S21, S22)

도 23은 핑거 에지 검출을 이용한 손가락 진행 방향 분석을 위해 중지의 좌표 및 각도 측정 과정이 도시된 도면이다. 도 24는 도 22의 핑거 에지 검출 영상을 처리하여 중지 자취 및 선분 방향 데이터의 추출 상태를 도시한 것이다.23 is a diagram showing a process of measuring coordinates and angles of a stop for analyzing a finger traveling direction using finger edge detection. FIG. 24 shows extraction states of the stop trace and line direction data by processing the finger edge detection image of FIG. 22. FIG.

그리고, ROI 영상은 로우-패스 필터(Low-pass filter)를 거쳐 핑거 에지 검출 과정을 통해 도 24의 B11과 같은 영상으로 나타난다.(S23, S24)Then, the ROI image is displayed through the low-pass filter and the finger edge detection process as shown in B11 in FIG. 24 (S23, S24)

핑거 에지 검출을 통해 산출된 영상은 로우 패스 필터를 거쳐 도 24의 B12와 같은 이진화 영상으로 나타난다.(S25, S26) 이때, 이진화 영상은 도 23에 도시된 바와 같이 이진화의 자취 데이터를 이용하여 중지 자취를 찾도록 하여 손가락 높이를 기준으로 1/3, 2/3 지점에서 손가락이 만나는 두 지점의 중간을 잇는 선분과 수평면과의 각도를 측정하도록 한다.(S27)The image obtained through the finger edge detection is displayed as a binary image as shown in B12 of FIG. 24 via a low-pass filter (S25, S26). At this time, the binarized image is stopped using the trace data of binarization (S27) to measure the angle between the line segment connecting the middle point of two points where the finger meets at the 1/3, 2/3 point and the horizontal plane based on the finger height (S27)

이때, 각도 측정은 두 지점을 잇는 선분이 수평면과의 수평 차이 A와 수직 차이 B를 수학식 1에 적용하여 구한다.In this case, the angle measurement is obtained by applying the horizontal difference A and the vertical difference B between the two points to the horizontal plane to the equation (1).

이렇게, 도 24의 B13 및 B14에 도시된 바와 같이 중지 자취 데이터를 이용해 선분 방향( PHI (F))이 측정되면, 그 선분 방향을 데이터베이스(52) 내에 저장한다.(S28)Thus, as shown in B13 and B14 in Fig. 24, when the segment direction (PHI (F)) is measured using the suspended trace data, the segment direction is stored in the database 52 (S28)

상기에서 설명한 체인 코드 및 핑거 에지 검출에서 얻어진 선분 방향은 서로 유사한 값을 갖는다. 따라서, 체인 코드 및 핑거 에지 검출을 이용한 위치 보상 방법은 알고리즘의 차이이며 결과 값이 유사하므로 그 위치 보상 예는 동일하다.The chain code and the segment direction obtained in the finger edge detection described above have similar values to each other. Therefore, the position compensation method using the chain code and finger edge detection is the same as the position compensation example because the algorithm is different and the resultant values are similar.

연속적인 손의 입력에 의하여 회전할 경우, 손가락의 각도 변화는 30[frame/sec]의 처리속도로 이용하기 때문에 미세하게 일어나며 급격한 각도 변화는 나타나지 않는다. 그러므로, 미세한 손가락의 각도 변화를 저장하여 시스템이사용자 손등 혈관패턴 추출 전에 미리 각도의 변화를 예측하고 데이터베이스 내의 기준이 되는 혈관패턴에 맞추어 보상한다.When the finger is rotated by a continuous hand input, the angle of the finger changes finely because it is used at a processing speed of 30 [frame / sec] and does not show a sharp angle change. Therefore, the angular change of the fine finger is stored, and the system predicts the change of the angle in advance before extracting the user's hand vein pattern and compensates it according to the blood vessel pattern which is the reference in the database.

도 25는 사용자 손이 우측으로 회전된 영상의 위치 보상 상태가 도시된 도면이다.25 is a diagram showing a position compensation state of an image in which a user's hand is rotated to the right.

도 25의 (a)는 사용자 손이 우측으로 회전된 영상인데, 체인 코드나 핑거 에지 검출 방식을 이용하여 측정된 손가락의 각도 변화( PHI (G))는 90°, 90.1°, ..., 99.8°, 99.9°,100°, 100°, ..., 100°로 변화한다.25 (a) is a picture in which the user's hand is rotated to the right, and the change in the angle of the finger (PHI (G)) measured using the chain code or the finger edge detection method is 90 °, 90.1 °, 99.8 DEG, 99.9 DEG, 100 DEG, 100 DEG, ..., 100 DEG.

그런데, 시스템에 등록된 사용자 손등 혈관패턴의 PHI (G)는 88°, 88.1°, 88.2°, ..., 91.3°, 91.4°, 91.5°, 91.5°, ..., 91.5°로 변한다.However, PHI (G) of the user's hand blood vessel pattern registered in the system changes to 88 degrees, 88.1 degrees, 88.2 degrees, ..., 91.3 degrees, 91.4 degrees, 91.5 degrees, 91.5 degrees, ..., 91.5 degrees.

따라서, 마이크로프로세서(55)는 최종 변화한 8.5°만큼을 도 25의 (b)에 도시된 바와 같이 보상하여 준다.Therefore, the microprocessor 55 compensates the last changed 8.5 degrees as shown in Fig. 25 (b).

다음, 마이크로프로세서(55)가 사용자 손의 움직임을 감지하여 위치 보상하기 위한 다양한 보상 방법 중에서 그레이 스케일 분포를 이용한 위치 보상은 다음과 같다.Next, the position compensation using the gray scale distribution among the various compensation methods for the position compensation of the microprocessor 55 by sensing the movement of the user's hand is as follows.

그레이 스케일 분포를 이용한 위치 보상은 시스템에 새롭게 사용자를 등록하는 절차에서 입력된 원시 영상의 그레이 스케일을 사용하여 사용자 손등의 굴곡을 추출하고, 실제 시스템 사용에서 발생되는 미소한 사용자 손의 움직임을 보상하는 방법이다.The position compensation using the gray scale distribution extracts the curvature of the user's hand using the gray scale of the original image inputted in the procedure of registering the new user in the system and compensates the movement of the minute hand generated in the actual system use Method.

도 26은 본 발명의 제3 실시예에 따른 그레이 스케일 분포를 이용한 위치 보상 방법에서 기하학 특성 벡터를 구하는 순서도이다.26 is a flowchart for obtaining a geometric feature vector in the position compensation method using the gray scale distribution according to the third embodiment of the present invention.

사용자 손등의 굴곡에 대한 기준 벡터인 기하학 특성 벡터(Geometry Feature Vector)는 도 26을 참고하여 사용자 등록 과정에서 구한다.The Geometry Feature Vector (Geometry Feature Vector), which is a reference vector for the bending of the user's hand, is obtained in the user registration process with reference to FIG.

먼저, 마이크로프로세서(55)가 사용자 손의 원시영상이 입력되면(S31) 원시 영상에서 흑백 영상인 ROI 영상을 분리한다.(S32)First, when the microprocessor 55 inputs a raw image of a user's hand (S31), the ROI image, which is a monochrome image, is separated from the raw image (S32)

ROI 영상은 2차원 매트릭스로 간주하여 종렬 라인과 횡렬 라인으로 구별하여 조명 의한 스펙클(speckle) 노이즈를 제거하는 3*3 커널 사이즈의 무빙 애버리지 필터를 사용하여 처리된다.(S33)The ROI image is processed by using a 3 * 3 kernel size moving average filter which regards the ROI image as a two-dimensional matrix and distinguishes it as a column line and a row line and removes speckle noise caused by illumination (S33)

그후, 무빙 애버리지 필터를 거친 ROI 영상에 3*1 벡터 마스크와 1*3 벡터 마스크를 순차적으로 적용하고(S34, S36), 3픽셀의 합이 최대를 나타내는 중앙 픽셀 위치를 사용함으로써 각각의 횡렬 라인과 종렬 라인에 대한 기하학 특성 벡터를 구한다.(S35, S37, S38)Then, a 3 * 1 vector mask and a 1 * 3 vector mask are successively applied to the ROI image passed through the moving average filter (S34 and S36), and by using the center pixel position where the sum of 3 pixels represents the maximum, And the geometric characteristic vector for the column line are obtained (S35, S37, S38).

도 27은 도 26에 의해 추출된 기하학 특성 벡터의 2차원 투영도이고, 도 28은 기하학 특성 벡터의 3차원 투영도이다.FIG. 27 is a two-dimensional projection view of the geometric characteristic vector extracted by FIG. 26, and FIG. 28 is a three-dimensional projection view of the geometric characteristic vector.

도 27 및 도 28에 도시된 바와 같이, 사용자 손등의 굴곡에 대한 기준 벡터는 회전과 이동에 의해서 벗어나지 않는 선택된 영역, 즉 ROI 영상에서 수직 및 수평 방향의 최대 그레이 스케일 값의 집합으로 구한다.As shown in Figs. 27 and 28, the reference vector for the bending of the user's hand is obtained as a set of maximum gray scale values in the vertical and horizontal directions in a selected area which does not deviate by rotation and movement, that is, ROI image.

도 29는 사용자가 시스템 실제 사용시 추출된 기본 기하학 특성 벡터와 회전에 의한 기하학 특성 벡터가 도시된 도면이고, 도 30은 그레이 스케일을 이용한 회전과 이동 보상 상태가 도시된 도면이다.FIG. 29 is a diagram showing a basic geometric feature vector extracted by a user in actual use of the system and a geometric feature vector based on rotation, and FIG. 30 is a diagram showing a rotation and a motion compensation state using gray scale.

도 29의 (a)는 기본 벡터인 기하학 특성 벡터이고, (b)는 회전에 의해서 얻어진 기하학 특성 벡터이다. 도 30에서는 도 29의 (b)에 나타난 회전과 이동을 그레이 스케일을 이용하여 보상하는 예가 도시되어 있다.29A is a geometric characteristic vector which is a basic vector, and FIG. 29B is a geometric characteristic vector obtained by rotation. In Fig. 30, an example in which the rotation and the movement shown in Fig. 29 (b) are compensated using grayscale is shown.

도 31과 도 32는 실제로 기하학 특성 벡터를 이용한 위치 보상 실례를 보여주는 것으로서, 도 31은 데이터베이스 상에 저장된 영상, 도 32는 그레이 스케일을 이용한 회전과 이동 보상을 수행한 영상이 도시되어 있다.FIG. 31 and FIG. 32 show an example of a position compensation using a geometric feature vector. FIG. 31 shows an image stored in a database, and FIG. 32 shows an image obtained by performing rotation and motion compensation using gray scale.

여기서, 도 31의 (a)는 추출된 사용자 손등 혈관패턴, (b)은 사용자 손등의 수직 굴곡 상태, (c)는 수평 굴곡 상태에 대한 영상을 각각 나타낸다. 그리고, 도 32의 (a)는 추출된 사용자 손등 혈관패턴, (b)은 사용자 손등의 수직 굴곡을 화살표 방향으로 이동하여 보상을 수행한 영상, (c)은 사용자 손등의 수평 굴곡을 화살표 방향으로 회전하여 보상을 수행한 영상을 각각 나타낸다.31 (a) shows an extracted image of the user's hand, FIG. 31 (b) shows a vertical bending state of the user's hand, and FIG. 31 (c) shows images of a horizontal bending state. Fig. 32 (a) shows the extracted user's hand blood vessel pattern, Fig. 32 (b) shows the image obtained by moving the vertical bending of the user's hand in the direction of the arrow, And the image is rotated and compensated.

어느 한 실시예에서 언급한 내용 중 다른 실시예에도 적용할 수 있는 내용은 다른 실시예에서 특별히 언급하지 않아도 이를 적용할 수 있는 것은 당업자에게 자명하다.It should be apparent to those skilled in the art that other embodiments of the present invention may be applied to other embodiments without departing from the scope of the present invention.

상기 도면과 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.The drawings and the detailed description of the invention are merely illustrative of the invention and are used merely for the purpose of describing the invention and not for limiting the scope of the invention as set forth in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

이상에서와 같이, 본 발명에 의한 개인식별을 위한 손등 혈관패턴 인식 시스템 및 그 방법은 개인 식별을 위해 사용자 손등 혈관패턴 추출시, 사용자 손의 입력 위치에서 손잡이와 손가락 사이에 형성되는 삼각형을 이용하여 데이터베이스 상의 기준 데이터의 비교를 통해 사용자의 이동 또는 회전에 의한 움직임을 보상할 수 있는 효과가 있다.As described above, according to the present invention, there is provided a system and method for recognizing a hand blood vessel pattern for personal identification using a triangle formed between a handle and a finger at an input position of a user's hand, It is possible to compensate for movement caused by movement or rotation of the user through comparison of reference data on the database.

또한, 본 발명은 개인 식별을 위해 사용자 손등 혈관패턴 추출시, 일정한 처리 속도로 사용자 손의 입력 영상을 연속적으로 추출하고 체인 코드 또는 핑거 에지 검출 방식을 적용하여 손가락의 진행 방향을 파악하여 데이터베이스 상의 기준 데이터와 비교를 통해 사용자의 이동 또는 회전에 의한 움직임을 보상할 수 있는 효과가 있다.In addition, the present invention continuously extracts an input image of a user's hand at a predetermined processing speed and extracts the finger's direction by applying a chain code or a finger edge detection method in extracting a user's hand blood vessel pattern for personal identification, There is an effect of compensating the movement by the user's movement or rotation through comparison with the data.

본 발명은 개인 식별을 위해 사용자 손등 혈관패턴 추출시, 그레이 스케일 분포를 이용하여 사용자 손등의 굴곡을 검출하여 데이터베이스 상의 기준 데이터와 비교를 통해 사용자의 이동 또는 회전에 의한 움직임을 보상할 수 있는 효과가 있다.The present invention detects the bending of a user's hand using a gray scale distribution when extracting a user's hand blood vessel pattern for personal identification, and compensates movement of the user or movement by comparison with reference data on the database have.

이에 따라, 본 발명은 시스템이 정당한 사용자로 등록하지 않는 사용자로 판단하는 비율을 감소키고 사용자 편의성을 증대시킬 수 있는 효과가 있다.Accordingly, the present invention has the effect of reducing the rate of determining that the system is a user who does not register as a legitimate user and increasing the convenience of the user.

Claims (15)

손잡이에 사용자의 손과 손가락이 고정되면 카메라를 이용해 사용자 손의 원시 영상을 촬영하는 단계;Capturing a raw image of a user's hand using a camera when a user's hand and a finger are fixed to the handle; 상기 촬영된 손의 원시 영상에서 손가락간의 교차점과 손가락 사이에 위치되는 손잡이의 좌우 모서리로 이루어지는 다각형을 산출하는 단계;Calculating a polygon comprising a crossing point between the fingers and left and right edges of the handle positioned between the fingers in the original image of the photographed hand; 상기 산출된 다각형과 데이터베이스에 기저장된 기준 다각형과의 위상차 및 높이 차이를 비교하여 사용자 손의 움직임을 감지하고 위치 보상을 수행하는 단계;Comparing the calculated polygon with a reference polygon previously stored in the database to detect a movement of the user's hand and performing position compensation; 상기 위치 보상이 완료되면, 상기 사용자 손의 원시영상에서 손등 혈관패턴과 그 특성을 추출하여 데이터베이스에 기저장된 기준 손등 혈관패턴 및 그 특성과 비교하는 단계;Extracting a hand blood vessel pattern and its characteristics from a raw image of the user's hand, and comparing the extracted hand blood vessel pattern and a characteristic thereof with a reference hand blood vessel pattern previously stored in a database; 상기 손등 혈관패턴간의 비교 결과에 따라 사용자의 본인 여부를 확인하고 입장 허락/거부를 결정하는 단계Determining whether the user is the user based on the result of the comparison between the hand and blood vessel patterns, and determining whether the user is allowed to enter / 를 포함하는 개인식별을 위한 손등 혈관패턴 인식 방법.Wherein the method comprises the steps of: 제 1 항에 있어서,The method according to claim 1, 상기 다각형을 산출하는 단계는,The step of calculating the polygon includes: 상기 제1 손잡이의 좌우 모서리와 검지와 중지의 교차점을 서로 연결하여 삼각형을 산출하고, 상기 제2 손잡이의 좌우 모서리와 중지와 약지의 교차점을 서로 연결하여 삼각형을 산출하는 것을 특징으로 하는 개인식별을 위한 손등 혈관패턴인식 방법.Wherein a triangle is calculated by connecting the left and right edges of the first knob and the intersection of the detection and the stop, and a triangle is calculated by connecting the intersections of the left and right edges of the second knob, A method for recognizing a vein pattern on a hand. 카메라를 이용해 사용자 손의 원시 영상 촬영시, 사용자 손의 입력 시작 시점부터 입력 완료 시점까지 일정한 처리 속도로 연속적으로 사용자 손을 촬영하고, 손잡이에 사용자의 손과 손가락이 고정되면 사용자 손의 원시 영상을 촬영하는 단계;When a raw image of a user's hand is captured using a camera, the user's hand is continuously photographed at a predetermined processing speed from the input start point of the user's hand to the input completion point. When the user's hand and the finger are fixed to the handle, Photographing; 상기 촬영된 사용자 손의 연속 연상을 토대로 손의 진행방향을 확인하고, 데이터베이스에 기저장된 기준 손등 혈관패턴의 진행방향과 비교하여 사용자의 움직임을 감지하고 위치 보상을 수행하는 단계;Checking movement direction of the hand on the basis of the continuous association of the user's hand photographed, comparing movement of the reference hand blood vessel pattern previously stored in the database with movement of the user and performing position compensation; 상기 위치 보상이 완료되면, 상기 사용자 손의 원시영상에서 손등 혈관패턴과 그 특성을 추출하여 데이터베이스에 기저장된 기준 손등 혈관패턴 및 그 특성과 비교하는 단계;Extracting a hand blood vessel pattern and its characteristics from a raw image of the user's hand, and comparing the extracted hand blood vessel pattern and a characteristic thereof with a reference hand blood vessel pattern previously stored in a database; 상기 손등 혈관패턴간의 비교 결과에 따라 사용자의 본인 여부를 확인하고 입장 허락/거부를 결정하는 단계Determining whether the user is the user based on the result of the comparison between the hand and blood vessel patterns, and determining whether the user is allowed to enter / 를 포함하는 개인식별을 위한 손등 혈관패턴 인식 방법.Wherein the method comprises the steps of: 제 3 항에 있어서,The method of claim 3, 상기 손의 진행방향 파악 단계에서는,In the step of grasping the direction of the hand, 상기 사용자 손의 원시영상에서 이진화된 영상을 검출하고, 체인 코드(Chain code)를 이용하여 손의 형태를 근사화시켜 손가락의 진행 방향을 구하는 것을 특징으로 하는 개인식별을 위한 손등 혈관패턴 인식 방법.Wherein the binarized image is detected from a raw image of the user's hand and the direction of the finger is determined by approximating the shape of the hand using a chain code. 제 4 항에 있어서,5. The method of claim 4, 상기 체인 코드를 이용하는 단계에서는,In the step of using the chain code, 상기 사용자 손의 이진화된 영상에서 중지의 경계면에 따라 체인이 이동하면서 체인된 값의 자취 데이터를 생성하는 단계;Generating trace data of the chained value as the chain moves along the boundary of the stop in the binarized image of the user's hand; 상기 자취 데이터 중 체인의 순환 부분을 찾아 제거하고, 상기 제거된 부분의 전후 체인을 연결해주는 단계;Searching for and removing circulating portions of the chain among the trace data, and connecting the chains before and after the removed portion; 상기 자취 데이터 중 중지의 자취에서 손가락의 높이를 기준으로 설정된 제1 및 제2 지점의 좌표를 측정하여 중지의 수직 진행방향 선분을 검출하는 단계;Measuring coordinates of the first and second points based on the height of the finger in the trace of the stop of the trace data to detect a vertical progress direction segment of the stop; 상기 중지의 수직 진행방향 선분과 수평면과의 각도를 측정하여 중지의 진행방향을 파악하는 단계Measuring the angle between the vertical progress direction segment of the stop and the horizontal plane to grasp the progress direction of the stop 를 포함하는 개인식별을 위한 손등 혈관패턴 인식 방법.Wherein the method comprises the steps of: 제 3 항에 있어서,The method of claim 3, 상기 손의 진행방향 파악 단계에서는,In the step of grasping the direction of the hand, 상기 사용자 손의 원시영상에서 이진화된 영상을 검출하고, 핑거 에지(Finger edge) 검출을 이용하여 손가락의 경계면을 찾아 손가락의 형태를 근사화하여 손의 진행방향을 구하는 것을 특징으로 하는 개인식별을 위한 손등 혈관패턴 인식 방법.Wherein the binarized image is detected from a raw image of the user's hand and the direction of the hand is obtained by approximating the shape of the finger by finding a boundary of the finger using finger edge detection, A method for recognizing blood vessel patterns. 제 6 항에 있어서,The method according to claim 6, 상기 핑거 에지 검출을 이용하는 단계에서는,In the step of using the finger edge detection, 상기 자취 데이터 중 중지의 자취에서 손가락의 높이를 기준으로 설정된 제1 및 제2 지점의 좌표를 측정하여 중지의 수직 진행방향 선분을 검출하고, 상기 중지의 수직 진행방향 선분과 수평면과의 각도를 측정함으로 중지의 진행방향을 파악하는 단계를 포함하는 개인식별을 위한 손등 혈관패턴 인식 방법.Measuring the coordinates of the first and second points based on the height of the finger in the trace of the stop of the trace data to detect a vertical progress direction segment of the stop and measuring an angle between the vertical progress direction segment and the horizontal plane of the stop And recognizing the direction of the stop of the hand. 사용자 시스템 등록시 사용자의 손등 굴곡에 대한 기준 벡터를 추출하여 데이터베이스에 저장하는 단계;Extracting a reference vector for a user's hand bending during user system registration and storing the reference vector in a database; 손잡이에 사용자의 손과 손가락이 고정되면 카메라를 이용해 사용자 손의 원시 영상을 촬영하는 단계;Capturing a raw image of a user's hand using a camera when a user's hand and a finger are fixed to the handle; 상기 사용자 손의 원시 영상에서 그레이 스케일을 사용하여 사용자 손등 굴곡에 특성 벡터를 산출하고, 산출된 특성 벡터를 데이터베이스에 기저장된 기준 벡터와 비교하여 사용자의 움직임을 감지하고 위치 보상을 수행하는 단계;Calculating a feature vector in the user's hand curve using gray scale in the original image of the user's hand and comparing the calculated feature vector with a reference vector previously stored in the database to detect movement of the user and perform position compensation; 상기 위치 보상이 완료되면, 상기 사용자 손의 원시영상에서 손등 혈관패턴과 그 특성을 추출하여 데이터베이스에 기저장된 기준 손등 혈관패턴 및 그 특성과 비교하는 단계;Extracting a hand blood vessel pattern and its characteristics from a raw image of the user's hand, and comparing the extracted hand blood vessel pattern and a characteristic thereof with a reference hand blood vessel pattern previously stored in a database; 상기 손등 혈관패턴간의 비교 결과에 따라 사용자의 본인 여부를 확인하고 입장 허락/거부를 결정하는 단계Determining whether the user is the user based on the result of the comparison between the hand and blood vessel patterns, and determining whether the user is allowed to enter / 를 포함하는 개인식별을 위한 손등 혈관패턴 인식 방법.Wherein the method comprises the steps of: 제 8 항에 있어서,9. The method of claim 8, 상기 기준 벡터 추출 단계에서는,In the reference vector extraction step, 사용자 손의 원시 영상에서 사용자가 움직이더라도 촬영 범위에서 벗어나지 않는 영역 내의 손등 영상을 추출하는 단계;Extracting an image of the back of a hand in an area that does not deviate from the shooting range even if the user moves from the original image of the user's hand; 상기 추출된 손등 영상에서 수직 및 수평 방향의 최대 그레이 스케일(gray scale) 값의 집합을 구하여 기준 벡터를 생성하는 단계를 포함하는 개인식별을 위한 손등 혈관패턴 인식 방법.And generating a reference vector by obtaining a set of maximum gray scale values in the vertical and horizontal directions in the extracted hand image. 제 9 항에 있어서,10. The method of claim 9, 상기 기준 벡터를 생성하는 단계에서는,In the step of generating the reference vector, 상기 추출된 손등 영상에서 이동 평균 필터(Moving Average filter)를 사용하여 노이즈를 제거하는 단계를 더 포함하는 것을 특징으로 하는 개인식별을 위한 손등 혈관패턴 인식 방법.Further comprising the step of removing noise from the extracted hand image using a moving average filter. ≪ RTI ID = 0.0 > 18. < / RTI > 사용자가 동작 진행에 필요한 번호나 사용자 등록번호를 입력하는 키입력부;A key input unit for inputting a number or a user registration number necessary for the user to proceed with the operation; 사용자 손등 혈관패턴에 관한 기준 데이터가 사용자별로 저장되는 데이터베이스;A database in which reference data relating to a user's hand blood vessel pattern is stored for each user; 사용자의 손과 손가락을 고정시키는 손잡이부;A handle portion for fixing a user's hand and a finger; 상기 손잡이부에 고정된 사용자의 손을 촬영하는 카메라부;A camera part for photographing a user's hand fixed to the handle part; 상기 카메라부를 통해 촬영된 사용자 손의 원시영상을 혈관패턴 추출을 위한 정지화상으로 변환 출력하는 영상처리부;An image processor for converting a raw image of a user's hand photographed through the camera unit into a still image for extracting a blood vessel pattern; 상기 영상처리부의 정지화상을 입력받아 사용자의 움직임에 따른 위치 보상을 수행하고, 손등 혈관패턴에 따른 분기 특성을 추출하여 이를 데이터베이스에 기저장된 기준영상과 비교함으로써 사용자 본인 여부를 확인하는 마이크로 프로세서;A microprocessor for inputting a still image of the image processing unit to perform position compensation according to a movement of a user, extracting a branching characteristic according to a hand blood vessel pattern, and comparing the extracted branching characteristic with a reference image previously stored in a database, 상기 마이크로프로세서의 제어에 의해 외부장치와 데이터 및 제어 통신 기능을 수행하는 인터페이스부An interface unit for performing data and control communication functions with an external device under the control of the microprocessor; 를 포함하는 개인식별을 위한 손등 혈관패턴 인식 시스템.Wherein the recognition system comprises: 제 11 항에 있어서,12. The method of claim 11, 상기 손잡이부는,The handle portion 사용자의 손을 고정시키는 주손잡이;A main handle for fixing a user's hand; 사용자 손의 회전과 이동을 보상하기 위해 손가락을 고정시키는 보조손잡이로 구성되는 것을 특징으로 하는 개인식별을 위한 손등 혈관패턴 인식 시스템.And an auxiliary handle for fixing a finger to compensate rotation and movement of the user's hand. 제 11 항 또는 제 12 항에 있어서,13. The method according to claim 11 or 12, 상기 카메라부는,The camera unit includes: 상기 주손잡이에 대응되는 방향으로 주손잡이의 상부쪽에 설치되어 사용자 손등 혈관패턴을 촬영하는 주카메라;A main camera installed on an upper side of the main handle in a direction corresponding to the main handle to photograph a user's hand vein pattern; 상기 보조손잡이에 대응되는 방향으로 보조손잡이의 상부쪽에 설치되어 사용자의 손가락 부분을 촬영하는 보조 카메라로 구성되는 것을 특징으로 하는 개인식별을 위한 손등 혈관패턴 인식 시스템.And an auxiliary camera installed on an upper side of the auxiliary handle in a direction corresponding to the auxiliary handle to photograph a finger portion of the user. 제 13 항에 있어서,14. The method of claim 13, 상기 카메라부의 전면 방향에 외부 조명의 영향을 감소시키기 위한 중간파 필터가 설치되는 것을 특징으로 하는 개인식별을 위한 손등 혈관패턴 인식 시스템.Wherein a middle-wave filter for reducing the influence of external illumination is provided in a front direction of the camera unit. 제 11 항에 있어서,12. The method of claim 11, 상기 마이크로프로세서는,The microprocessor, 사용자 손의 입력 위치 검출 방식, 사용자 손의 연속 입력 영상 분석 방식, 사용자 손등 굴곡에 대한 그레이 스케일 분포 적용 방식 중 어느 한 방식을 사용하여 위치 보상을 수행하는 것을 특징으로 하는 개인식별을 위한 손등 혈관패턴 인식 시스템.Wherein the position compensation is performed using any one of an input position detection method of a user's hand, a continuous input image analysis method of a user's hand, and a gray scale distribution application method to a user's hand curvature, Recognition system.
KR10-2001-0053842A 2001-09-03 2001-09-03 Apparatus and the method for verification of blood vessel-patterns of the back of the hand for person identification KR100438418B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0053842A KR100438418B1 (en) 2001-09-03 2001-09-03 Apparatus and the method for verification of blood vessel-patterns of the back of the hand for person identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0053842A KR100438418B1 (en) 2001-09-03 2001-09-03 Apparatus and the method for verification of blood vessel-patterns of the back of the hand for person identification

Publications (2)

Publication Number Publication Date
KR20030020152A true KR20030020152A (en) 2003-03-08
KR100438418B1 KR100438418B1 (en) 2004-07-02

Family

ID=27722224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0053842A KR100438418B1 (en) 2001-09-03 2001-09-03 Apparatus and the method for verification of blood vessel-patterns of the back of the hand for person identification

Country Status (1)

Country Link
KR (1) KR100438418B1 (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG122824A1 (en) * 2003-08-26 2006-06-29 Hitachi Ltd Personal identification device and method
KR101381439B1 (en) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 Face recognition apparatus, and face recognition method
US9042966B2 (en) 2006-01-10 2015-05-26 Accuvein, Inc. Three dimensional imaging of veins
US9061109B2 (en) 2009-07-22 2015-06-23 Accuvein, Inc. Vein scanner with user interface
US9072426B2 (en) 2012-08-02 2015-07-07 AccuVein, Inc Device for detecting and illuminating vasculature using an FPGA
US9226664B2 (en) 2006-06-29 2016-01-05 Accuvein, Inc. Scanned laser vein contrast enhancer using a single laser
DE102014109682A1 (en) 2014-07-10 2016-01-14 Bundesdruckerei Gmbh Mobile terminal for collecting biometric data
US9345427B2 (en) 2006-06-29 2016-05-24 Accuvein, Inc. Method of using a combination vein contrast enhancer and bar code scanning device
US9430819B2 (en) 2007-06-28 2016-08-30 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US9492117B2 (en) 2006-01-10 2016-11-15 Accuvein, Inc. Practitioner-mounted micro vein enhancer
US9854977B2 (en) 2006-01-10 2018-01-02 Accuvein, Inc. Scanned laser vein contrast enhancer using a single laser, and modulation circuitry
US10238294B2 (en) 2006-06-29 2019-03-26 Accuvein, Inc. Scanned laser vein contrast enhancer using one laser
US10376148B2 (en) 2012-12-05 2019-08-13 Accuvein, Inc. System and method for laser imaging and ablation of cancer cells using fluorescence
US10813588B2 (en) 2006-01-10 2020-10-27 Accuvein, Inc. Micro vein enhancer
US11051697B2 (en) 2006-06-29 2021-07-06 Accuvein, Inc. Multispectral detection and presentation of an object's characteristics
US11253198B2 (en) 2006-01-10 2022-02-22 Accuvein, Inc. Stand-mounted scanned laser vein contrast enhancer
US11278240B2 (en) 2006-01-10 2022-03-22 Accuvein, Inc. Trigger-actuated laser vein contrast enhancer
USD999379S1 (en) 2010-07-22 2023-09-19 Accuvein, Inc. Vein imager and cradle in combination

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102370684B1 (en) 2021-11-10 2022-03-07 주식회사 테크스피어 Apparatus and method for recognizing blood vessel pattern on the back of the hand

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9306897D0 (en) * 1993-04-01 1993-05-26 British Tech Group Biometric identification of individuals
JPH0721373A (en) * 1993-06-17 1995-01-24 Asahi Optical Co Ltd Individual identifying device
KR100259475B1 (en) * 1997-04-14 2000-06-15 최환수 Method for the identification of individuals using the pattern of blood vessels
KR20010000618A (en) * 2000-09-27 2001-01-05 박동조 Hand Vein Verification by Using the Characteristic of the Frequency Domain

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG122824A1 (en) * 2003-08-26 2006-06-29 Hitachi Ltd Personal identification device and method
US7526111B2 (en) 2003-08-26 2009-04-28 Hitachi, Ltd. Personal identification device and method
US8244000B2 (en) 2003-08-26 2012-08-14 Hitachi, Ltd. Personal identification device and method
US8582831B2 (en) 2003-08-26 2013-11-12 Hitachi, Ltd. Personal identification device and method
US11278240B2 (en) 2006-01-10 2022-03-22 Accuvein, Inc. Trigger-actuated laser vein contrast enhancer
US11191482B2 (en) 2006-01-10 2021-12-07 Accuvein, Inc. Scanned laser vein contrast enhancer imaging in an alternating frame mode
US9044207B2 (en) 2006-01-10 2015-06-02 Accuvein, Inc. Micro vein enhancer for use with a vial holder
US11638558B2 (en) 2006-01-10 2023-05-02 Accuvein, Inc. Micro vein enhancer
US11484260B2 (en) 2006-01-10 2022-11-01 Accuvein, Inc. Patient-mounted micro vein enhancer
US9125629B2 (en) 2006-01-10 2015-09-08 Accuvein, Inc. Vial-mounted micro vein enhancer
US11399768B2 (en) 2006-01-10 2022-08-02 Accuvein, Inc. Scanned laser vein contrast enhancer utilizing surface topology
US11357449B2 (en) 2006-01-10 2022-06-14 Accuvein, Inc. Micro vein enhancer for hands-free imaging for a venipuncture procedure
US10470706B2 (en) 2006-01-10 2019-11-12 Accuvein, Inc. Micro vein enhancer for hands-free imaging for a venipuncture procedure
US11253198B2 (en) 2006-01-10 2022-02-22 Accuvein, Inc. Stand-mounted scanned laser vein contrast enhancer
US11642080B2 (en) 2006-01-10 2023-05-09 Accuvein, Inc. Portable hand-held vein-image-enhancing device
US9042966B2 (en) 2006-01-10 2015-05-26 Accuvein, Inc. Three dimensional imaging of veins
US9492117B2 (en) 2006-01-10 2016-11-15 Accuvein, Inc. Practitioner-mounted micro vein enhancer
US11172880B2 (en) 2006-01-10 2021-11-16 Accuvein, Inc. Vein imager with a dual buffer mode of operation
US11109806B2 (en) 2006-01-10 2021-09-07 Accuvein, Inc. Three dimensional imaging of veins
US10813588B2 (en) 2006-01-10 2020-10-27 Accuvein, Inc. Micro vein enhancer
US9788788B2 (en) 2006-01-10 2017-10-17 AccuVein, Inc Three dimensional imaging of veins
US9788787B2 (en) 2006-01-10 2017-10-17 Accuvein, Inc. Patient-mounted micro vein enhancer
US9854977B2 (en) 2006-01-10 2018-01-02 Accuvein, Inc. Scanned laser vein contrast enhancer using a single laser, and modulation circuitry
US9949688B2 (en) 2006-01-10 2018-04-24 Accuvein, Inc. Micro vein enhancer with a dual buffer mode of operation
US10617352B2 (en) 2006-01-10 2020-04-14 Accuvein, Inc. Patient-mounted micro vein enhancer
US10500350B2 (en) 2006-01-10 2019-12-10 Accuvein, Inc. Combination vein contrast enhancer and bar code scanning device
US10258748B2 (en) 2006-01-10 2019-04-16 Accuvein, Inc. Vein scanner with user interface for controlling imaging parameters
US9345427B2 (en) 2006-06-29 2016-05-24 Accuvein, Inc. Method of using a combination vein contrast enhancer and bar code scanning device
US11051755B2 (en) 2006-06-29 2021-07-06 Accuvein, Inc. Scanned laser vein contrast enhancer using a retro collective mirror
US10357200B2 (en) 2006-06-29 2019-07-23 Accuvein, Inc. Scanning laser vein contrast enhancer having releasable handle and scan head
US11523739B2 (en) 2006-06-29 2022-12-13 Accuvein, Inc. Multispectral detection and presentation of an object's characteristics
US9226664B2 (en) 2006-06-29 2016-01-05 Accuvein, Inc. Scanned laser vein contrast enhancer using a single laser
US11051697B2 (en) 2006-06-29 2021-07-06 Accuvein, Inc. Multispectral detection and presentation of an object's characteristics
US10238294B2 (en) 2006-06-29 2019-03-26 Accuvein, Inc. Scanned laser vein contrast enhancer using one laser
US11132774B2 (en) 2007-06-28 2021-09-28 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US11847768B2 (en) 2007-06-28 2023-12-19 Accuvein Inc. Automatic alignment of a contrast enhancement system
US9430819B2 (en) 2007-06-28 2016-08-30 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US9760982B2 (en) 2007-06-28 2017-09-12 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US10580119B2 (en) 2007-06-28 2020-03-03 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US10096096B2 (en) 2007-06-28 2018-10-09 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US10713766B2 (en) 2007-06-28 2020-07-14 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US11826166B2 (en) 2009-07-22 2023-11-28 Accuvein, Inc. Vein scanner with housing configured for single-handed lifting and use
USD999380S1 (en) 2009-07-22 2023-09-19 Accuvein, Inc. Vein imager and cradle in combination
US10518046B2 (en) 2009-07-22 2019-12-31 Accuvein, Inc. Vein scanner with user interface
US9061109B2 (en) 2009-07-22 2015-06-23 Accuvein, Inc. Vein scanner with user interface
US9789267B2 (en) 2009-07-22 2017-10-17 Accuvein, Inc. Vein scanner with user interface
USD998152S1 (en) 2010-07-22 2023-09-05 Accuvein, Inc. Vein imager cradle
USD999379S1 (en) 2010-07-22 2023-09-19 Accuvein, Inc. Vein imager and cradle in combination
KR101381439B1 (en) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 Face recognition apparatus, and face recognition method
US9782079B2 (en) 2012-08-02 2017-10-10 Accuvein, Inc. Device for detecting and illuminating the vasculature using an FPGA
US9072426B2 (en) 2012-08-02 2015-07-07 AccuVein, Inc Device for detecting and illuminating vasculature using an FPGA
US10568518B2 (en) 2012-08-02 2020-02-25 Accuvein, Inc. Device for detecting and illuminating the vasculature using an FPGA
US11510617B2 (en) 2012-08-02 2022-11-29 Accuvein, Inc. Device for detecting and illuminating the vasculature using an FPGA
US10517483B2 (en) 2012-12-05 2019-12-31 Accuvein, Inc. System for detecting fluorescence and projecting a representative image
US11439307B2 (en) 2012-12-05 2022-09-13 Accuvein, Inc. Method for detecting fluorescence and ablating cancer cells of a target surgical area
US10376147B2 (en) 2012-12-05 2019-08-13 AccuVeiw, Inc. System and method for multi-color laser imaging and ablation of cancer cells using fluorescence
US10376148B2 (en) 2012-12-05 2019-08-13 Accuvein, Inc. System and method for laser imaging and ablation of cancer cells using fluorescence
DE102014109682B4 (en) * 2014-07-10 2016-04-28 Bundesdruckerei Gmbh Mobile terminal for collecting biometric data
EP3486822A1 (en) 2014-07-10 2019-05-22 Bundesdruckerei GmbH Mobile terminal for determining biometric data
US10572638B2 (en) 2014-07-10 2020-02-25 Bundesdruckerei Gmbh Mobile terminal for capturing biometric data
EP2977925A1 (en) 2014-07-10 2016-01-27 Bundesdruckerei GmbH Mobile terminal for determining biometric data
DE102014109682A1 (en) 2014-07-10 2016-01-14 Bundesdruckerei Gmbh Mobile terminal for collecting biometric data
EP3486821A1 (en) 2014-07-10 2019-05-22 Bundesdruckerei GmbH Mobile terminal for determining biometric data

Also Published As

Publication number Publication date
KR100438418B1 (en) 2004-07-02

Similar Documents

Publication Publication Date Title
KR100438418B1 (en) Apparatus and the method for verification of blood vessel-patterns of the back of the hand for person identification
KR100918286B1 (en) Living body guidance control method for a biometrics authentication device, and biometrics authentication device
US20220165087A1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP3975248B2 (en) Biometric recognition using neural network classification
KR100730257B1 (en) Apparatus for personal authenticating
KR101120932B1 (en) Imaging apparatus, computer-readable recording medium having imaging program recorded thereon, imaging method, authentication apparatus, computer-readable recording medium having authentication program recorded thereon, and authentication method
WO2000070558A1 (en) Dynamic image processing method and device and medium
US11163972B2 (en) Convergent biometric authentication method based on finger joint and finger vein, and apparatus therefor
KR101603469B1 (en) Biometric authentication device, biometric authentication method, and biometric authentication computer program
JP2003527650A (en) Synthetic fingerprint image forming method and apparatus
WO2007050187A2 (en) Method and system for detecting biometric liveness
WO2004021884A1 (en) Individual identification device
JP2010152706A (en) Biometric authentication device
EP2781185B1 (en) Biometric information input apparatus, biometric information input program and biometric information input method
US20220189212A1 (en) Authentication device, authentication method, and recording medium
JPH10275233A (en) Information processing system, pointing device and information processor
JP5796523B2 (en) Biological information acquisition apparatus, biological information acquisition method, and biological information acquisition control program
JP2011258209A (en) Back of hand authentication system and back of hand authentication method
Fukuta et al. Personal identification based on blood vessels of retinal fundus images
KR100428540B1 (en) Apparatus and the method for verification of blood vessel-patterns of the back of the hand for person identification
KR20020065248A (en) Preprocessing of Human Iris Verification
KR102148699B1 (en) Apparatus and method for recognizing face
JP2022040244A (en) Information processing apparatus, method and program
Hussein et al. ENHANCED FINGER VEIN BASED RECOGNITION SYSTEM
KR20030010944A (en) The method of verifying iris based on multiple 1d iris characteristics

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150610

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160616

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20170619

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20180531

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 16