KR102610035B1 - System and method for recognizing pose invariant face - Google Patents
System and method for recognizing pose invariant face Download PDFInfo
- Publication number
- KR102610035B1 KR102610035B1 KR1020160072901A KR20160072901A KR102610035B1 KR 102610035 B1 KR102610035 B1 KR 102610035B1 KR 1020160072901 A KR1020160072901 A KR 1020160072901A KR 20160072901 A KR20160072901 A KR 20160072901A KR 102610035 B1 KR102610035 B1 KR 102610035B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- target user
- graph
- image
- pose
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 239000013598 vector Substances 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 13
- 238000010606 normalization Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 일예와 관련된 얼굴 인식 시스템은 대상 사용자 얼굴 영상을 획득하는 영상 획득부, 표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고, 상기 대상 사용자 얼굴 영상에서 상기 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 상기 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성하는 얼굴 그래프 생성부 및 상기 대상 사용자 얼굴 영상에서 상기 최적 얼굴 그래프의 노드가 위치한 지점별 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 상기 대상 사용자를 인식하는 사용자 인식부를 포함할 수 있다.A face recognition system related to an example of the present invention includes an image acquisition unit that acquires a target user's face image, matches a standard face graph to the target user's face image, and determines the point where the node of the standard face graph is located in the target user's face image. A face graph generator that generates an optimal face graph by correcting the positions of the matched standard face graph nodes so that the difference between the feature vector and the feature vector of the standard face graph is within a preset difference, and the optimal face graph in the target user's face image. It may include a user recognition unit that recognizes the target user by comparing feature vectors for each point where nodes of the face graph are located with feature vectors for each node of the face graph of a plurality of users.
Description
본 발명은 포즈 변화에 강인한 얼굴 인식 시스템 및 방법에 관한 것이다.The present invention relates to a face recognition system and method that is robust to pose changes.
얼굴 인식 기술을 이용한 사용자 인식 기술은 편의성, 사용자 맞춤형 서비스 제공 및 다양한 분야에서의 엔터테인먼트 제공 기술로 활용이 가능하다는 장점 때문에 활용 범위가 점점 넓어지고 있는 추세이다. 특히, 최근 출입 통제, 인증 자동화, 지능형 보안 등 다양한 분야에서 얼굴 인식 기술을 적용하려는 움직임이 활발하다.The scope of use of user recognition technology using facial recognition technology is gradually expanding due to the advantages of convenience, provision of customized services, and ability to be used as entertainment provision technology in various fields. In particular, there has recently been an active movement to apply facial recognition technology in various fields such as access control, authentication automation, and intelligent security.
기존의 얼굴을 인식하는 방법은 입력 얼굴 영상에 대해서 두 눈 좌표를 기준으로 얼굴의 피쳐를 추출하기 위한 영역을 결정하고 얼굴 인식을 시도한다.The existing face recognition method determines an area to extract facial features based on the coordinates of both eyes for the input face image and attempts face recognition.
두 눈 좌표를 추출하는 알고리즘의 정확성에 따라 얼굴 인식 성능이 저하되는 문제점을 해결하기 위하여 얼굴 영상에서 두 눈을 찾는 과정과 얼굴을 인식하는 과정이 결합된 얼굴 인식 알고리즘이 제안되어 얼굴 영상에서 두 눈 뿐만 아니라 얼굴 특징을 추출할 얼굴의 각 특징 위치들을 상호 연관성 있게 동시에 탐색하도록 하는 방법도 제안되었다.To solve the problem that face recognition performance deteriorates depending on the accuracy of the algorithm for extracting two eye coordinates, a face recognition algorithm was proposed that combines the process of finding both eyes in a face image and the process of recognizing the face. In addition, a method was also proposed to simultaneously explore the positions of each feature of the face from which facial features are to be extracted in a correlational manner.
그러나 기존의 얼굴 인식 방법은 실제 환경에서 조명, 포즈, 배경 변화 때문에 인식률이 낮다는 문제점이 있었다.However, existing face recognition methods have the problem of low recognition rates due to changes in lighting, pose, and background in real environments.
특히, 포즈 변화가 일어난 사용자의 얼굴 영상을 인식했을 때 동일한 사용자 얼굴 영상에 대한 얼굴 인식 유사도 보다 다른 사용자 얼굴 영상에 대한 얼굴 인식 유사도가 더 높게 나타나는 경우가 발생하여 포즈 변화는 얼굴 인식 기술의 현장 적용시 인식 오류의 주요 요인으로 작용하였다.In particular, when recognizing a user's face image where a pose change has occurred, the face recognition similarity for another user's face image appears to be higher than the face recognition similarity for the same user's face image, so the pose change can be applied to the field of face recognition technology. It served as a major factor in poetry recognition errors.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 실제 환경에서 얼굴 오인식의 원인인 포즈 변화에도 얼굴 인식 성능을 저하시키지 않는 얼굴 인식 시스템 및 방법을 제공하는 데 그 목적이 있다. The present invention was developed to solve the above-described conventional problems, and its purpose is to provide a face recognition system and method that does not deteriorate face recognition performance despite pose changes that cause face misrecognition in a real environment.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Meanwhile, the technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly apparent to those skilled in the art from the description below. It will be understandable.
상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 얼굴 인식 시스템은 대상 사용자 얼굴 영상을 획득하는 영상 획득부, 표준 얼굴 그래프, 상기 표준 얼굴 그래프의 특징 벡터 및 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 저장하는 메모리, 상기 표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고, 상기 대상 사용자 얼굴 영상에서 상기 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 상기 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성하는 얼굴 그래프 생성부 및 상기 대상 사용자 얼굴 영상에서 상기 최적 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 상기 대상 사용자를 인식하는 사용자 인식부를 포함할 수 있다.A face recognition system related to an example of the present invention for realizing the above-described problem includes an image acquisition unit for acquiring a target user's face image, a standard face graph, a feature vector of the standard face graph, and a feature vector for each node of a plurality of user face graphs. A memory that stores, matches the standard face graph to the target user's face image, and sets the difference between the feature vector of the point where the node of the standard face graph is located in the target user's face image and the feature vector of the standard face graph. A face graph generator that generates an optimal face graph by correcting the positions of the matched standard face graph nodes to be within the difference, and a feature vector of a point where the node of the optimal face graph is located in the target user's face image and the plurality of users It may include a user recognition unit that recognizes the target user by comparing feature vectors for each node of the face graph.
일 실시예에서 상기 얼굴 그래프 생성부는 상기 대상 사용자 얼굴 영상의 눈 및 코의 위치를 기준으로 상기 표준 얼굴 그래프 노드의 위치를 보정할 수 있다.In one embodiment, the face graph generator may correct the position of the standard face graph node based on the positions of the eyes and nose of the target user's face image.
일 실시예에서 상기 대상 사용자 얼굴 영상으로부터 상기 대상 사용자 얼굴의 포즈를 검출하는 포즈 검출부를 더 포함하고, 상기 메모리는 포즈별 표준 얼굴 그래프를 저장하며, 상기 얼굴 그래프 생성부는 상기 포즈별 표준 얼굴 그래프 중 상기 검출된 포즈와 가장 근사한 포즈를 갖는 표준 얼굴 그래프를 상기 대상사용자 얼굴 영상에 정합할 수 있다.In one embodiment, it further includes a pose detection unit that detects a pose of the target user's face from the target user's face image, the memory stores a standard face graph for each pose, and the face graph generator selects a standard face graph for each pose. A standard face graph having a pose most similar to the detected pose can be matched to the target user's face image.
일 실시예에서 상기 포즈 검출부는 상기 대상 사용자 얼굴에 포함된 복수의 특징점을 검출하고, 검출한 복수의 특징점을 이용하여 상기 대상 사용자 얼굴의 포즈를 검출할 수 있다.In one embodiment, the pose detector may detect a plurality of feature points included in the target user's face and detect the pose of the target user's face using the plurality of detected feature points.
일 실시예에서 상기 대상 사용자 얼굴 영상에서 상기 대상 사용자를 제외한 영역을 제거하는 영상 전처리부를 더 포함할 수 있다.In one embodiment, the image preprocessor may further include removing an area excluding the target user from the target user's face image.
일 실시예에서 상기 대상 사용자 얼굴 영상에서 상기 대상 사용자의 얼굴 영역을 추출하는 얼굴 영역 추출부를 더 포함할 수 있다.In one embodiment, it may further include a face area extraction unit that extracts the face area of the target user from the target user's face image.
일 실시예에서 상기 대상 사용자 얼굴 영상의 상기 대상 사용자의 양쪽 눈 사이의 거리를 기초로 상기 대상 사용자 얼굴 영상의 크기를 정규화하는 영상 정규화부를 더 포함할 수 있다.In one embodiment, the image normalization unit may further include normalizing the size of the target user's face image based on the distance between both eyes of the target user.
본 발명의 실시예들은 실제 환경에서 포즈 변화가 있는 얼굴의 인식률을 향상시킬 수 있다.Embodiments of the present invention can improve the recognition rate of faces with pose changes in a real environment.
본 발명의 실시예들은 조명, 배경의 변화에도 얼굴 인식 성능을 유지할 수 있다.Embodiments of the present invention can maintain face recognition performance despite changes in lighting and background.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Meanwhile, the effects that can be obtained from the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다양한 각도에서 얼굴 영상이 획득되는 것을 나타내는 도면이다.
도 3a는 본 발명의 일 실시예에 따라 표준 얼굴 그래프가 대상 사용자 얼굴 영상에 정합된 것을 나타내는 도면이다.
도 3b는 본 발명의 일 실시예에 따라 대상 사용자 얼굴 영상에 정합된 표준 얼굴 그래프의 노드가 보정된 것을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 포즈별 대상 사용자 얼굴 영상에 최적 얼굴 그래프가 생성된 것을 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 얼굴 인식 시스템의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 얼굴 인식 방법을 나타내는 순서도이다.
도 7는 본 발명의 일 실시예에 따른 얼굴 인식 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.The following drawings attached to this specification illustrate a preferred embodiment of the present invention, and serve to further understand the technical idea of the present invention along with the detailed description of the invention, so the present invention is limited to the matters described in such drawings. It should not be interpreted in a limited way.
1 is a block diagram of a face recognition system according to an embodiment of the present invention.
Figure 2 is a diagram showing face images being acquired from various angles according to an embodiment of the present invention.
Figure 3a is a diagram showing that a standard face graph is matched to a target user's face image according to an embodiment of the present invention.
FIG. 3B is a diagram showing a node of a standard face graph matched to a target user's face image being corrected according to an embodiment of the present invention.
Figure 4 is a diagram showing that an optimal face graph is generated from a target user's face image for each pose according to an embodiment of the present invention.
Figure 5 is a block diagram of a face recognition system according to another embodiment of the present invention.
Figure 6 is a flowchart showing a face recognition method according to an embodiment of the present invention.
Figure 7 is a block diagram showing a computing system executing a face recognition method according to an embodiment of the present invention.
이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.Hereinafter, a preferred embodiment of the present invention will be described with reference to the drawings. In addition, one embodiment described below does not unduly limit the content of the present invention described in the claims, and it cannot be said that all of the configurations described in this embodiment are essential as a solution to the present invention.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 블록도이다. 도 2는 본 발명의 일 실시예에 따른 다양한 각도에서 얼굴 영상이 획득되는 것을 나타내는 도면이다. 도 3a는 본 발명의 일 실시예에 따라 표준 얼굴 그래프가 대상 사용자 얼굴 영상에 정합된 것을 나타내는 도면이다. 도 3b는 본 발명의 일 실시예에 따라 대상 사용자 얼굴 영상에 정합된 표준 얼굴 그래프의 노드가 보정된 것을 나타내는 도면이다.1 is a block diagram of a face recognition system according to an embodiment of the present invention. Figure 2 is a diagram showing face images being acquired from various angles according to an embodiment of the present invention. Figure 3a is a diagram showing that a standard face graph is matched to a target user's face image according to an embodiment of the present invention. FIG. 3B is a diagram showing a node of a standard face graph matched to a target user's face image being corrected according to an embodiment of the present invention.
도 1을 참조하면, 얼굴 인식 시스템(100)은 영상 획득부(110), 메모리(120), 얼굴 그래프 생성부(130) 및 사용자 인식부(140) 등을 포함할 수 있다.Referring to FIG. 1, the
다만, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 얼굴 인식 시스템이 구현될 수도 있다.However, since the components shown in FIG. 1 are not essential, a face recognition system may be implemented with more or fewer components.
영상 획득부(110)은 인식 대상이 되는 대상 사용자의 얼굴 영상을 획득할 수 있다. 영상 획득부(110)은 사용자의 얼굴을 촬영하는 카메라 또는 카메라로부터 대상 사용자의 얼굴 영상을 수신하는 영상 수신부일 수 있다.The image acquisition unit 110 may acquire a face image of a target user to be recognized. The image acquisition unit 110 may be a camera that captures the user's face or an image receiver that receives the target user's face image from the camera.
또한, 영상 획득부(110)이 획득한 영상에서 사용자 얼굴의 포즈는 정면 포즈, 측면 포즈, 상면 포즈 및 하면 포즈 등일 수 있고, 영상 내에는 사용자의 얼굴뿐만 아니라 배경영상이 존재할 수 있으며, 영상들 각각은 사용자 얼굴이 촬영되는 조명 환경에 의해 영상의 밝기가 다를 수 있다.In addition, the pose of the user's face in the image acquired by the image acquisition unit 110 may be a front pose, a side pose, a top pose, and a bottom pose, and in the image, there may be a background image as well as the user's face, and the images The brightness of each image may vary depending on the lighting environment in which the user's face is captured.
메모리(120)은 표준 얼굴 그래프, 표준 얼굴 그래프의 특징 벡터 및 복수의 사용자 얼굴 그래프의 노드별 특징 벡터 등을 저장할 수 있다.The memory 120 may store a standard face graph, feature vectors of the standard face graph, and feature vectors for each node of a plurality of user face graphs.
표준 얼굴 그래프는 후술할 얼굴 그래프 생성부(130)에 의해 대상 사용자 얼굴 영상에 정합되는 얼굴 그래프이다. 표준 얼굴 그래프는 다른 성별 및 인종 등 다양한 얼굴로부터 추출된 것일 수 있다. 또한, 표준 얼굴 그래프는 도 2에 나타난 것 같이 다양한 각도에서 획득된 얼굴 영상으로부터 추출되어 포즈별로 메모리(120)에 저장될 수 있다.The standard face graph is a face graph that is matched to the target user's face image by the face graph generator 130, which will be described later. A standard face graph may be extracted from a variety of faces, such as those of different genders and races. Additionally, a standard face graph may be extracted from face images acquired at various angles as shown in FIG. 2 and stored in the memory 120 for each pose.
포즈별 표준 얼굴 그래프를 구성하는 특징점 노드는 도 3에 나타난 것과 같이 복수개의 특징점들로 구성될 수 있다. 이러한 특징점들은 얼굴 영상에서 눈, 눈썹, 코, 입술, 턱, 얼굴 윤곽선 등과 같이 얼굴에서 두드러지는 지점일 수 있다.The feature point node constituting the standard face graph for each pose may be composed of a plurality of feature points as shown in FIG. 3. These feature points may be points that stand out on the face, such as eyes, eyebrows, nose, lips, chin, facial outline, etc. in the face image.
표준 얼굴 그래프의 특징 벡터는 표준 얼굴 그래프의 각 노드가 위치한 지점의 특징 벡터로서, 표준 얼굴 그래프가 추출된 얼굴 영상의 특징점에서의 특징 벡터이다.The feature vector of the standard face graph is the feature vector of the point where each node of the standard face graph is located, and is the feature vector at the feature point of the face image from which the standard face graph was extracted.
복수의 사용자 얼굴 그래프의 노드별 특징 벡터는 인식 대상이 되는 복수의 사용자의 얼굴 영상 각각으로부터 추출된 얼굴 그래프의 노드별 특징 벡터이다. 즉, 영상 획득부(110)이 대상 사용자 얼굴 영상을 획득하고, 후술할 사용자 인식부(140)이 대상 사용자 얼굴 영상의 특징 벡터를 비교하는 대상이 복수의 사용자 얼굴 그래프의 노드별 특징 벡터이다.The feature vector for each node of the plurality of users' face graph is the feature vector for each node of the face graph extracted from each of the face images of the plurality of users to be recognized. That is, the image acquisition unit 110 acquires the target user's face image, and the user recognition unit 140, which will be described later, compares the feature vectors of the target user's face image with the feature vectors for each node of the plurality of user face graphs.
이러한 복수의 사용자 얼굴 그래프의 노드별 특징 벡터는 표준 얼굴 그래프와 마찬가지로 포즈별로 획득된 복수의 사용자 얼굴 영상으로부터 추출된 것일 수 있다.The feature vectors for each node of the plurality of user face graphs may be extracted from the plurality of user face images obtained for each pose, similar to the standard face graph.
얼굴 그래프 생성부(130)은 대상 사용자 얼굴 영상의 최적 얼굴 그래프를 생성할 수 있다. 구체적으로, 얼굴 그래프 생성부(130)은 메모리(120)에 저장된 표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고, 상기 대상 사용자 얼굴 영상에서 상기 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 상기 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성할 수 있다.The face graph generator 130 may generate an optimal face graph of the target user's face image. Specifically, the face graph generator 130 matches the standard face graph stored in the memory 120 to the target user's face image, and the feature vector of the point where the node of the standard face graph is located in the target user's face image and the An optimal face graph can be generated by correcting the positions of the matched standard face graph nodes so that the difference between the feature vectors of the standard face graph is within a preset difference.
도 3a를 참조하면, 표준 얼굴 그래프가 대상 사용자 얼굴 영상에 정합되어 있지만 대상 사용자의 얼굴은 좌측으로 틀어진 포즈이고, 표준 얼굴 그래프의 최우측 노드(a)는 대상 사용자 얼굴의 특징점에 위치하지 않는다.Referring to FIG. 3A, the standard face graph is matched to the target user's face image, but the target user's face is in a pose that is tilted to the left, and the rightmost node (a) of the standard face graph is not located at the feature point of the target user's face.
얼굴 그래프 생성부(130)은 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터를 추출하고, 표준 얼굴 그래프의 특징 벡터와 비교하여 차이가 기 설정된 차이 초과인 노드의 위치를 보정할 수 있다.The face graph generator 130 may extract a feature vector at a point where a node of the standard face graph is located, compare the feature vector with the feature vector of the standard face graph, and correct the position of the node whose difference exceeds a preset difference.
도 3a에서는 표준 얼굴 그래프의 최우측 노드(a)가 대상 사용자 얼굴 영상의 뺨 위치에 있으므로 최우측 노드(a)에서 추출된 특징 벡터는 이에 대응하는 메모리(120)에 저장된 표준 얼굴 그래프의 특징 벡터의 값과의 차이가 기 설정된 차이를 초과할 것이다.In Figure 3a, since the rightmost node (a) of the standard face graph is located at the cheek position of the target user's face image, the feature vector extracted from the rightmost node (a) is the feature vector of the standard face graph stored in the corresponding memory 120. The difference from the value will exceed the preset difference.
얼굴 그래프 생성부(130)은 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 최우측 노드(a)의 위치를 조절하여 도 3b과 같은 최적 얼굴 그래프를 생성할 수 있다.The face graph generator 130 adjusts the position of the rightmost node (a) so that the difference between the feature vector at the point where the node of the standard face graph is located and the feature vector of the standard face graph is within a preset difference, as shown in Figure 3b. The same optimal face graph can be created.
얼굴 그래프 생성부(130)은 표준 얼굴 그래프 노드의 위치를 보정할 때 대상 사용자 얼굴 영상의 눈 및 코의 위치를 기준으로 보정할 수 있다.When correcting the position of the standard face graph node, the face graph generator 130 may do so based on the positions of the eyes and nose of the target user's face image.
얼굴 그래프 생성부(130)은 이와 같은 방법으로 최적 얼굴 그래프를 생성할 수 있으며, 도 4와 같이 정면 포즈가 아닌 다른 포즈의 대상 사용자 얼굴 영상에서도 최적 얼굴 그래프를 생성할 수 있다.The face graph generator 130 can generate an optimal face graph in this way, and as shown in FIG. 4, it can also generate an optimal face graph from a target user's face image in a pose other than the frontal pose.
사용자 인식부(140)은 대상 사용자 얼굴 영상에서 최적 얼굴 그래프의 노드가 위치한 지점별 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 대상 사용자를 인식할 수 있다.The user recognition unit 140 may recognize the target user by comparing the feature vector for each point where the node of the optimal face graph is located in the target user's face image with the feature vector for each node of the plurality of user face graphs.
최적 얼굴 그래프는 대상 사용자 얼굴 영상에 최적화 되어 있으므로 최적 얼굴 그래프의 노드는 대상 사용자 얼굴 영상의 특징점에 위치할 것이다.Since the optimal face graph is optimized for the target user's face image, the nodes of the optimal face graph will be located at the feature points of the target user's face image.
사용자 인식부(140)은 대상 사용자 얼굴 영상에서 최적 얼굴 그래프의 노트가 위치한 지점, 즉 대상 사용자 얼굴 영상의 특징점에서 특징 벡터를 추출할 수 있다. 사용자 인식부(140)은 특징 벡터를 추출하는 방법으로 가버 변환(Gabor transform) 등의 방법을 사용할 수 있다.The user recognition unit 140 may extract a feature vector from the point where the note of the optimal face graph is located in the target user's face image, that is, the feature point of the target user's face image. The user recognition unit 140 may use a method such as Gabor transform to extract feature vectors.
사용자 인식부(140)은 추출한 특징 벡터와 메모리(120)에 저장된 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 대상 사용자를 인식할 수 있다.The user recognition unit 140 may recognize the target user by comparing the extracted feature vectors with feature vectors for each node of a plurality of user face graphs stored in the memory 120.
도 5는 본 발명의 다른 실시예에 따른 얼굴 인식 시스템의 블록도이다.Figure 5 is a block diagram of a face recognition system according to another embodiment of the present invention.
도 5를 참조하면, 본 발명의 다른 실시예에 따라 얼굴 인식 시스템(200)은 영상 획득부(210), 메모리(220), 얼굴 그래프 생성부(230), 사용자 인식부(240), 포즈 검출부(250), 영상 전처리부(260), 얼굴 영역 추출부(270) 및 영상 정규화부(280) 등을 포함할 수 있다.Referring to FIG. 5, according to another embodiment of the present invention, the
영상 획득부(210), 메모리(220), 얼굴 그래프 생성부(230) 및 사용자 인식부(240)는 도 1을 참조하여 설명한 영상 획득부(110), 메모리(120), 얼굴 그래프 생성부(130) 및 사용자 인식부(140)와 동일하므로 이에 대한 설명은 생략한다.The image acquisition unit 210, memory 220, face graph generation unit 230, and user recognition unit 240 are the image acquisition unit 110, memory 120, and face graph generation unit ( Since it is the same as the user recognition unit 130) and the user recognition unit 140, description thereof will be omitted.
포즈 검출부(250)는 대상 사용자 얼굴 영상으로부터 대상 사용자 얼굴의 포즈를 검출할 수 있다.The pose detector 250 may detect the pose of the target user's face from the target user's face image.
포즈 검출부(250)는 대상 사용자 얼굴 영상에 포함된 복수의 특징점을 검출하고, 검출한 복수의 특징점을 이용하여 대상 사용자 얼굴의 포즈를 검출할 수 있다.The pose detection unit 250 may detect a plurality of feature points included in the target user's face image and detect the pose of the target user's face using the plurality of detected feature points.
얼굴에 포함된 특징점은 눈썹, 눈, 코, 입, 턱 등의 윤곽 영역에 위치하는 것일 수 있다. 포즈 검출부(250)는 대상 사용자 얼굴 영상의 텍스처 정보를 이용할 수 있고, 관련 기술 분야에서 일반적으로 알려진 ASM(Active Shape Model), AAM(Active Appearance Model) 또는 SDM(Supervised Descent Method) 등의 방식을 이용하여 영상에서 얼굴의 특징점을 검출할 수 있다.Feature points included in the face may be located in outline areas such as eyebrows, eyes, nose, mouth, and chin. The pose detection unit 250 can use texture information of the target user's face image, and uses methods such as Active Shape Model (ASM), Active Appearance Model (AAM), or Supervised Descent Method (SDM) generally known in the related technology field. This allows the feature points of the face to be detected from the image.
얼굴 그래프 생성부(130)은 표준 얼굴 그래프를 대상 사용자 얼굴 영상에 정합할 때 포즈별 표준 얼굴 그래프 중 포즈 검출부(250)가 검출한 대상 사용자 얼굴 영상의 포즈와 가장 근사한 포즈를 갖는 표준 얼굴 그래프를 대상 사용자 얼굴 영상에 정합할 수 있다. 대상 사용자 얼굴 영상의 포즈를 검출한 후, 검출한 포즈에 따른 표준 얼굴 그래프를 정합시킴으로써 최적 그래프 생성의 오차를 줄일 수 있다.When matching the standard face graph to the target user's face image, the face graph generator 130 creates a standard face graph with the pose that is most similar to the pose of the target user's face image detected by the pose detection unit 250 among the standard face graphs for each pose. It can be matched to the target user's face image. After detecting the pose of the target user's face image, the error in optimal graph creation can be reduced by matching the standard face graph according to the detected pose.
영상 전처리부(260)는 대상 사용자 얼굴 영상에서 대상 사용자를 제외한 영역을 제거할 수 있다. 영상 전처리부(260)는 얼굴을 제외한 영역을 제거함으로써 대상 사용자의 얼굴 영역만으로부터 대상 사용자의 얼굴 영역을 정확히 검출할 수 있고, 얼굴 인식률을 향상시킬 수 있다.The image preprocessor 260 may remove the area excluding the target user from the target user's face image. The image preprocessor 260 can accurately detect the target user's face area from only the target user's face area and improve the face recognition rate by removing the area excluding the face.
얼굴 영역 추출부(270)는 대상 사용자 얼굴 영상에서 대상 사용자의 얼굴 영역을 추출할 수 있다. 사용자 인식부(140)이 인식하는 대상은 사용자의 얼굴이므로 사용자의 얼굴 영역만을 추출하고, 추출된 영역만을 이용함으로써 인식 오류를 줄일 수 있다.The face area extractor 270 may extract the target user's face area from the target user's face image. Since the object recognized by the user recognition unit 140 is the user's face, recognition errors can be reduced by extracting only the user's face area and using only the extracted area.
영상 정규화부(280)는 획득된 대상 사용자 얼굴 영상의 크기를 정규화할 수 있다. 예를 들어, 영상 정규화부(280)는 대상 사용자의 양쪽 눈 사이의 거리를 기초로 대상 사용자 얼굴 영상의 크기를 정규화할 수 있다. 다만, 영상 정규화부(280)가 얼굴 영상의 크기를 정규화하는 방법은 이에 한정되지 않는다.The image normalization unit 280 may normalize the size of the acquired target user's face image. For example, the image normalization unit 280 may normalize the size of the target user's face image based on the distance between both eyes of the target user. However, the method by which the image normalization unit 280 normalizes the size of the face image is not limited to this.
영상 정규화부(280)는 영상의 크기를 정규화 하는 것뿐만 아니라, 영상의 밝기를 정규화 할 수 있다. 대상 사용자 얼굴이 촬영되는 조명 환경은 다를 수 있기 때문이다.The image normalization unit 280 can not only normalize the size of the image but also normalize the brightness of the image. This is because the lighting environment in which the target user's face is photographed may vary.
이하에서는 도 6을 참조하여 전술한 구성들을 기초로 얼굴 인식 방법에 대해 구체적으로 설명한다.Hereinafter, the face recognition method will be described in detail based on the above-described configurations with reference to FIG. 6.
도 6은 본 발명의 일 실시예에 따른 얼굴 인식 방법을 나타내는 순서도이다.Figure 6 is a flowchart showing a face recognition method according to an embodiment of the present invention.
도 6을 참조하면, 본 발명의 일 실시예에 따른 얼굴 인식 방법은 대상 사용자 얼굴 영상을 획득하는 단계(S110), 표준 얼굴 그래프를 이용하여 대상 사용자 얼굴 영상의 최적 얼굴 그래프를 생성하는 단계(S120) 및 최적 얼굴 그래프를 이용하여 대상 사용자 얼굴 영상의 특징 벡터를 추출하고, 추출한 특징 벡터를 이용하여 사용자를 인식하는 단계(S130)을 포함할 수 있다.Referring to FIG. 6, the face recognition method according to an embodiment of the present invention includes the steps of acquiring a target user's face image (S110) and generating an optimal face graph of the target user's face image using a standard face graph (S120). ) and extracting a feature vector of the target user's face image using the optimal face graph, and recognizing the user using the extracted feature vector (S130).
S110 단계에서, 영상 획득부(110, 210)은 대상 사용자 얼굴 영상을 획득할 수 있다.In step S110, the image acquisition units 110 and 210 may acquire a target user's face image.
영상 획득부(110, 210)은 카메라로서 직접 대상 사용자 얼굴을 촬영하거나, 영상 수신부로서 카메라로부터 대상 사용자 얼굴 영상을 수신할 수 있다.The image acquisition units 110 and 210 may directly photograph the target user's face as a camera, or may receive an image of the target user's face from the camera as an image reception unit.
S120 단계에서, 얼굴 그래프 생성부(130, 230)은 표준 얼굴 그래프를 대상 사용자 얼굴 영상에 정합하고, 대상 사용자 얼굴 영상에서 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성할 수 있다.In step S120, the face graph generator (130, 230) matches the standard face graph to the target user's face image, and combines the feature vector of the point where the node of the standard face graph is located in the target user's face image with the feature vector of the standard face graph. An optimal face graph can be created by correcting the positions of the matched standard face graph nodes so that the difference is within a preset difference.
전술한 바와 같이 얼굴 그래프 생성부(130, 230)은 대상 사용자 얼굴 영상의 눈 및 코의 위치를 기준으로 보정할 수 있다.As described above, the face graph generators 130 and 230 may correct the target user's face image based on the positions of the eyes and nose.
S130 단계에서, 사용자 인식부(140, 240)은 대상 사용자 얼굴 영상에서 최적 얼굴 그래프의 노드가 위치한 지점별 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 대상 사용자를 인식할 수 있다.In step S130, the user recognition units 140 and 240 may recognize the target user by comparing the feature vector for each point where the node of the optimal face graph is located in the target user's face image with the feature vector for each node of the plurality of user face graphs. .
사용자 인식부(140, 240)은 대상 사용자 얼굴 영상에서 최적 얼굴 그래프의 노트가 위치한 지점, 즉 대상 사용자 얼굴 영상의 특징점에서 특징 벡터를 추출할 수 있고, 추출한 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 대상 사용자를 인식할 수 있다.The user recognition units 140 and 240 may extract a feature vector from the point where the note of the optimal face graph is located in the target user's face image, that is, the feature point of the target user's face image, and extract the extracted feature vector and the nodes of the plurality of user face graphs. By comparing star feature vectors, target users can be recognized.
한편, 본 발명의 일 실시예에 따른 얼굴 인식 방법은 S110 단계 후, 대상 사용자 얼굴 영상에서 대상 사용자를 제외한 영역을 제거하는 단계를 더 포함할 수 있다. 얼굴을 제외한 영역을 제거함으로써 대상 사용자의 얼굴 영역만으로부터 대상 사용자의 얼굴 영역을 정확히 검출할 수 있고, 얼굴 인식률을 향상시킬 수 있다.Meanwhile, the face recognition method according to an embodiment of the present invention may further include removing an area excluding the target user from the target user's face image after step S110. By removing the area excluding the face, the target user's face area can be accurately detected only from the target user's face area, and the face recognition rate can be improved.
또한, 본 발명의 일 실시예에 따른 얼굴 인식 방법은 S110 단계 후, 대상 사용자 얼굴 영상에서 대상 사용자의 얼굴 영역을 추출하는 단계를 더 포함할 수 있다. Additionally, the face recognition method according to an embodiment of the present invention may further include extracting the target user's face area from the target user's face image after step S110.
또한, 본 발명의 일 실시예에 따른 얼굴 인식 방법은 S110 단계 후, 획득된 대상 사용자 얼굴 영상의 크기를 정규화하는 단계를 더 포함할 수 있다.Additionally, the face recognition method according to an embodiment of the present invention may further include normalizing the size of the acquired target user's face image after step S110.
또한, 본 발명의 일 실시예에 따른 얼굴 인식 방법은 S120 단계 전, 대상 사용자 얼굴 영상으로부터 대상 사용자 얼굴의 포즈를 검출하는 단계를 더 포함할 수 있다.Additionally, the face recognition method according to an embodiment of the present invention may further include the step of detecting the pose of the target user's face from the target user's face image before step S120.
포즈 검출부(250)가 대상 사용자 얼굴 영상에 포함된 복수의 특징점을 검출하고, 검출한 복수의 특징점을 이용하여 대상 사용자 얼굴의 포즈를 검출할 수 있다.The pose detection unit 250 may detect a plurality of feature points included in the target user's face image and detect the pose of the target user's face using the plurality of detected feature points.
S120 단계에서 얼굴 그래프 생성부(130, 230)은 표준 얼굴 그래프를 대상 사용자 얼굴 영상에 정합할 때 포즈별 표준 얼굴 그래프 중 포즈 검출부(250)가 검출한 대상 사용자 얼굴 영상의 포즈와 가장 근사한 포즈를 갖는 표준 얼굴 그래프를 대상 사용자 얼굴 영상에 정합할 수 있다. 대상 사용자 얼굴 영상의 포즈를 검출한 후, 검출한 포즈에 따른 표준 얼굴 그래프를 정합시킴으로써 최적 그래프 생성의 오차를 줄일 수 있다.In step S120, when matching the standard face graph to the target user's face image, the face graph generator 130, 230 selects a pose that is most similar to the pose of the target user's face image detected by the pose detection unit 250 among the standard face graphs for each pose. A standard face graph can be matched to the target user's face image. After detecting the pose of the target user's face image, the error in optimal graph creation can be reduced by matching the standard face graph according to the detected pose.
도 7은 본 발명의 일 실시예에 따른 얼굴 인식 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.Figure 7 is a block diagram showing a computing system executing a face recognition method according to an embodiment of the present invention.
도 7을 참조하면, 컴퓨팅 시스템(1100)은 버스(1120)을 통해 연결되는 적어도 하나의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. Referring to FIG. 7, the
프로세서(1110)은 중앙 처리 장치(CPU) 또는 메모리(1130) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저 조세호는 왜 얼굴도 안비추냐장 매체를 포함할 수 있다. 예를 들어, 메모리(1130)은 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다. The processor 1110 may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in the memory 1130 and/or
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1110)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1130) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1110)에 커플링되며, 그 프로세서(1110)은 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1110)과 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.Accordingly, the steps of a method or algorithm described in connection with the embodiments disclosed herein may be implemented directly in hardware, software modules, or a combination of the two executed by processor 1110. Software modules reside in a storage medium (i.e., memory 1130 and/or storage 1600), such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, or CD-ROM. You may. The exemplary storage medium is coupled to a processor 1110, which can read information from and write information to the storage medium. Alternatively, the storage medium may be integrated with processor 1110. The processor and storage medium may reside within an application specific integrated circuit (ASIC). The ASIC may reside within the user terminal. Alternatively, the processor and storage medium may reside as separate components within the user terminal.
상기와 같이 설명된 얼굴 인식 시스템 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The facial recognition system and method described above are not limited to the configuration and method of the above-described embodiments, but all or part of each embodiment can be selectively combined so that various modifications can be made. It may be composed.
110, 210 : 영상 획득부
120, 220 : 메모리
130, 230 : 얼굴 그래프 생성부
140, 240 : 사용자 인식부
250 : 포즈 검출부
260 : 영상 전처리부
270 : 얼굴 영역 추출부
280 : 영상 정규화부
1100: 컴퓨팅 시스템
1110: 프로세서
1120: 시스템 버스
1130: 메모리
1310: ROM
1320: RAM
1140: 사용자 인터페이스110, 210: Image acquisition unit
120, 220: memory
130, 230: Face graph generation unit
140, 240: User recognition unit
250: Pose detection unit
260: Image preprocessing unit
270: Face area extraction unit
280: Image normalization unit
1100: computing system
1110: processor
1120: system bus
1130: Memory
1310:ROM
1320: RAM
1140: User interface
Claims (10)
상기 대상 사용자 얼굴 영상으로부터 대상 사용자 얼굴의 포즈를 검출하는 포즈 검출부;
메모리에 기저장된 표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고, 상기 대상 사용자 얼굴 영상에서 상기 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 상기 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성하는 얼굴 그래프 생성부; 및
상기 대상 사용자 얼굴 영상에서 상기 최적 얼굴 그래프의 노드가 위치한 지점별 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 상기 대상 사용자를 인식하는 사용자 인식부를 포함하고,
상기 포즈 검출부는
상기 대상 사용자 얼굴에 포함된 복수의 특징점을 검출하고, 검출한 복수의 특징점을 이용하여 상기 대상 사용자 얼굴의 포즈를 검출하고,
상기 얼굴 그래프 생성부는
상기 표준 얼굴 그래프 중 상기 검출된 대상 사용자 얼굴의 포즈와 가장 근사한 포즈를 갖는 표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고,
상기 표준 얼굴 그래프는
사전에 다양한 각도에서 획득된 얼굴 영상으로부터 추출되어 포즈별로 메모리에 저장된 것을 특징으로 하는 얼굴 인식 시스템.An image acquisition unit that acquires a target user's face image;
a pose detection unit that detects a pose of a target user's face from the target user's face image;
A standard face graph previously stored in memory is matched to the target user's face image, and the difference between the feature vector of the point where the node of the standard face graph is located in the target user's face image and the feature vector of the standard face graph is within a preset difference. a face graph generator that generates an optimal face graph by correcting the positions of the matched standard face graph nodes so that and
A user recognition unit that recognizes the target user by comparing a feature vector for each point where a node of the optimal face graph is located in the target user's face image with a feature vector for each node of a plurality of user face graphs,
The pose detection unit
Detecting a plurality of feature points included in the target user's face, and detecting a pose of the target user's face using the plurality of detected feature points,
The face graph generator
Among the standard face graphs, a standard face graph having a pose most similar to the detected pose of the target user's face is matched to the target user's face image,
The standard face graph is
A face recognition system characterized in that it is extracted from face images previously acquired at various angles and stored in memory for each pose.
상기 얼굴 그래프 생성부는
상기 대상 사용자 얼굴 영상의 눈 및 코의 위치를 기준으로 상기 표준 얼굴 그래프 노드의 위치를 보정하는 것을 특징으로 하는 얼굴 인식 시스템.In claim 1,
The face graph generator
A face recognition system characterized in that the position of the standard face graph node is corrected based on the positions of the eyes and nose of the target user's face image.
대상 사용자 얼굴 영상을 획득하는 단계;
상기 대상 사용자 얼굴 영상으로부터 대상 사용자 얼굴의 포즈를 검출하는 단계;
메모리에 기저장된 표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고, 상기 대상 사용자 얼굴 영상에서 상기 표준 얼굴 그래프의 노드가 위치한 지점의 특징 벡터와 상기 표준 얼굴 그래프의 특징 벡터의 차이가 기 설정된 차이 이내가 되도록 상기 정합된 표준 얼굴 그래프 노드의 위치를 보정하여 최적 얼굴 그래프를 생성하는 단계; 및
상기 대상 사용자 얼굴 영상에서 상기 최적 얼굴 그래프의 노드가 위치한 지점별 특징 벡터와 복수의 사용자 얼굴 그래프의 노드별 특징 벡터를 비교하여 상기 대상 사용자를 인식하는 단계
를 포함하고,
상기 대상 사용자 얼굴의 포즈를 검출하는 단계는
상기 대상 사용자 얼굴에 포함된 복수의 특징점을 검출하고, 검출한 복수의 특징점을 이용하여 상기 대상 사용자 얼굴의 포즈를 검출하고,
상기 최적 얼굴 그래프를 생성하는 단계는
상기 표준 얼굴 그래프 중 상기 검출된 대상 사용자 얼굴의 포즈와 가장 근사한 포즈를 갖는 표준 얼굴 그래프를 상기 대상 사용자 얼굴 영상에 정합하고,
상기 표준 얼굴 그래프는
사전에 다양한 각도에서 획득된 얼굴 영상으로부터 추출되어 포즈별로 메모리에 저장된 것을 특징으로 하는 것을 특징으로 하는 얼굴 인식 방법.In the face recognition method of the face recognition system,
Obtaining a target user's face image;
Detecting a pose of a target user's face from the target user's face image;
A standard face graph previously stored in memory is matched to the target user's face image, and the difference between the feature vector of the point where the node of the standard face graph is located in the target user's face image and the feature vector of the standard face graph is within a preset difference. generating an optimal face graph by correcting the positions of the matched standard face graph nodes so that and
Recognizing the target user by comparing feature vectors for each point where a node of the optimal face graph is located in the target user's face image with feature vectors for each node of a plurality of user face graphs.
Including,
The step of detecting the pose of the target user’s face is
Detecting a plurality of feature points included in the target user's face, and detecting a pose of the target user's face using the plurality of detected feature points,
The step of generating the optimal face graph is
Among the standard face graphs, a standard face graph having a pose most similar to the detected pose of the target user's face is matched to the target user's face image,
The standard face graph is
A face recognition method characterized by extracting face images obtained from various angles in advance and storing them in memory for each pose.
상기 최적 얼굴 그래프를 생성하는 단계는
상기 대상 사용자 얼굴 영상의 눈 및 코의 위치를 기준으로 상기 표준 얼굴 그래프 노드의 위치를 보정하는 것을 특징으로 하는 얼굴 인식 방법.In claim 6,
The step of generating the optimal face graph is
A face recognition method characterized by correcting the position of the standard face graph node based on the positions of the eyes and nose of the target user's face image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160072901A KR102610035B1 (en) | 2016-06-13 | 2016-06-13 | System and method for recognizing pose invariant face |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160072901A KR102610035B1 (en) | 2016-06-13 | 2016-06-13 | System and method for recognizing pose invariant face |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170140519A KR20170140519A (en) | 2017-12-21 |
| KR102610035B1 true KR102610035B1 (en) | 2023-12-06 |
Family
ID=60936198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160072901A KR102610035B1 (en) | 2016-06-13 | 2016-06-13 | System and method for recognizing pose invariant face |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102610035B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102186767B1 (en) * | 2018-04-27 | 2020-12-04 | 연세대학교 산학협력단 | Method and Device for Detecting Feature Point of Face Using Learning |
| WO2021182670A1 (en) * | 2020-03-10 | 2021-09-16 | 연세대학교 산학협력단 | Heterogeneous face recognition device and method based on extracting relationships between elements |
| KR102356438B1 (en) | 2020-03-10 | 2022-01-27 | 연세대학교 산학협력단 | Apparatus and method for recognizing heterogeneous faces based on relationship between component |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101877981B1 (en) * | 2011-12-21 | 2018-07-12 | 한국전자통신연구원 | System for recognizing disguised face using gabor feature and svm classifier and method thereof |
| KR101612605B1 (en) * | 2014-05-07 | 2016-04-14 | 포항공과대학교 산학협력단 | Method for extracting face feature and apparatus for perforimg the method |
-
2016
- 2016-06-13 KR KR1020160072901A patent/KR102610035B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170140519A (en) | 2017-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9916494B2 (en) | Positioning feature points of human face edge | |
| US8913798B2 (en) | System for recognizing disguised face using gabor feature and SVM classifier and method thereof | |
| US9953211B2 (en) | Image recognition apparatus, image recognition method and computer-readable medium | |
| US8837786B2 (en) | Face recognition apparatus and method | |
| US8891819B2 (en) | Line-of-sight detection apparatus and method thereof | |
| US10423848B2 (en) | Method, system, and computer-readable recording medium for long-distance person identification | |
| KR101901591B1 (en) | Face recognition apparatus and control method for the same | |
| KR102655949B1 (en) | Face verifying method and apparatus based on 3d image | |
| Phan et al. | FACE spoofing detection using LDP-TOP | |
| US20150242678A1 (en) | Method and apparatus of recognizing facial expression using adaptive decision tree based on local feature extraction | |
| US10311287B2 (en) | Face recognition system and method | |
| US20130236068A1 (en) | Calculating facial image similarity | |
| CN110069989B (en) | Face image processing method and device and computer readable storage medium | |
| WO2013122009A1 (en) | Reliability level acquisition device, reliability level acquisition method and reliability level acquisition program | |
| KR101202448B1 (en) | Apparatus and method for recognizing iris | |
| WO2022103684A1 (en) | Face-aware person re-identification system | |
| KR102610035B1 (en) | System and method for recognizing pose invariant face | |
| CN113646806A (en) | Image processing apparatus, image processing method, and recording medium storing program | |
| Khanday et al. | Face recognition techniques: a critical review | |
| KR101795264B1 (en) | Face landmark detection apparatus and verification method of the same | |
| EP2998928B1 (en) | Apparatus and method for extracting high watermark image from continuously photographed images | |
| CN108875488B (en) | Object tracking method, object tracking apparatus, and computer-readable storage medium | |
| EP3699865B1 (en) | Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium | |
| Rodrigues et al. | A simple approach for biometrics: Finger-knuckle prints recognition based on a sobel filter and similarity measures | |
| Bourbakis et al. | Skin-based face detection-extraction and recognition of facial expressions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |