KR20100097861A - Improved performance of face recognition system using auto removal background - Google Patents

Improved performance of face recognition system using auto removal background Download PDF

Info

Publication number
KR20100097861A
KR20100097861A KR1020090016719A KR20090016719A KR20100097861A KR 20100097861 A KR20100097861 A KR 20100097861A KR 1020090016719 A KR1020090016719 A KR 1020090016719A KR 20090016719 A KR20090016719 A KR 20090016719A KR 20100097861 A KR20100097861 A KR 20100097861A
Authority
KR
South Korea
Prior art keywords
background
image
face
face recognition
recognition system
Prior art date
Application number
KR1020090016719A
Other languages
Korean (ko)
Inventor
기선호
조성원
김재민
정선태
Original Assignee
홍익대학교 산학협력단
조성원
김재민
정선태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단, 조성원, 김재민, 정선태 filed Critical 홍익대학교 산학협력단
Priority to KR1020090016719A priority Critical patent/KR20100097861A/en
Publication of KR20100097861A publication Critical patent/KR20100097861A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A method for improving face recognition performance using removing a background automatically is provided to automatically remove the background of an image, thereby improving the authentication accuracy of face recognition security system. CONSTITUTION: A face is detected(2C) by applying Aba-Boost in an inputted image(2B). A pose normalization(2D) of a face angle is performed. An eye coordinate detects(2E). A geometry normalization(2F) about a face size is tried. A lighting normalization(2G) which degrades comparison while reinforcing an edge element of the image.

Description

자동 배경 제거를 이용한 얼굴 인식 시스템 성능 향상{Improved Performance of Face Recognition System Using Auto Removal Background}Improved Performance of Face Recognition System Using Auto Removal Background}

본 발명은 생채 인식 기술 중 얼굴 인식을 이용하는 시스템의 성능 향상을 위한 기술에 관한 것으로, 특히 얼굴 인식 시스템의 성능을 저하하는 가장 큰 요소인 배경을 자동으로 제거하는 기술에 관한 것이다.The present invention relates to a technique for improving performance of a system using face recognition among biometric recognition techniques, and more particularly, to a technique for automatically removing a background, which is the biggest factor that degrades the performance of a face recognition system.

종래 기술에 의한 배경 제거 방법은 크게 하드웨어적인 방법과 소프트웨어적인 방법으로 나눌 수 있다. 하드웨어적인 방법은 인물에 거의 존재하지 않는 색상인 파란색의 벽 앞에서 영상을 얻고, 영상에서 파란색을 제거하는 방법과 인물에게 강한 광원을 쏘아 인물에 반사되는 빛의 양과 배경에 반사되는 빛의 양의 차이를 계산하여 분리하거나, 스테레오 카메라를 이용하여 3차원 깊이 정보를 계산하여 분리하는 방법이 있으나 일반적인 장소와 상황에 적용하기 힘들며 고가의 장비를 운용해야 하는 단점이 있다. 소프트웨어적인 방법은 인물과 배경의 색상 표본을 가지고 색상 표본의 색상 공간을 분석하여 배경을 제거하는 방법과 인물과 배경의 색상의 차이를 이용하여 비슷한 색상 영역으로 확산하여 배경 영역을 결정짓고 제거하는 방법이 있다. 표본 기반 방법은 표본의 신뢰도가 높고 표본의 수가 많을수록 인 물과 배경의 분리가 정교해지며, 색상 변화량을 이용한 색 확산 기반 방법은 인물과 배경의 색상 차이가 크고 색상 구성이 복잡하지 않을수록 분리가 정교해 지는데 두 방법 모두 색상 표본과 인물, 배경의 대략적인 위치를 사용자가 직접 수동으로 지정해 주어야 하는 단점이 있다.Background removal according to the prior art can be largely divided into a hardware method and a software method. The hardware method is to obtain an image in front of a wall of blue, a color that is rarely present in the figure, and to remove the blue from the image, and to shoot a strong light source on the figure, the difference between the amount of light reflected by the person and the amount of light reflected by the background. There is a method of calculating and separating the 3D depth information by using a stereo camera, or a method of calculating and separating the 3D depth information. The software method removes the background by analyzing the color space of the color sample with the color sample of the person and the background, and uses the difference between the color of the person and the background to diffuse into similar color areas to determine and remove the background area. There is this. In the sample-based method, the more reliable the sample and the larger the number of samples, the more precise separation of the person and background is. Both methods elaborate, but both methods require the user to manually specify the approximate location of the color sample, person, and background.

이와 같은 종래의 기술에 있어서는 특수한 장소나 한정된 상황, 고가의 장비를 운용하거나 사용자가 직접 수동으로 배경을 지정해 주어야 배경을 분리할 수 있는 문제가 있어 배경을 유지한 채 얼굴 인식 시스템을 이용하였기에 인물 주변에 배경의 정보가 같이 포함되어 시스템의 성능과 활용성이 떨어지는 어려움이 있었다.In the conventional technology, there is a problem that a background can be separated by operating a special place, a limited situation, expensive equipment, or manually specifying a user's background. Background information is included with the system, which makes it difficult to use the system.

따라서 본 발명이 이루고자 하는 기술적 과제는 얼굴 인식 시스템이 작동할 때 입력된 영상에서 인물의 얼굴을 찾고, 그 얼굴의 특징점을 찾아 특징점 좌표의 영상 색상 정보를 이용하여 색 공간 확산을 이용하여 얼굴과 배경, 미분류영역으로 분리한 후, 최적화된 표본을 이용하여 영상 속의 배경을 정확하게 자동으로 분리하여 얼굴 인식 시스템의 성능을 향상시키는 것에 있다.Therefore, the technical problem to be achieved by the present invention is to find the face of the person in the input image when the face recognition system is operating, find the feature point of the face and use the image color information of the coordinates of the feature point to the face and background After classifying into unclassified areas, the background of the image is accurately and automatically separated by using optimized sample to improve the performance of face recognition system.

이상에서 상세히 설명한 바와 같이, 본 발명은 얼굴 인식 시스템에 입력된 영상의 배경을 자동으로 제거함으로서, 얼굴 인식 보안 시스템의 인증 정확도를 높이고, 화상 통화에서 배경을 교체하여 사생활을 보호하는 등 얼굴 인식 시스템의 성능과 활용성을 높여 얼굴 인식 시스템을 이용하는 시장을 활성화하는데 이바지할 수 있는 효과가 있다.As described in detail above, the present invention automatically removes the background of an image input to the face recognition system, thereby increasing the authentication accuracy of the face recognition security system, and protecting the privacy by replacing the background in a video call. It has the effect of contributing to the activation of the market using the face recognition system by increasing the performance and usability of the system.

본 발명의 자동으로 배경을 제거하는 방법은 입력된 영상에서 검출된 얼굴의 특징점 좌표의 색상 정보로 확산 기반 영상 분리 방식으로 배경을 분리한 다음, 얼굴, 배경, 그리고 미분류로 분리된 삼중지도(Trimap)를 생성한 후, 분리된 영역에서 신뢰도가 높은 표본을 수집하여 표본 기반 영상 분리를 통해 정확한 배경 분리를 하는 것이다.In the method of automatically removing a background of the present invention, a background is separated by a diffusion-based image separation method using color information of feature point coordinates of a face detected in an input image, and then triple maps are divided into faces, backgrounds, and unclassifieds. ), And then collect the samples with high reliability in the separated region and perform accurate background separation through sample-based image separation.

이하, 첨부한 도 1을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명한다.Hereinafter, with reference to the accompanying Figure 1 will be described in detail a preferred embodiment according to the present invention.

도 1은 본 발명에 의한 자동 배경 제거 기술이 적용된 얼굴 인식 시스템의 흐름도로서 이에 도시한 바와 같이, 얼굴 인식 시스템(2)에 사용자의 인증 요청(1)이 발생할 때 CCD 카메라(2A)를 통하여 RGB 형식으로 디지털 데이터화 되어있는 영상(2B)이 입력된다.1 is a flowchart of a face recognition system to which an automatic background removal technique is applied according to the present invention. As shown in FIG. The image 2B, which is digital data in the format, is input.

입력된 영상(2B)에 아다부스트(Aba-Boost)를 이용하여 얼굴을 검출(2C)한다. 아다부스트는 특정 패턴 분류기를 선형적으로 결합시켜 강한 분류기를 만드는 기술로, 다양한 인물들의 얼굴을 조합하여 만든 평균 얼굴을 기저 패턴(basis pattern)으로 단순화하여 학습시킨 위 분류기를 이용하여 유사한 패턴을 찾는 방법으로 얼굴을 검출한다. 이때 입력된 영상(2B)를 다양한 해상도로 변경하여 영상 피라미드를 구성한 후, 이 영상 피라미드에 분류기를 적용함으로써 얼굴 크기가 일정하지 않아도 검출이 가능하다. 도 2는 학습 된 패턴과 분류기를 이용하여 얼굴 검출하는 과정과 얼굴 패턴 예제를 도시한다.A face is detected (2C) using Aba-Boost on the input image 2B. Adaboost is a technology that creates a strong classifier by linearly combining specific pattern classifiers.It finds similar patterns using the above classifiers by learning the average face created by combining the faces of various characters into a basis pattern. The face is detected by the method. In this case, after the input image 2B is changed to various resolutions to form an image pyramid, a classifier is applied to the image pyramid to detect the image even if the face size is not constant. 2 illustrates a face detection process and an example face pattern using a learned pattern and a classifier.

입력된 영상(2B)에서 검출된 얼굴(2C)의 자세는 일정하지 않다. 특히 자세가 기울어 지면 얼굴 특징점 추출(2I, 2J)에 영향을 미쳐 얼굴 인식 시스템의 성능이 떨어지기 때문에 얼굴 각도를 자세 정규화(2D)할 필요가 있다. 각도를 측정하기 위해 얼굴 좌우 경계의 밸리(valley)와 에지(edge) 정보를 이용한다. 신뢰할만한 정보를 얻기 위해 도 3과 같이 검출된 얼굴 영역(2C)의 중간 부분을 잘라내어 소벨(sobel) 연산자의 영상 미분을 이용하여 수직 방향의 에지를 구한 다음 잘라낸 영상의 안쪽에서 바깥쪽으로 검색을 하여 얼굴 경계선을 찾는다. 도 3에 도시된 것처럼 검출된 경계선에 수직방향 히스토그램(histogram)을 생성하고 얼굴 각 영역의 분산의 합이 최대가 되는 각도를 얼굴이 기울어진 각도로 추정하여 도 3과 같이 영상 속의 얼굴 각도를 정규화(2D)한다.The posture of the face 2C detected in the input image 2B is not constant. In particular, when the posture is inclined, the facial feature extraction (2I, 2J) affects the performance of the face recognition system. Therefore, the face angle needs to be normalized (2D). In order to measure the angle, valley and edge information of the left and right boundary of the face is used. In order to obtain reliable information, as shown in FIG. 3, the middle part of the detected face area 2C is cut out, and the edge of the vertical direction is obtained by using the image differential of the Sobel operator. Then, the image is searched from the inside to the outside. Find the face border. As shown in FIG. 3, a vertical histogram is generated at the detected boundary line, and the angle at which the sum of the variances of the face areas is maximized is estimated as the inclination angle of the face to normalize the face angle in the image as shown in FIG. 3. (2D).

자세 정규화된 얼굴 영상에서 눈 좌표를 검출(2E)한다. 눈 좌표는 얼굴 인식 시스템(2)의 기본이 되는 가장 중요한 정보이다. 눈 검출의 오류가 크게 발생할수록 시스템(2)의 전체 성능이 떨어지는 것은 잘 알려져 있다. 본 발명에서는 정확한 눈 좌표 검출을 위해 EBGM(Elastic Bunch Graph Matching)을 이용한다. EBGM은 가버 웨이블렛 함수를 이용하여 영상에서 국부적인 주파수 특징만을 검출해 내는 방법이다. 여러 인물의 다양한 표정과 자세에서의 눈 특징 정보를 이용하여 눈 모델 번치를 생성한 후, 자세 정규화(2D)된 얼굴 영상을 도 4와 같이 다양한 해상도로 생성한 다음 가장 낮은 해상도에서 EBGM을 이용하여 눈 좌표를 검색하고 이 좌표를 기준으로 다음 해상도에서 눈 좌표를 검색한다. 이 작업을 반복하여 도 5와 같이 점차 정확한 눈 좌표를 검출(2E)한다.Eye coordinates are detected (2E) in the posture normalized face image. The eye coordinates are the most important information that is the basis of the face recognition system 2. It is well known that the greater the error in eye detection, the lower the overall performance of the system 2. In the present invention, EBGM (Elastic Bunch Graph Matching) is used for accurate eye coordinate detection. EBGM detects only local frequency features in an image using the Gabor wavelet function. After generating eye model bunches using eye feature information from various facial expressions and postures of various figures, posture normalized (2D) facial images are generated at various resolutions as shown in FIG. 4 and then using EBGM at the lowest resolution. Retrieves the eye coordinates and retrieves the eye coordinates based on these coordinates at the next resolution. This operation is repeated to detect 2E gradually accurate eye coordinates as shown in FIG. 5.

검출된 눈 좌표(2E)를 기준으로 얼굴 크기에 대한 기하학 정규화(2F)를 시도 한다. 도 6에 보이는 과정으로 전체적인 크기의 정규화를 하여 시스템(2)에 입력된 영상(2A)의 얼굴의 기하학적인 위치가 다를 경우에도 강인한 얼굴 인식 성능을 나타내게 된다.The geometric normalization (2F) of the face size is attempted based on the detected eye coordinates (2E). 6 shows the robust face recognition performance even when the geometrical position of the face of the image 2A input to the system 2 is different by normalizing the overall size.

얼굴 인식 시스템(2)의 성능은 얼굴에 조사된 조명에 의한 영향에도 크게 좌우된다. 시스템(2)의 성능을 높이기 위해 영상의 에지(edge) 성분은 강화하고 대비를 열화하는 조명 정규화(2G)를 적용하였다. 영상에서 비등방성 확산 방법을 이용하여 조사된 조명성분을 구하고 영상이 반사부분과 조명부분의 곱으로 구성되어 있다는 것을 이용하여 반사부분을 추출해 낸다. 도 7에 조명 정규화(2G) 과정의 예를 도시하였다.The performance of the face recognition system 2 also greatly depends on the influence of the illumination irradiated on the face. To improve the performance of the system 2, illumination normalization (2G) was applied to enhance the edge components of the image and degrade the contrast. From the image, the illumination component irradiated by using anisotropic diffusion method is obtained, and the reflection part is extracted by using the product of the product of the reflection part and the illumination part. 7 shows an example of an illumination normalization (2G) process.

CCD 카메라(2A)를 통해 입력된 영상(2B)에서 얼굴을 검출(2C)하고 검출된 얼굴에 대해 자세 정규화(2D), 눈 검출(2E), 기하학 정규화(2F), 조명 정규화(2G)를 적용하여 최종적으로 정규화된 영상(2H)를 생성한다. 이 정규화 영상(2H)는 얼굴 인식 시스템(2)에 최적화된 영상으로 정규화 처리되지 않은 입력된 영상(2B)에 비해 시스템(2)의 월등한 성능 향상을 가져온다.A face is detected (2C) from an image 2B input through the CCD camera 2A, and posture normalization (2D), eye detection (2E), geometry normalization (2F), and illumination normalization (2G) are performed on the detected face. Finally, the normalized image 2H is generated. This normalized image 2H is an image optimized for the face recognition system 2, which brings a significant performance improvement of the system 2 compared to the input image 2B not normalized.

정규화된 영상(2H)에 AAM(Active Appearance Model)을 이용하여 초기 얼굴 특징점을 추출(2I)한다. AAM은 얼굴 형상(model) 벡터와 얼굴 표면 질감(texture) 벡터에 주성분 분석(PCA)을 적용하여 다양한 사람의 얼굴 통계를 이용하여 만들어진 표본 얼굴 모델에 워핑(warping)하여, 표본 얼굴의 데이터와 정규화된 영상(2H)의 얼굴 데이터의 오차 제곱을 최소화시킨다. 이 데이터를 이용하여 얼굴의 특징점을 찾는다. AAM은 조명, 자세, 표정에 강인하기 때문에 초기 얼굴 특징점을 추출(2I)하는데 유리하다.An initial facial feature point is extracted (2I) using an AAM (Active Appearance Model) on the normalized image 2H. AAM applies principal component analysis (PCA) to face model vectors and face surface texture vectors to warn sample face models created using a variety of human face statistics to normalize the sample face data. The error square of the face data of the captured image 2H is minimized. Use this data to find facial feature points. Because AAM is robust to lighting, posture, and facial expression, it is advantageous to extract (2I) initial facial feature points.

도 8의 중앙 사진에 도시된 것과 같은 AAM을 이용하여 찾아진 초기 얼굴 특징점(2I)를 이용하여 눈 검출(2E)에 사용되었던 EBGM을 다시 적용하여 정확한 최종 얼굴 특징점을 추출(2J)한다. 초기 얼굴 특징점(2I)과 최종 얼굴 특징점 추출(2J)을 적용한 예는 도 8의 우측 사진에 도시되어 있다.The initial face feature point 2I found using the AAM as shown in the center photograph of FIG. 8 is used again to apply the EBGM used for eye detection 2E to extract the correct final face feature point (2J). An example of applying the initial facial feature point 2I and the final facial feature point extraction 2J is shown in the right picture of FIG. 8.

최종 얼굴 특징점 추출(2J)을 이용하여 얻어진 특징점 좌표로 인물의 영역을 계산할수 있고 다시 이 영역을 토대로 인물 영역이 아닌 배경 영역을 계산할 수 있다. 배경 영역의 색상 정보를 계산하여 배경이 존재하는지 유무를 판단(2K)할 수 있다.The area of the person can be calculated using the feature point coordinates obtained by using the final facial feature point extraction (2J), and the background area can be calculated based on the area. Color information of the background area may be calculated to determine whether a background exists (2K).

배경이 존재할 경우 이 배경 정보는 얼굴 인식 시스템(2)의 성능과 활용에 나쁜 영향을 미치게 된다. 위 (2A)~(2J) 과정을 통해 얻어진 인물 영역의 특징점이 영상 속의 정확한 위치와 모델 정보를 가지고 있다는 점을 이용하면 종래 소프트웨어적 기술의 한계점이었던 사용자가 수동적으로 직접 인물과 배경의 정보를 넣어주어야 했던 단점을 극복할 수 있다. 본 발명이 제안한 (2A)~(2J) 과정을 적용하여 입력된 영상(2A)에서 자동으로 인물과 배경의 정보를 계산한 예는 도 9에 도시되어 있다. 빨간색 점은 인물의 정보를 파란색 점은 배경의 정보를 가지고 있다.If the background exists, this background information will adversely affect the performance and utilization of the face recognition system 2. Using the fact that the feature point of the person area obtained through the above (2A) to (2J) process has the exact position and model information in the image, the user who was the limitation of the conventional software technology manually inputs the person and background information directly. Overcome the disadvantages you had to give. An example of automatically calculating the information of the person and the background in the input image 2A by applying the processes (2A) to (2J) proposed by the present invention is illustrated in FIG. 9. The red dot shows the person's information and the blue dot shows the background information.

도 9에서 보인 초기 정보를 기반으로 확산 기반 영역 분리(2L)를 적용한다. 인물과 배경의 초기 정보는 위치와 색상 정보를 가지고 있다. 이 정보를 기반으로 각 좌표는 이웃한 좌표로 확산을 한다. 확산은 각 좌표가 색상 정보를 가지고 명도와 채도 차이가 적은 좌표를 자신과 유사한 영역이라 판단하여 영역에 포함하는 것 으로 영역은 인물과 배경, 분류가 애매모호한 영역으로 나뉘어 있다. 반복적인 확산을 통해 인물의 특징점은 확산을 통해 인물 영역을 정의해 가고 배경 특징점은 배경 영역을 정의해 간다. 이러한 확산은 입력된 영상(2A)이라는 한정된 영역에서 진행되기 때문에 두 영역이 서로 만나게 된다. 경계 영역에서 색상 정보의 명도 채도 차이를 계산하여 서로의 영역을 침범하게 되고 이 과정이 반복되어 인물과 배경의 영역이 정확해 진다. 이 확산 기반 영역 분리(2L) 과정은 도 10에 도시되어 있다.Based on the initial information shown in FIG. 9, spreading based region separation 2L is applied. The initial information of the person and the background has location and color information. Based on this information, each coordinate spreads to neighboring coordinates. Diffusion refers to the area where each coordinate has color information and the brightness and saturation difference is similar to its own area, and is included in the area. The area is divided into the area where the character, the background, and the classification are ambiguous. Through repeated diffusion, the character's feature points define the person's area through diffusion, and the background feature points define the background area. Since the diffusion proceeds in a limited area of the input image 2A, the two areas meet each other. In the boundary area, the brightness and saturation difference of the color information is calculated to invade each other's areas, and this process is repeated to make the area of the person and the background accurate. This diffusion based region separation 2L process is shown in FIG.

확산 기반 영역 분리(2L) 과정을 거치게 되면 인물과 배경의 경계 사이에서 판단이 어려운 영역이 있다. 도 11에 표시된 회색 영역과 같은 영역인데 이것은 실제 카메라로 촬영할 경우 촬영 대상에 조사된 빛에 의해 표면에서 산란이나 대상이 반투명하여 투과와 같은 현상이 일어나는 경우 등에 의해 대상과 배경이 섞여 있는 영역이다. 이를 미분류 영역으로 정의하여 도 12에 도시된 것과 같은 인물, 배경, 미분류영역으로 구성된 삼중지도(trimap)을 생성(2M)한다.After the diffusion-based domain separation (2L) process, there is an area that is difficult to judge between the boundary between the person and the background. 11, which is the same as the gray area shown in FIG. 11, which is a region where the object and the background are mixed due to scattering or translucency on the surface due to light irradiated on the shooting object, and a phenomenon such as transmission occurs. This is defined as an unclassified region to generate a trimap composed of a person, a background, and an unclassified region as shown in FIG. 12 (2M).

생성된 삼중지도(trimap)(2M)를 기반으로 표본 기반 영역 분리 및 배경 제거(2N)을 진행한다. 표본 기반 영역 분리는 얼마나 신뢰할만한 표본을 얼마나 많이 구하느냐에 따라 인물과 배경 분리의 성능이 결정된다. 종래 기술은 사용자가 표본을 입력하여야 했지만 본 발명에서는 2(A)~2(M) 과정을 통해 만들어진 삼중지도(2M)을 이용하여 자동으로 표본의 추출이 가능하다. 확산 기반 영역 분리(2L) 과정을 통해 인물과 배경의 정확한 정보를 자동으로 구하였기 때문에 삼중지도(2M)에서 분류된 미분류 영역에 대해서만 표본 기반 영역 분리 및 배경 제거(2N)을 진행 하여 인물과 배경 분리의 효율성을 가져올 수 있다. 삼중지도(2M)에서 미분류 영역을 분류하기 위한 표본은 인물과 배경 영역의 테두리에서 신뢰도가 가장 높다. 삼중지도(2M)에서 표본을 추출한 예는 도 13에 도시되어 있고 이를 자세하게 보기 위해 확대한 것은 도 14에 도시되어 있다. 도 14의 연두색 영역이 미분류 영역이고 붉은색 점들은 인물, 푸른색 점들은 배경의 표본을 나타낸다. 도 14의 미분류 영역중 하나의 예시인 하늘색 점이 인물인지 배경인지 분류하기 위해 참조할 표본을 선정한다. 표본과의 거리가 신뢰도에 큰 영향을 미치므로 도 15의 사진에서 보이듯이 하늘색 점을 기준으로 노란색 범위를 지정해 표본을 추출할 범위를 정한다. 범위 내의 표본을 이용하여 도 15의 좌측 사진과 같이 인물 표본 한 개, 미분류 영역 한 개, 배경 표본 한 개로 된 조합을 구성한다. 한 개의 미분류 영역을 분류하기 위해 만들어지는 표본들의 조합은 분류하려는 미분류 영역의 점의 범위 내에 있는 인물 표본의 수와 배경 표본의 곱의 수만큼 만들어진다. 각각의 조합마다 조합 구성에 따른 신뢰도를 계산하고 도 15의 우측 사진과 같이 분류를 목표로 하는 미분류 점에 대해 가장 신뢰도가 높은 조합 3개를 선정한다. 이 3개의 조합에서 각각의 조합마다 계산되는 인물과 배경의 분류할 투명도를 계산한 후, 3개의 투명도의 평균을 이용하여 하늘색 점의 영역을 투명도를 결정한다. 미분류 영역의 모든 점에 대해 위 표본 기반 영역 분리 과정을 적용하여, 도 16 가운데 사진과 같은 정확한 인물과 배경 영역을 분리하는 지도를 생성한다. 이 지도에서 배경 영역에 해당하는 검은색 영역을 원본에서 제거하여 최종적으로 얻어진 배경이 제거된 영상(2N)은 도 16의 우측 사진에서 도시된다.Sample-based region separation and background removal (2N) are performed based on the generated trimap (2M). In sample-based domain separation, the performance of portrait and background separation is determined by how many reliable samples are obtained. In the prior art, the user had to input the sample, but in the present invention, the sample can be automatically extracted using the triple map (2M) made through the process 2 (A) ~ 2 (M). Since accurate information of people and backgrounds was automatically obtained through the diffusion-based domain separation (2L) process, only sample-based domain separation and background removal (2N) were performed for unclassified areas classified in the triple map (2M). It can bring about the efficiency of separation. The sample for classifying the unclassified area in the triple map (2M) has the highest reliability at the border of the person and background area. An example of sampling from the triple map 2M is shown in FIG. 13 and enlarged to show this in detail. The light green region of FIG. 14 is an unclassified region, the red dots represent a person, and the blue dots represent a sample of the background. A sample to be referred to is selected to classify whether the sky blue point, which is one example of the unclassified region of FIG. 14, is a person or a background. Since the distance from the sample has a great influence on the reliability, as shown in the photograph of FIG. 15, a yellow range is designated based on a light blue dot to determine a range to extract the sample. Using a sample within the range, a combination of one person sample, one unclassified area, and one background sample is constructed as shown in the left photograph of FIG. 15. The combination of samples made to classify an unclassified area is made by the number of product of the background sample and the number of person samples within the range of points of the unclassified area to be classified. For each combination, the reliability according to the combination configuration is calculated and three combinations with the highest reliability are selected for the unclassified point for classification as shown in the right picture of FIG. After calculating the transparency to classify the person and the background calculated for each combination in these three combinations, the transparency of the light blue dot area is determined using the average of the three transparency. By applying the above sample-based area separation process to all points of the unclassified area, a map is generated that separates the accurate person and the background area as shown in the photograph in FIG. 16. In this map, the image 2N obtained by removing the black region corresponding to the background region from the original and finally removing the background is shown in the right photograph of FIG. 16.

배경이 제거된 영상(2N)을 가지고 다시 특징점을 추출하여 배경 정보에 영향을 받지 않은 더욱 정확한 특징점을 추출하여 얼굴 인식 시스템(2)에서 인증을 시도(2P) 한다.The feature point is extracted again with the image 2N having the background removed, and a more accurate feature point which is not influenced by the background information is extracted, and the face recognition system 2 attempts authentication (2P).

인증 성공시에 인증이 종료(2)되고, 실패시엔 시스템을 초기화(2O)하여 다시 인증 준비 단계로 들어가 영상을 다시 입력(2A)받는다.If the authentication is successful, the authentication is terminated (2). If the authentication is unsuccessful, the system is initialized (20) to enter the authentication preparation step again to receive the video (2A) again.

도 1은 본 발명의 자동 배경 제거 방법이 적용되는 얼굴 인식 시스템의 흐름도.1 is a flowchart of a face recognition system to which an automatic background removing method of the present invention is applied.

도 2는 본 발명의 얼굴 검출 과정(2C)과 사용된 얼굴 패턴 예제.2 is a face pattern example used with the face detection process 2C of the present invention.

도 3은 본 발명의 자세 정규화 과정(2D) 예제.3 is a posture normalization process (2D) example of the present invention.

도 4는 본 발명의 눈 검출(2E)를 위해 다양한 해상도로 생성된 영상 예제.4 is an example image generated at various resolutions for eye detection 2E of the present invention.

도 5는 본 발명의 눈 검출(2E) 과정 예제.5 is an example eye detection (2E) process of the present invention.

도 6은 본 발명의 기하학 정규화(2F) 과정 예제.6 is an example of the geometric normalization (2F) process of the present invention.

도 7은 본 발명의 조명 정규화(2G) 예제.7 is a lighting normalization (2G) example of the present invention.

도 8은 본 발명의 얼굴 특징점 추출(2I, 2J) 예제.8 is an example facial feature point extraction (2I, 2J) of the present invention.

도 9는 본 발명의 인물과 배경 특징점 추출 예제.9 is an example of extracting the person and background feature points of the present invention.

도 10은 본 발명의 확산 기반 영역 분리(2L) 과정 예제.10 is an example diffusion-based region separation (2L) process of the present invention.

도 11은 본 발명의 확산 기반 영역 분리(2L) 후 분류된 영역 예제.Figure 11 is an example of a region classified after diffusion based region separation (2L) of the present invention.

도 12는 본 발명의 삼중지도 생성(2M) 예제.12 is a triple map generation (2M) example of the present invention.

도 13은 본 발명의 표본 기반 영역 분리(2N)를 위한 표본 추출 예제.Figure 13 is an example sampling for sample based region separation (2N) of the present invention.

도 14는 본 발명의 표본 기반 영역 분리(2N)를 위한 표본 추출 예제 확대 사진.14 is an enlarged photograph of a sampling example for sample-based region separation (2N) of the present invention.

도 15은 본 발명의 표본 기반 영역 분리(2N) 과정 예제.15 is an example of a sample based region separation (2N) process of the present invention.

도 16은 본 발명의 자동 배경 제거 예제.16 is an example of automatic background removal of the present invention.

Claims (4)

얼굴 인식 시스템에 입력된 영상에서 자동으로 인물의 얼굴을 찾고, 정규화 과정 후 얼굴의 특징점을 찾는 특징점 추출 수단과,Feature point extraction means for automatically finding a face of a person from an image input into a face recognition system and finding a feature point of a face after a normalization process; 특징점 좌표의 영상 색상 정보를 이용하여 색 공간 확산을 이용하여 얼굴과 배경, 미분류 영역으로 분리한 후, 생성된 삼중지도를 기반으로 최적화된 표본을 이용하여 영상 속의 배경을 정확하게 자동으로 분리하는 자동 배경 분리 수단과,Automatic background that accurately separates the background in the image by using the optimized sample based on the generated triple map after separating the face, background, and unclassified areas by using color space diffusion using the image color information of the feature point coordinates Separation means, 자동으로 분리된 배경을 제거하거나 대체하여 얼굴 인식 시스템의 성능을 향상시키고 활용성을 높이는 기술.Technology that enhances and improves the performance of facial recognition systems by automatically removing or replacing separated backgrounds. 청구항 1에 있어서, 상기 특징점 추출 수단은, The method according to claim 1, wherein the feature point extraction means, 입력된 영상을 다양한 해상도로 생성하여 저해상도의 영상에서 눈 특징점을 추출한 다음 단계의 고해상도의 영상에서의 눈 특징점 추출시 초기점으로 사용하여 눈 좌표를 정교화하고, 이 눈 좌표를 기반으로 정규화 과정을 거쳐 AAM으로 찾은 얼굴 특징점을 다중 해상도의 EBGM을 이용하여 정교화하는 기술.After generating the input image with various resolutions, the eye feature points are extracted from the low resolution image, and then the eye coordinates are refined using the initial point when extracting the eye feature points from the high resolution image, and then normalized based on the eye coordinates. Technology to refine facial feature points found by AAM using multi-resolution EBGM. 청구항 1에 있어서, 자동 배경 분리 수단은,The method according to claim 1, wherein the automatic background separation means, 입력된 영상에서 찾아진 얼굴 특징점을 기반으로 자동으로 확산 기반 영역 분리를 이용하여 삼중지도를 생성하고, 생성된 삼중지도를 이용하여 표본 기반 영역 분리를 이용하여 자동으로 배경을 분리하는 기술.A technique of automatically generating a triple map using diffusion-based region separation based on facial feature points found in an input image, and automatically separating a background using sample-based region separation using the generated triple map. 청구항 1에 있어서, 얼굴 인식 시스템의 성능을 향상시키고 활용성을 높이는 수단은,The apparatus of claim 1, wherein the means for improving performance and increasing usability of the face recognition system is 자동으로 분리된 배경을 제거하거나 얼굴 인식 시스템에 유리한 배경으로 대체한 다음, 다시 얼굴 인식 시스템의 입력으로 배경이 제거되거나 대체된 영상을 넣어주어 얼굴 인식 시스템의 성능을 향상하고 활용도를 높이는 기술.The technology that automatically removes the separated background or replaces it with a favorable background for the face recognition system, and then inserts an image whose background is removed or replaced by the input of the face recognition system to improve the performance and increase the utilization of the face recognition system.
KR1020090016719A 2009-02-27 2009-02-27 Improved performance of face recognition system using auto removal background KR20100097861A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090016719A KR20100097861A (en) 2009-02-27 2009-02-27 Improved performance of face recognition system using auto removal background

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090016719A KR20100097861A (en) 2009-02-27 2009-02-27 Improved performance of face recognition system using auto removal background

Publications (1)

Publication Number Publication Date
KR20100097861A true KR20100097861A (en) 2010-09-06

Family

ID=43004905

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090016719A KR20100097861A (en) 2009-02-27 2009-02-27 Improved performance of face recognition system using auto removal background

Country Status (1)

Country Link
KR (1) KR20100097861A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427918A (en) * 2018-02-12 2018-08-21 杭州电子科技大学 Face method for secret protection based on image processing techniques
CN111553320A (en) * 2020-05-14 2020-08-18 支付宝(杭州)信息技术有限公司 Feature extraction method for protecting personal data privacy, model training method and hardware
KR20220131583A (en) 2021-03-22 2022-09-29 주식회사 공훈 Face identification apparatus using background object and method thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427918A (en) * 2018-02-12 2018-08-21 杭州电子科技大学 Face method for secret protection based on image processing techniques
CN108427918B (en) * 2018-02-12 2021-11-30 杭州电子科技大学 Face privacy protection method based on image processing technology
CN111553320A (en) * 2020-05-14 2020-08-18 支付宝(杭州)信息技术有限公司 Feature extraction method for protecting personal data privacy, model training method and hardware
CN111553320B (en) * 2020-05-14 2021-12-21 支付宝(杭州)信息技术有限公司 Feature extraction method for protecting personal data privacy, model training method and hardware
KR20220131583A (en) 2021-03-22 2022-09-29 주식회사 공훈 Face identification apparatus using background object and method thereof

Similar Documents

Publication Publication Date Title
CN110084135B (en) Face recognition method, device, computer equipment and storage medium
KR101538935B1 (en) Method for classifying elements of face using depth difference
Kligler et al. Document enhancement using visibility detection
Dagnes et al. Occlusion detection and restoration techniques for 3D face recognition: a literature review
WO2018145470A1 (en) Image detection method and device
Ghazali et al. An innovative face detection based on skin color segmentation
CN102194108B (en) Smile face expression recognition method based on clustering linear discriminant analysis of feature selection
EP1271403A1 (en) Method and device for character location in images from digital camera
KR101853006B1 (en) Recognition of Face through Detecting Nose in Depth Image
CN109858439A (en) A kind of biopsy method and device based on face
US20080247649A1 (en) Methods For Silhouette Extraction
CN108416291B (en) Face detection and recognition method, device and system
CN104463134B (en) A kind of detection method of license plate and system
US11315360B2 (en) Live facial recognition system and method
KR101443139B1 (en) Single image-based fake face detection
Sun et al. Context based face spoofing detection using active near-infrared images
KR20100097861A (en) Improved performance of face recognition system using auto removal background
Youlian et al. Face detection method using template feature and skin color feature in rgb color space
KR20130111021A (en) Device and method for processing image
Nikisins et al. Algorithms for a novel touchless bimodal palm biometric system
Gangopadhyay et al. FACE DETECTION AND RECOGNITION USING HAAR CLASSIFIER AND LBP HISTOGRAM.
JP3962517B2 (en) Face detection method and apparatus, and computer-readable medium
Huang et al. Dual fusion paired environmental background and face region for face anti-spoofing
Ojo et al. Illumination invariant face detection using hybrid skin segmentation method
KR102389066B1 (en) Face Image Generating Method for Recognizing Face

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application