KR100445800B1 - 상관관계를 이용한 유사도 측정의 얼굴 인증 방법 - Google Patents

Abstract

본 발명은 얼굴 인증시 기 저장된 얼굴과 인증을 위해 입력되는 얼굴 영상간의 상관관계를 이용하여 두 얼굴간의 유사도를 측정하여 얼굴을 인증하는 방법에 관한 것으로, 카메라로부터 취득된 영상신호에서 특정 얼굴을 인식하기 위한 얼굴 인증 시스템에서의 상관관계를 이용한 유사도 측정의 얼굴 인증 방법에 있어서, 입력된 얼굴영상을 고유 얼굴(EigenFace) 기반으로 하여 얼굴영역을 추출하는 제1과정과, 상기 추출된 얼굴영역을 눈을 중심으로 일정한 범위내에서 모자이크를 형성하여 눈 영역을 검출하는 제2과정과, 검출된 눈 영역에서 노이즈 제거를 위한 전처리(preprocessing)과정을 수행하는 제3과정과, 상관관계식을 이용하여 입력된 정보와 데이터베이스에 저장된 얼굴정보의 유사도 측정을 수행하여 얼굴인증 결과를 출력하는 제4과정으로 이루어짐을 특징으로 한다.

Description

상관관계를 이용한 유사도 측정의 얼굴 인증 방법{FACE-IMAGE RECOGNITION METHOD OF SIMILARITY MEASURE USING CORRELATION}

본 발명은 영상 분석 기술을 이용한 얼굴 인증 시스템에 관한 것으로, 특히 얼굴 인증시 기 저장된 얼굴과 인증을 위해 입력되는 얼굴 영상간의 상관관계를 이용하여 두 얼굴간의 유사도를 측정하여 얼굴을 인증하는 방법에 관한 것이다.

전자산업의 발전과 컴퓨터 및 주변기기의 발전에 힘입어 연구소 혹은 은행 등과 같은 공공기관에서는 점차 소수의 경비원만으로 운영 가능한 24시간 감시체제인 전자 감시 체제가 도입되고 있으며, 이러한 전자 감시 체제의 일예로서 얼굴 인증 시스템을 들 수 있다.

얼굴 인증 시스템에서 일반적으로 사용되고 있는 얼굴 인식에는 다음과 같은 방법들이 있다.

우선, PCA(Principal Component Analysis:주성분 분석)를 얼굴 인식에 적용하여 고유 얼굴(eigenface)를 제작한다. 얼굴의 집합은 소수의 전역적인 고유 벡터(eigenvector)를 이용하여 표현되며, 그 입력 집합에서 주요 변화들을 코드화하며 이것을 이용하여 고유 얼굴과 평균 얼굴을 제작한다. 주어진 고유 얼굴에서 각 얼굴은 가중치의 벡터로 구성된다. 가중치는 이미지를 내적 연산(inner product)을 통해 고유 얼굴 평면으로 투영함으로써 얻어진다. 얼굴 인식은 DB에 기록된 이미지와의 비교에 의해서 가중치가 가장 가까운 것이 선택된다. 이 방법을 사용하면 조명, 방향, 크기의 영향도 극복할 수 있다. 그러나 이러한 방법에서는 이미지를 전체적으로 처리하기 때문에, 크고 복잡한 데이터 집합을 처리할 때 생기는 문제점을 극복하지 못한다. 그럼에도 불구하고 이 방법은 현재 많이 연구되고 있으며, 성별 및 인종 인식에 적용하기 위한 시도가 계속되고 있다.

두 번째로 국부 특징 분석(Local Feature Analysis)방법이 있다. 이는 고유 얼굴 방법에서 유도되었는데, 고유 얼굴 방법에서의 문제점인 얼굴 표정의 변화, 조명이나 자세 등의 변화 때문에 나타나는 문제점을 해결하고자 제안되었다. 이 방법은 얼굴의 전역적인 표현에 의존하는 대신 각 개인의 특징을 이용한다. 이 과정은 사진들의 데이터베이스를 모으고 그들로부터 고유얼굴을 추출하면서 시작한다.

국부 특징 분석을 적용한 시스템은 다른 얼굴들과 가장 큰 차이점을 나타내는 각 얼굴에서의 특징들이나 블록을 모은다. 주어진 얼굴은 32개에서 50개 정도의 블록으로 나타내어지고 가장 특징적인 점들은 코, 눈썹, 입 등이다.

얼굴 인식을 위해서 컴퓨터에는 인증받기 위한 사람의 이미지가 저장되어 있어야 하고, 각 개인이 다른 사람과 가장 다르게 구분되는 점들의 패턴을 측정해야 한다. 그 다음 무작위로 혹은 고유얼굴 평균에 기반을 둔 패턴을 시스템은 만들기 시작한다. 각 선택에 대해 얼굴 이미지를 만들고, 인식을 하고자 하는 목표 얼굴과 비교한다. 그리고 목표와 매치되는 얼굴 이미지가 생성될 때까지 새로운 패턴이 생성되어진다. 매치되는 것이 있을 때 컴퓨터는 사용자와 매치되는 패턴에 대한 데이터베이스를 확인하게 된다.

세 번째로 얼굴의 온도분포를 나타낸 써머그램(Thermogram)을 이용한 인식방법이다. 이 방법은 개인의 얼굴에 나타나는 온도분포의 차이점을 식별 프로세스(Identification Process)에 이용한다. 개인은 주요 혈관의 위치, 뼈 구조의 두께, 세포조직의 양, 근육과 지방의 분포 등 9가지의 팩터(factor)에 따라 각기 다른 양의 열을 방출한다. 써멀 페이스(Thermal Face)는 개인마다 독특하다. 심지어 쌍둥이도 얼굴의 온도분포가 다르게 나타난다. 또한 동일인에게 있어서는 긴장상태나 나이에 관계없이 일정하며, 변장 등에도 동일하게 유지된다. 이러한 특징은 특정인을 인식하는데 더 없이 좋은 특징으로 작용하게 된다. 현재 상품화되어 있는 IR(Infrared) 카메라를 통해 써머그램을 얻을 수 있다.

인간의 얼굴온도분포에 미치는 굉장히 많은 양의 요인과 변화 특성들은 각각의 개인들에게 거의 무한대에 가까운 다양성을 지니게 한다. 상용화된 방법에서는 19,000개의 포인트들을 인식에 사용한다. 이 방법은 우선 개인의 써멀 이미지(Thermal Image)를 IR 카메라를 통해 촬영하여 인식 시스템에 저장하여 놓는다. 이러한 이미지는 개인의 PIN(Personal Identification Number)에 등록된다. 따라서 얼굴 인증시 IR 카메라로 써멀 이미지를 찍어 이것을 데이터베이스에 등록된 이미지와 비교하여 두 이미지가 동일할 경우 동일인으로 인식한다.

네 번째로 템플릿 매칭 방법이다. 앞서 언급된 기하학적 특징에 기초한 방법들이 높은 인식속도, 적은 메모리 사용 등의 장점을 가지고 있지만, 이들 방법은 템플릿 매칭 방법 보다 나쁘다는 결론을 수많은 실험을 통하여 증명하고 있다. 그러나 템플릿 매칭은 단지 질의 이미지가 훈련 이미지와 같은 크기, 같은 방향, 같은 조명하에 있을 때에만 효율적이라는 단점이 있다.

다섯 번째로 신경망을 사용한 얼굴 인식이다. 이 방법은 소수의 클래스(20개 이하)로만 분류하는 것이 대부분이다. 신경망 모델은 뉴런의 상호연결을 통해서 많은 추상적인 문제들을 해결하는 모델이다. 신경망은 학습이 가능하며, 추상적인 표현을 함축하는 기능을 가지고 있기 때문에, 얼굴 인식에 많이 활용되고 있다. 현재다층 퍼셉트론(MLP)이 많이 사용되고 있다. MLP는 입력층, 은닉층, 출력층이 네트워크로 연결되어 있으며, 은닉층에서 복잡한 얼굴 표현이 추상화되어 압축 저장되는 것이다. 신경망의 방법은 고유 얼굴의 방법과는 달리 학습에 의해서 구성된다. 그러나 이러한 학습과정은 전체 학습 패턴에 대해서 많은 반복을 거쳐야 하므로 매우 느리다는 단점을 지니고 있다. 또한 새로운 얼굴 패턴이 나타나면 재학습을 수행해야 한다는 단점이 있다.

상술한 바와 같이 기 사용중인 인증 방법들은 수행시간, 실시간 인증 및 등록 등에 관하여 적용되기 어려운 단점이 있다.

따라서 본 발명의 목적은 두 얼굴간의 유사도 측정에 상관관계를 이용하여 얼굴 인증을 수행함으로써 얼굴 인증의 정확도를 높이고, 사용시 신속 정확하게 실시간으로 검증, 등록 등을 수행할 수 있는 상관관계를 이용한 유사도 측정의 얼굴 인증 방법을 제공함에 있다.

도 1은 본 발명의 실시예에 따른 상관관계를 이용한 유사도 측정의 얼굴 인증 처리 흐름도.

도 2는 본 발명의 실시예에 따른 상관관계를 이용한 유사도 측정 알고리즘 개요도.

도 3은 본 발명의 실시예에 따른 좌우대칭을 이용한 상관관계를 설명하기 위한 평균 분산 방법(mean-distributed method) 구현 예시도.

도 4는 본 발명의 실시예에서 수집한 학습데이터를 이용하여 고유얼굴을 생성하는 과정을 설명하기 위한 도면.

도 5는 본 발명의 실시예에서 탐색 윈도우를 이동하면서 서브 이미지를 생성하는 과정을 설명하기 위한 도면.

상기 목적을 달성하기 위한 본 발명은 카메라로부터 취득된 영상신호에서 특정 얼굴을 인식하기 위한 얼굴 인증 시스템에서의 상관관계를 이용한 유사도 측정의 얼굴 인증 방법에 있어서,

입력된 얼굴영상을 고유 얼굴(EigenFace) 기반으로 하여 얼굴영역을 추출하는 제1과정과,

상기 추출된 얼굴영역을 눈을 중심으로 일정한 범위내에서 모자이크를 형성하여 눈 영역을 검출하는 제2과정과,

검출된 눈 영역에서 노이즈 제거를 위한 전처리(preprocessing)과정을 수행하는 제3과정과,

상관관계식을 이용하여 입력된 정보와 데이터베이스에 저장된 얼굴정보의 유사도 측정을 수행하여 얼굴인증 결과를 출력하는 제4과정으로 이루어짐을 특징으로 한다.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 상관관계를 이용한 유사도 측정의 얼굴 인증 처리 흐름도를 도시한 것이다.

도 1을 참조하면, 일반적으로 카메라(100)에서 촬상된 영상이 얼굴 인증 시스템에 입력(110단계)되면 얼굴 인증 시스템에서는 입력된 얼굴영상을 고유 얼굴(EigenFace) 기반으로 얼굴영역을 추출(120단계)한다. 그리고 얼굴 인증 시스템에서는 추출된 얼굴영역을 눈을 중심으로 일정한 범위내에서 모자이크를 형성하여 눈 영역을 검출(130단계)한다. 인식성능을 좌우하는 것은 눈과 코이며, 얼굴 전체와 입은 큰 효과가 없다. 실제로 입 주변 영역은 입의 움직임 및 수염 등의 영향에 의하여 추출되기가 상당히 어렵다. 따라서 본 발명의 실시예에서는 얼굴 모자이크의 중심 상단에 위치하는 눈 영역을 검출하여 얼굴 인식에 사용한다. 이러한 경우 추출된 얼굴영역 내의 인식에 영향을 주는 머리카락 등의 영향은 피하는 것이 바람직하다.

한편 검출된 눈의 위치가 항상 일정하다고 볼 수는 없으며, 조명의 영향으로 모자이크 값이 변할 수 있으므로, 상/하/좌/우로 한 픽셀씩 이동하면서 총 5개의 모자이크 값을 얻어내어 모자이크에서 발생 가능한 오차를 상쇄하도록 하는 것이 바람직하다. 눈 영역을 검출한 얼굴 인증 시스템은 이후 140단계에서 노이즈 제거를 위한 전처리(preprocessing)과정을 수행한후 150단계로 진행하여 상관도(correlation)를 이용한 유사도 측정을 수행한다. 이러한 상관도를 이용한 유사도 측정은 인증 데이터베이스에 저장된 얼굴정보와 카메라(100)로부터 취득된 얼굴정보 즉, 추출된 눈 영역정보의 유사도를 밝히어 얼굴 인증결과를 출력하기 위한 전(前) 처리 과정이다.

이하 도면을 참조하여 본 발명의 실시예에 따른 4가지의 상관도를 이용한 유사도 측정과정을 상세히 설명하기로 한다.

우선 도 2는 본 발명의 실시예에 따른 4가지의 상관도를 이용한 유사도 측정 알고리즘의 개요를 도시한 것으로, 전체 상관도를 이용한 유사도 측정 알고리즘과, 세로방향 편차 상관도를 이용한 유사도 측정 알고리즘, 세로방향 상관도를 이용한 유사도 측정 알고리즘 및 좌우분리 상관도를 이용한 유사도 측정 알고리즘이 개시되어 있다.

첫 번째 알고리즘인 전체 상관도를 이용한 유사도 측정 알고리즘은 가장 기본적인 알고리즘으로서 데이터가 적을 경우에 효과적인 방법으로서, 상관관계 공식은 통계학에 있는 것으로서 패턴인식 분야에서도 2개의 패턴간의 거리를 구하는데 많이 사용된다. 이러한 전체 상관관계를 이용한 유사도 측정 알고리즘의 구현과정을 설명하면, ① 미리 눈을 중심으로 추출된 얼굴 모자이크의 값을 등록해 둔후, ② 인증시에 등록때와 동일한 방법으로 얼굴 모자이크를 등록된 얼굴 모자이크와 상관관계식을 이용하여 비교하고 가장 높은 결과를 가지는 값을 출력함으로서 구현될 수 있다. 이때의 등록데이터는 16 ×16 모자이크(또는 8 ×16 모자이크, 32 ×32 모자이크)로부터 얻어진 셀값들이 차례로 저장되어 사용된다.

한편 두 번째와 세 번째 알고리즘은 조명의 영향을 최소화하기 위한 방법으로서, 우선 세로방향 편차 상관도를 이용한 유사도 측정 알고리즘에 대하여 설명하면, 이 알고리즘은 조명의 영향을 적게 받으면서도 인식률을 향상시킬 수 있는 방법으로서, 그 구현과정은 ① 우선 컬럼(column) 부분에 대하여 평균을 구하면 각 셀에 대하여 평균과의 편차를 구할 수 있다. ② 이와 같이 구해진 편차에 대한 배열에 대하여 상관관계 연산을 수행함으로서 유사도를 측정할 수 있게 되는 것이다. 참고적으로 상기 편차와 함께 후술할 세로방향 상관도를 이용하면 더욱 좋은 결과를 얻을 수 있다.

세 번째의 세로방향 상관도를 이용한 유사도 측정 알고리즘에 대하여 설명하면, 우선 세로방향 상관관계란 조명의 영향에 덜 민감하면서도 인식률을 높일 수 있는 방법으로서, 세로방향으로 연산을 수행하면 조명에 덜 영향을 받기 때문에 세로방향으로 연산을 수행하면 좋은 결과를 얻을 수 있다. 이와 같은 세로방향 상관관계를 이용한 유사도 측정 알고리즘은 ① 얼굴 모자이크의 컬럼부분에 대하여 우선 상관도(correlation)를 구한다. 그리고, ② 모자이크의 컬럼 개수만큼 상관도 값이 얻어지면, ③ 그 값들을 평균하여 최종 결과로 사용함으로써 구현될 수 있다.

마지막 알고리즘인 좌우분리 상관도를 이용한 유사도 측정 알고리즘은 얼굴이 대칭이라는 점에 착안하여 안출된 것으로서 얼굴의 반쪽면만을 인식에 사용하는 방법이다. 주로 조명이 얼굴의 좌우로 영향을 주기 때문에 얼굴의 반쪽면만을 사용하는 것이 좋다. 이 알고리즘의 구현은 우선 얼굴 모자이크의 좌우 반쪽씩에 대하여 상관도를 구한후, 구해진 2개의 상관도값 중에서 큰 값을 비교에 사용함으로써 구현될 수 있다.

참고적으로 좌우대칭을 이용한 상관관계의 경우에는 도 3에 도시한 바와 같은 평균 분산 방법(mean-distributed method)을 사용한다. 즉, 얼굴 모자이크의 좌우를 반으로 나누어서 대칭이 되는 셀 부분을 서로 더한 후에 2로 나눈다. 그리고 나눈값을 해당 셀에 대입하여 새로운 2차원 얼굴배열을 형성한후, 이 배열을 상관관계식에 대입하여 결과를 얻는다. 도 3에서 A1'은 A1블록과 A8블록의 합의 평균으로 나타나며, 각 블록은 표현하고자 하는 얼굴영역에 해당하는 정규화된 블록들이 된다.

이하 얼굴 검출에 대하여 설명하면, 우선 얼굴검출을 위하여 얼굴이미지가 영상처리에 적합하도록 얼굴영역에 한하여 히스토그램 균일화과정을 거친다. 생성된 얼굴이미지는 N ×N 크기의 1차원 열 벡터로 표현하며, N ×N 크기의 임의의 이미지가 존재하는 원시 좌표공간을 이미지 공간이라 한다. 이러한 이미지 공간이 사람의 얼굴을 기술하기 위해서 사용되어질 때, 이미지 공간은 매우 중복되어 있다.따라서 얼굴벡터에 대한 주성분 공간인 얼굴공간이 구성되어져야만 한다. 이러한 중복성은 얼굴에 있는 각각의 픽셀이 다른 픽셀들과 매우 밀접하게 연관성을 가진다는 사실에서 기인한다. 얼굴집합 X에 대한 공분산 행렬는 하기 수학식 1과 같다.

는 얼굴데이터의 I번째 화소들과 j번째 화소들 사이의 공분산을 나타낸다. 공분산 계수와 상관계수 사이에 하기 수학식 2와 같은 관계가 존재하며, 상관계수는 정규화된 공분산 계수이다.

목표는 얼굴공간을 구성하는 것이며, 얼굴공간에서 각각의 구성요소는 어떤 다른 구성요소들과 서로 연관되지 않는다. 이것은 새로운 구성요소들의 공분산 행렬은 대각행렬임을 의미하며, 그 식은 하기 수학식 3과 같다.

여기서 행렬 X,Y는 다음과 같이 정의할 수 있다.

X : 이미지 공간의 기저로서 얼굴를 포함하고 있는 행렬,

Y : 벡터를 포함하고 있는 행렬,

: 얼굴공간의 기저(주성분)로서 얼굴를 기술하는 열 벡터.

주성분은 선형적으로 계산되어질 수 있다. 그것의 열 벡터들이 정규직교()하는 변환행렬을 U라 하면, 행렬 X와 Y에 대하여 수학식 4와 같은 관계가 성립한다.

공분산 행렬에 대한 고유벡터를 포함하는 행렬 U와 고유값을 포함하는 대각행렬에 대해 하기 수학식 5를 만족한다.

즉, 고유얼굴을 구하는 것은 위의 식을 만족하는 고유값 행렬와 고유값에 대한 고유벡터 U를 구하는 것이다. 수집한 학습데이터를 이용하여 고유얼굴을 생성하는 과정은 도 4에 도시한 바와 같으며, 그에 대하여 간략히 설명하면 ① 우선 공분산 행렬()을 생성한후, ② 공분산 행렬의 고유값 행렬와 고유벡터 행렬 U를 구한다. 이와 같은 과정을 수행하면 다수개의 학습데이터로부터 고유얼굴을 생성할 수 있다.

이하 고유얼굴을 이용하여 얼굴검출이 수행되는 과정을 설명하면, 그 과정은우선 입력영상 샘플링, 고유얼굴에 투영된 영상의 생성, 임계값에 의한 얼굴결정으로 이루어진다. 이를 보다 구체적으로 설명하면, 도 5에 도시한 바와 같이 입력영상에서 얼굴을 검출하기 위해서 정해진 크기의 탐색 윈도우를 이동하면서 서브이미지를 생성한다. 그 다음 서브 이미지에 대하여 투영된 영상을 생성하여 원래 서브 이미지와 투영된 영상 사이의 유사도를 측정하여 얼굴을 판별한다. 입력영상에서 얼굴의 크기는 변할 수 있으며, 다양한 크기의 얼굴을 검출하기 위해서 입력영상의 해상도를 변경하면서, 즉 입력영상을 도 5에 도시한 바와 같이 축소하면서 동일 과정을 반복적으로 수행한다.

한편 생성된 얼굴영상을 이용하여 각 유사도를 측정하는데, 고유얼굴을 표현하는 행렬을 E, 이미지 공간에서의 얼굴을, 주성분 공간(얼굴공간)에서의 얼굴을라 할때, 이미지 공간과 얼굴공간 사이의 변환은 하기 수학식 6(얼굴공간으로의 변환)과 수학식 7(이미지공간으로의 변환)과 같다.

원래 얼굴와 그것의 재구성된 얼굴사이의 차이를 재구성 오류라 하며, 그것은 얼굴을 판별하는 유사도로서 사용한다.

본 발명의 실시예에서는 유사도를 계산하기 위하여 상기 수학식 8중 세 번째 식인 코사인 거리를 사용하였으며, 이 값이 1의 값에 근사할수록 유사함을 의미한다.

상술한 바와 같이 본 발명은 사용중인 얼굴인증을 위한 여러 방법중에서 상관관계를 이용한 유사도 측정에 의한 방법을 사용하기 때문에, 약간의 표정변화, 카메라로부터의 거리의 변화, 안경착용, 배경환경의 변화, 고개의 기울어짐, 조명의 편중, 머리모양의 변화 등에서 발생하는 에러수를 최소화하고 성공수를 높임으로서 신뢰도를 향상시킬 수 있는 이점이 있다.

Claims (5)

1. 삭제
2. 삭제
3. 카메라로부터 취득된 영상신호에서 특정 얼굴을 인식하기 위한 얼굴 인증 시스템에서의 상관관계를 이용한 유사도 측정의 얼굴 인증 방법에 있어서,

   입력된 얼굴영상을 고유 얼굴(EigenFace) 기반으로 하여 입력영상 샘플링, 고유얼굴에 투영된 영상의 생성, 임계값에 의한 얼굴 결정의 단계를 통해 얼굴영역을 추출하는 제1과정과,

   상기 추출된 얼굴영역을 눈을 중심으로 일정한 범위내에서 N×N모자이크를 형성하여 눈 영역을 검출하며, 조명의 영향을 고려하여 상,하,좌,우로 한 픽셀씩 이동하면서 복수의 모자이크 값을 얻어내어 모자이크에서 발생 가능한 오차를 상쇄시키는 제2과정과,

   검출된 눈 영역에서 노이즈 제거를 위한 전처리(preprocessing)과정을 수행하는 제3과정과,

   상관관계식을 이용하여, 입력된 정보와 데이터베이스에 미리 저장되어 있는 N×N모자이크로부터 얻어진 셀값들로 저장된 얼굴정보의 유사도 측정을 수행하여 얼굴인증 결과를 출력하는 제4과정으로 이루어지며,

   상기 제4과정은 세로방향 편차 상관도를 이용한 유사도 측정 알고리즘으로서, 얼굴 모자이크의 컬럼(column) 부분에 대하여 평균을 구하고 각 셀에 대하여 평균과의 편차를 구하는 과정과, 구해진 편차에 대한 배열에 대하여 상관관계 연산을 수행하여 유사도를 측정하는 과정으로 이루어지는 것을 특징으로 하는 상관관계를 이용한 유사도 측정의 얼굴 인증 방법.
4. 카메라로부터 취득된 영상신호에서 특정 얼굴을 인식하기 위한 얼굴 인증 시스템에서의 상관관계를 이용한 유사도 측정의 얼굴 인증 방법에 있어서,

   입력된 얼굴영상을 고유 얼굴(EigenFace) 기반으로 하여 입력영상 샘플링, 고유얼굴에 투영된 영상의 생성, 임계값에 의한 얼굴 결정의 단계를 통해 얼굴영역을 추출하는 제1과정과,

   상기 추출된 얼굴영역을 눈을 중심으로 일정한 범위내에서 N×N모자이크를 형성하여 눈 영역을 검출하며, 조명의 영향을 고려하여 상,하,좌,우로 한 픽셀씩 이동하면서 복수의 모자이크 값을 얻어내어 모자이크에서 발생 가능한 오차를 상쇄시키는 제2과정과,

   검출된 눈 영역에서 노이즈 제거를 위한 전처리(preprocessing)과정을 수행하는 제3과정과,

   상관관계식을 이용하여, 입력된 정보와 데이터베이스에 미리 저장되어 있는 N×N모자이크로부터 얻어진 셀값들로 저장된 얼굴정보의 유사도 측정을 수행하여 얼굴인증 결과를 출력하는 제4과정으로 이루어지며,

   상기 제4과정은 세로방향 상관도를 이용한 유사도 측정 알고리즘으로서, 얼굴 모자이크의 컬럼부분에 대하여 상관도(correlation)를 구하고, 모자이크의 컬럼 개수만큼 상관도 값이 얻어지면, 그 값들을 평균하여 최종 결과로 사용하는 것을 특징으로 하는 상관관계를 이용한 유사도 측정의 얼굴 인증 방법.
5. 카메라로부터 취득된 영상신호에서 특정 얼굴을 인식하기 위한 얼굴 인증 시스템에서의 상관관계를 이용한 유사도 측정의 얼굴 인증 방법에 있어서,

   입력된 얼굴영상을 고유 얼굴(EigenFace) 기반으로 하여 입력영상 샘플링, 고유얼굴에 투영된 영상의 생성, 임계값에 의한 얼굴 결정의 단계를 통해 얼굴영역을 추출하는 제1과정과,

   상기 추출된 얼굴영역을 눈을 중심으로 일정한 범위내에서 N×N모자이크를 형성하여 눈 영역을 검출하며, 조명의 영향을 고려하여 상,하,좌,우로 한 픽셀씩 이동하면서 복수의 모자이크 값을 얻어내어 모자이크에서 발생 가능한 오차를 상쇄시키는 제2과정과,

   검출된 눈 영역에서 노이즈 제거를 위한 전처리(preprocessing)과정을 수행하는 제3과정과,

   상관관계식을 이용하여, 입력된 정보와 데이터베이스에 미리 저장되어 있는 N×N모자이크로부터 얻어진 셀값들로 저장된 얼굴정보의 유사도 측정을 수행하여 얼굴인증 결과를 출력하는 제4과정으로 이루어지며,

   상기 제4과정은 좌우분리 상관도를 이용한 유사도 측정 알고리즘으로서, 상기 얼굴 모자이크의 좌우 반쪽씩에 대하여 상관도를 구한 후, 구해진 2개의 상관도값 중에서 큰 값을 얼굴 인증에 사용하는 것을 특징으로 하는 상관관계를 이용한 유사도 측정의 얼굴 인증 방법.