KR100851981B1

KR100851981B1 - 비디오 영상에서 실 객체 판별 방법 및 장치

Info

Publication number: KR100851981B1
Application number: KR1020070015530A
Authority: KR
Inventors: 박규태; 왕하이타오; 문영수
Original assignee: 삼성전자주식회사
Priority date: 2007-02-14
Filing date: 2007-02-14
Publication date: 2008-08-12
Also published as: US20080192980A1; US8355530B2

Abstract

본 발명에 따라 비디오 영상으로부터 객체 특징점들을 트레킹하고, 검출된 객체 특징점을 어파인 변환하고, 어파인 변환된 객체 특징점의 특성을 이용하여 비디오 영상이 실 객체 인지 여부를 판별함으로써, 사용자의 개입과 추가적인 하드웨어를 구비할 필요가 없으며, 스푸핑에 강인한 실 객체 판별(liveness detection)을 할 수 있는 효과가 있다.

실 객체 판별, 트레킹, 특징점, 어파인 변환

Description

비디오 영상에서 실 객체 판별 방법 및 장치{Liveness detection method and apparatus in video image}

도 1은 본 발명의 일 실시 예에 따른 실 객체 판별 장치의 개략적인 구성을 도시한 블록도이다.

도 2는 도 1에 도시된 실 객체 판별 장치의 보다 구체적인 구성을 도시한 블록도이다.

도 3은 본 발명의 다른 실시 예에 따른 통계적 거리(D¹ 과 D²)의 개념을 설명하기 위한 도면이다.

도 4 내지 6은 본 발명의 또 다른 실시 예에 따른 통계적 거리, D¹, D² 및 V¹의 실제 객체와 사진 객체를 비교하기 위한 도면이다.

도 7은 본 발명의 또 다른 실시 예에 따른 실 객체 판별 방법을 설명하기 위한 흐름도이다.

도 8은 본 발명의 또 다른 실시 예에 따른 실 객체 판별 방법을 설명하기 위한 흐름도이다.

도 9는 본 발명의 또 다른 실시 예에 따른 실 객체 판별 장치를 이용한 접근 제어시스템의 개략적인 구성을 도시한 블록도이다.

<도면의 주요 부분에 대한 부호의 설명>

100: 초기화부 110: 트레킹부

120: 계산부 130: 판별부

200: 객체 검출부 210: 특징 검출부

220: 특징점 정규화부 230: 어파인 변환부

240: 거리 계산부 250: 실제 값 계산부

260: 실 객체 판별부

본 발명의 실 객체 판별 방법 및 장치에 관한 것으로, 더 상세하게는 비디오 영상에서의 2차원 평면 객체와 3차원 비-평면 객체를 구별하여 실 객체를 판별하는 방법 및 장치에 관한 것이다.

최근 생체 인식에 관한 많은 연구들이 진행되고 있고, 이러한 생체 인식이 얼굴 또는 홍채 인식을 이용한 생체 인증 시스템, 모바일 폰 보안, 모바일 커머스, 물리적/논리적 액세스 제어, e-커머스 등에 많이 응용되고 있지만, 실 검출(liveness detection)에는 관심을 가지지 못하고 있다.

한편, 생체 인식 시스템은 지문, 홍채, 얼굴이 쉽게 위조될 수 있어서, 생체 시스템 보안에 있어서 위조에 취약함을 극복하는 것이 중요 이슈로 부각하고 있다. 이러한 위조를 소위 '스푸핑(spoofing)'이라고 하는데, 이는 가짜 생체 샘플을 이용하여 생체 시스템에 침입하는 일련의 프로세스를 의미한다.

이러한 스푸핑에 대한 해결책으로 강인한 실 객체 여부를 판별하는 기술이 필수적이다. 특히 강인한 실 얼굴 판별과 추가적인 하드웨어를 사용하지 않고도, 비침입적(non-intrusive) 방법으로 구현하는 것이 필요하다.

종래의 실 얼굴 판별 방법들은 크게 세 가지 카테고리로 분류되는데, 움직임과 3D를 이용하는 기술, 사용자 인터랙션 및 추가 하드웨어를 사용하는 방법이다.

움직임과 3D를 이용하는 기법은 트레킹된 객체의 3D 깊이의 추정을 위해서 SFM(structure from motion method)을 이용한다. 그리고, 이러한 깊이 정보는 실제 얼굴 영상과 사진 영상을 구분하기 위해 사용된다.

사용자 인터랙션 기법은 얼굴의 특징들을 트레킹하고 나서 특징 궤도 또는 형태 변화를 해석한다. 일반적으로, 실제 얼굴 특징 영상의 궤도와 모션 사진 영상의 궤도가 유사하기 때문에 이 방법은 정확하지 못하다. 또한, 얼굴의 특징 형태를 트레킹하는 경우, 사용자 작업이 요구되기 때문에 불편함이 있다.

미국특허 2005/0129286호는 눈의 상태 및 위치 변화를 검사함으로써 실제 입력 여부를 추정한다. 이는 일반적인 영상 하드웨어 문제점, 초당 25 또는 30 프레임으로 영상을 촬영하기 때문에, 눈 깜빡거림이 쉽게 검출될 수 없고, 따라서 사용자는 시스템 요구 조건을 위해 초점을 신중하게 변화시켜야만 한다.

미국특허 2002/0183624호 및 2005/0134427호는 추가적인 하드웨어를 구비하는 카테고리에 속한다. 0183624호에는 실제 샘플과 위조 샘플을 구별하기 위해 능동형 발광 장치를 사용한다. 이는 알고리즘이 강인하고 사용자의 조작을 강제하지 않지만, 응용의 범위를 제한하는 특별한 발광 하드웨어가 필요하다는 단점이 있다. 마찬가지로 0134427호 또한 몸의 체온을 검사하기 위한 특별한 하드웨어를 요구한다는 문제점이 있었다.

본 발명은 전술한 종래기술의 문제점을 해결하기 위해 안출된 것으로, 비디오 시퀀스 영상들을 이용하여 2차원 평면 객체와 3차원 비-평면 객체를 구별함으로써 강인한 실 객체 추정을 위해, 추가적인 하드웨어를 구비할 필요가 없으며, 사용자의 조작을 강제하지 않는, 실 객체를 판별하는 방법 및 장치를 제공하는 데 목적이 있다.

본 발명의 기술적 과제를 달성하기 위한 비디오 영상에서의 실 객체 판별 방법은 비디오 영상의 소정의 프레임에서 객체 특징점을 검출하여 트레킹을 초기화하는 단계; 상기 검출된 객체 특징점을 기초로 상기 비디오 영상의 다음 프레임들에 대한 객체 특징점들을 트레킹하는 단계; 상기 검출된 객체 특징점 및 상기 트레킹된 제n-1 프레임의 객체 특징점을 각각 제n 프레임에 대해 어파인 변환하고, 상기 어파인 변환된 객체 특징점들과 상기 트레킹된 제n 프레임의 객체 특징점과의 통계 적 거리를 계산하는 단계; 및 상기 계산된 거리 값을 기초로 실제 값을 계산하고, 상기 계산된 실제 값에 따라 상기 비디오 영상이 실 객체인지 여부를 판별하는 단계를 포함한다.

본 발명의 다른 기술적 과제를 달성하기 위한 하는 비디오 영상에서의 실 객체 판별 방법은 비디오 영상으로부터 객체 특징점을 검출하여 트레킹을 초기화하는 단계; 상기 객체 프레임이 검출된 프레임의 다음 프레임에 대한 객체 특징점들을 트레킹하는 단계; 및 검출된 객체 특징점과 제n-1 프레임의 객체 특징점들을 제n 프레임에 대해 어파인 변환하고, 상기 어파인 변환된 객체 특징점들과 상기 제n 프레임의 객체 특징점의 특성을 이용하여 상기 비디오 영상이 실 객체 인지 여부를 판별하는 단계를 포함한다.

본 발명의 또 다른 기술적 과제를 달성하기 위한 비디오 영상에서의 실 객체 판별 장치는 비디오 영상의 소정의 프레임에서 객체 특징점을 검출하여 트레킹을 초기화하는 초기화부; 상기 검출된 객체 특징점을 기초로 상기 비디오 영상의 다음 프레임들에 대한 객체 특징점들을 트레킹하는 트레킹부; 상기 검출된 객체 특징점 및 상기 트레킹된 제n-1 프레임의 객체 특징점을 각각 어파인 변환하고, 상기 어파인 변환된 객체 특징점들과 상기 제n 프레임의 객체 특징점과의 통계적 거리를 계산하는 계산부; 및 상기 계산된 거리 값을 기초로 실제 값을 계산하고, 상기 계산된 실제 값에 따라 상기 비디오 영상이 실 객체인지 여부를 판별하는 판별부를 포함한다.

본 발명의 또 다른 기술적 과제를 달성하기 위한 상기 방법을 컴퓨터에서 실 행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

본 발명의 세부 및 개선 사항은 종속항에 개시된다.

이하, 본 발명의 바람직한 실시 예들을 첨부한 도면들을 참조하여 상세히 설명한다.

도 1을 참조하면, 실 객체 판별 장치는 초기화부(100), 트레킹부(110), 계산부(120) 및 판별부(130)를 포함한다.

초기화부(100)는 입력된 비디오 영상의 특정 프레임에서 객체 특징점을 검출하여 트레킹을 초기화시킨다. 여기서, 객체 검출과 객체의 특징점 검출은 첫 번째 프레임에서 검출될 수도 있고, 이후 프레임에서 검출될 수도 있다. 비디오 영상에서 객체 검출과 객체의 특징점 검출이 완료될 때까지 반복한다.

트레킹부(110)는 초기화부(100)에서 객체와 객체의 특징점이 검출된 경우, 소정의 트레킹 알고리즘, 예를 들면 LKT 광류(optical flow)의 피라미드 알고리즘, 평균-시프트(mean-shift) 알고리즘 등을 이용하여, 검출된 객체 특징점을 기초로 이후 프레임들에 대한 객체 특징점들을 각각 트레킹한다. 트레킹 알고리즘에 대한 더 자세한 사항은 J.Y. Bouguet의 Pyramidal Implementation of the Lucas Kanade Feature Tracker, OpenCV Documentation, Microprocessor Research Labs, Intel Corp., 2000. 및 D. Comaniciu 등의 Real-Time Tracking of Non-Rigid Objects using Mean Shift, CVPR 2000.에 개시되어 있다.

계산부(120)는 첫 번째 프레임 또는 이후 프레임에서 검출된 객체 특징점과 이를 기초로 트레킹된 n-1번째 프레임의 객체 특징점을 n번째 프레임, 즉 현재 프레임에 대해 각각 어파인 변환(affine transformation)을 수행한다.

이렇게 어파인 변환된 초기 프레임에서 검출된 객체 특징점과 제n 프레임, 즉 현재 프레임의 객체 특징점과의 거리(D¹)를 계산하고, 이러한 거리 값에 대한 분산(V¹)을 계산한다. 또한, 제n-1 프레임, 즉 현재 프레임(제n 프레임)에 대한 이전 프레임의 객체 특징점과 제n 프레임, 즉 현재 프레임의 객체 특징점과의 거리(D²)를 계산한다. 어파인 변환과 통계적 거리, D¹, D² 및 V¹ 에 대한 자세한 설명은 도 3을 참조하여 후술한다.

판별부(130)는 계산된 거리 값, D¹, D² 및 V¹을 이용하여, 실제 값(liveness value)을 계산하고, 계산된 실제 값에 따라 비디오 영상이 실제 객체인지 아니면 사진 객체인지 여부를 판별한다.

도 2를 참조하면, 실 객체 판별 장치는 객체 검출부(200)와 특징 검출부(210)를 포함하는 초기화부(100), 트레킹부(110), 특징점 정규화부(220), 어파인 변환부(230)와 거리 계산부(240)를 포함하는 계산부(120) 및 실제 값 계산부(250)와 실 객체 판별부(260)를 포함하는 판별부(120)를 포함한다.

객체 검출부(200)는 입력된 비디오 영상의 특정 프레임에서 객체를 검출한다. 본 발명의 바람직한 실시 예에서, 객체는 얼굴을 포함하며, 얼굴 검출을 위해 J. Vola의 아다부스트(adaboosting) 알고리즘을 사용한다. 얼굴 검출에 관한 자세한 사항은 Paul Viola 등의 Robust Real-time Object Detection, vol. 57, p137-154, no. 2, 2004.에 개시되어 있다.

특징 검출부(210)는 객체 검출부(200)에서 검출된 객체 영역에서 소정의 특징점들을 검출한다. 본 발명의 바람직한 실시 예에서, 객체 검출부(200)는 n-1 번째 프레임에서 소정의 객체 특징점을 검출한다. 특히, 첫 번째 프레임의 영상에서 얼굴 영상을 검출하고, 검출된 얼굴 영상 중 얼굴의 주요 특징을 반영하는 얼굴 특징점을 선택한다. 이 경우 객체는 사람의 얼굴이다. 검출된 객체 특징점의 예로는 눈 각각의 중심 위치에 해당하는 2개의 포인트, 눈썹 각각의 중심 위치에 해당하는 2개의 포인트, 코 끝의 위치에 해당하는 1개의 포인트, 입술의 양 끝에 해당하는 2개의 포인트 및 윗 입술의 끝에 해당하는 1개의 포인트 등을 객체 특징점으로 이용할 수 있다.

객체 특징점을 검출하는 방법으로는 AAM(Active Appearance Models) 또는 ASM(Active Shape Models) 등이 있다. ASM은 눈의 위치를 검출하고, 검출된 눈의 위치를 기준으로 일반적인 모델(generic model)에 따른 다른 부위, 예를 들면 코, 입, 눈썹 등의 모양(shape) 정보를 이용하여 위치를 결정하는 모델이다. AAM은 모양 정보뿐만 아니라, 질감 정보(texture information)를 더욱 고려하여 얼굴 특징을 효율적으로 설명할 수 있는 특징점을 검출하는 모델이다.

또한, 본 발명의 바람직한 실시 예에서, 좀더 양호한 특징점을 선택하기 위해 코너(corner)를 검출할 수 있다. 이는 특징 검출을 에러를 줄이기 위해 검출된 얼굴 영역에서 모서리 부분을 검출하여 특징점을 선택하는 것이다.

코너 검출은 다음 수학식 1 및 2를 이용하여, 영상 I의 모든 픽셀에서 G 행렬과 행렬 G의 고유값(λ_m)을 계산한다.

여기서, I(x,y)는 그레이 영상이고, (w_x,w_y)는 영상 영역의 폭(width)과 높이(height)이다.

행렬 G와 행렬 G의 고유값(λ_m)을 구하고, 특징점을 선택한다. 전체 영상에 대해 λ_m의 최대값을 λ_max 라하고, λ_m>0.2λ_max 인 화소에 대해, 최대 화소를 찾는다. 여기서, 선택된 화소의 λ_m 값은 이웃하는 다른 화소들보다 더 크다. 또한, 선택된 화소들의 거리를 소정 값 이하로 유지한다.

코너 검출에 관한 자세한 사항은 Jianbo Shi 등의 "Good features to track", Proc. IEEE Comput. Soc. Conf. Comput. Vision and Pattern Recogn., p593-600, 1994에 개시되어 있다.

트레킹부(110)는 특징 검출부(210)에서 검출된 객체의 특징점을 기초로, 다음 프레임들 각각에 대한 특징점들을 트레킹한다.

본 발명의 바람직한 실시 예에서, 트레킹부(110)는 초기화부(100)를 통해 첫번째 프레임에서 얼굴 특징점이 검출되면, 트레킹부(110)는 두 번째 프레임과 첫 번째 프레임의 화소 값 차이를 최소로 하는 광류(optical flow)를 계산한다. 예를 들면, 첫 번째 프레임에서 검출된 얼굴 특징점 각각을 중심으로 하는 소정 크기의 템플릿 이미지의 그레이 레벨(grey level)과 상기 템플릿에 대응되는 두 번째 프레임의 템플릿 이미지의 그레이 레벨을 구하고, 템플릿 이미지에 속하는 각 픽셀이 갖는 그레이 레벨의 차를 이용하여 광류를 계산할 수 있다. 본 발명의 바람직한 실시 예에서는 광류를 계산하는 방법으로 LKT(Lucas-Kanade-Tomasi) 알고리즘을 이용하였으며, 하기 수학식3 내지 7에 따라 ε(v)값을 최소로 하는 광류(v) 값을 계산할 수 있다.

여기에서, I는 이전 (n-1 번째) 프레임이고, J는 현재 (n 번째) 프레임이며, u = (u_x, u_y)는 이전 프레임에서 하나의 특징점이고, v=(v_x, v_y)는 광류이며, (w_x, w_y)는 광류를 계산하는 이미지의 템플릿 사이즈이고, I_x와 I_y는 I의 미분 영상값이다.

특징점 정규화부(220)는 특징점 검출부(210)에서 검출된 특징점, 즉 초기 프레임에서의 특징점, 현재 프레임(n 번째)의 특징점 및 이전 프레임(n-1 번째)의 특징점을 정규화시킨다.

특징점은 다음 수학식 8을 이용하여 정규화한다.

여기서, P_i(n), n=1,2,...N이다.

어파인 변환부(230)는 특징점 정규화부(220)에서 정규화된 특징점들의 어파인 변환을 수행한다. 즉, 어파인 변환부(230)는 초기 프레임에서의 특징점을 현재 프레임(n 번째 프레임)에 대해 어파인 변환하고, 이전 프레임(n-1 번째 프레임)에서의 특징점을 현재 프레임(n 번째 프레임)에 대해 어파인 변환을 수행한다.

T는 n-1번째 프레임의 좌표 행렬 X를 입력으로 하는 어파인 변환이고, X'는 n 번째 프레임의 좌표 행렬이다.

여기에서, (x_i, y_i)는 이전(n-1번째) 프레임에서 결정된 객체 특징점들의 좌표이고, (x_i', y_i')는 현재(n 번째) 프레임에서 결정된 객체 특징점들의 좌표이다.

어파인 변환 파라미터 T는 상기 수학식10과 같이 6개(t_x, t_y, a, b, c 및 d)의 요소(element)들에 의하여 특정된다.

사진 얼굴 영상과 실제 얼굴 영상과의 가장 큰 차이점은 사진 얼굴은 깊이 변화를 가지지 않는 2차원 평면 객체이고, 실제 얼굴은 비교적 큰 깊이 변화를 가지는 3차원 객체라는 것이다.

이상적인 영상 조건, 이상적인 정사영(orthography), 영상 잡음 및 왜곡이 없는 등의 조건과 트레킹 오류 및 바이어스가 없는 이상적인 트레킹 알고리즘에서, 서로 다른 프레임들에서 어파인 변환된 트레킹 포인트들 사이의 거리는 평면 객체, 즉 사진 얼굴에 대해서 제로이다. 반면에, 이러한 거리는 사진 얼굴 객체에서 보다 실제 얼굴 객체에 대해서 훨씬 크다.

그러나, 사진 얼굴의 거리는 실제 경우에 있어서 명백히 제로가 아니다. 보다 강인한 실 얼굴 판별이 트레킹 효과들과 영상 조건들에 의한 외부적 요인을 배제하고, 사진 얼굴과 실제 얼굴 사이의 3차원 깊이 차이의 내재적 요인을 반영하도록 정의되어야 한다.

어파인 변환을 설명하기 위해 도 3을 참조하면, 먼저, 제1 프레임의 특징점 i를 P_i(1)라고 가정하고, 여기서, i=1,2,...,N이고, N>3이라고 가정한다.

제1, 2,...,n-1, n 프레임이 도시되어 있고, 제1 프레임의 특징점은 P_i(1)(300), 제n-1 프레임의 특징점은 P_i(n-1)(310), 제n 프레임의 특징점은 P_i(n)(320)으로 도시되어 있다.

N>3에 대해서, 첫 번째 프레임의 특징점(300)을 현재 프레임(제n 프레임)에 대해 어파인 변환을 수행한다. 어파인 변환된 제1 프레임의 특징점은

(305)이다.

이전 프레임의 특징점(310)을 현재 프레임(제n 프레임)에 대해 어파인 변환을 수행한다. 어파인 변환된 제n-1 프레임의 특징점은

(315)이다.

다시 도 2를 참조하면, 거리 계산부(240)는 어파인 변환된 제1 프레임의 특징점은

(305)과 현재 프레임의 특징점 P_i(n)과의 거리, D_i ¹(n)를 다음 수학식 12에 의해 계산한다.

그리고, 다음 수학식 13에 의해 D¹(n)을 구한다.

여기서, D¹(n) 은 D_i ¹(n)의 평균이고, K는 특징점의 개수이다.

D₁ 은 평면 객체들에 대해서는 제로이다. D¹(n)의 실제 값은 누적 트레킹 오차와 주로 관련된다. 이러한 D¹(n)의 실제 값은 트레킹된 포인트가 처음 위치에서 멀리 떨어진 경우에 증가한다.

또한, 어파인 변환된 제n-1 프레임의 특징점

(315)과 현재 프레임의 특징점 P_i(n)과의 거리, D_i ²(n)를 다음 수학식 14에 의해 계산한다.

그리고, 다음 수학식 15에 의해 D²(n)을 구한다.

여기서, D²(n)은 D_i ²(n)의 평균이고, K는 특징점의 개수이다.

D²(n)의 정의에 따르면 D²(n)의 값은 연속한 2개의 프레임들의 특징점들의 거리를 나타낸다. 이 값은 주로 움직임 정보에 관련된다.

특정 객체가 더 빠르게 움직인다면, 움직임 흐릿함(motion blur), 트레킹 알고리즘의 탐색 범위의 초과와 같은 요인들이 발생하는데, 이러한 요인들은 트레킹 에러 또는 트레킹 바이어스의 확률을 증가시킨다. 따라서, D²(n)의 값은 이러한 경우에 증가한다.

만약 D²(n)의 값이 소정의 임계치(T₁)보다 크다면, 즉 D²>T₁ 이라면 심각한 트레킹 에러가 존재하는 것이므로 자동적으로 시스템을 재시작한다. 이는 급격한 움직임으로 인한 트레킹 에러를 피하기 위함이다.

D¹(n)과 D²(n)의 차이점은 D¹(n)은 누적된 트레킹 결과로부터 기인한 에러를 나타내고, D²(n)은 순간적인 트레킹 에러를 나타낸다는 것이다.

또한, D¹ 의 분산(variance)을 다음 수학식 16에 의해 계산한다.

여기서, V¹(n)은 D_i ¹(n)의 분산이고, K는 특징점의 개수이고,

은 D_i ¹(n)의 평균이다.

V¹(n)은 D¹(n)의 분산이기 때문에, 영상 왜곡과 영상 양자화, 평균 트레킹 효과들과 같은 항상 존재하는 외부적인 요인들을 감소시킬 수 있다.

만약 입력 객체가 평면이라면, V¹(n)은 작은 값이 될 것이다. 반면에 3차원 객체인 경우, 예를 들면 실제 얼굴인 경우에 V¹(n)값은 평면 객체보다 훨씬 더 클 것이다.

실제 값(liveness value) 계산부(250)는 거리 계산부(240)에서 계산된 D¹, D² 및 V¹ 의 값을 이용하여 다음 수학식 17에 따라 실제 값을 계산한다.

즉, 실제 값, L(n)은 V¹(n)을 D¹(n)과 D²(n)으로 나눈 것이다.

또한, 다음 수학식 18에 따라 실제 값을 계산할 수 있다. 이는 실제 값의 강인성을 증가시키기 위한 것으로 상기 수학식 17에 의해 계산된 L(n)을 F의 프레임들로 나눈 것이다.

실 객체 판별부(260)는 상기 수학식 18에 의해 계산된 실제 값(L)이 소정의 임계치(T₂)보다 크다면(L>T₂), 입력된 비디오 영상을 실제 객체로 판단하고, 실제 값이 소정의 임계치(T₂)보다 작다면(L<T₂), 입력된 비디오 영상을 사진 객체로 판단한다. 여기서 임계치(T₂)는 사용자의 설정에 의해 또는 시스템의 특성에 따라 결정될 수 있는 값이다.

요약하면, 사진 얼굴과 실제 얼굴의 영상의 가장 큰 차이점은 사진 얼굴은 평면 객체이고, 실제 얼굴은 비교적 큰 깊이 변화를 가진 3차원 객체라는 것이다.이러한 차이점을 이용한 3가지 통계적 거리, D¹, D² 및 V¹의 정의한다.

D¹은 누적 트레킹 오차를 나타낸다. D¹의 값은 특징점들이 초기 형태에서 벗어나는 경우 증가한다. D²는 주로 움직임 정보에 관계된다. 특징점들이 더 빨리 움직일수록, D²의 값은 더 커진다.

V¹은 3차원 깊이 변화를 포함한다. 트레킹된 특징점들이 같은 평면에 있거나 또는 거의 깊이 변화가 없다면, V¹의 값은 매우 작지만, 그렇지 않다면 크다.

본 발명의 바람직한 실시 예에서 정의된 실제 값, L은 V¹ 을 D¹ 및 D²로 나눈 값인데, 이는 누적 트레킹 오차와 움직임 트레킹 오차가 보상된 트레킹된 객체의 3차원 정보를 반영한다.

도 4 내지 6은 실제 얼굴과 사진 얼굴에 대한 통계적 거리 D¹, D² 및 V¹의 히스토그램을 나타낸다.

X축은 소정의 범위, 최소값과 최대값 사이에서, 256개로 양자화된 D¹, D² 및 V¹ 의 값이고, Y축은 프레임 수이다.

D¹ 및 D² 의 값은 비디오 영상이 실제 얼굴(400, 500)인 경우와, 사진 얼굴(410, 510)인 경우가 일반적인 트레킹 조건 하에서 유사하게 나타난다.

하지만, V¹ 은 실제 얼굴(600)인 경우에는 크게 나타나지만, 사진 얼굴(610)인 경우에는 더 작게 나타난다.

도 7을 참조하면, 실 객체 판단 장치는 단계 700 및 702에서, 영상을 획득하고, 현재 시스템이 트레킹 모드인지 판단한다. 여기서 트레킹 모드는 비디오 영상에서 객체가 검출되고, 객체의 특징점이 검출되고 난 후에 수행되는 모드이다.

트레킹 모드가 아닌 경우, 단계 704로 진행하여 다음 프레임에 대해 객체와 특징점 검출을 수행한다. 객체와 특징점이 검출된 경우, 단계 706으로 진행하여 이후 프레임에 대한 특징점 트레킹을 수행한다.

단계 708에서, 검출된 특징점과 n-1번째 프레임의 특징점을 n프레임에 대해 어파인 변환한다. 단계 710에서, 초기에 검출되어 어파인 변환된 특징점과 n 프레임의 특징점 사이의 거리(D¹)를 계산하고, 어파인 변환된 n-1번째 프레임의 특징점과 현재 특징점 사이의 거리(D²)를 계산한다. 또한, 초기에 검출되어 어파인 변환된 특징점과 n 프레임의 특징점 사이의 거리(D¹)의 분산(V¹)을 계산한다.

단계 712에서, 단계 710에서 계산된 통계적 거리값, D¹, D² 및 V¹ 을 기초로, 상기 수학식 18을 이용하여 실제 값(L)을 계산한다.

단계 714에서, 단계 712에서 계산된 실제 값 L을 이용하여, 실제 객체 여부를 판단한다.

도 8은 본 발명의 또 다른 실시 예에 따른 실 객체 판별 방법을 설명하기 위 한 흐름도이다.

단계 800 및 802에서, 입력된 비디오 영상에서 소정의 영상 프레임을 획득하고, 획득한 영상에서 얼굴을 검출한다. 단계 804에서, 검출된 얼굴 영역에서 코너점들을 검출한다. 단계 806에서, 검출된 코너점을 기초로 특징점을 선택한다. 단계 808에서, 트레킹 알고리즘, 예를 들면 LKT알고리즘을 이용하여 이후 프레임들에 대한 특징점들을 트레킹한다. 단계 810에서, 검출된 특징점과 트레킹된 특징점들에 대한 통계적 거리, D¹, D² 및 V¹ 를 계산한다. 단계 812에서, D² 가 소정의 임계치(T₁) 이상인지를 판단한다. 이는 과도한 트레킹 오차가 발생한 경우 시스템을 재시작하기 위함이다. 즉 D²>T₁ 인 경우, 다시 처음으로 돌아가 비디오 영상을 다시 획득하여 다음 프로세스들을 수행한다.

D²<T₁ 인 경우, 단계 814에서, 수학식 18을 이용하여 실제 값 L을 계산한다. 단계 816에서, 실제 값 L이 소정의 임계치(T₂) 이상인지를 판단하여, L>T₂ 인 경우 입력된 비디오 영상이 실 얼굴이라고 판단하고, L<T₂ 인 경우에는 사진 얼굴이라고 판단한다.

도 9를 참조하면, 접근 제어 시스템은 카메라(800), 영상 획득부(810), 영상 제어부(820), 얼굴 검출부(830), 얼굴 인식부(840), 접근 제어부(850), DB(860), 실 얼굴 판별 장치(870), 입력부(880) 및 도어 제어부(890)를 포함한다.

접근 제어시스템은 카메라를 통해 촬영한 비디오 영상, 예를 들면 사람의 얼굴을 검출하고, 검출된 얼굴을 인식하여 도어를 개폐하는 것이다. 여기서 본 발명의 바람직한 실시 예에 따른 실 얼굴 판별 장치를 이용하여 촬영한 비디오 영상이 사람의 실제 얼굴인지 아니면 사진 얼굴인지를 판별할 수 있다.

한편 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이 다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

또한, 2D 영상 처리 알고리즘만으로 구현 가능하므로, 복잡한 계산과정을 요구하지 않는 장점이 있다.

Claims

(a) 비디오 영상의 소정의 프레임에서 객체 특징점을 검출하여 트레킹을 초기화하는 단계;

(b) 상기 검출된 객체 특징점을 기초로 상기 비디오 영상의 다음 프레임들에 대한 객체 특징점들을 트레킹하는 단계;

(c) 상기 검출된 객체 특징점 및 상기 트레킹된 제n-1 프레임의 객체 특징점을 각각 제n 프레임에 대해 어파인 변환하고, 상기 어파인 변환된 객체 특징점들과 상기 트레킹된 제n 프레임의 객체 특징점과의 통계적 거리를 계산하는 단계; 및

(d) 상기 계산된 거리 값을 기초로 실제 값을 계산하고, 상기 계산된 실제 값에 따라 상기 비디오 영상이 실 객체인지 여부를 판별하는 단계를 포함하는 비디오 영상에서의 실 객체 판별 방법.
제 1 항에 있어서,

상기 (c) 단계는,

상기 어파인 변환된 검출된 객체 특징점과 상기 제n 프레임의 객체 특징점 간의 거리(D¹), 상기 어파인 변환된 제n-1 프레임의 객체 특징점과 상기 제n 프레임의 객체 특징점과의 거리(D²) 및 상기 거리(D¹)의 분산(V¹)을 각각 계산하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방법.
제 1 항에 있어서,

상기 (c) 단계는,

상기 검출된 객체 특징점, 상기 제n-1 프레임의 객체 특징점 및 상기 제n 프레임의 객체 특징점을 정규화시키는 단계;

상기 정규화된 검출된 객체 특징점 및 제n-1 프레임의 객체 특징점들을 각각 제n 프레임에 대해 어파인 변환을 수행하는 단계; 및

상기 어파인 변환된 검출된 객체 특징점과 상기 제n 프레임의 객체 특징점 간의 거리(D¹), 상기 어파인 변환된 제n-1 프레임의 객체 특징점과 상기 제n 프레임의 객체 특징점과의 거리(D²) 및 상기 거리(D¹)의 분산(V¹)을 각각 계산하는 단계를 포함하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방법.
제 3 항에 있어서,

상기 (d) 단계에서,

상기 실제 값(L)은,

상기 분산(V¹)을 상기 거리(D¹)와 상기 거리(D²)로 나눈 값인 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방법.
제 4 항에 있어서,

상기 실제 값(L)이 소정의 임계치 이상인지를 판단하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방법.
제 2 항에 있어서,

상기 (c) 단계는,

상기 어파인 변환된 제n-1 프레임의 객체 특징점과 상기 제n 프레임의 객체 특징점과의 거리(D²)가 소정의 임계치 이상인지를 판단하는 단계를 더 포함하고,

상기 거리(D²)가 소정의 임계치 이상인 경우, 상기 (a) 단계를 수행하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방법.
제 1 항에 있어서,

상기 (a) 단계는,

상기 비디오 영상의 소정의 프레임에서 소정의 객체를 검출하는 단계; 및

상기 검출된 객체 영역에서 소정의 코너 점을 검출하는 단계를 더 포함하고,

상기 검출된 코너 점을 기초로 상기 특징점을 선택하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방법.
제 7 항에 있어서,

상기 객체는 얼굴인 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방 법.
제 1 항에 있어서,

상기 (b) 단계에서,

LKT(Lucas-Kanade-Tomasi) 트레킹 알고리즘 또는 평균-시프트(mean-shift) 알고리즘을 이용하여 상기 객체 특징점들을 트레킹하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방법.
(a) 비디오 영상으로부터 객체 특징점을 검출하여 트레킹을 초기화하는 단계;

(b) 상기 객체 프레임이 검출된 프레임의 다음 프레임에 대한 객체 특징점들을 트레킹하는 단계; 및

(c) 검출된 객체 특징점과 제n-1 프레임의 객체 특징점들을 제n 프레임에 대해 어파인 변환하고, 상기 어파인 변환된 객체 특징점들과 상기 제n 프레임의 객체 특징점의 특성을 이용하여 상기 비디오 영상이 실 객체 인지 여부를 판별하는 단계를 포함하는 비디오 영상에서의 실 객체 판별 방법.
제 10 항에 있어서,

상기 (c) 단계에서,

상기 특성은,

상기 어파인 변환된 검출된 객체 특징점과 상기 제n 프레임의 객체 특징점 간의 거리(D¹), 상기 어파인 변환된 제n-1 프레임의 객체 특징점과 상기 제n 프레임의 객체 특징점과의 거리(D²) 및 상기 거리(D¹)의 분산(V¹)인 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방법.
제 11 항에 있어서,

상기 (c) 단계에서,

상기 분산(V¹)을 상기 거리(D¹)와 상기 거리(D²)로 나눈 값이 소정의 임계치 이상인 경우, 상기 비디오 영상을 실 객체로 판별하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방법.
제 10 항에 있어서,

상기 (b) 단계에서,

LKT(Lucas-Kanade-Tomasi) 트레킹 알고리즘 또는 평균-시프트(mean-shift) 알고리즘을 이용하여 상기 객체 특징점들을 트레킹하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 방법.
제 1 항 내지 제 13 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
비디오 영상의 소정의 프레임에서 객체 특징점을 검출하여 트레킹을 초기화하는 초기화부;

상기 검출된 객체 특징점을 기초로 상기 비디오 영상의 이후 프레임들에 대한 객체 특징점들을 트레킹하는 트레킹부;

상기 검출된 객체 특징점 및 상기 트레킹된 제n-1 프레임의 객체 특징점을 각각 어파인 변환하고, 상기 어파인 변환된 객체 특징점들과 상기 제n 프레임의 객체 특징점과의 통계적 거리를 계산하는 계산부; 및

상기 계산된 거리 값을 기초로 실제 값을 계산하고, 상기 계산된 실제 값에 따라 상기 비디오 영상이 실 객체인지 여부를 판별하는 판별부를 포함하는 비디오 영상에서의 실 객체 판별 장치.
제 15 항에 있어서,

상기 계산부는,

상기 검출된 객체 특징점, 상기 제n-1 프레임의 객체 특징점 및 상기 제n 프레임의 객체 특징점을 정규화시키는 정규화부;

상기 정규화된 검출된 객체 특징점 및 제n-1 프레임의 객체 특징점들을 각각 제n 프레임에 대해 어파인 변환을 수행하는 어파인 변환부; 및

상기 어파인 변환된 검출된 객체 특징점과 상기 제n 프레임의 객체 특징점 간의 거리(D¹), 상기 어파인 변환된 제n-1 프레임의 객체 특징점과 상기 제n 프레임의 객체 특징점과의 거리(D²) 및 상기 거리(D¹)의 분산(V¹)을 계산하는 거리 계산부를 포함하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 장치.
제 16 항에 있어서,

상기 판별부는,

상기 분산(V¹)을 상기 거리(D¹)와 상기 거리(D²)로 나눈 실제 값(L)을 계산하는 실제 값 계산부; 및

상기 계산된 실제 값(L)이 소정의 임계치 이상인지를 판단함으로써, 상기 비디오 영상이 실 객체인지를 판별하는 실 객체 판별부를 포함하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 장치.
제 15 항에 있어서,

상기 초기화부는,

상기 비디오 영상의 소정의 프레임에서 소정의 객체를 검출하는 객체 검출부; 및

상기 검출된 객체 영역에서 소정의 특징점을 검출하는 특징 검출부를 포함하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 장치.
제 18 항에 있어서,

상기 초기화부는,

상기 검출된 객체 영역에서 소정의 코너 점을 검출하는 코너 점 검출부를 더 포함하고,

상기 특징 검출부는,

상기 검출된 코너 점을 기초로 상기 특징점을 선택하는 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 장치.
제 15 항에 있어서,

상기 객체는 얼굴인 것을 특징으로 하는 비디오 영상에서의 실 객체 판별 장치.