KR20090092473A - 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법 - Google Patents

Abstract

본 발명은 3차원 얼굴 모델링하는 방법에 관한 것이다. 3차원 얼굴 모델링은 3차원 공간에서 얼굴을 자유롭게 회전시켜 다양한 얼굴 자세를 표현하고 조명 효과도 적절하게 모델링 할 수 있으므로, 얼굴 자세, 조명, 표정 등의 표현에 있어서 2차원 얼굴 모델링에 비해 보다 정교하며 사실감이 뛰어나 얼굴 인식, 게임, 아바타 등에서 많은 요구가 존재한다. 본 발명에서는 3차원 변형 가능 형상 모델에 기반을 둔 3D 얼굴 모델링 방법을 제안한다. 발명에서 제안하는 3차원 얼굴 모델링 방법은 먼저 3차원 스캐너를 통하여 획득한 3차원 얼굴 스캔 데이터를 이용하여 3D 얼굴 변형 가능 형상 모델을 구축한다. 다음, 3차원 얼굴 모델링을 하고자 하는 얼굴의 2차원 이미지 시퀀스로부터, 해당 얼굴의 특징점들을 검출하고 이들을 매칭하여, 매칭된 특징점들로부터 인수분해 기반 움직임으로부터 구조 구하기(Structure from Motion) 기법을 이용하여 해당 특징점의 3차원 버텍스 좌표값을 구한다. 이후, 구한 3차원 버텍스들을 3차원 변형 가능 형상 모델에 정합하여 해당 얼굴의 3차원 형상 모델을 얻는다. 또한, 2차원 얼굴 이미지 시퀀스들로부터 뷰 독립적인 2차원 원통 좌표 텍스쳐 맵을 구하고 이를 이용하여 3차원 형상 모델을 렌더링함으로써, 최종적으로 3차원 얼굴 모델을 완성한다. 본 발명에서 제안한 3차원 얼굴 모델링 방법은 기존의 얼굴 모델링 방법들에 비해 상대적으로 빠르고 정교하게 수행되는 장점을 가지고 있다.

Description

3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링 방법{3D Face Modeling Method based on 3D Morphable Shape Model }

본 발명은 얼굴 인식, 게임, 아바타 등의 분야에서 매우 필요로 하는 3D 얼굴 모델링 기술 분야에 속하는 것으로 본 발명에서 제공하는 방법은 기존 방법에 비해 손쉽고 신속하며, 비교적 정교하게 모델링되도록 개선시킨 것이다. 본 발명의 3차원 얼굴 모델링 방법의 구성 및 동작 흐름도는 [도 1]에 표시되어 있다.

사실적(realistic) 3차원 얼굴 모델링 방법에는 3차원 스캐너를 통해 스캔된 3차원 데이터를 이용하는 방법, 3차원 일반(generic) 모델을 변형하는 방법, 3차원 변형 가능(morphable) 모델에 기반을 둔 방법, 3차원 변형 가능 형상 모델에 기반을 둔 방법 등이 있다.

3차원 스캐너는 얼굴 표면의 각 샘플링 포인트에 대해 3차원 좌표 값과 색상 값을 획득하여 준다. 이로부터 해당 인물의 3차원 얼굴 모델링이 가능하다. 그러나 이 방법은 값비싼 3차원 스캐너 장비를 필요로 하므로 현실적으로는 사용하기에는 비용 부담이 크다.

3차원 일반(generic) 모델을 변형하여 3차원 얼굴 모델링을 하는 방법[선행 논문 조사 분석서 1 ]은 일반 모델을 얻은 후에, 2D 이미지들에서 얼굴 표면 점들의 3차원 좌표 값을 추출하고, 3차원 일반 모델을 추출된 3차원 좌표 값에 맞도록 변형시켜 해당 인물의 3차원 얼굴 형상 모델을 얻고, 2D 이미지들로부터 텍스쳐를 얻어 이를 얻은 3차원 형상 모델에 렌더링 하여 3차원 얼굴 모델을 만든다. 일반 모델을 이용하는 경우, 비교적 간단하고 처리 시간이 적어 빠르게 모델을 구성할 수 있다. 그러나 버텍스와 메쉬가 적어서 보다 정교한 얼굴 모델링이 불가능하다.

3차원 변형가능 모델에 기반을 둔 3차원 얼굴 모델링 방법[선행 논문 조사 분석서 2 ]에서는 먼저 3차원 스캐너를 통해 얻어진 3차원 스캔 얼굴 데이터들로 구성된 모델 얼굴 데이터베이스를 통계적 처리하여 3차원 얼굴 형상 모델과 얼굴 텍스쳐 모델로 이루어지는 3차원 변형 가능 얼굴 모델을 구축한다. 이후 입력 2D 얼굴 이미지에 정합이 잘 되도록 3차원 변형 가능 모델을 조정하여 3차원 얼굴 모델을 얻는다. 매우 정교하고 사실적인 3차원 얼굴 모델링 방법이나, 시간이 많이 걸리는 단점이 있다.

3차원 변형 가능 형상 모델 기반 3차원 얼굴 모델링 방법은 먼저 변형 가능 형상 모델을 구축한다. 이후, 입력 2D 이미지 시퀀스로부터 얼굴의 특징점들을 추출하고 매칭하여, 특징점들의 3차원 버텍스 좌표 값을 구한다. 구축된 3차원 변형 가능 형상 모델이 구한 3차원 버텍스들에 잘 정합되도록 3차원 변형 가능 형상 모델을 조정하여 3차원 형상 얼굴 모델을 얻는다. 또한, 2D 얼굴 이미지 시퀀스들로부터 텍스쳐를 구하고 이를 이용하여 3차원 형상 모델을 렌더링 함으로써, 최종적으로 3차원 얼굴 모델을 완성한다. 현재까지 제안된 3차원 변형 가능 형상 모델 기반 3차원 얼굴 모델링 방법 중 가장 나은 방법[선행 논문 조사 분석서 3 ]에서는 3차원 변형 가능 형상 모델을 194 개의 버텍스, 360 개의 삼각형으로 구성된 중립 얼굴(neutral face)과 사람마다의 얼굴 형상 변화를 고려하기 위한 65 개의 메트릭으로 구성된 변형 가능 형상 모델을 제안하였다. 이 형상 모델은 버텍스와 메쉬의 수가 적고, 또한 메트릭 생성 방법이 명확하지 않아 보다 사실적 3차원 얼굴 모델링에는 미흡하다. 또한 이 방법에서는 2D 이미지들에서 프레시(Plessey) 코너 검출기를 사용하여 코너점을 검출하고 상관관계를 이용하여 코너 점들에 대해 대응점들을 구하였다. 이 코너점들의 3차원 좌표 값을 구하는 데 있어, 카메라는 미리 보정(calibration)되어야 하고 2D 이미지 시퀀스의 각 얼굴에 대한 자세를 따로 구한 후에, 이들 정보를 역투영에 사용하여 2D 코너점에 대한 3차원 좌표 값을 구하였다. 그러나 프레시 코너 검출기는 조명에 취약하며 이 방법에 의한 3차원 좌표 값 결정은 카메라 보정을 필요로 한다.

본 발명에서는 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링 방법을 제안한다. 본 발명의 방법은 [선행 논문 조사 분석서 3]과 접근 방법에 있어 유사하나. 다음의 5가지 점에 있어서, [선행 논문 조사 분석서 3]의 방법과는 차이가 있다.

1) 보다 사실적인 3차원 얼굴 모델링을 위해 3차원형상 모델을 3차원 스캔 데이터베이스를 이용하여 구축한다.

2) 조명에 좀 더 강인한 AAM(Active Appearance Model) 을 이용하여 2D 얼굴 이미지들로부터 특징점을 보다 안정적으로 추출한다.

3) 카메라 보정이 필요 없는 인수분해(factorization) 기반 SfM (Structure from Motion) 방법을 이용하여 AAM 에 의해 획득한 특징점의 3차원 좌표 값들의 복원한다.

4) 원통좌표계 텍스쳐 맵 구성에 필요한 각 2D 얼굴 이미지들의 얼굴의 자세를 따로 구하지 않고 인수분해 기반 SfM 으로부터 얻어지는 것을 사용한다.

5) 3차원 변형 가능 형상 모델을 구축하는 데 필요한 3차원 조밀 대응점들을 신속하게 구하는. 알고리즘을 제안하고 이를 사용한다.

본 발명에서 제안한 3차원 얼굴 모델링 방법은 3차원 변형 가능 얼굴 모델링 방법[선행 논문 조사 분석서 2 ]에 비해 간편하고 신속하게 모델링이 가능하며, 3차원 일반 모델기반 3차원 얼굴 모델링 방법[선행 논문 조사 분석서 1 ] 및 기존 3차원 형상 모델 기반 3차원 얼굴 모델링 방법[선행 논문 조사 분석서 3 ] 에 비해서는 3차원 얼굴 모델링이 더 정교하다는 장점을 갖는다.

본 발명은 3차원 얼굴 모델링이 간편하고 신속하며 보다 실사적(photo realistic)이 되도록 하는 기술 및 알고리즘들을 제공하는 데 있다. 본 발명을 구성하는 기술은 다음과 같으며,

1) 3차원 얼굴 스캔 데이터들을 사용하여 보다 정교하게 구성하는 3차원 변 형 가능 형상 모델 구성 기술

2) 2D 얼굴 사진들로부터 안정적으로 3차원 좌표를 복원할 수있는 기술

3) 복원된 3차원 좌표들을 3차원 변형 가능 형상 모델에 정합하여 보다 정 교한 3차원 형상 모델을 구하는 기술

4) 2D 얼굴 사진들로부터 정교한 원통좌표계의 텍스쳐 맵을 생성하는 기술 5) 생성된 텍스쳐맵을 구해진 3차원 얼굴 형상 모델에 렌더링하는 기술 등이며, 본 발명에서는 이러한 기술을 개발하고 이를 통해 간편하고 신속하며 정교한 3차원 얼굴 모델링 방법을 제공한다.

본 발명에서 제공하는 3차원 변형 가능 형상 모델 기반 3차원 얼굴 모델링 방법의 구성 및 동작 흐름도는 [도 1]에 표시되어 있다. 본 발명에서 제공하는 3차원 얼굴 모델링 방법은 3차원 변형 가능 형상 모델 생성 과정 및 3차원 얼굴 모델링 과정의 2단계로 구성된다.

3차원 변형 가능 형상 모델 생성 과정의 절차는 1) 3차원 얼굴 스캔데이터 획득 2) 3차원 얼굴 조밀 대응점 구하기 3) PCA를 이용한 3차원 변형 가능 형상 모델 구성 등으로 구성되며, 3차원 얼굴 모델링 과정의 절차는 1) 2차원 얼굴 이미지 시퀀스 획득, 2) 2차원 얼굴 이미지들의 대응 특징점 추출, 3) 3차원 버텍스 좌표값 복원, 4) 변형 가능 형상 모델에 정합, 5) 텍스쳐 맵 생성, 6) 텍스쳐맵 렌더링 및 3차원 얼굴 모델 완성 등으로 구성된다. 상기 해결하고자 하는 과제들은 3차원 변형 가능 형상 모델 생성 절차 및 3차원 얼굴 모델링 과정 절차 등에서 해당하는 과제을 해결하는 알고리즘 및 기술을 제공하므로써 해결한다. 알고리즘 및 기술은 "발명의 실시를 위한 구체적인 내용" 절에서 자세히 설명된다.

본 발명에서는 3차원 변형 가능 형상 모델에 기반을 둔 3차원 얼굴 모델링 방법을 제공하였다.

제공된 방법은 먼저 3차원 변형 가능 형상 모델을 구성하고, 2차원 얼굴 이미지 시퀀스로부터, 해당 얼굴의 특징점들의 3차원 버텍스 좌표 값을 복원하고 이 3차원 버텍스들을 3차원 변형 가능 형상 모델에 정합하여 3차원 얼굴 형상 모델을 구한다. 이후, 2차원 얼굴 이미지 시퀀스들로부터 뷰 독립적인 2차원 원통 좌표 텍스쳐를 생성한 후에. 최종적으로 생성된 텍스쳐 맵을 이용하여, 구한 3차원 형상 모델을 렌더링함으로써 3차원 얼굴 모델을 완성한다.

본 발명의 방법은 3차원 변형 가능 얼굴 모델링 방법([선행 논문 조사 분석서 2 ])에 비해 간편하고 신속하게 모델링이 가능하며, 3차원 일반 모델기반 3차원 얼굴 모델링 방법([선행 논문 조사 분석서 1 ]) 및 기존 3차원 형상 모델 기반 3차원 얼굴 모델링 방법([선행 논문 조사 분석서 3 ]) 에 비해서는 좀 더 정교하다는 장점을 갖는다.

1) 도 1은 본 발명에서 제공하는 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링 방법 구성 및 동작 흐름도

2) 도 2는 본 발명의 3차원 변형 가능 형상 모델 생성에서 이용한 3차원 얼굴 스캔 데이터의 예

3) 도 3은 본 발명의 3차원 변형 가능 형상 모델 생성 과정에서 사용된 제어점 위치

4) 도 4는 본 발명의 3차원 변형 가능 형상 모델 생성 과정에서 이용된 크기와 방향이 다른 2개의 3차원 얼굴 스캔 데이터

5) 도 5는 본 발명의 3차원 변형 가능 형상 모델 생성 과정에서 프로쿠르스테스 분석후 얻어진 3차원 얼굴 스캔 데이터 비교

6) 도 6은 본 발명의 3차원 변형 가능 형상 모델 생성 과정에서 TPS 적용후 얻어진 3차원 얼굴 스캔

데이터 비교

7) 도 7은 본 발명의 3차원 변형 가능 형상 모델 생성 과정에서 얻어진 3차원 공통 대응점만의 3차원 얼굴 데 이터와 원래 3차원 얼굴 스캔 데이터와의 비교

8) 도 8은 AAM에서 사용한 얼굴 특징점들의 위치

9) 도 9는 복원된 3차원 좌표의 메쉬

10) 도 10은 복원된 3차원 메쉬를 2차원 이미지에 투영한 이미지

11) 도 11은 의 2차원 이미지에서의 위치

12) 도 12는 복원된 메쉬를 2차원 이미지에 투영한 이미지

13) 도 13은 원통좌표계에서의 텍스쳐 맵

14) 도 14는 3차원 얼굴 모델과 2차원 얼굴 이미지 비교

15) 도 15는 AAM에 의한 특징점 추출 결과 이미지

16) 도 16은 SfM 결과 비교

17) 도 17은 변형 가능한 형상 모델과의 정합 분석

18) 도 18 은 형상 모델 비교

19) 도 19 는 수행 속도 비교

본 발명에서 제공하는 3차원 변형 가능 형상 모델 기반 3차원 얼굴 모델링 방법의 구성 및 동작 흐름도는 [도 1]에 표시되어 있다. 본 발명에서 제공하는 3차원 얼굴 모델링 방법은 3차원 변형 가능 형상 모델 생성 과정 및 3차원 얼굴 모델링 과정의 2단계로 구성된다.

3차원 변형 가능 형상 모델 생성 과정의 절차는 1) 3차원 얼굴 스캔데이터 획득 2) 3차원 얼굴 조밀 대응점 구하기 3) PCA를 이용한 3차원 변형 가능 형상 모델 구성 등으로 구성되며,

3차원 얼굴 모델링 과정의 절차는 1) 2차원 얼굴 이미지 시퀀스 획득 2) 2차원 얼굴 이미지들의 대응 특징점 추출 3) 3차원 버텍스 좌표값 복원 4) 변형 가능 형상 모델에 정합 5) 텍스쳐 맵 생성 6) 텍스쳐맵 렌더링 및 3차원 얼굴 모델 완성 등으로 구성된다.

가. 3차원 변형 가능 형상 모델 생성 과정

(1) 3차원 얼굴 스캔데이터 획득

본 발명에서는 Cyberware사의 모델 3030 컬러 3차원 스캔헤드를 이용하여 20대에서 50대까지 남녀 40명의 인원의 머리를 3차원 스캔하였다. 스캔헤드의 스캔 데이터는 형상에 대해서는 512개의 균등하게 분할된 각도 와 균등하게 분할된 수직 길이 스텝 에서 샘플링된 점의 x, y, z 좌표 값과 각 점의 R, G, B 값을 채널당 8비트로 제공한다. 모든 얼굴은 화장 없이, 액세서리 없이, 그리고 얼굴의 털이 없이 스캔되었다. 스캔된 얼굴은 대략 70,000개 이상의 버텍스와 같은 수의 컬러 값으로 표현된다.

[도 2]3차원 스캔된 얼굴 데이터베이스의 일부이다. [도 2]의 3차원 얼굴은 스캔한 후에, 본 발명의 얼굴 모델링을 위해 전처리(귀 및 머리카락 부분 제거)된 영상이다.

(2) 3차원 얼굴 조밀 대응점 구하기 (3차원 face dense correspondence)

3차원 스캔으로 얻어진 40명의 얼굴 스캔 데이터들로부터 변형 가능 형상 모델을 구성하기 위해서는 3차원 얼굴 조밀 대응점 문제를 해결하여야 한다.

본 발명에서 제안한 조밀 대응점 구하기 알고리즘은 다음과 같이 이루어진다. 먼저, 3차원 스캔 데이터 얼굴 중에서 기준 얼굴을 선택하고, 샘플 얼굴(나머지 얼굴중 하나)을 프로쿠르스테스 분석과 3차원 TPS(Thin Plate Spline) 알고리즘을 이용하여 전체 형상 (자세, 크기, 중심점 위치) 과 국소 형상(국소적 부분의 형상) 이 기준 얼굴과 가급적으로 유사하도록 정렬 한 후에, 기준 얼굴의 버텍스들과 가장 가까운 해당 버텍스를 샘플 얼굴에서 찾는다. 만일 기준 얼굴 버텍스와 대응하는 샘플 얼굴 버텍스의 거리가 기준 값보다 크지 않으면, 샘플 얼굴의 버텍스를 기준 얼굴의 해당 버텍스에 대응하는 대응 버텍스로 결정한다.

초기부터 ICP(Iterative Closest Point) 를 이용하지 않은 이유는 ICP 알고리즘은 계산량이 많아 대상 포인트 세트가 커지면 시간이 많이 소요되며, 또한 처음에 2개의 포인트 세트(기준 얼굴 데이터와 샘플 얼굴 데이터)가 잘 정렬되어 있지 않으면 ICP 알고리즘 동작의 안전성이 보장되지 않기 때문이다. 따라서, 먼저 기준 얼굴 데이터와 샘플 얼굴 데이터들을 정렬할 필요가 있으며, 본 발명에서는 전체 형상 정렬에 프로크루스테스 분석을, 국소 형상 정렬에 3차원 TPS를 이용하였다. 제안 3차원 대응점 구하기 알고리즘을 좀 더 자세히 설명하면, 다음과 같다.

1) 제어점(control point) 및 기준 얼굴 선택

프로쿠르스테스 분석 과 TPS 알고리즘은 제어점을 이용하여 수행된다. 본 발명에서는 눈, 코, 입, 귀 등에서 23개의 점을 제어점으로 선택하였다. 또한 버텍스의 개수가 가장 적은 3차원 얼굴 데이터를 갖는 얼굴을 기준 얼굴로 선택 했다. [도 3도 4점은 프로쿠르스테스와 TPS 알고리즘에서 사용된 제어점들의 위치를 나타낸다.

2) 프로쿠르스테스 분석을 이용한 얼굴 전체 형상 정규화

프로쿠르스테스 분석을 이용하여 기준 얼굴 이외 나머지 얼굴들을 스케일링하고 이동하고, 회전하여 기준 얼굴과 같은 크기를 가지고 같은 방향을 바라보도록 기준 얼굴 외 나머지 39명의 얼굴들의 전체 형상이 비슷하도록 정규화 한다. 3차원 스캐너를 통해 스캔한 데이터는 각기 다른 방향과 다른 크기를 가지고 있을 수 있다. [도 4] 는 이러한 경우의 예를 보여 준다. [도 4]의 왼쪽 그림에서 보면 두 얼굴(색깔이 다르게 표시)의 코가 각기 다른 방향을 가리키고 있는 것을 알 수 있다. 또한, 위쪽에 놓인 얼굴 부분이 아래에 놓인 다른 얼굴을 가리는 것을 명확히 보여 주기 위해, [도 4]의 오른쪽 그림은 왼쪽의 그림에서 녹색 색깔 얼굴(흑백 출력물에서는 진한 농도의 얼굴)에 투명도를 주어 아래에 놓인 얼굴 부분이 비쳐보이게 한 그림이다.

[도 4]의 경우처럼, 기준 얼굴과 다른 크기와 방향을 갖는 3차원 얼굴 스캔 데이터가 같은 크기를 가지고 같은 방향을 바라보도록 프로크루스테스 분석을 수행한다. 이 수행 결과를 보여 주는 경우가 [도 5] 이다.

3) 3차원 TPS 를 이용한 얼굴 형상 국소 형상 정렬

프로크루스테스 알고리즘 수행 후 샘플 얼굴은 기준 얼굴과 형상의 전체 형태는 비슷하지만, 국소적 형태(예, 눈 부분, 입 부분, 코 부분 등)에서는 여전히 많은 차이가 있다([도 5] 참조). 물론 이렇게 전체적 형태를 맞추는 정렬 후에, 샘플 얼굴의 버텍스 중 기준 얼굴의 각 버텍스에서 가장 가까운 점이나, 각 버텍스의 법선 벡터와 교차하는 점들을 대응점으로 처리할 수 있다. 이렇게 하는 경우에, 국소적 형태가 맞지 않았기 때문에 대응점으로 판명한 점들은 에러가 크게 된다. 따라서 가급적 샘플 얼굴을 기준 얼굴과 맞추어야 한다.

본 발명에서는 제어점을 이용한 3차원 TPS 을 통해, 샘플 얼굴을 기준 얼굴과 가급적이면 국소적으로도 가깝게 되도록 맞추었다.

[도 6]은 3차원 TPS를 이용하여 샘플 얼굴이 기준 얼굴과 국소적으로도 정렬되도록 한 결과의 두 얼굴 (기준 얼굴과 샘플 얼굴) 형상의 비교를 보여 준다.

[도 5]와 비교하여 보면, 두 얼굴이 국소적으로도 비교적 잘 맞추어져 있음을 알 수 있다.

4) 가장 가까운 거리 기준 대응점 탐색

기준 얼굴의 각 버텍스에 대해, 기준 얼굴에 맞추어진 샘플 얼굴에서 가장 가까운 점을 찾는다. 만일 둘 사이의 거리가 기준 값보다 크면 해당 버텍스는 대응점이 아니라고 판단하고 버린다.

5) 원래 얼굴 데이터에서 대응점 확정

4)에서 얻은 가장 가까운 버텍스는 프로크루스테스 과정과 TPS를 이용하여 변형되어 있기 때문에 원래 샘플 데이터의 점은 아니다. 따라서 이들 버텍스와 대응되는 스캔 데이터에서의 버텍스를 최종 대응점의 버텍스로 확정한다.

실험을 통해 81,134개부터 598,121개의 버텍스들을 가진 40명의 3차원 스캔 데이터들로부터 대략 4만개의 공통 대응점(대응 버텍스)으로 구성된 40명의 3차원 스캔데이터를 구축할 수 있었다. [도 7]은 원래의 3차원 스캔 데이터를 세이딩 한 것과 대략 4만개의 대응점만을 가지고 세이딩 한 2개의 3차원 얼굴들을 비교하여 보여 준 것이다. 전체적인 얼굴 형상과 대략적인 국소 형상에 있어서, 원래의 3차원 스캔 데이터의 얼굴과 공통 대응점만의 데이터의 얼굴이 비슷함을 알 수 있다.

(3) PCA를 통한 3차원 변형 가능 형상 모델 구성

40명의 3차원 스캔 데이터에 대해, 대응점들을 구해서 정렬시킨 대략 4만개의 버텍스를 갖는 얼굴 형상 벡터 에 대해 먼저, 평균 형상 을 구한다.

이제, 으로 구성된 데이터 행렬 에 대해 공분산 의 주 성분 모드 를 구한다.

이제 임의의 3차원 얼굴 형상 벡터 에 대해, 다음과 같이 3차원 변형 가능 얼굴 형상 모델로 표현이 가능하다

나. 3차원 얼굴 모델링 과정

(1) 2차원 얼굴 이미지 시퀀스 획득

모델링하고자 하는 사람의 얼굴을 여러 각도에서 웹캠 또는 디지털 카메라로부터 찍어, 모델링하고자 하는 사람의 3차원 버텍스 좌표를 얻기 위한 2차원 이미지 시퀀스로 사용한다.

(2) 2차원 얼굴 이미지들의 대응 특징점 추출

이미지 특징점 매칭은 여러 장의 이미지 시퀀스에서 지정 특징점들에 대해 여러 장에 걸쳐 대응점들을 찾아내는 것을 말한다. 2차원 이미지들에서 대응점들을 구하는 방법에는 광류 또는 특징 벡터 기반 코너 매칭 등이 있다. 광류 방법이나 특징 벡터 기반 코너 매칭 방법은 기본적으로 이미지 시퀀스들이 조명의 변화가 별로 없는 경우에는 비교적 잘 동작이 되나, 보통의 이미지 시퀀스들이 조명 변화가 있으므로, 잘 동작하지 않는다. 본 발명에서는 점진적 AAM 알고리즘을 이용하여 이미지 시퀀스에서 특징점을 구하고 이들의 대응점들을 구한다. 2차원 얼굴의 AAM 에 사용한 특징점들은 63개이고, 위치는 [도 8]에 나타나 있다.

[도 8]의 특징점들 가운데 눈, 코, 입 등 부분의 특징점은 얼굴 자세와 관계없이 2차원 이미지 시퀀스에서 항상 같은 해부학적 점을 표시한다. 그러나 턱 부분의 일부 윤곽점들은 자세에 따라 2차원 이미지 시퀀스의 각 이미지에서 같은 해부학적 점이 아닐 가능성이 있다. 따라서 본 발명은 2차원 얼굴 이미지 시퀀스들에 대해 [도 8]에서 나타난 특징점들에 대해 2차원 AAM 모델을 구축하고, 사용되는 2차원 이미지 시퀀스 각각에서 [도 8]에 나타난 특징점들의 위치를 추출하고 SfM 에서도 이들 특징점들에 대한 3차원 버텍스의 좌표값을 구하였으나, 3차원 변형 가능 형상 모델과의 정합시에 턱의 15개의 버텍스는 거리에 따라 가중치를 매우 낮추거나 가중치를 0 으로 하여 사용하지 않는다.

(3) 3차원 버텍스 좌표값 복원

추출된 대응 특징점 위치 정보로부터 얼굴과 같은 비강체 물체에 적용되는 인수분해 기반 SfM(Structure from Motion) 알고리즘을 이용하여 특징점들의 3차원 버텍스의 좌표값들을 복원한다.

[도 9]의 그림은 2차원 AAM에서 구한 2차원 특징점들로부터 구한 특징점의 3차원 좌표 값을 가지고 메쉬를 만들고, 이 메쉬에 2차원 얼굴 이미지를 렌더링 하여 한 결과를 나타낸다. [도 9]와 [도 10]를 살펴보면, 본 발명에서 2차원 AAM 에 의해 특징점들을 추출하고, 직교 투영에 대한 인수분해 기반 SfM을 적용하여 얻은 3차원 데이터가 비교적 잘 복원되었음을 보여 준다.

(4) 변형 가능 형상 모델에 정합

2차원 AAM과 인수분해 기반 SfM을 이용하여 복원한 얼굴 특징점들의 3차원 버텍스들이 주어 졌을 때, 이를 3차원 변형 가능 형상 모델에 정합하는 과정은 다음과 같다.

먼저, 구한 3차원 특징점 버텍스들 가운데, 눈, 코, 입 등을 표현하는 특징점 버텍스 세트를 라 하고[도 11 참조], 그 밖의 다른 3차원 특징점 버텍스 세트는 으로 표기하기로 하자.

본 발명에서는 3차원 얼굴 모델 정합은 다음 (2)으로 주어지는 비용을 최소화하는 얼굴 자세 와 변형 가능 형상 모델의 계수를 구하는 최적화 문제로 해결하였다. (2)

여기서, 는 특징점 버텍스 와 얼굴 모델 와의 거리를 나타내는 것으로, 이는 얼굴 모델 에서 버텍스 와 가장 가까운 점을 찾고, 이 가까운 점과 사이의 거리로 정의된다.

는 얼굴 모델 에서, 특징점 버텍스 세트 에 대응하는 버텍스 를 말하며, 는 3차원 복원된 특징점 버텍스 와 얼굴 모델의 와의 유클리디언 거리로 정의된다.

또한, 는 얼굴 모델 에서 버텍스 에 가장 가까운 버텍스이다. 수식 (2)의 기본 아이디어는 눈, 코, 입 등을 표현하는 버텍스 ([도 11] 참조)는 보다 정확히 정합되어야 하므로, 가중치를 다른 버텍스들의 정합 가중치보다 높게 한 것이다.

이제, 구해진 3차원 특징점 버텍스가 정합할 얼굴 3차원 모델은 변형 가능 형상 모델에 대해 얼굴 자세(회전(), 이동(), 스케일링())가 적용된 얼굴 모델 이다. 즉, . (여기서, , 그리고 3차원 vector 에 대해, 는 를 의미하며, n 개의 3차원 vector 로 구성된, 3차원 vector 에 대해, 는 각 3차원 벡터 에 대해, 를 적용한 것 같은 의미이다.)

수식 (2)를 최소화 하는, 얼굴 자세 와 변형 가능 형상 모델의 계수 가 구해지면, 정합된 최종 얼굴 형상 모델은 로 표현된다.

이제, ,

,

라 할 때, 수식 (2)는 다음과 같이 수식 (3)으로 표현되며,

(3)

3차원 얼굴 모델 정합은 (3)를 최소화 얼굴 자세 와 변형 가능 형상 모델의 계수 를 구하는 것과 같다.

본 발명에서는 수식 (2)을 최소화하는 얼굴 자세 와 변형 가능 형상 모델의 계수 는 다음의 단계로 구한다.

단계 0)

처음, 로 취한다.

또한, 를 라 하고, 으로 취한다.

단계 1)

가 고정된 상태에서 가장 가까운 점세트를 구하고, 를 최소화 하는 를 구한다. (여기서, 와 는 와 의 성분 가운데, 버텍스 세트 의 성분들과 같은 위치에 있는 점들만을 취하여 만든 벡터이다).

이때의 를 로 표기하기로 한다.

단계 2)

단계 1)에서 구한 를 사용한 상에서, 특징점 버텍스 세트 에 가장 가까운 점 세트 을 구하고, 이를 라 한다. 즉,

단계 3)

를 최소화하는 를 구한다. 여기서 구한 를 라 하자.

단계 4)

가 충분히 작거나(정해진 문턱값보다 작거나) 각 반복에서 거리의 값이 더 이상 줄지 않는 경우에는 종료한다.

만일 그렇지 않으면, 를 하나 증가시키고 단계 1) 로 가서 반복한다.

참고로, 이며, 결국 및 는 고정된 에 대해 의 선형함수 이고, 비용함수 는 볼록함수(convex function) 이므로, 위 반복 알고리즘은 수렴한다. 즉, 해가 존재한다.

상기 정합 알고리즘에 의해, [도 8]의 2차원 얼굴 이미지들에 대해 SfM으로 구한 3차원 특징 버텍스들을 3차원 변형 가능 형상 모델에 정합하여 얻어진 3차원 얼굴 형상과 스캔 데이터 형상 모델과의 비교는 [도 17]에서 볼 수 있다.

(5) 텍스쳐 맵 생성

본 발명에서는 다음과 같이 2차원 이미지 프레임들을 합성(blending)하여 뷰 독립적 텍스쳐 맵을 생성 하였다. 뷰 독립적 텍스쳐 맵을 구한 이유는 획득한 2차원 얼굴 이미지의 조명 환경에 의존적이지 않고 정확한 색상의 3차원 얼굴 모델을 얻기 위해서 이다.

개의 2차원 얼굴 이미지 프레임에 대해 각 얼굴 이미지의 머리 자세, 카메라 각도를 구한 후에 각 이미지에 대해서 카메라 각도와 각 얼굴의 각 메쉬와의 각도를 구한다([도 12]). [도 12]는 시각 효과를 위해, 원래 복원된 메쉬를 800 개 정도로 줄여 투영한 것이다.

각 메쉬의 가중치는 카메라 시선 단위 벡터와 3차원 얼굴 매쉬의 단위 법선 벡터의 내적에 기반을 두어 각 이미지 프레임 에 대한 각 메쉬의 합성 가중치를 정한다. 메쉬가 보이지 않으면 가중치는 0 으로 하고 전체 가중치의 합은 1로 정규화 한다. 각 이미지 프레임 의 각 메쉬의 가중치를 원통 좌표 맵의 메쉬(원통 좌표로 펼친 메쉬)에 대한 가중치 맵 로 사용한다. 또한, 각 2차원 이미지 프레임 을 텍스쳐 맵으로 하여 원통 좌표로 매핑된 메쉬를 렌더링하여 원통 좌표계 텍스쳐 맵 를 생성한다. 와 를 원통좌표 텍스쳐 맵과 가중치 맵이라 하자. 또한 를 최종 합성된 원표 좌표계 텍스쳐 맵이라 하자. 각 픽셀 에 대해, 최종 합성되는 텍스쳐 맵의 색상은 다음과 같이 결정된다.

(4)

[도 13]은 최종적으로 구해진 합성된 원통 좌표계의 텍스쳐 맵 의 예를 보여준다.

(6) 텍스쳐맵 렌더링 및 3차원 얼굴 모델 완성

상기 절차 (4)에 의해 구해진 3차원 얼굴 형상 모델에 절차 (5)에서 구한 합성된 뷰 독립 원통좌표계의 텍스쳐 맵을 렌더링 하여 최종적으로 3차원 얼굴 모델을 구한다.

[도 14]는 [도 12]의 복원된 3차원 얼굴 형상 모델에, [도 13]의 합성된 원통좌표계의 텍스쳐 맵을 렌더링 하여 완성된 3차원 얼굴 모델과 해당하는 2차원 얼굴 이미지들을 비교하여 보여준다.

[도 14]에서 보면 본 발명에서 제안한 3차원 얼굴 모델링 방법에 의해 제작된 3차원 얼굴 모델이 비교적 2차원 얼굴 이미지와 유사하게 만들어졌음을 볼 수 있다. 복원된 3차원 얼굴에서 코 부분의 윤곽이 2차원 얼굴 이미지에 비해 뭉실하게 보이는 것은 복원된 3차원 얼굴은 뷰 독립적인 텍스쳐링을 하였기 때문에 2차원 이미지들의 텍스쳐들이 합성되면서 조명에 영향을 덜 받기 때문에 뷰에 따라 조명의 영향으로 또렷이 드러나는 코의 윤곽 등이 희미하게 되어 버렸기 때문이다. 마찬 가지로, 복원된 3차원 얼굴 모델은 뷰 독립적 텍스쳐를 사용했기 때문에 해당 2차원 얼굴 이미지와는 조명 효과에 따른 색상의 차이가 존재한다.

다. 발명의 효과에 관한 실험 및 결과 기술

본 발명의 효과를 명확히 기술하기 위해 실행한 실험 및 그 결과를 기술하고, 그 효과를 정리한다.

(1) 실험 환경

본 발명에서는 고정된 1개의 웹캠을 바라보고 사람이 천천히 얼굴을 좌우상하로 움직이며 촬영한 연속된 2차원 얼굴 이미지 시퀀스 366장를 사용하여 3차원 얼굴 모델링을 수행하였다. [도 8]과 [도 10] 등은 획득한 2차원 얼굴 이미지 시퀀스의 일부 프레임들을 보여 준다. 웹캠의 촬영 속도는 초당 10～12 장 이었다. 획득한 얼굴 이미지 시퀀스 중 80장 프레임에 대해 AAM을 이용하여 얼굴의 63개의 특징점들을 자동으로 추적하였다. 자동으로 추적된 특징점들로부터 비강체 물체에 적용되는 인수분해 기반 SfM을 이용하여 3차원 버텍스 좌표값을 복원하였다. 특징점들의 버텍스를 미리 구축한 3차원변형 가능 형상 모델에 정합하여 3차원 형상 모델을 얻은 후에, 이 형상 모델을 촬영된 2차원 얼굴 이미지 시퀀스 중 5장을 선택하여 투영하고 투영된 5개의 2차원 메쉬 정보로부터 뷰 독립 텍스쳐 맵을 구한 후, 이를 이용하여 형상 모델에 렌더링하여 3차원 얼굴 모델을 구하였다.

변형 가능 형상 모델은 남녀 40명을 이용하여 모델을 구성하였다. 구성한 3차원 변형 가능 모델은 본 발명이 제시한 3차원 조밀 대응으로 구한 공통 대응 버텍스 38,257개의 버텍스로 구성된다.

본 발명의 실험에서는 상기 실험 환경에서 [발명의 구성]에서 설명한 3차원 모델링 절차들을 구현하고 구현의 각 단계에 대해 구현의 정확성 및 수행 속도 등을 분석하였다.

(2) 실험결과

1) 2 차원 AAM에 의한 특징점 추출 성능 분석

2차원 AAM 은 먼저 수동으로 얼굴 특징 벡터 위치들을 추출하고 이를 이용하여 AAM 모델 (형상 모델 및 텍스쳐 모델)을 구성한다. 이후, 입력 2차원 이미지를 AAM 모델에 정합하여 얼굴 특징 벡터 위치를 자동으로 추출한다. 추출된 위치의 정확도는 AAM 모델을 얼마나 잘 구축하였는가에 의존한다. 또한, 턱부분 등의 외곽 부분은 특히 배경이 복잡한 경우에는 정확히 추출이 어려운 경우가 적지 않다. 따라서 본 발명에서는 점진적 AAM 기법을 사용하여 턱 윤곽 부분의 특징점 추출도 안정적으로 이루어지도록 하였다. [도 15]는 본 발명에 이용한 점진적 AAM 기법에 의한 특징점 추출 결과들을 보여 주며, 이는 본 발명에서 제안한 방법에 의해 특징점이 안정적으로 추출된 다는 것을 확인하여 준다.

2) SfM에 의한 3차원 버텍스 좌표값 복원 분석

2차원 AAM 에 의해 추출된 얼굴 특징점 위치 정보를 가지고 비강체 물체에 적용되는 인수분해 기반 SfM 을 통하여 해당 특징점 3차원 버텍스의 좌표를 구하였다. SfM 결과로 얻어진 3차원 버텍스 좌표값의 정확성 분석을 위해, 3차원 스캔 얼굴 데이터 및 SfM 버텍스 좌표값들이 한 변의 길이가 2 (-1 ～ +1) 이 되는 정육면체 내에 중앙을 중심으로 위치하도록 정렬한 한 후에 동일 특징점 사이의 차이(에러)의 평균을 구하였다. [도 16]의 결과는 [도 8]의 얼굴에 대해 63개 특징점[도 8]과 17개 특징점[도 11]들 각각에 스캔 데이터 3차원 좌표와 SfM 으로 복원된 3차원 좌표값의 차이를 구하고 이들을 평균한 값이다. [도 16]에서 프레임 수는 SfM에서 복원할 때 사용한 프레임수를 말한다. 프레임 수가 증가될 수로 잘 복원이 되며, 얼굴 턱선의 특징점들보다는 얼굴 내부 특징점들이 잘 복원되어 얼굴 내부의 특징점들만의 에러가 턱선의 특징점들을 포함한 전체 얼굴 특징점들의 평균 에러가 더 작음을 알 수 있으며, 어느 정도 잘 복원되었음을 보여 준다.본 발명의 실험에서는 80장의 이미지 프레임과 63개의 특징점을 사용하였다.

3) 변형 가능 형상 모델과의 정합 분석

복원된 특징점들의 3차원 버텍스를 미리 구성한 3차원 변형 가능 형상 모델 에 정합한 결과, 얼마나 잘 정합되었는 가를 보여 주는 실험 결과가 [도 17]에 나타나 있다.

[도 17]의 데이터는 전체 버텍스 38,257개 각각에 대해, 3차원 스캔 데이터와 처음 평균 형상 모델, 정합된 결과로 나오는 최종 3차원 형상 모델간의 거리(에러)를 구하고 평균한 값이다. [도 18]은 평균 형상 모델(a), 최초 정합 형상 모델(b), 최종 정합 형상 모델(c), 3차원 스캔 데이터에서 얻어진 형상 모델(d), 850개의 버텍스만의 변형 가능 형상 모델을 정합한 형상 모델(e)들을 비교하여 보여준다.

[도 17]에서 보면 처음 평균 형상 모델에 대해서부터 정합을 시작하여 14번의 반복 수행으로 얻어진 최종 정합 모델에서의 에러는 많이 줄었으며, [도 18]에서 보면 최종 형상 모델(c)이 3차원 스캔 데이터 형상 모델(d)에 매우 유사함을 알 수 있다.

기존 3차원 일반 모델 기반 3차원 얼굴 모델링 방법이나 기존 3차원 형상 모델 기반 3차원 얼굴 모델링 방법에서는 사용하는 버텍스 수가 적기 때문에, 얼굴 굴곡 표현의 정확성이 떨어진다. [도 18](e)는 버텍스 개수가 850개 인 경우에 최종적으로 정합하여 얻어진 형상 모델을 보여 주며, 버텍스 개수가 적을 경우에 정합에서 얻어지는 3차원 형상 모델이 표현 성능이 떨어짐을 알 수 있다.

4) 수행 시간 분석

기존 3차원 일반 모델 기반 3차원 얼굴 모델링 방법([선행 논문 조사 분석서 1 ])이나 기존 3차원 형상 모델 기반 3차원 얼굴 모델링 방법([선행 논문 조사 분석서 3 ]) 등의 연구에서는 수행 시간에 대한 실험 결과가 보고되어 있지 않다. 다만, 변형 가능 모델 기반 3차원 모델링 방법에는 정합시에 펜티엄4 2GHz 프로세서에서 4.5분 정도 걸렸다고 보고되어 있다([선행 논문 조사 분석서 2]). 본 발명의 실험 환경에서 펜티엄 4 코어 2 듀오 2GHz 를 사용하였으나, CPU 하나만을 이용하는 프로그래밍을 하였기 때문에 [선행 논문 조사 분석서 2]의 컴퓨팅 환경과 동일하다고 간주된다. [도 19]는 본 발명에서 제안한 방법과 기존 변형 가능 모델 기반 3차원 모델링 방법[선행 논문 조사 분석서 2 ]와 수행 속도를 비교한 실험 결과이다. 본 발명의 방법이 빠르며, 단순히 정합 시간만을 비교할 때는 수행 속도 차이가 큼을 볼 수 있었다. 기존 3차원 일반 모델 기반 3차원 얼굴 모델링 방법([선행 논문 조사 분석서 1 ])이나 기존 3차원 형상 모델 기반 3차원 얼굴 모델링 방법은 본 발명보다 적은 버텍스를 사용하기 때문에 수행속도는 더 빠를 것으로 사료된다.

Claims (4)

1. [도 1도 2시된 3차원 변형 가능 형상 모델 생성 및 3차원 얼굴 모델링 구성 및 동작 흐름도
2. 제 1항에 있어서, 3차원 변형 가능 형상 모델 생성 방법
3. 제 1항에 있어서, 3차원 얼굴 모델링 절차 및 알고리즘
4. 3차원 변형 가능 형상 모델 생성에 있어서 3차원 얼굴 조밀 대응점 구하기 절차 및 알고리즘