KR100317137B1 - 얼굴 표정 애니메이션 방법 - Google Patents

Abstract

본 발명은 물리적 특성 기반의 스프링-매스-댐퍼 모델과 파라미터 기반의 근육 모델을 이용한 얼굴 표정 애니메이션 방법에 관한 것으로써, 더욱 자연스럽고 실재감있는 얼굴 표정 애니메이션 방법을 제공하는 데 그 목적이 있다.

이러한 본 발명은, 다수의 에지와 노드로 이루어진 다각형 얼굴 매쉬 모델을 생성하는 제1단계와, 상기 얼굴 메쉬 모델에 스프링-매스-댐퍼 모델을 적용하여 상기 각각의 에지를 스프링으로 가정하고, 에지를 통해 이웃한 노드로 전이되는 힘의 다이나믹 방정식을 구하는 제2단계, 및 애니메이션하고자 하는 얼굴 표정에 따라 상기 얼굴 메쉬 모델의 임의의 한 부분에 힘을 가하는 제3단계를 포함하여, 상기 임의의 한 부분에 힘이 가해지면 상기 다이나믹 방정식에 따라 이웃한 노드에게로 상기 힘이 전이되면서 자동으로 얼굴 표정이 애니메이션된다.

Description

얼굴 표정 애니메이션 방법 { Animation method using spring mass damper model based on physical properties and muscle model }

본 발명은 얼굴 표정 애니메이션 방법에 관한 것으로서, 특히 물리적 특성 기반의 스프링-매스-댐퍼 모델과 근육 모델을 이용한 얼굴 표정 애니메이션 방법에 관한 것이다.

얼굴 표정 애니메이션 기술이란, 컴퓨터 상에 모델링 툴을 이용하여 얼굴 메쉬 모델을 생성한 후, 이 메쉬 모델에 여러 가지 기법을 적용하여 실재감있는 표정을 생성하는 것을 의미한다. 즉, 이 얼굴 표정 애니메이션 기술은 시간에 따른 얼굴 근육상태의 모션, 동작, 변화 등을 표현하는 것이다.

따라서, 애니메이션의 궁극적인 목표는 움직임이나 변형과 같이 물체의 역동적인 행위를 생성하는 것을 의미한다. 즉, 실세계에서 시간에 따라 변하는 움직임을 원하는 대로 재현하는 것을 의미하는 데, 위치나 방향이 변하는 모션과 모양 자체를 바꾸는 변형(deformation)으로 나눌 수 있다. 자연스럽고, 실재감있는 얼굴 애니메이션을 구현하기란 그리 쉬운 일은 아니지만, 많은 그룹에서 다양한 방법으로 연구를 진행해 왔다. 지금까지 발표된 얼굴 애니메이션 기법을 살펴보면 다음과 같다.

먼저, 보간 기반 모델(interpolation based model)이 있다. 이 보간 기반 모델은 가장 오래된 애니메이션 기법으로서, 몇 개의 특징적인 표정을 표현하는 얼굴을 가지고 중간단계를 근사하여 원하는 애니메이션을 생성하는 기법이다. 한 표정에서 또 다른 표정으로의 변화를 표현하기 위해서는 특징적인 표정을 나타내는 데이터를 미리 수집하고, 이 수집한 데이터를 시간에 대한 함수로 근사해서 나타낸다. 이 보간 기반 모델은 매우 간단하고 효과적인 방법이지만, 표현할 수 있는 표정의 범위가 제한되어 있고, 표정에 대해 명확한 데이터가 준비되어야 하는 단점이 있다. 종류에는 기하학적인 구조를 근사시키는 모양 보간법(shape interpolation)과, 시간에 따라 영상을 근사시키는 키프레임 보간법(key-frame interpolation) 등이 있다.

다음, 파라미터 기반 모델(parameterization based model)은, 얼굴을 몇 개의 부분으로 나눈 후 제어 파라미터를 만들고, 이 파라미터를 이용하여 표정을 생성하는 기법이다. 이 파라미터 기반 모델에서는 얼굴 메쉬의 각 꼭지점(vertex)의 평상시 위치와 최대로 움직였을 때의 위치를 파라미터로 지정한다. 즉, 얼굴 메쉬의 임의의 꼭지점이 어떤 방향으로 얼마나 움직일 것인가를 미리 수작업으로 룰을 생성하고, 사용자가 원하는 대로 표정을 만든다. 이 방법은 인터랙티브하다는 장점을 가지지만, 손으로 얼굴의 움직임을 일일이 생성해야 한다는 단점을 갖는다. 이 파라미터 기반 모델의 종류에는 근육 기반(muscle based) 방법과, 해부학 기반(anatomic based) 방법 등이 있다.

다음, 모션 캡쳐 기반 모델(motion capture based model)은, 행위 기반 모델(performance based model)이라고도 하며, 사람의 표정이나 행동을 측정하고 분석하여 얻은 파라미터를 얼굴 모델의 파라미터로 매핑시켜서 애니메이션을 하는 방법이다. 모션을 측정하는 방법에 따라 메커니컬 시스템(mechanical system), 자기 시스템(magnetic system), 옵틱 시스템(optical system)으로 나누어지고, 데이터의 특성에 따라 쓰이는 시스템이 달라진다. 이 모션 캡쳐 기반 방법은 고가의 장비가 필요한 관계로 특수한 시각효과나 상업적 캐릭터 애니메이션을 하는 산업계에서 쓰이고 있으나, 앞으로 응용 범위가 매우 넓은 방법이다.

다음, 물리적 성질에 기반한 모델(physically based model)은, 얼굴의 피부나 근육의 움직임의 성질을 이용하여 얼굴의 모양이나 다이내믹한 움직임을 물리적으로 모델링하는 기법을 말한다. 이러한 물리적 성질에 기반한 모델은, 매우 자연스럽고, 실재감있는 얼굴의 변형(deformation)을 생성할 수 있고, 다른 방법에 비해서 얼굴의 움직임을 힘에 기반한 다이내믹 방정식(dynamic equation)에 의해 자동적으로 생성할 수 있는 장점이 있다. 그러나, 이 다이내믹 방정식의 특성상 부분별로 세밀한 제어를 하기 어려우며, 기본 파라미터를 설정하여 수치적으로 시뮬레이션하기 때문에 많은 계산량을 필요로 하는 문제점을 가진다. 물론, 이러한 문제점은 컴퓨터의 성능이 향상됨에 따라 충분히 극복할 수 있다.

이러한 물리적 성질에 기반한 모델은 실재감(realism), 일반성(genericity), 간결성(simplicity) 등과 같은 특징이 있다. 실재감이란, 거의 모든 물체가 물리법칙에 따라 움직인다는 것을 가정할 때, 이 물리적 성질에 기반한 모델이 가장 현실감있는 애니메이션 기법이다. 일반성이란, 잘 정의된 물리법칙은 그 클래스에 포함되는 모든 물체의 움직임을 표현할 수 있다. 즉, 물체마다 일일이 그 움직임을 정의할 필요가 없다. 간결성이란, 잘 정의된 물리법칙은 그 물체의 행위, 반응, 상호작용 등을 내재적으로 표현할 수 있기 때문에 이들을 표현하기 위한 파라미터를 정의할 필요가 없다. 즉, 물체의 실재감을 위한 미세한 움직임을 표현하기 위해 또 다른 파라미터가 필요하지 않고 정의된 물리법칙으로 표현할 수 있다.

이러한 여러 종류의 얼굴 표정 애니메이션 방법은, 한 가지 방법만을 이용하면 보다 세밀하고 자연스러우며 실재감있는 얼굴 표정을 애니메이션할 수 없으며, 여러 가지 애니메이션 방법을 통합하여야 한다.

본 발명은 상기한 필요성을 충족시키기 위하여 안출된 것으로서, 물리적 성질에 기반한 스프링 매스 댐퍼 모델을 이용하여 얼굴 표정 애니메이션을 자동화하고, 파라미터 기반 모델인 근육 모델을 이용하여 부분별 세밀한 제어를 함으로써, 더욱 자연스럽고 실재감있는 얼굴 표정 애니메이션 방법을 제공하는 데 그 목적이 있다.

도 1a는 본 발명에 따른 스프링-매스-댐퍼 모델을 도시한 도면,

도 1b는 도 1a의 스프링-매스-댐퍼 모델을 얼굴 메쉬에 적용하기 위하여 변형된 스프링-매스-댐퍼 모델을 도시한 도면,

도 2는 본 발명에 따른 3차원의 삼각형 얼굴 메쉬 모델을 도시한 도면,

도 3은 본 발명에 따라 얼굴 메쉬 모델에 스프링-매스-댐퍼 모델을 적용한 얼굴 표정 애니메이션 결과를 도시한 도면,

도 4는 본 발명에 따라 얼굴 메쉬 모델에 와이어 프레임 모델을 적용한 상태를 도시한 도면,

도 5는 본 발명에 따라 얼굴 메쉬 모델에 스프링-매스-댐퍼 모델과 근육 모델을 적용한 얼굴 표정 애니메이션 결과를 도시한 도면이다.

이러한 목적을 달성하기 위한 본 발명에 따른 얼굴 표정 애니메이션 방법은, 다수의 에지와 노드로 이루어진 다각형 얼굴 매쉬 모델을 생성하는 제1단계와,

상기 얼굴 메쉬 모델에 스프링-매스-댐퍼 모델을 적용하여 상기 각각의 에지를 스프링으로 가정하고, 에지를 통해 이웃한 노드로 전이되는 힘의 다이나믹 방정식을 구하는 제2단계, 및

애니메이션하고자 하는 얼굴 표정에 따라 상기 얼굴 메쉬 모델의 임의의 한 부분에 힘을 가하는 제3단계를 포함하여,

상기 임의의 한 부분에 힘이 가해지면 상기 다이나믹 방정식에 따라 이웃한 노드에게로 상기 힘이 전이되면서 자동으로 얼굴 표정이 애니메이션되는 것을 특징으로 특징으로 한다.

또한, 본 발명은, 컴퓨터에, 다수의 에지와 노드로 이루어진 다각형 얼굴 매쉬 모델을 생성하는 제1단계와, 상기 얼굴 메쉬 모델에 스프링-매스-댐퍼 모델을 적용하여 상기 각각의 에지를 스프링으로 가정하고, 에지를 통해 이웃한 노드로 전이되는 힘의 다이나믹 방정식을 구하는 제2단계, 애니메이션하고자 하는 얼굴 표정에 따라 상기 얼굴 메쉬 모델의 임의의 한 부분에 힘을 가하는 제3단계, 및 상기 스프링-매스-댐퍼 모델이 적용된 얼굴 메쉬 모델에 근육 모델을 적용하여, 얼굴 메쉬 모델의 임의의 한 부분에 힘이 가해질 때 힘이 전이되는 영역을 한정하는 제4단계를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하면 다음과 같다.

본 발명을 설명하기에 앞서, 본 발명의 주요 개념인 스프링-매스-댐퍼 모델과 근육 모델에 대해 설명하면 다음과 같다.

스프링-매스-댐퍼 모델의 이상적인 형태는 도 1a에 도시된 바와 같이 스프링 상수(K)를 가지는 이상적인 스프링(11)과, 댐퍼 상수(C)를 가지는 댐퍼(12), 그리고 질량(M)을 가지는 물체(13)로 이루어진다. 물체(13)에 가해지는 힘 f(t)에 의해 물체(13)의 변위 x(t)가 결정된다. 이 모델의 다이내믹 방정식은 수학식 1과 같이 2차 전미분 방정식의 형태를 가진다.

이러한 이상적인 스프링-매스-댐퍼 모델을 변형시켜 3차원 얼굴 메쉬에 적용하는 방법은 후술하기로 한다.

얼굴에 있는 근육들은 대부분 뼈와 피부 사이 또는 피부와 피부 사이에 개재되어 있다. 이런 얼굴 근육(안면근)들은 20여종의 작은 피근(cutaneous muscl)으로 이루어져 있다. 안면근은 얼굴 피부와 피부 밑의 섬유 조직을 이동시켜서 얼굴의 특유한 표정을 생성하는 것을 담당한다. 이런 안면근들을 애니메이션에 사용하기 위해 근육들을 콘 형태로 모델링한다.

근육에 최소한의 자극이 주어지면 근육은 수축하게 되는데, 근육 수축과 완화 기간이 있기 전에 잠재기(latent period)라는 기간이 존재한다. 이 잠재기는 근육에 자극이 주어져서 수축 현상이 일어나기 전까지의 시간이다. 일반적으로, 근육이 완화하는데 드는 시간은 수축하는데 필요한 시간보다 더 길다.

각 근육 모델에 주어질 힘의 크기를 시간에 따라 조절함으로써 근육들에 의한 얼굴 메쉬의 변형된 형태를 얻을 수 있다. 이러한 근육 모델에서, 근육 조직의 움직임이 감소하기 시작하는 부분과 감소가 끝나는 부분이 근육 벡터의 길이에 대한 상대적인 위치로 정해진다.

상기와 같은 스프링-매스-댐퍼 모델과 근육 모델을 이용한 얼굴 표정 애니메이션 방법을 살펴본다.

이상적인 스프링-매스-댐퍼 모델의 변형된 형태가 도 1b에 도시되어 있다. 이 변형된 스프링-매스-댐퍼 모델을 도 2의 3차원 얼굴 메쉬에 적용한다. 즉, 도 2의 3차원 얼굴 메쉬에서 다각형을 이루는 하나의 에지(edge)를 변형된 스프링-매스-댐퍼 모델로 표현한다. 이때, 다각형의 노드는 변형된 스프링-매스-댐퍼 모델을 이루는 스프링(14)의 각 노드(n1, n2)로 표현한다.

도 1b의 변형된 스프링-매스-댐퍼 모델을 해석해 보면 다음과 같다. 제1노드(n1)에 가해지는 힘을 시간에 대한 함수 f_1x(t)로 표현하고, 제1노드(n1)에서의 변위는 d_1x라고 한다. 이와 마찬가지로 제2노드(n2)에서의 힘은 f_2x(t)라 하고, 제2노드(n2)에서의 변위는 d_2x라고 한다.

스프링(14)의 초기 길이는 L, 단면적은 A, 매스 밀도(mass density)는 ρ라고 가정한다. 또한, 편의상 자유도(degree of freedom)는 x축 방향의 이동만을 가정한다. 먼저, 변형(strain) ε_x과 응력(stress) σ_x는 각각 수학식 2와 같이 표현된다.

여기에서, E는 탄성계수(modulus of elasticity)를 나타낸다. 제1노드(n1)와 제2노드(n2)에서의 스프링 장력에 의한 내부 힘(internal force)은 수학식 3과 같이 구해진다.

제1노드(n1) 및 제2노드(n2)에서 외부 힘(external force)에서 내부 힘(internal force)을 뺀 유효 힘(effective force)은 뉴턴 법칙의 영향을 받으므로 이것을 식으로 나타내면 수학식 4와 같이 표현할 수 있으며, 매트릭스 형태로 표현하면 수학식 5와 같다.

여기서, [k], [m]은 각각 다음과 같다.

상기한 수학식 5를 레이랭스(Rayleigh) 댐핑 모델을 사용하여 다시 정리하면 수학식 6과 같다.

이와 같이 3차원 얼굴 매쉬 모델에 스프링-매스-댐퍼 모델을 적용하여 에지가 스프링과 스프링 운동의 속도를 제어하는 대쉬포트로 이루어져 있다고 가정한다. 이때, 노드에 방향과 크기로 주어지는 벡터량의 힘이 가해지면, 해당 노드가움직이고 스프링으로 연결된 에지를 통해 이웃한 노드들에게도 그 힘의 일부가 전이되어 다른 이웃한 노드들도 같이 움직이게 된다. 이는 실재 얼굴 근육의 움직임과 매우 유사한데, 얼굴 근육의 한 부분에 힘을 주면 이웃하는 근육들에게도 그 힘이 전이되어 같이 움직이게 된다.

이 스프링-매스-댐퍼 모델을 이용한 얼굴 표정 애니메이션 결과가 도 3에 도시되어 있다. 도 3의 (a)는 힘을 가하지 않은 상태의 표정을 나타내고, (b)는 힘을 가한 후 10프레임이 지난 후의 표정, (c)는 힘을 가한 후 25프레임이 지난 후의 표정을 각각 나타낸다. 여기서, 화살표는 힘(f(t))을 가한 위치와 방향, 그리고 세기를 나타낸다.

그러나, 그림에서 보이는 바와 같이 스프링-매스-댐퍼 모델을 얼굴 메쉬 모델에 적용하면, 얼굴의 근육이 시간에 따라 자동으로 움직이기는 하나, 얼굴 전체가 움직이기 때문에 부분별로 세밀한 제어가 불가능하다. 그 이유는, 얼굴 전체가 하나의 메쉬로 되어 있고 모든 노드와 에지가 스프링으로 연결되어 있기 때문에 가해지는 힘이 각 파라미터의 값(L, A, E, ρ, R_m, R_k)에 따라 모든 노드와 에지에 전이되기 때문이다.

이를 해결하기 위하여 근육 모델을 이용하는데, 한 부분에 가해지는 힘이 모든 노드와 에지에 전이되지 않고 근육에 해당하는 부분에만 전이되도록 한다.

얼굴 근육은 약 80개로 이루어져 있으나, 이 중에서 특징적인 18개의 근육을 근육 모델에 적용한다.

먼저, 근육의 양 끝점(시작점, 끝점)을 정의하고 그 그육의 수축 특성에 따라 영향을 받는 영역을 정의한다. 이의 일 예로서 도 4는 눈 윗부분의 근육과 볼 부분의 근육을 와이어 프레임 모델상의 노드에 표현한 도면이다.

근육 모델을 적용하면, 얼굴 메쉬 모델의 임의의 한 부분에 힘이 가해지면 힘이 전이되는 영역의 근육에만 힘이 전이되도록 하기 때문에 세밀한 얼굴 표정 애니메이션이 가능해진다.

도 5는 스프링-매스-댐퍼 모델과 근육 모델을 통합한 통합 모델 하에서의 얼굴 표정 애니메이션 결과를 도시한 도면으로서, (a)는 힘을 가하지 않은 상태를 도시한 도면, (b)는 힘을 가한 후 10 프레임이 지난 후의 표정, (c)는 힘을 가한 후 25 프레임이 지난 후의 표정을 도시한 도면이다. 이때, 도 3과 동일한 크기, 방향, 세기를 가지는 힘을 동일한 위치에 가하면서 근육 모델을 이용하여 힘이 다른 노드로 전이되지 않도록 차폐시키면, 도 5의 (a), (b), (c)에 도시된 바와 같이 부분별로 세밀한 제어가 가능해진다.

이상과 같이 본 발명은 3차원 삼각형 메쉬 모델을 이용한 얼굴 표정의 애니메이션을 수행함에 있어 물리적 특성 기반의 스프링-매스-댐퍼 모델을 적용하여 움직임 제어를 자동화하고, 부분별 제어의 어려움을 근육 모델을 이용하여 제거함으로써, 효율적이고 실재감있는 얼굴 표정 애니메이션이 가능하다는 효과가 있다.

Claims (3)

1. 다수의 에지와 노드로 이루어진 다각형 얼굴 매쉬 모델을 생성하는 제1단계와,

   상기 얼굴 메쉬 모델에 스프링-매스-댐퍼 모델을 적용하여 상기 각각의 에지를 스프링으로 가정하고, 에지를 통해 이웃한 노드로 전이되는 힘의 다이나믹 방정식을 구하는 제2단계, 및

   애니메이션하고자 하는 얼굴 표정에 따라 상기 얼굴 메쉬 모델의 임의의 한 부분에 힘을 가하는 제3단계를 포함하여,

   상기 임의의 한 부분에 힘이 가해지면 상기 다이나믹 방정식에 따라 이웃한 노드에게로 상기 힘이 전이되면서 자동으로 얼굴 표정이 애니메이션되는 것을 특징으로 하는 얼굴 표정 애니메이션 방법.
2. 제1항에 있어서, 상기 스프링-매스-댐퍼 모델이 적용된 얼굴 메쉬 모델에 근육 모델을 적용하여, 얼굴 메쉬 모델의 임의의 한 부분에 힘이 가해질 때 힘이 전이되는 영역을 한정하는 제4단계를 더 포함하여,

   상기 임의의 한 부분에 힘이 가해지면, 한정된 영역 내의 노드에게로만 상기 힘이 전이되면서 자동으로 얼굴 표정이 애니메이션되는 것을 특징으로 하는 얼굴 표정 애니메이션 방법.
3. 컴퓨터에,

   다수의 에지와 노드로 이루어진 다각형 얼굴 매쉬 모델을 생성하는 제1단계와,

   상기 얼굴 메쉬 모델에 스프링-매스-댐퍼 모델을 적용하여 상기 각각의 에지를 스프링으로 가정하고, 에지를 통해 이웃한 노드로 전이되는 힘의 다이나믹 방정식을 구하는 제2단계,

   애니메이션하고자 하는 얼굴 표정에 따라 상기 얼굴 메쉬 모델의 임의의 한 부분에 힘을 가하는 제3단계, 및

   상기 스프링-매스-댐퍼 모델이 적용된 얼굴 메쉬 모델에 근육 모델을 적용하여, 얼굴 메쉬 모델의 임의의 한 부분에 힘이 가해질 때 힘이 전이되는 영역을 한정하는 제4단계를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.