KR20020015229A - 캐리커쳐의 표정변형을 위한 방법 및 장치 - Google Patents

Abstract

본 발명은 입력부와 제어부와 저장부와 디스플레이부를 가진 통상의 컴퓨터를 이용하여 캐리커쳐의 표정변화를 위한 방법 및 장치로서, 액터얼굴에 다수개의 마커를 부착하고, 표정을 변화케하여 액터의 표준 캐리커쳐에 대한 다양한 표정에 대한 상기 다수개의 마커의 벡터값을 데이터베이스화하여 상기 저장부에 저장하는 단계와; 제 1 표정을 갖는 대상캐리커쳐를 제어점을 가진 베지에곡선 타입의 프로그램으로 상기 디스플레이부에 불러들이는 단계와; 상기 대상캐리커쳐의 각 위치의 제어점을 상기 저장부에 저장된 각 마커와 연결시키는 단계와; 액터의 표정 중 하나를 제 2 표정으로 선택하는 단계와; 상기 마커와 대상캐리커쳐의 제어점이 연결되고, 제 2 표정이 선택된 상태에서 상기 저장부에 저장된 각 마커의 벡터값에 따라 상기 대상캐리커쳐의 표정을 변화하게 하는 단계를 포함하는 캐리커쳐의 표정변화방법 및 그 장치를 제공한다.

Description

캐리커쳐의 표정변형을 위한 방법 및 장치{Retargetting method and apparatus for facial expression of caricature}

본 발명은 캐리커쳐의 구성 장치 및 방법에 관한 것으로, 보다 상세하게는한 사람에 대하여 다양한 얼굴표정의 캐리커쳐를 생성할 수 있는 장치 및 방법에 관한 것이다.

캐리커쳐(Caricature)는 사람의 특징적인 요소나 신체의 일부분을 풍자적이거나 우스꽝스럽게 과장시켜 표현한 그림을 말하고, 좀 더 자세히 설명하면, 사진이나 실제 인물의 모습을 기초로 눈썹과 눈, 코, 입, 헤어스타일 등의 특징을 추출한 후, 추출된 특징을 단순화하고 부각시켜 기존의 인물과 가장 흡사하거나 유사한 새로운 2D이미지로 제작하는 것을 말한다.

종래의 캐리커쳐를 만드는 방법은 화가나 만화가 등이 직접 그리는 방법이 전통적으로 많이 사용되고, 최근에는 어도브사(Adobe)의 일러스트레이터(Illustrator)를 이용하여 캐리커쳐를 제작하는 방법이 산업계에서 이루어지고 있다.

이 방법은 디자이너들이 직접 사용자의 사진으로부터 특징을 추출하여 작성하는 방법으로, 먼저 투명종이를 사용자의 사진 위에 올려놓고 얼굴의 외곽선은 물론이고 눈, 코, 입, 귀 등의 특징을 직접 그린 다음 일러스트레이터를 사용하여 특징을 부각시킬 수 있는 부분을 추가적인 수작업으로 제작하고 있고, 이러한 작업은 전문 디자이너들만이 가능하다.

일러스트레이터는 벡터방식을 이용한 그래픽스 툴로써 이미지는 모두 베지에(Bezier)곡선으로 구성되어져 있고, 각 부분에는 ??(knot)이라는 제어점(Control point)가 있어 사용자는 이 제어점을 사용하여 이미지를 변형하게 된다.

한편, 이렇게 제작된 하나의 캐리커쳐에 대하여 다양한 표정을 가진 애니매이션(Animation)으로 만들기 위해서는 각각에 대한 별도의 그림을 그리거나, 또는 본인의 얼굴에 마커(Marker)를 부착하여 여러 가지 표정을 짓게 하고 그 마커의 움직임을 표착함으로써 여러 가지 표정의 캐리커쳐를 완성하게 된다.이때 사용되는 프로그램은 벡터값을 이용하는 모션어낼러시스(Motion Analysis)의 페이셜 트랙커(Facial Tracker)이다.

그런데 다양한 사용자들이 이러한 마커를 이용한 모션캡쳐시스템(Motion Capture System)을 이용할 수는 없는 실정이므로 다양한 표정의 캐리커쳐를 전문디자이너의 수작업으로 대부분 제작하고 있는 실정이다.

본 발명은 상기와 같은 종래의 기술을 기반으로 하여 하나의 완성된 캐리커쳐를 대상으로 손쉽게 여러 가지 표정의 캐리커쳐를 만드는 방법 및 그 장치를 제공하는 것을 그 목적으로 한다.

본 발명은 또한 완성된 표정의 캐리커쳐에 대한 수정보완이 손쉬운 캐리커쳐 제작방법 및 장치를 제공하는 것을 그 목적으로 한다.

기타 본 발명의 목적은 여러 가지가 있으나, 이는 이하 설명하는 상세한 설명과 도면을 통해 이해될 수 있을 것이다.

도 1은 본 발명에 따른 캐리커쳐의 표정변형을 위한 장치의 구성 블록도이다.

도 2a는 본 발명에 따라 마커를 액터의 얼굴에 부착한 예이고, 도 2b는 이를 캐리커쳐에 적용한 예를 도시한 도면이다.

도 3은 본 발명에 따른 캐리커쳐의 표정변형을 위한 방법을 설명하는 플로우챠트이다.

* 도면의 주요 부분에 대한 부호의 설명 *

10; 입력부 20: 제어부

30: 저장부

상기 목적을 달성하기 위하여, 먼저 한 명의 액터(Actor/Actress)의 얼굴에 다수 개의 마커를 부착하고, 액터가 표정을 변화시킬 때마다 이 표정변화에 대한 마커의 움직임을 적외선카메라와 같은 광학수단을 이용하여 표준 캐리커쳐에 대한 표준 페이셜 모션 캡쳐(Facial motion capture)를 행한다.

이때 마커의 위치는 주로 많이 사용되는 얼굴근육의 각 부위에 부착하고, 각 표정변화에 따른 각 마커들의 변화 값인 벡터값을 데이터베이스화한다.

베지에 곡선에 따른 제어점을 지정할 수 있는 프로그램에 표시된 제 1 표정을 갖는 대상 캐리커쳐에 각 마커들의 대응점을 서로 링크시키고, 상기 각 마커들의 데이터베이스화된 자료를 이용하여 제 2 표정을 선택하여 실행하면, 각 마커들의 상기 벡터값에 따른 변형이 발생하여 제 2 표정을 가진 캐리커쳐가 형성된다.

한편, 본 발명에서는 데이터베이스에 저장된 벡터값이 도출된 표준 캐리커쳐의 크기와 대상 커리커쳐와의 사이에 스케일이 다를 경우에 스케일을 조절할 수 있도록 한다.

본 발명에서는 또한 일부 마커의 표정변화를 위한 벡터값을 데이터베이스에 의존하지 않고 수동으로 조정할 수 있도록 한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다.

본 발명을 설명하기에 앞서, 본 발명이 이용하는 전제기술은 다음과 같다.

첫째, 베지에 곡선을 이용하여 벡터방식의 캐리커쳐 파일을 작성하는 기술

둘째, 디스플레이부에서 디스플레이되는 캐리커쳐의 크기를 조절할 수 있는기술

셋째, 디스플레이부에서 디스플레이되는 캐리커쳐의 방향을 회전시킬 수 있는 기술 등이고, 이러한 기술은 위에 설명한 아도브사의 일루스트레이트프로그램에서 이미 제시되고 있다.

넷째, 액터의 얼굴에 마커를 부착하고, 적외선카메라로 움직임을 포착하는 기술 등이다.

도 1은 본 발명에 따른 캐리커쳐의 표정변화를 위한 장치의 구성블록도로서, 도시한 바와 같이, 장치는 입력부(10)와, 디스플레이부(15)와, 제어부(20)와, 저장부(30)를 포함하고 있고, 상기 입력부(10)는 키보드 또는 마우스와 같은 통상의 컴퓨터에 사용되는 입력장치로서, 이 입력장치는 랩탑컴퓨터, 데스크탑컴퓨터, 기타 휴대 가능한 팜컴퓨터(palm PC), PDA 등에 모두 적용되는 개념이다.

저장부(30)는 사용자가 작성하거나 다운, 복사 등의 방법으로 저장 가능한 다양한 캐리커쳐 파일(33)을 통상의 방법으로 저장하고 있고, 특히 본 발명에서는 액터가 표준캐리커처를 대상으로 하여 얼굴의 각 부위마다에 마커를 부착하고, 다양한 다른 표정, 예컨데 웃는 표정, 찡그린 표정, 화난 표정, 애교스런 표정 등을 구사함으로써 액터의 움직임에 대한 각 마커가 움직이는 방향 및 크기 즉, 벡터값을 구하여 데이터베이스화 한 자료들(32)과, 표준캐리커쳐의 각 마커의 위치정보(31)를 저장하고 있다.

여기서 상기 데이터베이스를 구축하는 방법에 대하여 도 2a, 도 2b를 참조하여 설명하면, 도 2a는 액터의 얼굴에 마커를 부착한 예를 도시하고 있고, 이를 이액터의 캐러커쳐에 대응시켜 나타낸 것이 도 2b이다.

이 도면들에 나타난 각 마커의 위치는 아래 표 1에 나타난 바와 같다

번호	위치	번호	위치
1	왼쪽 미드 눈썹	15	왼쪽 알라윙
2	왼쪽 측 눈썹	16	오른쪽 알라윙
3	왼쪽 상 눈꺼풀	17	오른쪽 뺨
4	왼쪽 중간(medial) 눈썹	18	왼쪽 나소 입술 폴드
5	글라벨라(Glabella)	19	오른쪽 나소 입술 폴드
6	오른쪽 미드 눈썹	20	왼쪽 상부 립
7	오른쪽 중간 눈썹	21	오른쪽 상부 립
8	오른쪽 상부 눈꺼풀	22	왼쪽 입 코너
9	오른쪽 측 눈썹	23	오른쪽 입 코너
10	왼쪽 하부 눈꺼풀	24	왼쪽 하부 립
11	오른쪽 하부 눈꺼풀	25	오른쪽 하부 립
12	왼쪽 말라(Mala)	26	왼쪽 심술보
13	오른쪽 말라(Mala)	27	오른쪽 심술보
14	왼쪽 뺨	28	턱

상기 마커는 리플렉션 마커(Reflection marker)라고도 불리우며, 테이프 등으로 액터의 실제 얼굴에 부착하게 된다.

액터가 여러 가지 표정을 짓는 동안 적외선카메라에 의해 마커의 움직임을 캡쳐하고 이러한 방식은 광학식 모션캡쳐시스템이라고 불리고 있다.

특정 표정을 짓고 있는 액터의 마커를 캡쳐한 상태에서는 표준 캐리커쳐에 비해 각 마커의 벡터값이 구해지고, 이들 각 마커의 벡터값을 데이터베이스(32)에 저장한다.

한편, 본 발명의 제어부(20)는 미도시된 램에 저장된 프로그램에 의해 그 작동방식이 정해지는 바, 본 발명이 적용되기 위해서는 먼저 벡터방식의 베지에 곡선으로 캐리커쳐를 작성하는 프로그램이 필요하다. 이들 프로그램의 예로는 전술한 일러스트레이터가 있다.

본 발명에서는 일러스트레이터와 같은 프로그램의 SDK(Software developer'skit; 소프트웨어 개발 도구)를 이용하여 플러그인으로 구축하고 있는 바, 플러그인에 의해 작동되는 본 발명의 제어부(20)는 다음과 같다.

먼저 입력부(10)의 조작을 통해 얼굴 애니메이션을 제작하고자 하는 캐리커쳐파일(일러스트레이터인 경우 *.ai)을 상기 저장부로부터 상기 일러스트레이터 프로그램에 의해 읽어오고, 이는 본 발명이 실행되기 위한 전제기술이다.

사용자는 캐리커쳐(이하 대상캐리커쳐라 한다.)의 애니메이션을 생성하기 위해서 눈, 코, 입 등의 각 부분을 마우스 등으로 클릭한 다음 제어점(Knot, control point)을 해당 마커와 링크시키기 위하여 선택한다. 선택함에 있어, 본 발명에 따른 플러그인 프로그램에 의해 상기 해당마커의 위치정보(31)들이 위에 설명한 표 1의 방식으로 또는 바람직하기로는 각 마커의 위치가 표준캐리커쳐에 표시된 상태가 디스플레이부(15) 화면의 창의 형태로 도시되도록 한다.

사용자는 해당 제어점을 선택한 후, 마커의 번호를 지정하고, 링크버튼을 누르게 된다. 이에 따라 제어부(20)는 상기 대상커리커쳐에 선택된 제어점과 상기 저장부의 데이터베이스에 저장된 표준캐리커쳐의 마커점을 대응시키게된다.

이때 상기 저장부에 표준캐리커쳐가 다수개가 존재하는 경우에는 사용자는 상기 다수개의 표준캐리커쳐 중 하나를 선택하도록 하고, 이는 표준캐리커쳐를 디스플레이부의 화면에 나타나게 하여 선택하는 방식을 채택하면 된다.

사용자가 모든 마커에 대하여 대상캐리커쳐의 제어점을 선택하고 링크한 후, 데이터베이스화된 다수의 표정중 하나를 선택할 수 있고, 표정을 선택한 후, 변환 즉, 프로그레스(Progress)버튼을 누르면, 상기 저장부(30)의 데이터베이스(32)에선택된 표정에 대한 각 마커의 벡터값에 따라 대상캐리커쳐의 표정이 변하여 새로운 얼굴표정 데이터가 생성된다.

한편, 본 발명에서 아무리 다양한 표준캐리커쳐의 벡터값을 가지고 있다고 하더라도, 대상캐리커쳐의 형태나 크기 등이 너무나 다르기 때문에 사용자들이 만족할 수 없게 된다.

그러므로 사용자가 원하는 표정을 직접 편집해서 제작할 수 있는 사용자 편집기능을 제공하는 것이 바람직한 바, 이 경우에는 다시 수정하고자 하는 제어점을 선택하여 수동으로 해당마커의 변동 벡터값을 입력하고, 프로그레스 버튼을 누르는 작업을 진행하여 계속적으로 사용자가 자신이 마음에 드는 표정의 캐리커쳐를 제작할 수 있게 된다.

한편, 대상캐리커쳐가 얼굴이 옆을 향하거나, 머리가 수직방향이 아니고 기울어져 있는 경우에는 표준 캐리커쳐의 각 마커들의 움직임과 맞지 않게 되는 점을 보완하기 위하여, 대상캐리커쳐를 회전시킨 후 상기 설명한 과정을 거쳐서 표준캐리커쳐와 동일한 정면방향의 각 표정들을 완성 한 후에 다시 원상태로 회전시키면 된다.

또한 대상캐리커쳐와 표준캐리커쳐의 크기가 다른 경우에도 대상캐리커쳐의 사이즈를 먼저 조정하도록 하는 것이 바람직하다. 사이즈 조절은 표준 대상 캐리커쳐의 모션 캡쳐 데이터(trc file)의 각 데이터와 일루스트레이터에 나타난 대상 캐리커쳐의 이미지의 크기가 다름으로 인하여 발생되는 것이다. 이는 스케일 박스에 의해 조정되는 데 생성된 스케일 박스의 크기를 조절하여 대상캐리커쳐의 얼굴 크기에 맞추어 그 값을 얻는다. 이 값의 폭(w), 높이(h)와 마커데이터내의 얼굴의 크기를 비교하여 마커 데이터가 일루스트레이터상에서 위치가 변할 수 있는 보상값을 설정하게 되고, 이 보상값이 더하거나 빠져서 마커가 움직이게 된다. 스케일 박스의 w값은 위 표 1에 나타난 2번과 9번(좌우 눈썹의 양끝 마커)이 연결된 라인과 비교되고, h값은 1번과 6번( 두 눈썹의 가장 위쪽 마커) 중 y축으로 큰 값과 28번(가장 아래쪽 마커)을 연결하는 라인의 길이와 비교된다.

이렇게 스케일보상 값을 가진 대상 캐리커쳐의 화면을 변화시키는 과정을 이론적으로 다시 설명하면, 일루스트레이터의 라인은 세그먼트와 그 세그먼트가 연결된 패스로 이루어 지고, 일루스트레이터의 화면을 변화시키기 위해서는 이 세그먼트의 위치값을 변화 시켜주어야 한다. 하나의 세그먼트의 위치가 변할 때 패스(Path)에 영향을 주기 때문에 인접한 세그먼트의 위치도 변경되어야 한다. 이것을 해결하기 위해 정해진 마커와 선택된 패스 위에 있는 여러 세그먼트와의 거리 값을 이용한다. 즉, 마커와의 세그먼트의 일대일 링크가 아니라 패스 상에 각 세그먼트와 마커 사이의 거리값을 구해서 그 거리값에 의해 각 세그먼트의 위치값을 변경하는 것이다. 이 거리를 웨이트(weight)라고 하며, 마커와 세그먼트의 거리가 가까운 것은 1, 먼것은 0으로 설정하고, 각 세그먼트에 정해진 웨이트(weight)와 스케일 박스에 의해 생성된 스케일 값이 계산된다. 데이터베이스로부터 가져오는 각 마커의 이동값을 델타(delta)라고 하며 이 델타(delta)값과 스케일 값, 웨이트(weight)의 값을 계산하여 그 결과 값에 따라 패스 상의 각 세그먼트의 이동 값이 결정된다.

이하, 본 발명의 실시예에 따른 제어부의 작업과정을 도 3의 플로우챠트를 통해 다시 설명한다.

먼저 대상캐리커쳐파일을 읽어들인다.(S1), 이때 필요한 경우 표준캐리커쳐를 선택하도록 한다.(S2), 또한 표준캐리커쳐와 대상캐리커쳐의 사이즈가 다른 경우에 사이즈조절을 하도록 하고(S3), 대상캐리커쳐와 표준캐리커쳐의 얼굴방향이 맞지 않는 경우에는 대상캐리커쳐를 회전시킨다.(S4)(S5) 이 후, 데이터베이스의 표준캐리커쳐의 마커와 대상캐리커쳐의 해당 제어점을 링크시킨다(S6).

이후, 원하는 표정을 선택하고(S7), 실행시킨다.(S8) 이때 변화된 표정이 사용자의 마음에 들지 않으면(S9), 특정마커를 다시 선택하고 변화 벡터값을 수동으로 지정한 후(S10), 다시 실행하도록 한다.

한편, 이렇게 제작된 대상캐리커쳐의 다수의 얼굴표정은 애니메이션에 다른 프레임으로 활용될 수 있으며, 활용성을 높이기 위해 다양한 파일의 형태로 저장되도록 하는 것이 바람직하다.

상기에서 본 발명에 따른 바람직한 실시 예를 설명하였으나, 이는 예시이며 다양한 변화와 변형이 가능할 것이나, 이러한 변화와 변형은 본 발명의 권리범위에 속하게 됨은 첨부된 청구범위를 통해 알 수 있을 것이다.

이상에서 살펴본 바와 같이, 본 발명에 따른 장치 및 방법에 의하면, 특히 애니메이션에 적용될 수 있는 다양한 표정의 캐리커쳐를 전문디자이너의 손을 빌리지 않고, 손쉽게 제작할 수 있는 이점이 있어, 애니메이션 산업에 획기적인 전기를마련할 수 있게 되는 이점이 있다.

또한 사용자가 편의를 위해 각 벡터값을 수정할 수 있도록 하여 사용자의 만족도를 높일 수 있는 이점이 있다.

Claims (4)

1. 입력부와 제어부와 저장부와 디스플레이부를 가진 통상의 컴퓨터를 이용하여 캐리커쳐의 표정변화를 위한 방법으로서,

   액터얼굴에 다수개의 마커를 부착하고, 표정을 변화케하여 액터의 표준 캐리커쳐에 대한 다양한 표정에 대한 상기 다수개의 마커의 벡터값을 데이터베이스화하여 상기 저장부에 저장하는 단계와;

   제 1 표정을 갖는 대상캐리커쳐를 제어점을 가진 베지에곡선타입의 프로그램으로 상기 디스플레이부에 불러들이는 단계와;

   상기 대상캐리커쳐의 각 위치의 제어점을 상기 저장부에 저장된 각 마커와 연결시키는 단계와;

   액터의 표정 중 하나를 제 2 표정으로 선택하는 단계와;

   상기 마커와 대상캐리커쳐의 제어점이 연결되고, 제 2 표정이 선택된 상태에서 상기 저장부에 저장된 각 마커의 벡터값에 따라 상기 대상캐리커쳐의 표정을 변화하게 하는 단계

   를 포함하는 캐리커쳐의 표정변화방법
2. 청구항 1에 있어서,

   상기 대상캐리커쳐의 크기를 조절하는 단계를 더욱 포함하는 방법
3. 청구항 1에 있어서,

   상기 대상캐리커쳐에 선택된 마커 중 일부에 대하여 수동으로 움직이는 벡터값을 선정하는 단계를 더욱 포함하는 방법
4. 입력부와;

   a) 대상 캐리커쳐파일과, b) 액터가 얼굴에 다수개의 마커를 부착하고, 표정을 변화케하여 액터의 표준 캐리커쳐에 대한 다양한 표정에 대한 상기 다수개의 마커의 벡터값 정보의 데이터베이스와, c) 상기 액터의 각 마커의 위치정보를 저장하고 있는 저장부와;

   벡터와 베지에 곡선을 이용한 캐리커쳐 제작 프로그램과;

   디스플레이부와;

   상기 입력부의 입력에 의해 상기 프로그램에 의해 대상캐리커쳐파일을 상기 디스플레이부에 불러오고, 저장부의 상기 마커의 위치정보에 따라 상기 입력부의 조작으로 상기 대상캐리커쳐파일의 위치와 상기 표준캐리커쳐의 마커의 위치를 링크시켜 상기 데이터베이스에 저장된 각 마커의 벡터값에 따라 상기 대상캐리커쳐의 표정을 변화케하는 제어부

   를 포함하는 캐리커쳐의 표정변화를 위한 장치