KR100411760B1 - 애니메이션 영상 합성 장치 및 방법 - Google Patents

애니메이션 영상 합성 장치 및 방법

Info

Publication number
KR100411760B1
KR100411760B1 KR10-2000-0024289A KR20000024289A KR100411760B1 KR 100411760 B1 KR100411760 B1 KR 100411760B1 KR 20000024289 A KR20000024289 A KR 20000024289A KR 100411760 B1 KR100411760 B1 KR 100411760B1
Authority
KR
South Korea
Prior art keywords
image
face
information
synthesizing
specific person
Prior art date
Application number
KR10-2000-0024289A
Other languages
English (en)
Other versions
KR20010102718A (ko
Inventor
전병환
박기업
박성구
최순진
서준원
Original Assignee
주식회사 모리아테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모리아테크놀로지 filed Critical 주식회사 모리아테크놀로지
Priority to KR10-2000-0024289A priority Critical patent/KR100411760B1/ko
Priority to JP2001109346A priority patent/JP2002008057A/ja
Publication of KR20010102718A publication Critical patent/KR20010102718A/ko
Application granted granted Critical
Publication of KR100411760B1 publication Critical patent/KR100411760B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 애니메이션 동화상에서 연출되는 특정 인물의 얼굴 포즈 및 표정에 맞게 대체 인물의 얼굴을 효율적으로 합성함으로써, 영상 합성 처리 시간을 단축시킴과 동시에 합성된 애니메이션 영상의 화질을 향상시킬 수 있는 개선된 애니메이션 영상 합성 장치 및 방법을 제공하는 것으로, 애니메이션 영상 프레임으로부터 원하는 얼굴 영상을 추출하고, 그 얼굴 영상에 대한 영역 정보, 포즈 정보 및 표정 정보를 계산하는 애니메이션 얼굴 추출 모듈(30)과, 사진으로부터 대체 인물의 얼굴 영상을 취득하여, 애니메이션 얼굴 추출 모듈(30)로부터의 포즈 정보 및 표정 정보에 기초하여 대체 인물의 얼굴 영상을 합성하는 대체 얼굴 합성 모듈(40)과, 애니메이션 주인공의 얼굴 영상을 합성된 얼굴 영상으로 대체하는 영상 합성 모듈(50)로 구성된다.

Description

애니메이션 영상 합성 장치 및 방법{APPARATUS AND METHOD FOR AN ANIMATION IMAGE SYNTHESIS}
본 발명은 애니메이션 영상 합성 기술에 관한 것으로, 특히, 애니메이션 등의 동화상 프레임 내의 특정 인물의 얼굴 표정 및 포즈에 맞게 원하는 인물의 얼굴을 효율적으로 합성할 수 있는 개선된 애니메이션 영상 합성 장치 및 방법에 관한 것이다.
종래, 증명 사진에서 얼굴 영역을 추출하는 데에는, 예를 들면, 색채 분포 정보를 이용하는 기법과 얼굴 윤곽선을 이용하는 기법이 있다. 색채 분포 정보를 이용한 종래의 얼굴 영역 추출 방법에서는, 수많은 얼굴 표본을 사용하여 얼굴 색채 히스토그램을 작성하고, 이 얼굴 색채 히스토그램을 이용하여 사진의 화소값을 계산함으로써 얼굴 영역을 타원형으로서 추출한다. 또한, 얼굴 모양에 대한 많은 자료를 통해, 눈과 입의 위치 관계를 수식화하고, 이를 이용하여 두 눈과 입을 구한다. 그러나, 이러한 종래의 방법은, 얼굴 영역 추출시 고정된 타원형 마스크를 사용하므로 얼굴 크기가 다양할 경우에는 얼굴 영역을 정확히 추출하기가 곤란하고, 또한, 얼굴이 좌우로 기울거나 복잡한 배경을 갖는 경우에는, 얼굴 영역을 정확히 추출하기가 곤란하다는 단점을 갖는다.
한편, 윤곽선을 이용하는 기법에서는, 초기 영상의 각 영역에 대하여 역U자 형상인가, 내부에 작은 영역을 포함하는가, 너무 작지 않은가를 검사하여 가장 적당한 영역을 머리로 선택하며, 그 영역의 크기를 이용하여 얼굴의 윤곽선을 타원형으로 근사화함으로써 얼굴 영역을 추출한다. 그러나, 이러한 윤곽선 얼굴 영역 추출 기법은 단순히 머리 영역으로 얼굴 영역을 추출하므로 실제로 눈과 입의 위치를 정확히 추출하기가 곤란하다는 단점을 갖는다. 따라서, 종래의 색채 분포 정보를 이용하거나 윤곽선 정보를 이용한 얼굴 영역 추출 기법은 정확한 얼굴 영역과 눈과 입의 세심한 변화 등의 다양한 표정을 찾아 내기가 곤란하므로, 얼굴의 표정 및 포즈가 비교적 과장되고 단순한 색채를 이용하는 애니메이션과 같은 동영상에 적용할 경우, 자연스러운 영상 합성을 얻기가 어렵다.
또한, 종래의 기법을 사용하여 얼굴의 윤곽과 눈 및 입 등의 구성 요소를 검출가능하다 하여도, 애니메이션 동화상에서 특정 얼굴을 프레임마다 추출하여 원하는 얼굴로 대체하는 데에는, 많은 처리 시간을 필요로 하며, 또한 원하는 얼굴의 특징 부분을 적절히 재구성하여 애니메이션 영상 프레임 내의 특정 얼굴과 대체하기란 한계가 있다.
따라서, 본 발명의 목적은, 애니메이션 동화상에서 연출되는 특정 인물의 얼굴 포즈 및 표정에 맞게 대체 인물의 얼굴을 효율적으로 합성함으로써, 영상 합성 처리 시간을 단축시킴과 동시에 합성된 애니메이션 영상의 화질을 향상시킬 수 있는 개선된 애니메이션 영상 합성 장치 및 방법을 제공하는 데에 있다.
본 발명의 다른 목적은, 애니메이션 영상 합성 장치에 사용하기 위한 프로그램 내장형 저장 매체를 제공하는 데에 있다.
도 1은 본 발명의 바람직한 제 1 실시예에 따른 애니메이션 영상 합성 장치를 개략적으로 도시한 블럭도.
도 2는 본 발명에 따른 애니메이션 얼굴 추출 모듈에서의 동작을 설명하기 위한 흐름도.
도 3은 주인공 얼굴 영상에 대한 인접 박스를 추출하는 방법을 설명하는 모식도.
도 4는 본 발명의 바람직한 제 1 실시예에 따라 눈의 표정 정보를 추출하는 방법을 설명하기 위한 모식도.
도 5는 본 발명의 바람직한 제 1 실시예에 따라 입의 표정 정보를 추출하는 방법을 설명하기 위한 모식도.
도 6은 본 발명의 바람직한 제 1 실시예에 따라 얼굴의 포즈 정보를 추출하는 방법을 설명하기 위한 모식도.
도 7은 본 발명의 바람직한 제 1 실시예에 따라 얼굴의 포즈 정보를 추출하는 방법을 설명하기 위한 흐름도.
도 8은 본 발명의 바람직한 제 1 실시예에 따른 대체 얼굴 추출 모듈에서의동작을 설명하기 위한 흐름도.
도 9는 표정 데이터에 기초하여 대체 인물의 얼굴을 합성하는 방법을 설명하기 위한 모식도.
도 10은 표정 데이터에 기초하여 대체 인물의 얼굴을 합성하는 방법을 설명하기 위한 흐름도.
도 11 본 발명의 바람직한 실시예에 따른 화소 보간 기법을 설명하기 위한 모식도.
도 12는 본 발명의 바람직한 제 2 실시예에 따른 애니메이션 영상 합성 장치를 개략적으로 도시한 블럭도.
도 13은 복수의 참조 영상을 예시적으로 도시한 모식도.
도 14는 좌우 회전에 의해 왜곡된 합성 영상을 예시적으로 도시한 모식도.
도 15는 얼굴 포즈가 정면 참조 영상으로부터 우측으로 치우친 경우를 예시적으로 도시한 모식도.
도 16은 본 발명에 따른 일련의 얼굴 합성을 표정 및 포즈 순서로 행하는 과정을 설명하는 모식도.
〈도면의 주요 부분에 대한 부호의 설명〉
10 : 애니메이션 영상 프레임
20 : 대체 인물 영상 프레임
30 : 애니메이션 얼굴 추출 모듈
40 : 대체 얼굴 합성 모듈
50 : 영상 합성 모듈
60 : 후처리 모듈
70 : 디스플레이
상기 목적으로 달성하기 위해, 본 발명의 일 실시예에 따르면, 영상 프레임 내의 목표 영상과 사전 설정된 영상 프레임 내 대응하는 영상을 합성하는 영상 합성 방법으로서, (a) 상기 목표 영상으로부터 상기 목표 영상에 대한 제 1 영상 정보 및 제 2 영상 정보를 추출하는 단계와, (b) 상기 제 1 영상 정보와 상기 사전 설정된 영상 프레임 내 대응하는 영상을 합성하는 단계와, (c) 상기 제 2 영상 정보에 기초하여 상기 합성된 영상을 상기 영상 프레임 내의 목표 영상과 합성하는 단계를 포함하며, 상기 목표 영상을 포함하는 영상 프레임은 애니메이션 영상이고, 상기 목표 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴이며, 상기 사전 설정된 영상 프레임 내 대응하는 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴을 대체하기 위한 대체 얼굴이며, 상기 제 1 영상 정보는 상기 특정 인물의 얼굴에 대한 표정 데이터 및 포즈 데이터이며, 상기 제 2 영상 정보는 상기 특정 인물의 얼굴에 대한 얼굴 영역 정보인 영상 합성 방법이 제공된다.
본 발명의 다른 실시예에 따르면, 영상 프레임 내의 목표 영상과 사전 설정된 영상 프레임 내 대응하는 영상을 합성하는 영상 합성 방법으로서, (a) 상기 목표 영상으로부터 상기 목표 영상에 대한 제 1 영상 정보 및 제 2 영상 정보를 추출하는 단계와, (b) 상기 사전 설정된 영상 프레임 내 대응하는 영상으로부터 복수의 참조 영상을 취득하여 저장하는 단계와, (c) 상기 제 1 영상 정보에 기초하여 상기 복수의 참조 영상으로부터 하나의 참조 영상을 선택하고 상기 제 1 영상 정보와 상기 선택된 참조 영상을 합성하는 단계와, (d) 상기 제 2 영상 정보에 기초하여 상기 합성된 영상을 상기 영상 프레임 내의 목표 영상과 합성하는 단계를 포함하며, 상기 목표 영상을 포함하는 영상 프레임은 애니메이션 영상이고, 상기 목표 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴이며, 상기 사전 설정된 영상 프레임 내 대응하는 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴을 대체하기 위한 대체 얼굴이며, 상기 제 1 영상 정보는 상기 특정 인물의 얼굴에 대한 표정 데이터 및 포즈 데이터와 상기 특정 인물의 얼굴의 회전 정도를 나타내는 회전 데이터이며, 상기 제 2 영상 정보는 상기 특정 인물의 얼굴데 대한 얼굴 영역 정보인 영상 합성 방법이 제공된다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 바람직한 제 1 실시예에 따른 애니메이션 영상 합성 장치를 개략적으로 도시한 블럭도이다. 본 발명의 애니메이션 영상 합성 장치(100)는 애니메이션 얼굴 추출 모듈(30), 대체 얼굴 합성 모듈(40), 영상 합성 모듈(50) 및 후처리 모듈(60)로 구성된다.
애니메이션 얼굴 추출 모듈(30)은, 예를 들면, 하드디스크 등의 저장 매체에 기록된 애니메이션 영상 프레임(10)을 입력으로 하여, 그 영상 프레임 내에서 예를 들면, 주인공의 얼굴을 추출하여 마스킹함과 동시에, 주인공의 얼굴이 마스킹된 애니메이션 영상을 저장 매체(도시하지 않음)에 기록하고, 애니메이션 영상 프레임(10) 정보와 함께 그 주인공 얼굴에 관련된 얼굴 영역 정보 및 얼굴 변화 정보를 출력한다. 얼굴 영역 정보는 눈 및 입 등의 주요 구성 요소를 포함하는 얼굴의 전체 영역을 나타내며, 얼굴 변화 정보는 주인공 얼굴의 회전 정도나 표정을 나타낸다. 이들 얼굴 영역 정보 및 얼굴 변화 정보는 프레임 단위로 구해진다.
본 발명의 바람직한 제 1 실시예에 따른 대체 얼굴 합성 모듈(40)은, 카메라 등으로 촬상한 사진과 같은 정지 영상인 대체 인물 영상 프레임(20)을 입력으로 하여, 애니메이션 얼굴 추출 모듈(30)로부터 제공받은 얼굴 변화 정보에 기초하여, 대체 얼굴을 합성하여 합성된 참조 얼굴 영상을 출력한다.
영상 합성 모듈(50)은 애니메이션 얼굴 추출 모듈(30)로부터 제공받은 애니메이션 영상 프레임(10) 정보와 그의 주인공 얼굴 영역 정보에 기초하여, 대체 얼굴 합성 모듈(40)로부터 수신한 합성된 참조 얼굴 영상을 애니메이션 영상의 마스킹된 얼굴 영역에 합성하여 출력한다. 다음에, 후처리 모듈(60)은 영상 합성 모듈(50)에 의해 합성된 애니메이션 영상 프레임에서의 에러 부분을 처리하여 최종으로 합성된 애니메이션 영상 프레임을 디스플레이(70)에 출력한다. 디스플레이(70)는 입력된 애니메이션 영상 프레임을 실시간으로 표시한다. 선택적으로, 후처리 모듈(50)로부터 출력된 애니메이션 영상 프레임은 저장 매체(도시하지 않음)에 저장되어 영상 재생 장치를 통해 재생될 수 있다.
이하, 도 2 및 도 3을 참조하여, 본 발명의 바람직한 실시예에 따른 애니메이션 얼굴 추출 모듈(30)에 대하여 상세히 설명한다.
얼굴 인접 박스 추출
도 3(a)에 도시한 바와 같이, 사용자는 마우스 등의 위치 결정 장치를 사용하여, 표시 장치(도시하지 않음) 상에 로드된 최초의 애니메이션 영상 프레임(10)에서 대략적인 얼굴의 기준 위치 Pref를 지정한다(단계(S31)). 얼굴의 기준 위치 Pref를 지정하면, 제 1 영역 추출 알고리즘(31)을 통해 얼굴을 감싸는 인접 박스가 구해진다(단계(S32)). 상술하면, 단계(S32)에서 기준 위치 Pref를 마우스로 지정하면, 지정된 기준 위치의 화소값을 중심으로 하여 소정의 유사도를 갖는 인접 화소들을 검색하여 사방으로 영역을 확장하고, 검색된 화소값 중 최대/최소의 화소값을 갖는 화소 좌표 A, B, C 및 D를 결정하여, 각 좌표를 연결한 얼굴의 인접 박스(점선으로 표시됨)를 구한다. 얼굴 영역을 포함하는 얼굴 인접 박스 정보는 얼굴 영역 정보로서 출력된다.
여기서, 이후에 입력된 애니메이션 영상 프레임의 기준 위치와 기준 화소값은 이전에 입력되어 처리된 영상 프레임에서 지정되었던 기준 위치와 기준 화소값으로 설정되는 것에 주목하길 바란다. 또한, 애니메이션 영상 프레임(10)에서 얼굴의 윤곽선이 두 개 이상으로 분리된 경우, 즉 얼굴의 명암이 크게 두 개의 영역으로 구분된 경우, 사용자는 각 명암 영역의 대략적인 위치를 기준 위치로 지정하여 상기한 과정을 통해 얼굴의 인접 박스를 추출할 수 있다.
눈 인접 박스 추출
다음에, 단계(S33)에서 제 2 영역 추출 알고리즘(32)을 통해 눈의 인접 박스가 추출된다. 사용자가 얼굴 인접 박스 내에서 각 눈 영역의 대략적인 중심을 마우스 등의 위치 결정 장치를 사용하여 지정하면, 얼굴 인접 박스 크기의 일정 비율인 대략적인 눈의 위치 범위가 자동으로 정해진다. 다음에, 사용자가 마우스를 사용하여 각 눈의 검은 자위와 흰 자위 영역을 순차적으로 지정하면, 해당 화소값들로 표현된 이진 눈 박스 영상이 생성된다. 그 후, 대략적인 눈 박스의 이진 영상에 대해서, 어느 행 및 열에 어느 화소가 많이 집중되어 있는지를 판단하는 프로젝션을 수행함으로써, 검은 자위의 영역과 흰 자위의 영역을 포함하는 실질적인 눈 영역이 검출된다.
각 눈의 검은 자위 영역을 지정하는 것은 각 눈의 실질적인 중심 위치를 찾기 위한 것으로, 현 영상 프레임에서 지정된 눈의 중심 위치는 후속하는 영상 프레임의 눈의 중심 위치로 설정된다. 눈의 인접 박스는 얼굴의 인접 박스 추출 방법과 마찬가지로, 검색된 화소값 중 최대/최소의 화소값을 갖는 4개의 화소 좌표를 결정하여, 각 좌표를 연결함으로써, 도 3(b)에 도시한 바와 같은 인접 박스 ELX및 ERX가 구해진다.
입 인접 박스 추출
입의 인접 박스는 제 3 영역 추출 알고리즘(33)을 사용하여 단계(S34)에서 추출된다. 사용자는 마우스 등을 사용하여 윗 입술 또는 아래 입술의 어느 한 점을 기준 위치로서 지정한다. 기준 위치를 지정하면, 프로세스는 얼굴의 인접 박스 추출 방법과 마찬가지로, 기준 위치의 화소값을 중심으로 하여 사방으로 소정의 유사도를 갖는 인접 화소들을 탐색하여 도 3(c)에 도시한 바와 같은 입의 인접 박스 MX를 추출한다.
본 발명에서는, 얼굴의 주요 특징 부분으로서 눈과 입에 대해서만 설명하였는데, 귀 및 코 등의 다른 특징 부분에 대해서는 상기와 같은 방법으로 영역을 확장할 수 있으므로 이에 대해서는 설명을 생략한다.
얼굴 표정 정보 추출
도 4 및 도 5는, 본 발명의 바람직한 제 1 실시예에 따라, 표정 정보 추출 알고리즘(34)을 사용하여 도 2의 단계(S35)에서 행해지는 표정 정보 추출 방법을설명하기 위한 모식도이다.
도 4에 도시한 바와 같이, 프로세스는 단계(S33)에 의해 추출된 눈의 인접 박스에서 눈의 폭 We과 높이 He를 측정한다. 눈의 폭 We은 X축선 상에 위치하는 화소 좌표 중 최대 및 최소의 화소 좌표 간의 거리로서 구해질 수 있고, 높이 He는 Y축선 상에 위치하는 화소 좌표 중 최대 및 최소의 화소 좌표 간의 거리로서 구해질 수 있다. 눈의 표정(개폐)은 눈꺼풀을 상하로 이동시킴으로써 연출할 수 있다. 눈의 개폐 정도를 정확히 검출하기 위해서는, 애니메이션 주인공의 얼굴이 증명 사진과 같은 정상적인 표정으로 나타난 영상 프레임을 최초의 영상 프레임으로 선정하는 것이 바람직하다. 가령, 추출된 눈 인접 박스 내에서 검은 자위 및 흰 자위 영역이 전혀 검출되지 않은 경우는 눈이 감긴 것으로 판단하여, 눈의 개폐 정도를 0로서 계산할 수 있다. 즉, 높이 He는 0이다. 도 4(a)는 눈이 완전 개방된 상태를 나타내며, 도 4(b)는 눈이 중간 정도 개방된 상태를 나타낸다.
따라서, 전술한 바와 같은 표정 정보 추출 알고리즘(34)을 통해 눈의 개폐 정도를 계산함으로써 눈에 관련된 표정 데이터가 구해진다.
마찬가지로, 입의 표정(개폐)은 윗 입술과 아래 입술을 상하좌우로 이동시킴으로써 연출할 수 있다. 입의 개폐 정도를 정확히 검출하기 위해서는, 애니메이션 주인공의 얼굴이 증명 사진과 같은 정상적인 표정으로 나타난 영상 프레임을 최초의 영상 프레임으로 선정하는 것이 바람직하다. 도 5에 도시한 바와 같이, 입은 눈과는 달리 두개의 인접 박스, 즉 외부 박스 Ebox와 내부 박스 Ibox로서 표현될 수있다. 전술한 바와 같이, 외부 박스 Ebox는 탐색된 각 화소 중에서 X축 및 Y축에 위치하는 최대 및 최소의 화소 좌표점들을 연결함으로써 구해지며, 내부 박스 Ibox는 외부 박스 Ebox내에서 입술 화소값과 다른 화소값을 갖는 화소 좌표 중에서 X축 및 Y축에 위치하는 최대 및 최소의 화소 좌표점들을 연결함으로써 구해질 수 있다.
이렇게 구해진 두개의 인접 박스의 높이, 즉 외부 박스 Ebox의 높이 MO와 내부 박스 Ibox의 높이 Mi간의 비율을 계산함으로써, 입에 관련된 표정 데이터가 추출된다.
단계(S35)에 의해서 추출된 눈 관련 표정 데이터 및 입 관련 표정 데이터는 도 1의 대체 얼굴 합성 모듈(40)에 전송된다.
얼굴 포즈 정보 추출
이하, 도 6 및 도 7을 참조하여 본 발명의 바람직한 제 1 실시예에 따른 얼굴 포즈 정보 추출 방법을 설명한다.
통상적으로, 얼굴의 포즈는 얼굴의 다양한 회전 방향으로 식별할 수 있는데, 크게 3종류로 구별할 수 있다. 도 6(a)에 도시한 바와 같이, 제 1 포즈는 고개를 옆으로 갸우뚱하는 포즈(이하, "글쎄 회전"이라 칭한다)이고, 제 2 포즈는 고개를 좌우로 흔드는 포즈(이하, "부정 회전"이라 칭한다)이고, 제 3 포즈는 고개를 상하로 끄덕이는 포즈(이하, "긍정 회전"이라 칭한다)이다.
도 7의 단계(S61)에서, 프로세스는 애니메이션 주인공 얼굴의 중심이 변하였는가를 판단한다. 여기서, 얼굴의 중심은 양 눈의 중심을 연결한 선분에 대해 수직을 이루는 선분을 나타낸다. 단계(S61)에서 얼굴의 중심이 변하지 않은 경우, 프로세스는 현재의 얼굴이 정면인 것으로 판단하여 정면 정보, 즉 0의 회전 데이터를 출력한다(단계(S62)).
한편, 단계(S61)에서 얼굴의 중심이 변한 경우, 프로세스는 얼굴의 중심이 좌측 또는 우측 방향으로 변하였는지를 검사하여(단계(S63)), 변한 경우, 현재의 얼굴이 "부정 포즈" 상태인 것으로 판단하여 해당 회전 정도를 계산한다(단계(S64)). 도 6(b)는 "부정 회전" 상태를 도시한 예로서, 좌우 눈의 중심으로부터 얼굴 박스 경계까지의 거리가 상이하며, 한 눈의 중심에서 얼굴 박스까지의 거리가 짧은 쪽으로 회전한 형태, 즉 좌측으로 회전한 형태이다. 부정 회전의 정도는, 눈의 중심에서 얼굴 박스 경계까지의 거리가 긴 b에 대해서 거리가 짧은 a에 대한 비율을 계산함으로써 구해진다. 단계(S64)에서 구해진 회전 비율은 부정 회전 데이터로서 출력된다.
단계(S63)에서, 얼굴의 중심이 좌측 또는 우측 방향으로 변하지 않은 경우, 프로세스는 얼굴의 중심이 상하 방향으로 이동하였는지를 검사하여(단계(S65)), 이동한 경우, 현재의 얼굴이 "긍정 포즈" 상태인 것으로 판단하여 해당 회전 정도를 계산한다(단계(S66)). 도 6(c)는 "긍정 회전" 상태를 도시한 것으로, 얼굴 영역의 최대 및 최소 Y축 화소 좌표가 상하로 이동한 상태이다. 가령, 주인공의 얼굴이 아래로 향한 경우, 주인공의 얼굴 영역의 Y축 최대 화소 좌표 Pmax는 하측으로 이동할 것이고, Y축 최소 화소 좌표 Pmin는 변화하지 않을 것이다. 이와는 달리, 주인공의 얼굴이 위로 향한 경우는, 주인공의 얼굴 영역의 Y축 최소 화소 좌표 Pmin는 상측으로 이동할 것이고, Y축 최대 화소 좌표 Pmax는 변화하지 않을 것이다. 즉, 긍정 회전 데이터는 Y축에 대한 최대 및 최소의 화소 좌표의 변위량을 계산함으로써 구해진다. 단계(S66)에서 구해진 변위량은 긍정 회전 데이터로서 출력된다.
단계(S65)에서, 얼굴의 중심이 상측 또는 하측 방향으로 변하지 않은 경우, 프로세스는 얼굴의 중심이 좌우 방향으로 기울어졌는지를 검사하고(단계(S67)), 기울어진 경우, 현재의 얼굴이 "글쎄 포즈" 상태인 것으로 판단하여 해당 회전 정도를 계산한다(단계(S68)). 도 6(d)는 "글쎄 포즈" 상태를 도시한 것으로, 각 인접 박스 내의 각 눈의 중심을 연결한 선분이 수평선에 대해 경사져 있다. 눈의 경사 정도는 양 눈 사이의 중심에서 어느 한 눈의 중심까지의 수평거리 Lh에 대한 수직 거리 Lv의 비율 Dy을 계산함으로써 구해진다. 단계(S68)에서 구해진 비율은 글쎄 회전 데이터로서 출력된다.
단계(S70)에서는, 상기의 과정을 통해 구해진 부정 회전 데이터, 긍정 회전 데이터 및 글쎄 회전 데이터를 합성하여 결과로서의 얼굴 포즈 데이터를 도 1의 대체 얼굴 합성 모듈(40)에 출력한다.
얼굴 표정 합성
도 8은 본 발명의 바람직한 제 1 실시예에 따른 대체 얼굴 합성 모듈(40)에서 수행되는 과정을 설명하기 위한 도면이고, 도 9 및 도 10은 각각 표정 데이터에 기초하여 얼굴을 합성하는 방법을 설명하기 위한 흐름도 및 모식도이다.
단계(S41)에서, 사용자는 마우스 등의 위치 결정 장치를 사용하여 통상의 방법으로 대체 인물 영상 프레임(20)으로부터 대체 얼굴의 영역을 취득한다. 단계(S42)에서, 사용자는 취득한 얼굴 영역에서 얼굴의 주요 특징점을 지정하여 각 특징점을 연결한 메쉬를 작성한다. 각 특징점은 얼굴의 주요 경계점(예를 들면, 눈썹, 눈, 입 등의 상하 좌우 경계점)이나 굴곡점(예를 들면, 코끝, 광대뼈)에 위치하도록 하여야 하고, 메쉬는 얼굴의 구성 요소(즉, 눈, 입 등)가 메쉬 격자에 의해 감싸지도록 하여야 한다.
상술하면, 도 9의 (a) 및 (b)에 도시한 바와 같이, 눈 메쉬를 포함하는 인접 박스와 입 메쉬를 포함하는 인접 박스를 설정한다. 도 9에서, 인접 박스 경계 등에 위치하는 표시 □는 고정점을 나타내고, 메쉬 상에 위치하는 표시 ■는 애니메이션 얼굴 추출 모듈(30)로부터의 표정 데이터에 따라 이동될 이동점을 나타내고, 표시 ▨는 애니메이션 주인공의 실제 눈(또는 입)의 개폐 정도를 나타내는 목표점이다. 눈의 개폐 효과는 도 9(a)에 도시한 바와 같이, 눈꺼풀 메쉬점에 위치하는 이동점 ■을 제어함으로써 연출할 수 있다. 도 9에서, 메쉬와 인접 박스 사이, 즉 고정점과 이동점 사이에 마련한 소정의 공간은 화소 보간(후술함)시에 기준 화소로서 사용될 화소 집합이다.
입의 개폐 효과는 도 9(b)에 도시한 바와 같이, 아랫 입술과 윗 입술의 경계에 위치하는 각 이동점 ■을 상하로 이동시킴으로써 연출할 수 있다. 또한, 입술의 수직 중앙에 설정된 이동점 ②을 기준으로 좌우측에 설정된 각 이동점 ① 및 ③은 이동점 ②과의 수평 거리에 반비례하여 상하로 이동하도록 설정함으로써, 입의 표정을 보다 자연스럽게 연출할 수 있다. 실제로, 대체 얼굴에서 입의 메쉬는 표정 합성시에 높이가 증가하여 합성된 애니메이션 주인공 얼굴의 형태가 왜곡될 수 있으므로, 대체 얼굴에 대한 메쉬 작성시에 입 메쉬 주위를 여유롭게 설정하여 메쉬를 작성하는 것이 바람직하다.
단계(S43)에서는, 애니메이션 얼굴 추출 모듈(30)로부터 입력된 얼굴 표정 데이터에 기초하여 제 1 합성 알고리즘(40a)을 통해 대체 인물의 눈 및 입에 관련된 표정을 합성한다. 도 10는 제 1 합성 알고리즘(40a)을 설명하는 흐름도이다.
도 10에 도시한 바와 같이, 단계(S11)에서 프로세스는 애니메이션 얼굴 추출 모듈(30)로부터 표정 데이터가 입력되었는지 여부를 판단한다. 단계(S11)에서 표정 데이터가 입력된 것으로 판단되면, 프로세스는 단계(S12)에서 눈 관련 표정 데이터인지를 판단한다. 단계(S12)에서 눈 관련 표정 데이터인 것으로 판단되면, 프로세스는 눈 관련 표정 데이터에 기초하여, 도 9(a)를 참조하여 설명한 바와 같이 메쉬 제어점을 이동시킴(S13)으로써 대체 인물의 눈을 합성한다.
한편, 단계(S12)에서 애니메이션 얼굴 추출 모듈(30)로부터 입력된 데이터가 눈 관련 표정 데이터가 아닌 경우, 프로세스는 단계(S14)로 진행하여 입 관련 표정 데이터인지를 판단한다. 단계(S14)에서 입력 데이터가 입 관련 표정 데이터인 것으로 판단되면, 프로세스는 단계(S15)에서 도 9(b)를 참조하여 설명한 바와 같이 메쉬 제어점을 이동시켜 대체 인물의 입의 열림 표정을 합성한다. 즉, 도 9(b)에 도시한 바와 같이, 입 인접 박스 내에서 상부에 위치하는 각 이동점을 상측으로 이동시키고, 하부에 위치하는 각 이동점을 하측으로 이동시킴으로써 입의 열림 표정을 합성할 수 있다. 이 때, 윗 입술 및 아래 입술의 최대 크기 또는 높이는 고정된 것으로 한다.
얼굴 포즈 합성
이하, 본 발명에 따른 제 2 합성 알고리즘(40b)을 이용하여 대체 인물의 얼굴 포즈를 합성하는 방법에 대해서 설명한다.
단계(S45)에서, 프로세스는 도 1의 애니메이션 얼굴 추출 모듈(30)로부터 입력된 일련의 포즈 데이터, 즉, 정면 데이터, 부정 회전 데이터, 긍정 회전 데이터 및 글쎄 회전 데이터에 기초하여, 도 6을 참조하여 설명한 바와 같이 대체 인물의 얼굴의 중심을 회전시킴으로써 대체 인물의 얼굴 영역에 합성한다.
본 발명의 대체 얼굴 합성 모듈(40)에서의 합성 과정을 눈 및 입의 표정을 우선 수행하고 얼굴의 포즈를 순차적으로 수행하였는데, 그 역순서로 하여도 무방하다.
또한, 본 발명의 바람직한 제 1 실시예에 따르면, 눈 또는 입의 인접 박스 내에서 각 이동점을 목표점까지 이동(또는, 팽창)시킨 다음, 이동점과 목표점 사이에 적절한 화소값을 채우기 위해서 화소 보간 기법을 이용한다. 도 11은 본 발명에 따른 화소 보간 기법을 설명하기 위한 모식도이다.
상술하면, 도 9(a)에 도시한 눈의 인접 박스 내의 상부에 위치하는 두번째의 이동점 ■ ②이 두번째 목표점 ▨ ②으로 이동(팽창)될 경우, 두번째의 이동점 ■과 두번째 목표점 ▨ 사이의 공간을 두번째의 이동점 ■에 대응하는 화소값을 기초로 하여 채우면, 채워진 화소값과 인접 박스 내의 화소값이 자연스럽지 않게 된다. 따라서, 본 발명에서는 도 11(a)에 도시한 바와 같이, 인접 박스 상에 위치하는 각 고정점과 각 이동점 사이의 화소값을 이용하여 팽창 영역에 삽입될 화소값을 구한다.
즉, 고정점과 이동점 사이의 입력 화소값이 예를 들면, "90, 80, 60, 65, 71, 81"이면, 팽창 영역에 삽입될 출력 화소값은 예를 들면, "90, 83.3, 73.2, 60, 65, 69.08, 74.5, 81.18"과 같이 보간되어 출력됨으로써, 눈의 표정이 한층 자연스럽게 처리한다. 도 11(b)는 메쉬 이동점이 수축된 경우에 화소값이 보간된 것을 나타낸다. 이렇게 하여, 눈 및 입의 표정이 합성된 대체 인물의 얼굴 영상은 도 1의 영상 합성 모듈(50)에 입력된다.
도 12는 본 발명의 바람직한 제 2 실시예에 따른 애니메이션 영상 합성 장치(200)를 도시한 개략적인 블럭도이다.
본 발명의 바람직한 제 2 실시예에 따른 애니메이션 영상 합성 장치(200)는, 카메라 등으로 촬상한 사진 등의 정지 영상인 복수의 대체 인물 영상 프레임(20')으로부터 대응하는 참조 영상을 추출하여 이들 참조 영상을 합성시에 이용하는 점을 제외하고는, 제 1 실시예와 동일하다. 여기서, 참조 영상이란 목적으로 하는 합성 영상을 최적으로 얻기 위해 사용되는 영상을 의미한다.
도 13에 도시한 바와 같이, 복수의 대체 인물 영상 프레임(20')은 정면, 상측, 하측, 반좌측, 반우측, 좌측, 우측의 7개의 참조 영상을 갖는다.
도 8을 참조하여 설명한 바와 같이, 대체 얼굴 합성 모듈(40')은 대체 인물 영상 프레임(20')으로부터 전술한 7개의 참조 영상을 추출하여, 추출한 각 참조 영상에 대해 도 13에 도시한 바와 같은 얼굴 메쉬를 작성하여 저장 매체(도시하지 않음)에 저장한다.
설명에 앞서, 애니메이션 주인공 얼굴의 표정 및 포즈에 따라 원하는 얼굴을 합성할 때, 정면 참조 영상 만을 참조할 경우를 고려한다. 애니메이션 주인공의 얼굴이 좌우로 급격히 회전된 경우, 정면 참조 영상을 소스 메쉬로서 사용하면, 각 메쉬점의 y좌표가 변화하여 도 14(b)에 도시한 바와 같이 측면이 왜곡된 영상이 생성된다. 마찬가지로, 상하 회전시에 중간 영상을 생성할 경우에는, 각 메쉬점의 x좌표가 변화하여 도시하지 않았지만 상하 부분이 왜곡된 영상이 생성될 것이다. 즉, 좌우측으로 방향이 심하게 변환된 경우에는, 합성된 영상의 화질이 저하될 우려가 있다. 따라서, 본 발명의 바람직한 제 2 실시예에서는, 소스 메쉬는 정면 참조 영상으로 하고, 반우측 또는 반좌측 보다 더 측면으로 회전된 경우에는 반우측 또는 반좌측 참조 영상을 소스 메쉬로 설정하여, 임의의 포즈에 대한 중간 프레임(중간 영상)을 생성한다. 여기서, 중간 프레임은 정면 참조 영상과 반좌우측 참조 영상 사이의 영상, 정면 참조 영상과 상하측 참조 영상 사이의 영상, 또는 반좌우측 참조 영상과 좌우측 참조 영상 사이의 영상을 의미한다.
상술하면, 도 15에 도시한 바와 같이, 애니메이션 얼굴 추출 모듈(30)로부터 입력된 얼굴 포즈 데이터가 정면 참조 영상(20")으로부터 우측으로 소정의 기준값 0.5 보다 더 회전된 경우, 즉 위치 R에 위치하는 경우, 대체 얼굴 합성 모듈(40')은 이전에 기록된 반우측 참조 영상을 인출하여 소스 메쉬로 설정한다. 그 다음, 대체 얼굴 합성 모듈(40')은 반우측 참조 영상을 기초로 하여 중간 영상 메쉬를 생성한 후, 이 중간 영상 메쉬에 대해 전술한 바와 같은 선형 보간 및 화소 보간을 실시하여 원하는 중간 영상을 생성한다. 이 때, 선형 보간은 x좌표 성분과 y 좌표 성분을 개별적으로 구하여 실시한다.
또한, 본 발명의 바람직한 제 2 실시예에 따르면, 얼굴이 좌우로 기울어져서 시계 방향 또는 반시계 방향으로 회전하는 효과를 구현하는 알고리즘을 제공한다. 얼굴 영상의 회전축을 중심으로 설정하고, 90°의 배수인 180°및 270°의 경우는 단순한 좌표 대치에 의해 구현될 수 있고, 다른 임의의 회전 각도의 경우에는 통상의 양선형 보간법과 본 발명의 화소 보간법을 적용함으로써 구현될 수 있다.
최종적으로, 영상 합성 모듈(50)은 애니메이션 얼굴 추출 모듈(30)로부터 제공받은 애니메이션 주인공의 얼굴 영역 정보, 즉, 주인공의 얼굴이 마스킹된 영상 정보에 기초하여, 대체 얼굴 합성 모듈(40')로부터 입력되는 합성된 얼굴 영상을 애니메이션 주인공의 마스킹된 얼굴 영역에 합성한다.
후처리 모듈(60)에서는, 프로세스의 에러로 인해, 애니메이션 주인공의 얼굴 영역과 대체 얼굴 영역 사이에 빈공간이 생길 경우, 본 발명의 화소 보간 기법을 사용하여 대체 얼굴의 경계 부분에 위치하는 화소값을 기준으로 빈공간을 채우거나, 애니메이션 주인공의 얼굴 영역 외부에 근접하는 화소값과 대체 얼굴의 경계 부분에 위치하는 화소값 사이의 평균값을 계산하여, 그 평균값을 빈공간에 채울 수 있다.
그 결과로서, 애니메이션 주인공의 얼굴 부분이 대체 인물의 얼굴로 대체되거나 합성된 애니메이션 영상 프레임은 컴퓨터의 하드디스크 또는 비디오 카세트 레코더 등의 저장 장치에 저장된다. 후속 프레임에 대한 애니메이션 영상 합성 처리는 전술한 일련의 과정을 반복함으로써 수행되므로, 그에 대한 설명은 생략한다.
지금까지, 본 발명은 2차원 애니메이션 영상에 대해서 설명하였는데, 본 발명의 포즈/표정 합성 기법과 화소 보간 기법을 사용함으로써 3차원 영상 매체에 대해서도 적용할 수 있다. 따라서, 컴퓨터를 이용한 홈 쇼핑시에 쇼핑 업체로부터 제공된 2차원 제품 영상을 퍼스널 컴퓨터 상에서 3차원 영상으로 재현하여 감상할 수 있는 이점이 있다.
상기에 있어서, 본 발명의 바람직한 실시예에 대해서 설명하였는데, 본 발명의 특허 청구 범위를 이탈하지 않으면서 당업자는 다양한 변경을 행할 수 있음은 물론이다.
따라서, 본 발명에 따르면, 다음과 같은 효과가 얻어진다.
1. 본 발명에 따르면, 한 장의 사진을 사용하여 애니메이션 동화상에서 연출되는 주인공의 얼굴을 자신의 얼굴로 대체할 수 있어, 교육용으로도 사용 가능하고, 저렴한 제작 비용으로 자신이 주인공이 된 동화상을 제작할 수 있다.
2. 본 발명에 따르면, 복수의 참조 영상을 취득하여 애니메이션 주인공의 얼굴의 회전 방향에 가장 적합한 참조 영상을 사용함으로써, 보다 자연스럽고 화질이 향상된 애니메이션 동화상을 제작할 수 있다.
3. 본 발명에 따른 영상 합성 기법에 따르면, 컴퓨터를 이용한 홈 쇼핑시에 제품의 영상을 3차원 영상으로도 재현할 수 있다.
4. 본 발명에 따른 영상 합성 기법을 사용하여, 게임시 게임 주인공의 얼굴을 사용자의 얼굴로 대체함으로써 게임을 보다 흥미롭게 유도할 수 있는 효과가 있다.

Claims (29)

  1. 영상 프레임 내의 목표 영상과 사전 설정된 영상 프레임 내 대응하는 영상을 합성하는 영상 합성 방법으로서,
    (a) 상기 목표 영상으로부터 상기 목표 영상에 대한 제 1 영상 정보 및 제 2 영상 정보를 추출하는 단계와,
    (b) 상기 제 1 영상 정보와 상기 사전 설정된 영상 프레임 내 대응하는 영상을 합성하는 단계와,
    (c) 상기 제 2 영상 정보에 기초하여 상기 합성된 영상을 상기 영상 프레임 내의 목표 영상과 합성하는 단계를 포함하며,
    상기 목표 영상을 포함하는 영상 프레임은 애니메이션 영상이고, 상기 목표 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴이며, 상기 사전 설정된 영상 프레임 내 대응하는 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴을 대체하기 위한 대체 얼굴이며,
    상기 제 1 영상 정보는 상기 특정 인물의 얼굴에 대한 표정 데이터 및 포즈 데이터이며, 상기 제 2 영상 정보는 상기 특정 인물의 얼굴에 대한 얼굴 영역 정보인 영상 합성 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 상기 단계 ((a))는,
    (a1) 상기 특정 인물의 얼굴을 감싸는 얼굴 인접 박스에 대한 정보를 결정하여 상기 얼굴 영역 정보로서 제공하는 단계와,
    (a2) 상기 얼굴 인접 박스 내에서 상기 특정 인물의 얼굴의 각각의 눈과 입을 감싸는 각각의 눈 및 입 인접 박스에 대한 정보를 추출하여 상기 특정 인물의 얼굴에 대한 표정 데이터 및 포즈 데이터를 결정하는 단계
    를 포함하는 영상 합성 방법.
  5. 제 4 항에 있어서, 상기 단계 ((a1))는,
    (a11) 상기 특정 인물의 얼굴에 기준 위치가 지정되면, 상기 지정된 기준 위치에 응답하여 상기 지정된 기준 위치의 화소를 기준으로 하여 소정의 유사도를 갖는 인접 화소들을 검색하는 단계와,
    (a12) 상기 검색된 인접 화소들 중에서 수평 및 수직 방향으로 최대 및 최소의 화소값을 갖는 화소들을 결정하고 상기 화소들을 연결함으로써 상기 얼굴 인접 박스 정보를 결정하여 상기 얼굴 영역 정보로서 제공하는 단계
    를 포함하는 영상 합성 방법.
  6. 제 4 항에 있어서, 상기 단계 ((a2))는,
    (a21) 상기 각 눈의 기준 위치와 상기 각 눈의 검은 자위와 흰 자위 영역이 지정되면, 상기 지정된 기준 위치에 응답하여 대응하는 화소들의 화소값들로 표현된 이진 눈 박스 영상을 생성하는 단계와,
    (a22) 상기 이진 눈 박스 내에 포함된 화소들 중에서 수평 및 수직 방향으로 최대 및 최소의 화소값을 갖는 화소들을 추출하고 상기 화소들을 연결함으로써 상기 각 눈에 대한 인접 박스 정보를 결정하는 단계와,
    (a23) 상기 각 눈에 대한 상기 이진 눈 박스 정보에 기초하여 상기 이진 눈 박스의 폭과 높이에 대한 비율을 계산하여 상기 특정 인물의 얼굴의 제 1 표정 데이터로서 제공하는 단계
    를 포함하는 영상 합성 방법.
  7. 제 5 항에 있어서, 상기 단계 ((a2))는,
    (a24) 상기 입에 대한 기준 위치가 지정되면, 상기 지정된 기준 위치에 응답하여 상기 지정된 기준 위치의 화소를 기준으로 하여 소정의 유사도를 갖는 인접 화소들을 검색하는 단계와,
    (a25) 상기 검색된 화소들 중에서 수평 및 수직 방향으로 최대 및 최소의 화소값을 갖는 화소들을 추출하고 상기 화소들을 연결함으로써 상기 입에 대한 외부 박스를 결정하는 단계와,
    (a26) 상기 외부 박스 내에서 입술 화소값과 상기 입술의 다른 부분의 화소값을 갖는 화소들 중에서 수평 및 수직 방향으로 최대 및 최소의 화소값을 갖는 화소들을 연결함으로써 상기 입술에 대한 내부 박스를 결정하는 단계와,
    (a27) 상기 입에 대한 상기 외부 박스의 높이와 상기 내부 박스의 높이에 대한 비율을 계산하여 상기 특정 인물의 얼굴의 제 2 표정 데이터로서 제공하는 단계
    를 포함하는 영상 합성 방법.
  8. 제 7 항에 있어서,
    상기 내부 박스는 상기 외부 박스로부터 소정의 거리 만큼 이격되어 있는 영상 합성 방법.
  9. 삭제
  10. 제 6 항에 있어서, 상기 단계 ((a2))는,
    (a29) 상기 각 눈의 중심으로부터 상기 특정 인물의 얼굴 인접 박스의 경계면까지의 거리에 대한 비율을 계산하여 상기 특정 인물의 얼굴의 제 1 회전 데이터로서 제공하는 단계와,
    (a30) 상기 특정 인물의 얼굴 인접 박스의 수직축에 대한 상기 최대 및 최소 화소값의 변위량을 계산하여 상기 특정 인물의 얼굴의 제 2 회전 데이터로서 제공하는 단계와,
    (a31) 상기 각 눈에 대한 인접 박스의 중심을 연결한 수평 선분에 대한 수직 거리의 비율을 계산하여 상기 특정 인물의 얼굴의 제 3 회전 데이터로서 제공하는 단계와,
    (a32) 상기 제 1 내지 제 3 회전 데이터를 상기 특정 인물의 얼굴의 포즈 데이터로서 제공하는 단계
    를 더 포함하는 영상 합성 방법.
  11. 제 6 항에 있어서,
    상기 애니메이션 영상 프레임에서 지정된 상기 각 눈의 중심 위치 및 기준 화소값은, 후속하는 애니메이션 영상 프레임의 기준 위치와 기준 화소값으로 사용되는 영상 합성 방법.
  12. 제 1 항에 있어서, 상기 단계 ((b))는,
    (b1) 상기 사전 설정된 영상 프레임 내 대체 얼굴을 감싸는 얼굴 인접 박스에 대한 정보를 결정하여 상기 사전 설정된 영상 프레임 내 대체 얼굴의 얼굴 영역 정보로서 제공하는 단계와,
    (b2) 상기 사전 설정된 영상 프레임 내 대체 얼굴 상에 다수의 특징점-상기 특징점은 다수의 고정점, 목표점 및 이동점을 포함함-을 지정하는 단계와,
    (b3) 상기 각각의 특징점을 연결하여 메쉬(mesh)를 생성하는 단계와,
    (b4) 상기 메쉬 이동점과 상기 제 1 및 제 2 표정 데이터를 합성하는 단계와,
    (b5) 상기 메쉬 이동점과 상기 특정 인물의 얼굴에 대한 상기 포즈 데이터를 합성하는 단계
    를 포함하는 영상 합성 방법.
  13. 제 12 항에 있어서,
    상기 각 눈의 이동점은 상기 사전 설정된 영상 프레임 내 대체 얼굴의 상기 각 눈의 눈꺼풀 상에 위치되는 영상 합성 방법.
  14. 제 12 항에 있어서,
    상기 입의 이동점은 상기 사전 설정된 영상 프레임 내 대체 얼굴의 상기 입에 대한 외부 박스 및 내부 박스 상에 위치되는 영상 합성 방법.
  15. 삭제
  16. 제 14 항에 있어서, 상기 단계 ((b3))는,
    (b31) 상기 각 눈에 대한 상기 이동점을 상기 특정 인물의 얼굴의 상기 제 1 표정 데이터에 대응하는 거리만큼 이동시키는 단계와,
    (b32) 상기 입에 대한 상기 이동점을 상기 특정 인물의 얼굴의 상기 제 2 표정 데이터에 대응하는 거리만큼 이동시키는 단계와,
    (b33) 상기 특정 인물의 얼굴의 상기 제 1 내지 제 3 회전 데이터 중의 적어도 하나에 기초하여, 상기 사전 설정된 영상 프레임 내 대체 얼굴의 중심을 회전시키는 단계
    를 포함하는 영상 합성 방법.
  17. 삭제
  18. 제 16 항에 있어서, 상기 단계 ((b32))에서,
    상기 각각의 이동점은 상기 입에 대한 내부 박스 내에서 수직축 화소값이 최대 및 최소인 이동점을 기준으로 하여 수평 거리에 반비례하여 상하로 이동되는 영상 합성 방법.
  19. 제 18 항에 있어서,
    상기 입에 대한 매쉬의 이동점은 상기 한 쌍의 눈에 대한 매쉬의 이동점 보다 외부로 확장하여 지정되는 영상 합성 방법.
  20. 제 19 항에 있어서,
    상기 메쉬는 상기 이동점을 상기 특정 인물의 얼굴의 상기 제 1 및 제 2 표정 데이터에 대응하는 거리만큼 이동시킨 후, 상기 이동점과 상기 고정점 사이에 위치하는 화소값들에 기초하여, 상기 고정점으로부터 상기 이동된 거리에 대응하는 화소값을 구하여 상기 이동된 거리 사이의 화소값을 보간함으로써 생성되는 영상 합성 방법.
  21. 영상 프레임 내의 목표 영상과 사전 설정된 영상 프레임 내 대응하는 영상을 합성하는 영상 합성 방법으로서,
    (a) 상기 목표 영상으로부터 상기 목표 영상에 대한 제 1 영상 정보 및 제 2 영상 정보를 추출하는 단계와,
    (b) 상기 사전 설정된 영상 프레임 내 대응하는 영상으로부터 복수의 참조 영상을 취득하여 저장하는 단계와,
    (c) 상기 제 1 영상 정보에 기초하여 상기 복수의 참조 영상으로부터 하나의 참조 영상을 선택하고 상기 제 1 영상 정보와 상기 선택된 참조 영상을 합성하는 단계와,
    (d) 상기 제 2 영상 정보에 기초하여 상기 합성된 영상을 상기 영상 프레임 내의 목표 영상과 합성하는 단계를 포함하며,
    상기 목표 영상을 포함하는 영상 프레임은 애니메이션 영상이고, 상기 목표 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴이며, 상기 사전 설정된 영상 프레임 내 대응하는 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴을 대체하기 위한 대체 얼굴이며,
    상기 제 1 영상 정보는 상기 특정 인물의 얼굴에 대한 표정 데이터 및 포즈 데이터와 상기 특정 인물의 얼굴의 회전 정도를 나타내는 회전 데이터이며, 상기 제 2 영상 정보는 상기 특정 인물의 얼굴데 대한 얼굴 영역 정보인 영상 합성 방법.
  22. 삭제
  23. 삭제
  24. 제 21 항에 있어서,
    상기 복수의 참조 영상은 상기 사전 설정된 영상 프레임 내 대체 얼굴의 정면, 상측, 하측, 반좌측, 반우측, 좌측, 및 우측 영상인 영상 합성 방법.
  25. 제 21 항에 있어서, 상기 (c) 단계는,
    상기 회전 데이터에 응답하여, 상기 복수의 참조 영상으로부터 상기 하나의 참조 영상을 선택하는 영상 합성 방법.
  26. 영상 프레임 내의 목표 영상과 사전 설정된 영상 프레임 내 대응하는 영상을 합성하는 영상 합성 장치로서,
    상기 목표 영상으로부터 상기 목표 영상에 대한 제 1 영상 정보 및 제 2 영상 정보를 추출하기 위한 수단과,
    상기 제 1 영상 정보와 상기 사전 설정된 영상 프레임 내 대응하는 영상을 합성하기 위한 제 1 영상 합성 수단과,
    상기 제 2 영상 정보에 기초하여 상기 합성된 영상을 상기 영상 프레임 내의 목표 영상과 합성하기 위한 제 2 영상 합성 수단을 포함하며,
    상기 목표 영상을 포함하는 영상 프레임은 애니메이션 영상이고, 상기 목표 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴이며, 상기 사전 설정된 영상 프레임 내 대응하는 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴을 대체하기 위한 대체 얼굴인 영상 합성 장치.
  27. 삭제
  28. 영상 프레임 내의 목표 영상과 사전 설정된 영상 프레임 내 대응하는 영상을 합성하는 영상 합성 장치로서,
    상기 목표 영상으로부터 상기 목표 영상에 대한 제 1 영상 정보 및 제 2 영상 정보를 추출하기 위한 수단과,
    상기 사전 설정된 영상 프레임 내 대응하는 영상으로부터 복수의 참조 영상을 취득하여 저장하기 위한 저장 수단과,
    상기 제 1 영상 정보에 기초하여 상기 복수의 참조 영상으로부터 하나의 참조 영상을 선택하고 상기 제 1 영상 정보와 상기 선택된 참조 영상을 합성하기 위한 제 1 영상 합성 수단과,
    상기 제 2 영상 정보에 기초하여 상기 합성된 영상을 상기 영상 프레임 내의 목표 영상과 합성하기 위한 제 2 영상 합성 수단을 포함하며,
    상기 목표 영상을 포함하는 영상 프레임은 애니메이션 영상이고, 상기 목표 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴이며, 상기 사전 설정된 영상 프레임 내 대응하는 영상은 상기 애니메이션 영상 내 특정 인물의 얼굴을 대체하기 위한 대체 얼굴인 영상 합성 장치.
  29. 삭제
KR10-2000-0024289A 2000-05-08 2000-05-08 애니메이션 영상 합성 장치 및 방법 KR100411760B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2000-0024289A KR100411760B1 (ko) 2000-05-08 2000-05-08 애니메이션 영상 합성 장치 및 방법
JP2001109346A JP2002008057A (ja) 2000-05-08 2001-04-06 アニメーション映像合成装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0024289A KR100411760B1 (ko) 2000-05-08 2000-05-08 애니메이션 영상 합성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20010102718A KR20010102718A (ko) 2001-11-16
KR100411760B1 true KR100411760B1 (ko) 2003-12-18

Family

ID=19668155

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0024289A KR100411760B1 (ko) 2000-05-08 2000-05-08 애니메이션 영상 합성 장치 및 방법

Country Status (2)

Country Link
JP (1) JP2002008057A (ko)
KR (1) KR100411760B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015016596A1 (en) * 2013-08-01 2015-02-05 Cj Cgv Co., Ltd. Image correction method and apparatus using creation of feature points
KR101610196B1 (ko) * 2014-12-03 2016-04-12 박민준 이동 통신 단말기를 이용한 동영상 합성 방법 및 이를 이용한 이동 통신 단말기

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030096983A (ko) * 2002-06-18 2003-12-31 주식회사 미래디지털 얼굴이미지를 이용한 애니메이션 파일 생성 방법 및 상기애니메이션을 이용한 유무선 통합 애니메이션 캐릭터 제공서비스 방법
KR100737974B1 (ko) * 2005-07-15 2007-07-13 황후 이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한이미지 검색방법
US8275170B2 (en) 2006-12-08 2012-09-25 Electronics And Telecommunications Research Institute Apparatus and method for detecting horizon in sea image
US8374422B2 (en) * 2008-04-14 2013-02-12 Xid Technologies Pte Ltd. Face expressions identification
KR100957191B1 (ko) * 2008-07-07 2010-05-11 연세대학교 산학협력단 숨은그림찾기 이미지 제작 방법 및 시스템
JP5048736B2 (ja) * 2009-09-15 2012-10-17 みずほ情報総研株式会社 画像処理システム、画像処理方法及び画像処理プログラム
KR101084032B1 (ko) * 2010-10-28 2011-11-16 주식회사 피브이아이 아기의 성장과정 영상물 제공시스템 및 방법
EP3327661A4 (en) * 2015-07-21 2019-04-10 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
JP7081164B2 (ja) 2018-01-17 2022-06-07 株式会社Ｊｖｃケンウッド 表示制御装置、通信装置、表示制御方法および通信方法
CN110677598B (zh) * 2019-09-18 2022-04-12 北京市商汤科技开发有限公司 视频生成方法、装置、电子设备和计算机存储介质
KR102188991B1 (ko) * 2020-03-31 2020-12-09 (주)케이넷 이엔지 얼굴 이미지 변환 장치 및 방법
CN111476871B (zh) * 2020-04-02 2023-10-03 百度在线网络技术（北京）有限公司 用于生成视频的方法和装置
CN115526966B (zh) * 2022-10-12 2023-06-30 广州鬼谷八荒信息科技有限公司 一种用调度五官部件实现虚拟人物表情展现的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09219836A (ja) * 1996-02-14 1997-08-19 Matsushita Electric Ind Co Ltd 画像情報記録方法と画像合成装置
KR19980066044A (ko) * 1997-01-18 1998-10-15 조영선 화상처리기법을 이용한 주인공 얼굴 및 대사를 특정인물로 변환하는 장치 및 저작물
KR20010073916A (ko) * 2000-01-22 2001-08-03 곽해섭 실시간 영상맵핑 장치 및 방법
KR20010090308A (ko) * 2000-03-24 2001-10-18 박선은 극중 얼굴 이미지 변환 서비스 방법 및 그 시스템
KR20010091219A (ko) * 2000-03-14 2001-10-23 조영익 표본화된 얼굴 표정을 새로운 얼굴에 리타켓팅하는 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09219836A (ja) * 1996-02-14 1997-08-19 Matsushita Electric Ind Co Ltd 画像情報記録方法と画像合成装置
KR19980066044A (ko) * 1997-01-18 1998-10-15 조영선 화상처리기법을 이용한 주인공 얼굴 및 대사를 특정인물로 변환하는 장치 및 저작물
KR20010073916A (ko) * 2000-01-22 2001-08-03 곽해섭 실시간 영상맵핑 장치 및 방법
KR20010091219A (ko) * 2000-03-14 2001-10-23 조영익 표본화된 얼굴 표정을 새로운 얼굴에 리타켓팅하는 방법
KR20010090308A (ko) * 2000-03-24 2001-10-18 박선은 극중 얼굴 이미지 변환 서비스 방법 및 그 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015016596A1 (en) * 2013-08-01 2015-02-05 Cj Cgv Co., Ltd. Image correction method and apparatus using creation of feature points
KR101610196B1 (ko) * 2014-12-03 2016-04-12 박민준 이동 통신 단말기를 이용한 동영상 합성 방법 및 이를 이용한 이동 통신 단말기

Also Published As

Publication number Publication date
JP2002008057A (ja) 2002-01-11
KR20010102718A (ko) 2001-11-16

Similar Documents

Publication Publication Date Title
Laine et al. Production-level facial performance capture using deep convolutional neural networks
US6556775B1 (en) Image and sound reproduction system
Thies et al. Facevr: Real-time facial reenactment and eye gaze control in virtual reality
KR100411760B1 (ko) 애니메이션 영상 합성 장치 및 방법
US7764828B2 (en) Method, apparatus, and computer program for processing image
US7027054B1 (en) Do-it-yourself photo realistic talking head creation system and method
US6097381A (en) Method and apparatus for synthesizing realistic animations of a human speaking using a computer
US6919892B1 (en) Photo realistic talking head creation system and method
US8553037B2 (en) Do-It-Yourself photo realistic talking head creation system and method
US20110069224A1 (en) System and method for art-directable retargeting for streaming video
US7567251B2 (en) Techniques for creating facial animation using a face mesh
US7109993B2 (en) Method and system for the automatic computerized audio visual dubbing of movies
CN111833257A (zh) 视频动态换脸方法、装置、计算机设备及存储介质
Paier et al. A hybrid approach for facial performance analysis and editing
JP3538263B2 (ja) 画像生成方法
JPH06118349A (ja) 眼鏡装用シミュレーション装置
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
KR20010084996A (ko) 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기
JP2014006604A (ja) 画像生成装置、画像生成方法及びプログラム
JP7011728B2 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
JP2002525764A (ja) グラフィックスおよび画像処理システム
US9330434B1 (en) Art-directable retargeting for streaming video
JP2008003673A (ja) アニメーション作成システムおよび方法
US20220309733A1 (en) Surface texturing from multiple cameras
Takai et al. 3D video technologies: capturing high fidelity full 3D shape, motion, and texture

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20101207

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee