KR100859315B1 - 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법 - Google Patents

게임 시스템에서의 게임 캐릭터 얼굴 변경 방법 Download PDF

Info

Publication number
KR100859315B1
KR100859315B1 KR1020060133716A KR20060133716A KR100859315B1 KR 100859315 B1 KR100859315 B1 KR 100859315B1 KR 1020060133716 A KR1020060133716 A KR 1020060133716A KR 20060133716 A KR20060133716 A KR 20060133716A KR 100859315 B1 KR100859315 B1 KR 100859315B1
Authority
KR
South Korea
Prior art keywords
face
game
facial feature
region
computer
Prior art date
Application number
KR1020060133716A
Other languages
English (en)
Other versions
KR20080059865A (ko
Inventor
김재희
이상윤
박강령
김종선
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020060133716A priority Critical patent/KR100859315B1/ko
Priority to PCT/KR2007/006611 priority patent/WO2008078897A1/en
Publication of KR20080059865A publication Critical patent/KR20080059865A/ko
Application granted granted Critical
Publication of KR100859315B1 publication Critical patent/KR100859315B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A63F13/10—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법에 관한 것으로, 카메라 또는 사진 등을 통해 취득되는 얼굴 영상 중에 게임 사용자가 선택한 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점을 추출하고, 추출된 2D 얼굴 영역 및 얼굴 특징점들을 게임 캐릭터의 2D 얼굴에 직접 매핑(mapping)하거나, 추가로 캐릭터화한 후 게임 캐릭터의 얼굴에 매핑하거나 혹은, 추출된 2D 얼굴 영역 및 얼굴 특징점들로부터 3D 얼굴영역을 생성하여 3D 게임 캐릭터의 얼굴에 매핑함으로써 게임 시스템에서 사용되는 게임 캐릭터의 2D 혹은 3D 얼굴을 변경한다.
본 발명은 게임 사용자가 선택한 얼굴 영상을 기반으로 게임 캐릭터의 얼굴을 변경하므로 게임의 흥미를 증대할 수 있으며, 특히 게임 사용자가 마치 가상공간에서 자신이 직접 동작을 하는 듯한 몰입감을 부여하므로 게임 사용자의 게임 이용 시간을 증대시키고 이를 통해 게임 시스템의 매출을 증대시킬 수 있게 된다.
Figure R1020060133716
게임 캐릭터의 얼굴 변경, 얼굴 검출, 얼굴 특징점 검출

Description

게임 시스템에서의 게임 캐릭터 얼굴 변경 방법{Face Modification of Game Character in Game System}
도 1은 본 발명에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법을 나타낸 플로차트.
도 2는 본 발명에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법을 게임 시스템에 적용하는 과정을 나타낸 실시예.
도 3은 본 발명에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법에 따라 2D 얼굴 영상을 게임 캐릭터화하는 과정을 나타낸 제1실시예.
도 4는 본 발명에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법에 따라 2D 얼굴 영상을 게임 캐릭터화하는 과정을 나타낸 제2실시예.
본 발명은 게임 시스템에 관한 것이며, 더욱 상세히는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법에 관한 것이다.
종래의 온라인 게임, 비디오 게임 및 아케이드 게임, 또는 1(혹은 3)인칭 사격게임, 레이싱 게임, 전략시뮬레이션 게임 및 댄스 게임 등과 같은 다양한 장르의 게임을 즐길 수 있는 게임 시스템은 대부분 게임 소프트웨어가 탑재되는 게임 컴퓨터와 게임 화면을 표시하는 LCD 모니터 등과 같은 표시장치 등을 포함하며, 이러한 게임 시스템에서 게임 사용자의 다양한 2D 혹은 3D 캐릭터 제작에 적용 가능한 얼굴 검출, 얼굴 특징점 추출, 2D 캐릭터화 및 2D 얼굴영역으로부터 3D 얼굴 생성에 관한 연구는 다음의 자료에 잘 나와 있다.
첫째로, 레인-리엔 흐수(Rein-Lien Hsu) 등에 의해 제안된 얼굴 검출 방법(Rein-Lien Hsu, Abdel-Mottaleb, M. Jain, A.K., "Face detection in color images", Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume 24, Issue 5, Page(s):696 - 706, 2002)은 얼굴 영역을 색상을 이용하여 검출하는 방법으로, 기존의 RGB 색상 좌표계에서는 피부색의 분포가 얼굴 영역을 한정짓는데 어려움이 따르므로 YCbCr과 같은 다른 좌표계로 변환하여 검출하지만, 이 방법은 정교한 얼굴 영역 검출이 어렵다.
둘째로, 리커트 티.디.(Rikert, T.D.) 등에 의해 제안된 얼굴 특징점 추출 방법(Rikert, T.D., Jones, M.J., Viola, P., "A cluster-based statistical model for object detection", Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on Volume 2, Page(s):1046 - 1053, 1999)은 얼굴을 통계적인 자료를 바탕으로 다중스케일과 다중해상도의 필터들을 가우시안 혼합 방법을 통하여 생성하여 특징점을 추출하지만, 이 방법은 학습 영상에 의존하는 경향이 크며 그 처리시간과 계산식이 복잡하다.
셋째로, 제이.리우(J. Liu) 등에 의해 제안된 2D 캐릭터화 방법(J. Liu, Y. Chen, W. Gao, R. Fu, and R. Zhou, "Craetive cartoon face synthesis system for mobile entertainment," LNCS 3768, Page(s):1027-1038, 2005)은 캐리커처 영상이 실사에 대한 단순한 이진 영상(binary image)으로만 표현되기 때문에 사용자 흥미도가 다소 떨어진다.
넷째로, 브이.블란즈와 티. 베터(V. Blanz and T. Vetter)에 의해 제안된 2D 얼굴영역으로부터 3D 얼굴 생성 방법(V. Blanz and T. Vetter, "A Morphable model for the synthesis of 3D faces," Computer Graphics Proc. SIGGRAPH, Page(s):187-194, 1999)은 2D 얼굴영역이 입력되면 3D 형상화(Morphable) 모델을 사용하여 3D 얼굴 영상을 생성하는 방법에 관한 것이며, 얼굴 영상에서 초기 특징점들의 위치를 얼굴검출단계에서 결정하지 못하기 때문에 별도의 수작업이 필요하고, 2D 영상을 3D 얼굴로 맞추기(fitting) 하는데 많은 시간이 소비되어 실시간 게임 시스템에 적용하는데 어려움이 있다.
한편, 상기와 같은 얼굴 검출 방법, 얼굴 특징점 추출 방법, 2D 캐릭터화 방법 및 2D 얼굴영역으로부터 3D 얼굴 생성 방법 등이 적용되는 종래의 게임 시스템에서는 게임 사용자가 자신의 고유한 2D 혹은 3D 게임 캐릭터를 게임 제작사의 의도에 따라 미리 특정하게 만들어진 게임 캐릭터들 중에서 선택하여 사용한다.
이 경우, 근본적으로 게임 사용자가 선택할 수 있는 게임 캐릭터의 수가 제한되므로 사용자 입장에서 게임의 흥미를 잃기 쉽고 몰입감이 낮아지는 단점이 있으며, 이로 인해 게임 이용 시간이 감소하면서 게임 제작사의 게임 시스템 매출 저 하가 초래될 수 있다.
본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 카메라나 사진 등을 통해 취득되는 얼굴 영상 중에 게임 사용자가 선택한 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점을 추출하고, 추출된 2D 얼굴 영역 및 얼굴 특징점들을 게임 캐릭터의 2D 얼굴에 직접 매핑(mapping)하거나, 추가로 캐릭터화한 후 게임 캐릭터의 얼굴에 매핑하거나 혹은, 추출된 2D 얼굴 영역 및 얼굴 특징점들로부터 3D 얼굴영역을 생성하여 3D 게임 캐릭터의 얼굴에 매핑함으로써 게임 시스템에서 사용되는 게임 캐릭터의 2D 혹은 3D 얼굴을 변경하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법을 제공하는 것이다.
상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 제1실시예에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법은, 게임 컴퓨터와 표시 장치를 포함하는 게임시스템의 게임 컴퓨터가 게임 사용자에 의해 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하는 단계; 및 상기 게임 컴퓨터가 추출된 2D 얼굴영역 및 얼굴 특징점들을 게임 사용자가 선택한 특정 게임 캐릭터의 2D 얼굴에 직접 매핑(mapping)하여 게임 사용자가 선택한 게임 캐릭터의 2D 얼굴을 변경하는 단계;로 이루어지는 것을 특징으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 제2실시예에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법은, 게임 컴퓨터와 표시 장치를 포함하는 게임시스템의 게임 컴퓨터가 게임 사용자에 의해 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하는 단계와; 상기 게임 컴퓨터가 추출된 2D 얼굴영역 및 얼굴 특징점들을 캐릭터화하여 2D 캐리커처를 생성하는 단계; 및 상기 게임 컴퓨터가 생성된 2D 캐리커처를 게임 사용자가 선택한 특정 게임 캐릭터의 2D 얼굴에 매핑(mapping)하여 게임 사용자가 선택한 게임 캐릭터의 2D 얼굴을 변경하는 단계;로 이루어지는 것을 특징으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 제3실시예에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법은, 게임 컴퓨터와 표시 장치를 포함하는 게임시스템의 게임 컴퓨터가 게임 사용자에 의해 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하는 단계와; 상기 게임 컴퓨터가 추출된 2D 얼굴영역 및 얼굴 특징점들로부터 3D 얼굴을 생성하는 단계; 및 상기 게임 컴퓨터가 생성된 3D 얼굴을 게임 사용자가 선택한 특정 게임 캐릭터의 3D 얼굴에 매핑(mapping)하여 게임 사용자가 선택한 게임 캐릭터의 3D 얼굴을 변경하는 단계;로 이루어지는 것을 특징으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 제4실시예에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법은, 게임 컴퓨터와 표시 장치를 포함하는 게임시스템의 게임 컴퓨터가 게임 사용자에 의해 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하는 단계와; 상기 게임 컴퓨터가 추출된 2D 얼굴영역 및 얼굴 특징점들로부터 표준 3D 모델에 맞추어진 2D 얼굴을 생성하는 단계; 및 상기 게임 컴퓨터가 생성된 2D 얼굴을 게임 사용자가 선택한 특정 게임 캐릭터의 3D 얼굴에 텍스처 매핑(texture mapping)하여 게임 사용자가 선택한 게임 캐릭터의 3D 얼굴을 변경하는 단계;로 이루어지는 것을 특징으로 한다.
이하, 본 발명의 제1실시예, 제2실시예, 제3실시예, 및 제4실시예를 첨부된 도면을 참조하여 더욱 상세하게 설명한다.
본 발명에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법은 종래 기술에서 언급한 바와 같이 게임 캐릭터 얼굴 변경 방법을 구현하기 위한 소프트웨어를 탑재하는 게임 컴퓨터와 표시 장치 등을 포함하는 게임 시스템에 의해 수행된다.
도 1은 본 발명에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법을 나타낸 플로차트로서, 상기한 본 발명의 제1실시예, 제2실시예, 제3실시예, 및 제4실시예를 모두 나타내고 있으며, S10, S20, S30 과정은 4개의 실시예에서 모두 공통으로 수행하는 과정이다.
도 2는 본 발명에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법을 게임 시스템에 적용하는 과정을 나타낸 실시예로서, 게임 시스템에서 사용되는 게임 캐릭터의 2D 혹은 3D 얼굴을 카메라나 사진 등을 통해 취득하여 게임 사용자가 선택한 얼굴 영상(예컨대, 게임 사용자 자신의 얼굴 영상, 타인의 얼굴 영상 등)을 이용하여 게임 캐릭터의 2D 혹은 3D 얼굴을 게임 사용자가 선택한 얼굴 영상으로 변경하는 과정을 나타내고 있다.
도 1을 참조하면, 본 발명의 제1실시예, 제2실시예, 제3실시예, 및 제4실시예는 모두, 상기 게임 컴퓨터와 표시 장치를 포함하는 게임시스템의 게임 컴퓨터가 가장 먼저 일반적인 CCD 혹은 CMOS PC 카메라, 감시용 CCTV 카메라, 디지털 카메라 및 휴대폰 카메라 등의 카메라로 촬영한 얼굴 영상 혹은 사진을 스캔하여 획득한 얼굴 영상 등을 게임 캐릭터 얼굴 변경을 위한 얼굴 영상으로 취득하고(S10), 게임 사용자가 선택한 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출한다(S20,S30).
삭제
또한, 상기 얼굴 영상으로부터 얼굴 영역 검출을 위해서는 얼굴의 구역별 명암 대비를 이용한 학습을 통해 템플릿을 생성하여 빠르고 정교하게 얼굴을 검출하는 아다부스트 얼굴 검출(AdaBoost Face Detection) 방법, PCA(Principal Component Analysis) 기반 얼굴 검출 방법, ICA(Independent Component Analysis) 기반 얼굴 검출 방법 등을 사용할 수 있고, 얼굴 영역 검출의 정교함을 향상하기 위해 얼굴 조명 정규화(예컨대, Homomorphic Filtering 등) 과정이 수행될 수 있다.
또한, 검출된 얼굴 영역에서 빠르고 정교하게 얼굴 특징점을 추출하는 AAM(Active Appearance Model)을 이용하는 학습 기반 얼굴 특징점 추출 방법으로 도 3에 나타낸 바와 같이, 양 눈꼬리 점, 양쪽 눈의 중심점, 양쪽 콧구멍의 중심점, 입선의 양끝점, 얼굴 윤곽선에 위치한 특정한 점(예컨대, 턱끝점 등), 머리 헤어 라인 전체 혹은 일부에 위치한 특정한 점(예컨대, 이마 경계 라인의 좌우측 끝점 등) 등을 얼굴 특징점으로 추출할 수 있다.
상기와 같이 상기 게임 컴퓨터가 카메라나 사진 등을 통해 취득되는 얼굴 영상 중 게임 사용자에 의해 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출한 상태에서, 본 발명의 제1실시예, 제2실시예, 제3실시예, 및 제4실시예에 따라 각각 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법이 수행되는 과정을 구체적으로 설명하면 다음과 같다.
첫째로, 본 발명의 제1실시예에서는 상기 게임 컴퓨터가 카메라나 사진 등을 통해 취득되는 얼굴 영상 중 게임 사용자가 선택한 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하고 나면(S10∼S30), 게임 캐릭터 변경을 위해 게임 사용자가 선택한 얼굴 영상으로부터 추출된 2D 얼굴영역 및 얼굴 특징점들을 게임 사용자가 선택한 특정 게임 캐릭터의 2D 얼굴에 직접 매핑(mapping)하여 게임 사용자가 선택한 게임 캐릭터의 2D 얼굴을 변경한다(S40,S42).
둘째로, 본 발명의 제2실시예에서는 상기 게임 컴퓨터가 카메라나 사진 등을 통해 취득되는 얼굴 영상 중 게임 사용자가 선택한 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하고 나면(S10∼S30), 게임 캐릭터 변경을 위해 게임 사용자가 선택한 얼굴 영상으로부터 추출된 2D 얼굴영역 및 얼굴 특징점들을 캐릭터화하여 2D 캐리커처를 생성한다(S50).
이때, 도 3에 나타낸 바와 같이, 상기 게임 컴퓨터는 게임 캐릭터 디자인 전문가에 의해 사전에 게임 캐릭터의 얼굴 특징 영역들을 DB화 해놓고 상기 선택된 얼굴 영상으로부터 추출된 2D 얼굴 특징 영역들과 상기 DB화 된 얼굴 특징 영역에 대하여 유사도(예컨대 유클리디안(Euclidian) 거리 등)를 기반으로 비교하는 매칭(matching) 작업을 통해 가장 유사한 2D 얼굴 특징 영역들을 선택하고, 선택된 2D 얼굴 특징 영역들을 융합하여 2D 캐리커처를 생성할 수 있다.
또한, 도 4에 나타내 바와 같이, 상기 게임 컴퓨터는 게임 캐릭터 디자인 전문가에 의해 사전에 게임 캐릭터의 얼굴 특징 영역들을 DB화 해놓고 상기 선택된 얼굴 영상으로부터 추출된 2D 얼굴 특징점들을 얼굴 특징 영역들로 변환한 후, 이 얼굴 특징 영역들의 변환계수를 추출하고, 상기 변환된 얼굴 특징 영역들과 상기 DB화 된 얼굴 특징 영역들에 대하여 변환계수들의 유사도(예컨대 유클리디안(Euclidian) 거리 등)를 기반으로 비교하는 매칭(matching)을 통해 가장 유사한 2D 얼굴 특징 영역들을 선택하고, 선택된 2D 얼굴 특징 영역들을 융합하여 2D 캐리커처를 생성할 수 있다. 특히, 이 경우 상기 게임 컴퓨터는 PCA(Principal Component Analysis) 기반 얼굴 특징 영역 변환 방법, ICA(Independent Component Analysis) 기반 얼굴 특징 영역 변환 방법, LFA(LocalFeature Analysis) 기반 얼굴 특징 영역 변환 방법 등을 사용하여 얼굴 특징 영역의 변환계수를 추출할 수 있다.
이어서, 생성된 2D 캐리커처를 게임 사용자가 선택한 특정 게임 캐릭터의 2D 얼굴에 매핑(mapping)하여 게임 사용자가 선택한 게임 캐릭터의 2D 얼굴을 변경한 다(S52.S54).
셋째로, 본 발명의 제3실시예에서는 상기 게임 컴퓨터가 카메라나 사진 등을 통해 취득되는 얼굴 영상 중 게임 사용자가 선택한 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하고 나면(S10∼S30), 게임 캐릭터 변경을 위해 게임 사용자가 선택한 얼굴 영상으로부터 추출된 2D 얼굴영역 및 얼굴 특징점들로부터 3D 얼굴을 생성한다(S60).
이때, AAM(Active Appearance Model) 혹은 영상기반 3D 얼굴 모델링 기술 등을 사용하여 3D 얼굴을 생성할 수 있다.
이어서, 생성된 3D 얼굴을 게임 사용자가 선택한 특정 게임 캐릭터의 3D 얼굴에 매핑(mapping)하여 게임 사용자가 선택한 게임 캐릭터의 3D 얼굴을 변경한다(S62.S64).
넷째로, 본 발명의 제4실시예에서는 상기한 제3실시예와 비교해 볼 때 게임 시스템의 처리 속도를 더욱 향상시키기 위하여 3D 게임 캐릭터의 얼굴을 2D 얼굴로 대체하는 방법으로, 상기 게임 컴퓨터가 카메라나 사진 등을 통해 취득되는 얼굴 영상 중 게임 사용자가 선택한 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하고 나면(S10∼S30), 게임 캐릭터 변경을 위해 선택한 얼굴 영상으로부터 추출된 2D 얼굴정보 및 얼굴 특징점정보로부터 표준 3D 모델에 맞추어진 2D 얼굴을 생성한다(S70).
이어서, 생성된 2D 얼굴을 게임 사용자가 선택한 특정 게임 캐릭터의 3D 얼굴에 텍스처 매핑(texture mapping)하여 게임 사용자가 선택한 게임 캐릭터의 3D 얼굴을 변경한다(S72.S74).
이상에서 설명한 본 발명에 따른 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.
이상에서 설명한 바와 같이, 본 발명은 게임 사용자가 선택한 얼굴 영상(예컨대, 게임 사용자 자신의 얼굴 영상, 타인의 얼굴 영상 등)을 기반으로 게임 캐릭터의 얼굴을 변경하므로 게임의 흥미를 증대할 수 있으며, 특히 게임 사용자가 마치 가상공간에서 자신이 직접 동작을 하는 듯한 몰입감을 부여하므로 게임 사용자의 게임 이용 시간을 증대시키고 이를 통해 게임 시스템의 매출을 증대시킬 수 있게 된다.

Claims (10)

  1. 게임 컴퓨터와 표시 장치를 포함하는 게임시스템의 게임 컴퓨터가 게임 사용자에 의해 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하고, 상기 얼굴 영역은 아다부스트 얼굴 검출(AdaBoost Face Detection) 방법, PCA(Principal Component Analysis) 기반 얼굴 검출 방법, ICA(Independent Component Analysis) 기반 얼굴 검출 방법 중 어느 하나를 사용하여 추출하는 단계; 및
    상기 게임 컴퓨터가 추출된 2D 얼굴 영역 및 얼굴 특징점들을 게임 사용자가 선택한 특정 게임 캐릭터의 2D 얼굴에 직접 매핑(mapping)하여 게임 사용자가 선택한 게임 캐릭터의 2D 얼굴을 변경하는 단계;
    로 이루어지는 것을 특징으로 하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법.
  2. 게임 컴퓨터와 표시 장치를 포함하는 게임시스템의 게임 컴퓨터가 게임 사용자에 의해 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하고, 상기 얼굴 영역은 아다부스트 얼굴 검출(AdaBoost Face Detection) 방법, PCA(Principal Component Analysis) 기반 얼굴 검출 방법, ICA(Independent Component Analysis) 기반 얼굴 검출 방법 중 어느 하나를 사용하여 추출하는 단계와;
    상기 게임 컴퓨터가 추출된 2D 얼굴 영역 및 얼굴 특징점들을 캐릭터화하여 2D 캐리커처를 생성하는 단계; 및
    상기 게임 컴퓨터가 생성된 2D 캐리커처를 게임 사용자가 선택한 특정 게임 캐릭터의 2D 얼굴에 매핑(mapping)하여 게임 사용자가 선택한 게임 캐릭터의 2D 얼굴을 변경하는 단계;
    로 이루어지는 것을 특징으로 하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법.
  3. 제 2 항에 있어서, 상기 게임 컴퓨터가 추출된 2D 얼굴 영역 및 얼굴 특징점들을 캐릭터화하여 2D 캐리커처를 생성하는 단계에서는,
    사전에 게임 캐릭터의 얼굴 특징 영역들을 DB화 해놓고 상기 선택된 얼굴 영상으로부터 추출된 2D 얼굴 특징 영역들과 상기 DB화 된 얼굴 특징 영역에 대하여 유사도를 기반으로 비교하는 매칭(matching) 작업을 통해 가장 유사한 2D 얼굴 특징 영역들을 선택하고, 선택된 2D 얼굴 특징 영역들을 융합하여 2D 캐리커처를 생성하는 것을 특징으로 하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법.
  4. 제 2 항에 있어서, 상기 게임 컴퓨터가 추출된 2D 얼굴 영역 및 얼굴 특징점을 캐릭터화하여 2D 캐리커처를 생성하는 단계에서는,
    사전에 게임 캐릭터의 얼굴 특징 영역들을 DB화 해놓고 상기 선택된 얼굴 영상으로부터 추출된 2D 얼굴 특징점들을 얼굴 특징 영역들로 변환한 후, 이 얼굴 특징 영역들의 변환계수를 추출하고, 상기 변환된 얼굴 특징 영역들과 상기 DB화 된 얼굴 특징 영역들에 대하여 변환계수들의 유사도를 기반으로 비교하는 매칭(matching)을 통해 가장 유사한 2D 얼굴 특징 영역들을 선택하고, 선택된 2D 얼굴 특징 영역들을 융합하여 2D 캐리커처를 생성하는 것을 특징으로 하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법.
  5. 제 4 항에 있어서, 상기 게임 컴퓨터가 얼굴 특징 영역들의 변환계수를 추출할 때,
    PCA(Principal Component Analysis) 기반 얼굴 특징 영역 변환 방법, ICA(Independent Component Analysis) 기반 얼굴 특징 영역 변환 방법, LFA(LocalFeature Analysis) 기반 얼굴 특징 영역 변환 방법 중 어느 하나를 사용하여 얼굴 특징 영역의 변환계수를 추출하는 것을 특징으로 하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법.
  6. 게임 컴퓨터와 표시 장치를 포함하는 게임시스템의 게임 컴퓨터가 게임 사용자에 의해 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하는 단계와;
    상기 게임 컴퓨터가 추출된 2D 얼굴 영역 및 얼굴 특징점들로부터 3D 얼굴을 생성하는 단계; 및
    상기 게임 컴퓨터가 생성된 3D 얼굴을 게임 사용자가 선택한 특정 게임 캐릭터의 3D 얼굴에 매핑(mapping)하여 게임 사용자가 선택한 게임 캐릭터의 3D 얼굴을 변경하는 단계;
    로 이루어지는 것을 특징으로 하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법.
  7. 제 6 항에 있어서, 상기 게임 컴퓨터가 추출된 2D 얼굴 영역 및 얼굴 특징점들로부터 3D 얼굴을 생성하는 단계에서는,
    AAM(Active Appearance Model) 혹은 영상기반 3D 얼굴 모델링 기술을 사용하여 3D 얼굴을 생성하는 것을 특징으로 하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법.
  8. 게임 컴퓨터와 표시 장치를 포함하는 게임시스템의 게임 컴퓨터가 게임 사용자에 의해 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하는 단계와;
    상기 게임 컴퓨터가 추출된 2D 얼굴 영역 및 얼굴 특징점들로부터 표준 3D 모델에 맞추어진 2D 얼굴을 생성하는 단계; 및
    상기 게임 컴퓨터가 생성된 2D 얼굴을 게임 사용자가 선택한 특정 게임 캐릭터의 3D 얼굴에 텍스처 매핑(texture mapping)하여 게임 사용자가 선택한 게임 캐릭터의 3D 얼굴을 변경하는 단계;
    로 이루어지는 것을 특징으로 하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법.
  9. 제 6 항 또는 제 8 항에 있어서, 상기 게임 컴퓨터가 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하는 단계에서는,
    아다부스트 얼굴 검출(AdaBoost Face Detection) 방법, PCA(Principal Component Analysis) 기반 얼굴 검출 방법, ICA(Independent Component Analysis) 기반 얼굴 검출 방법 중 어느 하나를 사용하여 얼굴 영역을 추출하는 것을 특징으로 하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법.
  10. 제 1 항, 제 2 항, 제 6 항 또는 제 8 항 중 어느 한 항에 있어서, 상기 게임 컴퓨터가 선택된 얼굴 영상으로부터 얼굴 영역 및 얼굴 특징점들을 추출하는 단계에서는,
    AAM(Active Appearance Model)을 이용하는 학습 기반 얼굴 특징점 추출방법으로 양 눈꼬리 점, 양쪽 눈의 중심점, 양쪽 콧구멍의 중심점, 입선의 양끝점, 얼굴 윤곽선에 위치한 특정한 점, 머리 헤어 라인 전체 혹은 일부에 위치한 특정한 점을 얼굴 특징점으로 추출하는 것을 특징으로 하는 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법.
KR1020060133716A 2006-12-26 2006-12-26 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법 KR100859315B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060133716A KR100859315B1 (ko) 2006-12-26 2006-12-26 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법
PCT/KR2007/006611 WO2008078897A1 (en) 2006-12-26 2007-12-18 Face modification of game character in game system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060133716A KR100859315B1 (ko) 2006-12-26 2006-12-26 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법

Publications (2)

Publication Number Publication Date
KR20080059865A KR20080059865A (ko) 2008-07-01
KR100859315B1 true KR100859315B1 (ko) 2008-09-19

Family

ID=39562658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060133716A KR100859315B1 (ko) 2006-12-26 2006-12-26 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법

Country Status (2)

Country Link
KR (1) KR100859315B1 (ko)
WO (1) WO2008078897A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
KR101743764B1 (ko) * 2015-06-29 2017-06-05 김영자 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
KR102173146B1 (ko) * 2018-05-11 2020-11-02 이재윤 두상과 피부톤을 이용한 헤어라인 제공시스템
CN111857697A (zh) * 2020-05-29 2020-10-30 北京编程猫科技有限公司 一种基于认知ai的图形化编程实现方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166272A (ja) * 1997-08-13 1999-03-09 Sony Corp 画像または音声の処理装置および処理方法ならびに記録媒体
KR20010091743A (ko) * 2000-03-17 2001-10-23 박호성 자동캐리커처 생성방법
KR20050033762A (ko) * 2003-10-07 2005-04-13 골드피처 주식회사 캐리커쳐 자동 생성 장치 및 그 서비스 방법
JP2006107145A (ja) 2004-10-05 2006-04-20 Tokyo Univ Of Agriculture & Technology 顔形状モデリングシステムおよび顔形状モデリング方法
KR20060082984A (ko) * 2005-01-14 2006-07-20 (주)디지탈아이엔터테인먼트 3차원 아바타 생성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166272A (ja) * 1997-08-13 1999-03-09 Sony Corp 画像または音声の処理装置および処理方法ならびに記録媒体
KR20010091743A (ko) * 2000-03-17 2001-10-23 박호성 자동캐리커처 생성방법
KR20050033762A (ko) * 2003-10-07 2005-04-13 골드피처 주식회사 캐리커쳐 자동 생성 장치 및 그 서비스 방법
JP2006107145A (ja) 2004-10-05 2006-04-20 Tokyo Univ Of Agriculture & Technology 顔形状モデリングシステムおよび顔形状モデリング方法
KR20060082984A (ko) * 2005-01-14 2006-07-20 (주)디지탈아이엔터테인먼트 3차원 아바타 생성 방법

Also Published As

Publication number Publication date
KR20080059865A (ko) 2008-07-01
WO2008078897A1 (en) 2008-07-03

Similar Documents

Publication Publication Date Title
TWI708152B (zh) 圖像處理方法、裝置及儲存介質
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
Min et al. Kinectfacedb: A kinect database for face recognition
US20230128505A1 (en) Avatar generation method, apparatus and device, and medium
US20190130652A1 (en) Control method, controller, smart mirror, and computer readable storage medium
CN112348969A (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
KR101141643B1 (ko) 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
WO2020133862A1 (zh) 游戏角色模型的生成方法、装置、处理器及终端
CN104615234B (zh) 信息处理设备以及信息处理方法
CN110688948B (zh) 视频中人脸性别变换方法、装置、电子设备和存储介质
JP7387202B2 (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
WO2021218293A1 (zh) 图像处理方法、装置、电子设备和存储介质
CN110942501B (zh) 虚拟形象切换方法、装置、电子设备及存储介质
CN113850168A (zh) 人脸图片的融合方法、装置、设备及存储介质
CN109147024A (zh) 基于三维模型的表情更换方法和装置
WO2020034698A1 (zh) 基于三维模型的特效处理方法、装置和电子设备
US6816159B2 (en) Incorporating a personalized wireframe image in a computer software application
KR100859315B1 (ko) 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법
CN107469355A (zh) 游戏人物形象创建方法及装置、终端设备
Borges et al. A virtual makeup augmented reality system
Sheu et al. Automatic generation of facial expression using triangular geometric deformation
Reale et al. Using eye gaze, head pose, and facial expression for personalized non-player character interaction
JP3062181B1 (ja) 実時間表情検出装置
US20080122867A1 (en) Method for displaying expressional image
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120803

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130709

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140818

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150922

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170901

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee