KR102553432B1 - System for creating face avatar - Google Patents

System for creating face avatar Download PDF

Info

Publication number
KR102553432B1
KR102553432B1 KR1020210167851A KR20210167851A KR102553432B1 KR 102553432 B1 KR102553432 B1 KR 102553432B1 KR 1020210167851 A KR1020210167851 A KR 1020210167851A KR 20210167851 A KR20210167851 A KR 20210167851A KR 102553432 B1 KR102553432 B1 KR 102553432B1
Authority
KR
South Korea
Prior art keywords
image
unit
facial expression
expression
face
Prior art date
Application number
KR1020210167851A
Other languages
Korean (ko)
Other versions
KR20230080543A (en
Inventor
김용수
Original Assignee
(주) 키글
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 키글 filed Critical (주) 키글
Priority to KR1020210167851A priority Critical patent/KR102553432B1/en
Publication of KR20230080543A publication Critical patent/KR20230080543A/en
Application granted granted Critical
Publication of KR102553432B1 publication Critical patent/KR102553432B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 아바타 얼굴 생성 시스템에 따르면, 얼굴을 포함하는 기본이미지로부터 얼굴에 대응하는 얼굴 인상영역으로 이루어진 인상이미지를 추출하는 얼굴추출부; 기 설정된 표정왜곡설정값을 이용하여 상기 인상영역을 왜곡시켜 왜곡표정을 포함하는 표정이미지를 추출하는 표정추출부; 및 상기 인상이미지와 표정이미지를 포함하는 감정이미지를 변경하는 커스텀부;를 포함한다.According to the avatar face generation system of the present invention, a face extraction unit for extracting an impression image consisting of a face impression area corresponding to a face from a basic image including a face; a facial expression extraction unit distorting the impression area using a preset facial expression distortion setting value to extract a facial expression image including a distorted facial expression; and a custom unit that changes the emotion image including the impression image and the facial expression image.

Description

아바타 얼굴 생성 시스템{SYSTEM FOR CREATING FACE AVATAR}Avatar face creation system {SYSTEM FOR CREATING FACE AVATAR}

본 발명은 아바타 얼굴 생성 시스템에 관한 것이다.The present invention relates to an avatar face generation system.

아바타(avatar)는 온라인 게임이나 채팅, 가상 공간 등에서 사용자의 역할을 대신하는 애니메이션 캐릭터를 뜻하는 말로 1990년대 인터넷 보급과 더불어 활발히 도입되기 시작하였으며 2000년대에 실제 사람의 사실성보다는 3D 그래픽 캐릭터의 관점에서 세컨드라이프(Second Life)나 리니지 등의 서비스에서 활용되고 있다.Avatar refers to an animated character that replaces the user's role in online games, chatting, and virtual spaces. It is used in services such as Second Life and Lineage.

컴퓨터 그래픽스 기술의 발달로 인해 보다 사실적인 인체 표현이 가능한 아바타 기술이 영화나 CF를 중심으로 활발히 활용되고 있으며, 최근에는 컴퓨터 그래픽 기술과 컴퓨터 비전 기술의 결합으로 인한 시너지 효과 및 센서 기술과 컴퓨팅 하드웨어의 발전으로 인해 실제 사용자의 외형이나 움직임을 사실적으로 표현할 수 있는 실사 인체 아바타에 대한 연구와 산업으로의 응용이 활발히 진행되고 있다. Due to the development of computer graphics technology, avatar technology, which enables more realistic human body expression, is being actively used mainly in movies and commercials. Due to development, studies on live-action human avatars that can realistically express the appearance or movement of actual users and their application to industries are actively progressing.

한편, 사용자는 자신만의 아바타를 만들고 싶어하며, 사용자와 완전히 동떨어진 아바타가 아니라, 사용자의 특성을 반영하는 아바타를 갖고 싶어하는 욕구도 같이 증가하고 있다.On the other hand, users want to create their own avatar, and the desire to have an avatar that reflects the user's characteristics, rather than an avatar that is completely different from the user, is also increasing.

하지만, 사용자의 대표적 특성인 얼굴이 반영된 아바타 제공 기술은 아바타의 표정이 하나의 표정으로 한정되어 있는 문제가 있다.However, the technology for providing an avatar in which a face, which is a representative characteristic of a user, is reflected has a problem in that the expression of the avatar is limited to one expression.

이러한 문제를 해결하고자, 사용자의 대표적 특성인 얼굴을 왜곡시켜 다양한 표정으로 변경할 뿐, 왜곡된 표정을 수정할 수 없는 불편함이 있었다. In order to solve this problem, the face, which is a representative characteristic of the user, is distorted and changed into various facial expressions, but there is inconvenience that the distorted facial expression cannot be corrected.

대한민국 등록특허공보 제10-1629219호(2016.06.03.등록)Republic of Korea Patent Registration No. 10-1629219 (2016.06.03. Registration)

상술한 바와 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은, 인상이미지를 자동으로 추출하고, 인상이미지를 기준으로 표정이미지를 추출함과 동시에 감정이미지를 변경하여 사용자가 다양한 표현을 할 수 있는 아바타 얼굴 생성 시스템을 제공하기 위함이다.An object of the present invention, which has been devised to solve the above problems, is to automatically extract an impression image, extract a facial expression image based on the impression image, and change the emotion image at the same time, so that the user can express various expressions. This is to provide an avatar face generating system.

또한, 본 발명의 목적은, 기본이미지로부터 얼굴 인상영역으로 이루어진 인상이미지를 추출하고, 얼굴 인상영역을 편집하여 최종의 인상이미지를 저장할 수 있는 아바타 얼굴 생성 시스템을 제공하기 위함이다.In addition, an object of the present invention is to provide an avatar face generation system capable of extracting an impression image composed of a face impression area from a basic image, editing the face impression area, and storing the final impression image.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 아바타 얼굴 생성 시스템에 따르면, 얼굴을 포함하는 기본이미지로부터 얼굴에 대응하는 얼굴 인상영역으로 이루어진 인상이미지를 추출하는 얼굴추출부; 기 설정된 표정왜곡설정값을 이용하여 상기 인상영역을 왜곡시켜 왜곡표정을 포함하는 표정이미지를 추출하는 표정추출부; 및 상기 인상이미지와 표정이미지를 포함하는 감정이미지를 변경하는 커스텀부;를 포함한다.According to the avatar face generation system of the present invention for achieving the above object, there is provided a face extraction unit for extracting an impression image consisting of a face impression region corresponding to a face from a basic image including a face; a facial expression extraction unit distorting the impression area using a preset facial expression distortion setting value to extract a facial expression image including a distorted facial expression; and a custom unit that changes the emotion image including the impression image and the facial expression image.

또한, 상기 얼굴추출부는, 상기 기본이미지에서 얼굴에 해당하는 라인을 기준으로 얼굴 인상영역을 추출하는 영역추출부와, 추출된 상기 얼굴 인상영역의 크기 편집이 가능하도록 하는 영역편집부와, 상기 영역편집부에 의해 크기가 편집된 얼굴 인상영역으로 이루어진 인상이미지를 저장하는 영역저장부를 포함한다.In addition, the face extraction unit includes a region extraction unit for extracting a face impression area based on a line corresponding to a face in the basic image, a region editing unit for enabling size editing of the extracted face impression area, and the area editing unit and an area storage unit for storing an impression image composed of face impression areas whose sizes have been edited by .

또한, 상기 영역편집부는, 추출된 얼굴 인상영역 크기를 확장가능한 확장부와, 축소가능한 축소부 및 상기 확장부와 축소부에서 얼굴 인상영역의 크기를 조절할 수 있는 영역조절도구를 제어하는 도구제어부를 포함한다.In addition, the area editing unit includes a tool control unit that controls an expansion unit capable of expanding the size of the extracted face impression area, a reduction unit capable of reducing the size of the extracted face impression area, and a region adjusting tool capable of adjusting the size of the face impression area in the expansion unit and the reduction unit. include

또한, 상기 커스텀부는, 상기 감정이미지를 어느 하나의 색상으로 표시하는 색상표시부와, 상기 감정이미지에 기 설정된 문양을 표시하는 문양표시부를 포함한다.Further, the custom unit includes a color display unit for displaying the emotional image in one color and a pattern display unit for displaying a preset pattern on the emotional image.

또한, 상기 문양표시부는, 상기 감정이미지의 상단에 문양을 표시하는 상단표시부와, 하단에 문양을 표시하는 하단표시부를 포함하고, 상기 상단표시부는, 상기 감정이미지의 이마에 표시하고, 상기 하단표시부는, 상기 감정이미지의 양쪽 볼 중 어느 하나 이상의 볼에 표시하는 것을 특징으로 한다.In addition, the pattern display unit includes an upper display unit displaying a pattern on top of the emotion image and a lower display unit displaying a pattern on the lower side, wherein the upper display unit is displayed on the forehead of the emotion image, and the lower display unit is characterized in that it is displayed on one or more balls among both balls of the emotion image.

또한, 상기 커스텀부는, 상기 색상표시부가 표시하는 색상의 투명도를 조절가능한 투명조절부를 더 포함하고, 상기 색상표시부는, 상기 투명조절부로 조절된 투명도를 갖는 색상을 상기 감정이미지에 오버랩하여 표시하는 것을 특징으로 한다.In addition, the custom unit further includes a transparency control unit capable of adjusting the transparency of the color displayed by the color display unit, and the color display unit overlaps and displays the color having the transparency adjusted by the transparency control unit on the emotional image. to be characterized

또한, 하나 이상의 콘텐츠를 제공하는 콘텐츠제공부; 상기 콘텐츠를 재생하고, 상기 감정이미지를 포함하는 캐릭터를 표시하는 콘텐츠재생부; 및 상기 콘텐츠가 재생되는 동안, 상기 감정이미지를 번갈아가며 변경하는 이미지변경부를 더 포함한다.In addition, a content provider for providing one or more content; a content playback unit that reproduces the content and displays a character including the emotional image; and an image changing unit which alternately changes the emotion image while the content is being reproduced.

또한, 사용자를 촬영하는 촬영부와, 추출된 표정이미지를 디스플레이하는 디스플레이부와, 디스플레이되는 표정이미지에 따라 사용자가 짓는 얼굴표정을 촬영부로부터 인식하고, 인식하는 얼굴표정에서 입과 눈을 포함하는 얼굴특징데이터를 추출하는 특징추출부 및 상기 특징추출부가 추출한 얼굴특징데이터에 따라 상기 표정이미지를 보정하여 보정이미지를 생성하는 보정이미지생성부를 포함하는 표정보정부;를 더 포함한다.In addition, a photographing unit for photographing the user, a display unit for displaying the extracted facial expression image, and recognizing the facial expression made by the user according to the displayed expression image from the photographing unit, including the mouth and eyes in the recognized facial expression It further includes a facial expression correction unit including a feature extraction unit that extracts facial feature data and a correction image generation unit that corrects the facial expression image according to the facial feature data extracted by the feature extraction unit and generates a correction image.

또한, 상기 표정이미지는, 기쁨을 표현하는 제1표정이미지, 슬픔을 표현하는 제2표현미지, 화남을 표현하는 제3표정이미지 및 놀람을 표현하는 제4표정이미지를 포함하고, 상기 디스플레이부는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나의 표정이미지를 디스플레이하고, 사용자는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나 표정이미지를 따라 표정을 짓고, 특징인식부는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나 표정이미지가 디스플레이되는 동안, 사용자가 짓는 얼굴표정으로부터 얼굴특징데이터를 각각 추출하고, 상기 보정이미지생성부는, 디스플레이되는 제1표정이미지 내지 제4표정이미지마다 추출된 얼굴특징데이터에 따라 눈과 입을 보정하여 보정이미지를 생성하는 것을 특징으로 한다.In addition, the expression image includes a first expression image expressing joy, a second expression image expressing sadness, a third expression image expressing anger, and a fourth expression image expressing surprise, and the display unit, Any one of the first to fourth facial expression images is displayed, and the user makes a facial expression according to any one of the first to fourth facial expression images, and the feature recognition unit performs the first to fourth facial expression images. While any one of the 1st to 4th facial expression images is displayed, facial feature data are extracted from the facial expressions made by the user, respectively, and the corrected image generating unit extracts facial feature data for each displayed first to fourth facial expression image. It is characterized in that the correction image is generated by correcting the eyes and mouth according to the extracted facial feature data.

또한, 상기 디스플레이부는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나의 변경전 표정이미지에서 나머지 중 어느 하나의 변경후 표정이미지로 변경될 수 있는 제1 내지 제12 경우에 따라 표정이미지를 변경하되, 변경전 표정이미지에서 변경후 표정이미지를 오버랩하면서 일정시간동안 변경시키고, 상기 특징인식부는, 상기 제1 내지 제12 경우마다 사용자의 얼굴표정에서 얼굴특징이 변화하는 특징변화데이터를 더 추출하되, 각 경우에 대응하는 제1 내지 제12 특징변화데이터를 추출하고, 상기 특징변화데이터는, 표정이미지의 변경전에서 변경후까지 연속되는 영상데이터로 이루어지고, 상기 보정이미지생성부는, 어느 하나의 표정이미지가 다른 표정이미지로 변경되는 각 경우에 해당되는 특징변화데이터를 통해 표정이 변화하는 제1 내지 제12 표현동영상을 생성하고, 상기 이미지변경부가 상기 제1표정이미지 내지 제4표정이미지를 번갈아가며 변경하는 경우마다, 경우에 대응하는 표현동영상을 변경전 표정이미지와 변경후 표정이미지 사이에 재생되도록 하는 것을 특징으로 한다.In addition, the display unit displays facial expression images according to the first to twelfth cases that can be changed from a facial expression image before any one of the first to fourth facial expression images to a facial expression image after any one of the remaining changes. However, the facial expression image before change and the expression image after change are overlapped and changed for a certain period of time, and the feature recognition unit further extracts feature change data in which facial features change from the facial expression of the user in each of the first to twelfth cases. However, the first to twelfth feature change data corresponding to each case are extracted, the feature change data is composed of continuous image data from before change to after change of expression image, and the correction image generator, any one First to twelfth expression videos in which expressions change are generated through feature change data corresponding to each case in which the expression image of is changed to another expression image, and the image changing unit converts the first to fourth expression images. It is characterized in that the expression video corresponding to the case is reproduced between the facial expression image before the change and the expression image after the change in each case of alternating change.

이상 살펴본 바와 같은 본 발명의 효과는, 인상이미지를 자동으로 추출하고, 인상이미지를 기준으로 표정이미지를 추출함과 동시에 감정이미지를 변경하여 사용자가 다양한 표현을 할 수 있는 아바타 얼굴 생성 시스템을 제공할 수 있다.As described above, the effect of the present invention is to provide an avatar face generation system in which a user can express various expressions by automatically extracting an impression image, extracting a facial expression image based on the impression image, and changing an emotion image at the same time. can

또한, 본 발명의 효과는, 기본이미지로부터 얼굴 인상영역으로 이루어진 인상이미지를 추출하고, 얼굴 인상영역을 편집하여 최종의 인상이미지를 저장할 수 있는 아바타 얼굴 생성 시스템을 제공할 수 있다.In addition, the effect of the present invention is to provide an avatar face generating system capable of extracting an impression image composed of a face impression area from a basic image, editing the face impression area, and storing a final impression image.

도 1은 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템을 나타낸 구성도이다.
도 2는 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 얼굴추출부를 나타낸 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 특징추출부를 나타낸 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 색상표시부를 나타낸 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 상단표시부를 나타낸 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 하단표시부를 나타낸 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 기본표정설정부를 나타낸 도면이다.
도 8 내지 도 10은 본 발명의 바람직한 실시예에 따른 아바타 얼굴 생성 시스템의 콘텐츠를 나타낸 도면이다. 1 is a configuration diagram showing an avatar face generation system according to a preferred embodiment of the present invention.
2 is a diagram showing a face extraction unit of an avatar face generation system according to a preferred embodiment of the present invention.
3 is a diagram showing a feature extraction unit of an avatar face generating system according to a preferred embodiment of the present invention.
4 is a diagram showing a color display unit of an avatar face generating system according to a preferred embodiment of the present invention.
5 is a diagram showing an upper display unit of an avatar face generating system according to a preferred embodiment of the present invention.
6 is a diagram showing a lower display unit of the avatar face generating system according to a preferred embodiment of the present invention.
7 is a diagram showing a basic expression setting unit of the avatar face generation system according to a preferred embodiment of the present invention.
8 to 10 are diagrams showing contents of the avatar face generation system according to a preferred embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms, only the present embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.

이하, 본 발명의 실시예들에 의하여 아바타 얼굴 생성 시스템을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, the present invention will be described with reference to drawings for explaining an avatar face generating system according to embodiments of the present invention.

본 발명에 따른 아바타 얼굴 생성 시스템은, 사용자단말기(100) 및 서버(200)를 통해 구현된다. The avatar face generating system according to the present invention is implemented through the user terminal 100 and the server 200.

사용자단말기(100) 및 서버(200)는 인터넷을 포함하는 네트워크를 통해 서로 통신을 수행한다.The user terminal 100 and the server 200 communicate with each other through a network including the Internet.

사용자단말기(100)는 스마트폰, 테블릿 및 노트북을 포함하는 모바일 기기에 해당할 수 있으나 본 발명의 범위가 이에 한정되는 것은 아니고 데스크 톱과 같은 비 모바일 기기에 해당할 수 있다. The user terminal 100 may correspond to a mobile device including a smart phone, tablet, and laptop, but the scope of the present invention is not limited thereto and may correspond to a non-mobile device such as a desktop.

사용자단말기(100)는 아바타 얼굴 생성하기 위한 애플리케이션(101)을 서버(200)로부터 다운로드 할 수 있고, 애플리케이션(101)이 설치되면, 애플리케이션(101)을 통해 아바타 얼굴을 생성 및 생성된 아바타 얼굴을 서버(200)로 전송할 수 있다. The user terminal 100 may download an application 101 for generating an avatar face from the server 200, and when the application 101 is installed, an avatar face is created through the application 101 and the created avatar face is displayed. It can be transmitted to the server 200.

또한, 사용자단말기(100)는 애플리케이션(101)을 통해 생성된 아바타 얼굴을 서버(200)에서 제공하는 콘텐츠(210)에 적용하여 콘텐츠(210)가 재생될 수 있도록, 콘텐츠(210)의 재생시킬 수 있다. In addition, the user terminal 100 applies the avatar face generated through the application 101 to the content 210 provided by the server 200 so that the content 210 can be reproduced, so that the content 210 can be reproduced. can

이에 따라, 아바타 얼굴 생성 시스템은 사용자단말기(100) 내에 설치된 애플리케이션(101)으로 구현되며, 구현을 위한 입출력이 사용자단말기(100)를 통해 이루어진다.Accordingly, the avatar face generation system is implemented as an application 101 installed in the user terminal 100, and input/output for implementation is performed through the user terminal 100.

도 1 내지 도 10을 참조하면, 본 발명에 따른 아바타 얼굴 생성 시스템은, 얼굴추출부(110), 표정추출부(130) 및 커스텀부(140)를 포함한다.1 to 10 , the avatar face generation system according to the present invention includes a face extraction unit 110, an expression extraction unit 130, and a custom unit 140.

먼저, 얼굴추출부(110)는, 얼굴을 포함하는 기본이미지(135)로부터 얼굴에 대응하는 얼굴 인상영역으로 이루어진 인상이미지(111)를 추출한다. First, the face extractor 110 extracts an impression image 111 consisting of a face impression region corresponding to a face from a basic image 135 including a face.

이때, 기본이미지(135)는 사용자단말기(100) 또는 서버(200)에 저장된 이미지를 로딩할 수 있다. 또한, 기본이미지(135)는, 인상이미지(111)로 추출되고, 인상이미지(111)를 통해서 다양한 표정으로 이루어진 후술할 표정이미지로 추출됨에 따라, 사용자의 무표정으로 이루어지는 것이 바람직하나, 이에 한정하지 않는다. At this time, the basic image 135 may load an image stored in the user terminal 100 or the server 200 . In addition, as the basic image 135 is extracted as the impression image 111 and extracted as a facial expression image to be described later composed of various facial expressions through the impression image 111, it is preferable that the user's expressionless expression is formed, but it is not limited thereto. don't

또한, 얼굴추출부(110)는, 영역추출부(112)와, 영역편집부(113) 및 영역저장부를 포함한다. In addition, the face extraction unit 110 includes a region extraction unit 112, a region editing unit 113, and a region storage unit.

영역추출부(112)는, 기본이미지(135)에서 얼굴에 해당하는 라인을 기준으로 얼굴 인상영역을 추출한다. 이때, 얼굴에 해당하는 라인은 빅데이터를 이용하여 추출될 수 있다. The area extraction unit 112 extracts a face impression area based on a line corresponding to a face in the basic image 135 . At this time, the line corresponding to the face may be extracted using big data.

도 2를 참조하면, 영역편집부(113)는, 추출된 얼굴 인상영역의 크기 편집이 가능하도록 한다. Referring to FIG. 2 , the area editing unit 113 enables size editing of the extracted face impression area.

이때, 영역편집부(113)는, 추출된 얼굴 인상영역 크기를 확장가능한 확장부(114)와, 축소가능한 축소부(115) 및 상기 확장부(114)와 축소부(115)에서 얼굴 인상영역의 크기를 조절할 수 있는 영역조절도구(116)를 제어하는 도구제어부(117)를 포함한다.At this time, the region editing unit 113 includes an expansion unit 114 capable of expanding the size of the extracted face impression area, a reduction unit 115 capable of reducing the size of the extracted face impression area, and the size of the face impression area in the expansion unit 114 and the reduction unit 115. A tool control unit 117 for controlling the area adjusting tool 116 capable of adjusting the size is included.

여기서, 영역조절도구(116)는 원, 사각형 등의 도형으로 형성되고, 도형의 크기가 조절될 수 있다.Here, the area adjusting tool 116 is formed in a shape such as a circle or a rectangle, and the size of the shape can be adjusted.

즉, 확장부(114)는, 영역조절도구(116)가 기본이미지(135)에 터치 등을 통해 입력되면 얼굴 인상영역을 추가하며 확장시킨다. 또한, 축소부(115)는, 영역조절도구(116)가 기본이미지(135)에 터치 등을 통해 입력되면 얼굴 인상영역을 제거하며 축소시킨다. That is, when the area adjusting tool 116 is input to the basic image 135 through a touch or the like, the expansion unit 114 adds and expands the face impression area. In addition, the reduction unit 115 removes and reduces the face impression area when the area adjusting tool 116 is input through a touch or the like to the basic image 135 .

이때, 얼굴 인상영역은, 기본이미지(135)에 기 설정된 영역색상으로 표시됨에 따라, 확장부(114)와 축소부(115)에 조절되는 얼굴 인상영역을 확인할 수 있다. At this time, as the face impression area is displayed in a preset area color on the basic image 135, it is possible to check the face impression area controlled by the expansion unit 114 and the reduction unit 115.

영역저장부는, 영역편집부(113)에 의해 크기가 편집된 얼굴 인상영역으로 이루어진 인상이미지(111)를 저장한다. The area storage unit stores the impression image 111 composed of face impression areas whose sizes have been edited by the area editing unit 113 .

즉, 얼굴추출부(110)는, 기본이미지(135)로부터 얼굴만으로 이루어진 인상이미지(111)를 추출 및 저장할 수 있다. That is, the face extractor 110 may extract and store the impression image 111 consisting only of the face from the base image 135 .

또한, 도 3과 같이, 본 발명에 따른 아바타 얼굴 생성 시스템은, 인상이미지(111)가 저장되면, 저장된 인상이미지(111)에서 감정표현에 필요한 눈과 입의 얼굴특징 포인터를 추출하고, 추출한 얼굴특징 포인터의 위치를 조절할 수 있는 특징추출부(120)를 더 포함할 수 있다. In addition, as shown in FIG. 3 , when the impression image 111 is stored, the avatar face generation system according to the present invention extracts facial feature pointers of eyes and mouth necessary for emotional expression from the stored impression image 111, and extracts the extracted face. A feature extraction unit 120 capable of adjusting the position of the feature pointer may be further included.

도 4와 같이, 표정추출부(130)는, 기 설정된 표정왜곡설정값을 이용하여 인상영역을 왜곡시켜 왜곡표정을 포함하는 표정이미지를 추출한다. As shown in FIG. 4 , the facial expression extraction unit 130 extracts a facial expression image including a distorted facial expression by distorting the impression area using a preset facial expression distortion setting value.

이때, 표정이미지는, 기쁨을 표현하는 제1표정이미지(131), 슬픔을 표현하는 제2표정이미지(132), 화남을 표현하는 제3표정이미지(133) 및 놀람을 표현하는 제4표정이미지(134)를 포함할 수 있다. At this time, the expression images include a first expression image 131 expressing joy, a second expression image 132 expressing sadness, a third expression image 133 expressing anger, and a fourth expression image expressing surprise. (134).

예를 들어, 제1표정이미지(131)의 기 설정된 표정왜곡설정값은, 특징추출부(120)가 추출한 얼굴특징 포인터를 왜곡시키는 것으로, 인상이미지(111)의 눈을 가늘게 왜곡시키고, 입꼬리 양쪽이 입 중앙보다 올라가도록 왜곡시킬 수 있다. For example, the preset facial expression distortion setting value of the first facial expression image 131 is to distort the facial feature pointer extracted by the feature extraction unit 120, distorting the eyes of the impression image 111 to be narrow, and distorting both corners of the mouth. It can be distorted so that it rises above the center of the mouth.

이에 따라, 표정왜곡설정값을 다르게 함에 따라, 다양한 표정을 표현할 수 있다.Accordingly, various facial expressions can be expressed by differentiating facial expression distortion setting values.

커스텀부(140)는, 인상이미지(111)와 표정이미지를 포함하는 감정이미지를 변경할 수 있다. The custom unit 140 may change the impression image 111 and an emotional image including a facial expression image.

도 4 내지 도 7을 참조하면, 커스텀부(140)는, 색상표시부(141), 문양표시부, 일괄표시부(144), 투명조절부 및 기본표정설정부(145)를 포함한다. 4 to 7 , the custom unit 140 includes a color display unit 141, a pattern display unit, a batch display unit 144, a transparency control unit, and a basic facial expression setting unit 145.

도 4와 같이, 색상표시부(141)는, 감정이미지를 어느 하나의 색상으로 표시할 수 있다. As shown in FIG. 4 , the color display unit 141 may display an emotional image in any one color.

즉, 색상표시부(141)는, 인상이미지(111) 및 제1표정이미지(131) 내지 제4표정이미지(134)를 어느 하나의 색상으로 표시할 수 있다.That is, the color display unit 141 may display the impression image 111 and the first to fourth facial expression images 131 to 134 in any one color.

도 5 및 도 6을 참조하면, 문양표시부는, 인상이미지(111) 및 제1표정이미지(131) 내지 제4표정이미지(134)에 기 설정된 문양을 표시할 수 있다. Referring to FIGS. 5 and 6 , the pattern display unit may display preset patterns on the impression image 111 and the first to fourth facial expression images 131 to 134 .

일괄표시부(144)는, 인상이미지(111) 및 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나에서 색상과 문양이 표시되면, 나머지 이미지에도 일괄적으로 표시되도록 한다.The batch display unit 144, when colors and patterns are displayed in any one of the impression image 111 and the first facial expression image 131 to the fourth facial expression image 134, causes the remaining images to be collectively displayed.

또한, 문양표시부는, 감정이미지의 상단에 문양을 표시하는 상단표시부(142)와, 하단에 문양을 표시하는 하단표시부(143)를 포함한다. In addition, the pattern display unit includes an upper display unit 142 displaying a pattern on top of the emotion image and a lower display unit 143 displaying a pattern on the lower side.

즉, 상단표시부(142)는, 감정이미지의 이마에 표시하고, 하단표시부(143)는, 감정이미지의 양쪽 볼 중 어느 하나 이상의 볼에 표시할 수 있다. That is, the upper display unit 142 may display on the forehead of the emotional image, and the lower display unit 143 may display on one or more cheeks of both cheeks of the emotional image.

여기서, 문양은, 하트, 달팽이 미로, 꽃, 물방울, 별, 도형 등 어느 하나 이상으로 이루어질 수 있으나, 이에 한정하지 않는다. Here, the pattern may consist of one or more of a heart, a snail maze, a flower, a water drop, a star, and a figure, but is not limited thereto.

투명조절부는, 색상표시부(141)가 표시하는 색상의 투명도를 조절가능하다. 이때, 투명도는 70% 이하로 이루어져 얼굴 인상영역이 보일 수 있도록 하는 것이 바람직하나, 이에 한정하지 않는다.The transparency control unit can adjust the transparency of the color displayed by the color display unit 141 . At this time, it is preferable that the transparency is made at 70% or less so that the face impression area can be seen, but is not limited thereto.

이때, 색상표시부(141)는, 투명조절부로 조절된 투명도를 갖는 색상을 감정이미지에 오버랩하여 표시한다.At this time, the color display unit 141 overlaps and displays the color having the transparency adjusted by the transparency control unit on the emotion image.

예를 들어, 기쁨을 표현하는 제1표정이미지(131)에 노란색을 표시하는 경우, 사용자가 원하는 투명도를 설정하여 표시함에 따라, 사용자별로 감정이미지를 원하는 방향대로 컨스텀할 수 있다. For example, when yellow is displayed on the first facial expression image 131 expressing joy, the user can customize the emotional image in a desired direction by setting and displaying the transparency desired by the user.

도 7을 참조하면, 기본표정설정부(145)는, 후술할 콘텐츠(210)가 재생될 때 기본적으로 표시되는 기본표정을 설정할 수 있다. Referring to FIG. 7 , the basic facial expression setting unit 145 may set a basic facial expression that is basically displayed when content 210 to be described later is reproduced.

즉, 기본표정설정부(145)는, 기 설정에 따라 기본표정을 인상이미지(111)로 설정하되, 사용자에 의해 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나가 선택되면 설정된 인상이미지(111)를 선택된 표정이미지로 변경한 기본이미지(135)로 설정할 수 있다. That is, the basic facial expression setting unit 145 sets the basic facial expression as the impression image 111 according to the preset setting, but any one of the first facial expression image 131 to the fourth facial expression image 134 is selected by the user. If so, the set impression image 111 can be set as the basic image 135 changed to the selected facial expression image.

이에 따라, 감정이미지에는, 인상이미지(111) 및 제1표정이미지(131) 내지 제4표정이미지(134)를 포함할 수도 있고, 기본표정설정부(145)에 따라 추가이미지 및 제1표정이미지(131) 내지 제4표정이미지(134)를 포함할 수 있다. 이때, 추가이미지는 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나의 표정이미지와 같으나, 색상과 문양은 다르게 표시될 수 있다. Accordingly, the emotion image may include the impression image 111 and the first expression image 131 to the fourth expression image 134, and the additional image and the first expression image according to the basic expression setting unit 145. (131) to fourth facial expression images (134) may be included. At this time, the additional image is the same as the expression image of any one of the first expression image 131 to the fourth expression image 134, but the color and pattern may be displayed differently.

한편, 본 발명에 따른 아바타 얼굴 생성 시스템은, 콘텐츠제공부(150), 콘텐츠재생부(160) 및 이미지변경부(170)를 포함한다. Meanwhile, the avatar face generation system according to the present invention includes a content providing unit 150, a content reproducing unit 160, and an image changing unit 170.

콘텐츠제공부(150)는, 하나 이상의 콘텐츠(210)를 제공한다. 이때, 콘텐츠제공부(150)는 서버(200)로부터 콘텐츠(210)를 다운로드한다. The content provider 150 provides one or more content 210 . At this time, the content provider 150 downloads the content 210 from the server 200 .

도 8을 참조하면, 콘텐츠재생부(160)는, 콘텐츠(210)를 재생하고, 감정이미지를 포함하는 캐릭터(211)를 표시한다. 즉, 캐릭터(211)에는 기 설정된 캐릭터(211)얼굴을 포함할 수 있으며, 감정이미지가 생성되면 캐릭터(211)얼굴을 감성이미지로 변경하고, 감성이미지를 얼굴로 하는 캐릭터(211)를 표시할 수 있다. Referring to FIG. 8 , the content player 160 reproduces the content 210 and displays a character 211 including an emotional image. That is, the character 211 may include a preset character 211 face, and when an emotional image is generated, the character 211 face is changed to an emotional image, and the character 211 having the emotional image as a face is displayed. can

도 9 및 도 10을 참조하면, 이미지변경부(170)는, 콘텐츠(210)가 재생되는 동안, 감정이미지를 번갈아가며 변경한다. 즉, 이미지변경부(170)는, 기본이미지(135) 및 제1표정이미지(131) 내지 제4표정이미지(134)를 랜덤 또는 콘텐츠(210)에 기 설정된 변경값에 따라 변경한다. 이때, 기 설정된 변경값은, 콘텐츠(210)에 따라 감정표현이 필요한 부분에 무표정, 기쁨, 슬픔, 화남, 놀람 중 어느 하나의 감정이 설정되고, 무표정에는 기본이미지(135), 기쁨에는 제1표정이미지(131), 슬픔에는 제2표정이미지(132), 화남에는 제3표정이미지(133), 놀람에는 제4표정이미지(134)로 변경할 수 있다. Referring to FIGS. 9 and 10 , the image changing unit 170 alternately changes emotional images while content 210 is being reproduced. That is, the image changing unit 170 changes the basic image 135 and the first to fourth facial expression images 131 to 134 at random or according to a change value preset in the content 210 . At this time, as for the preset change value, any one emotion among expressionless expression, joy, sadness, anger, and surprise is set in the part where emotional expression is required according to the content 210, the basic image 135 is set for expressionless expression, and the first image 135 is used for joy. The expression image 131 can be changed to a second expression image 132 for sadness, a third expression image 133 for anger, and a fourth expression image 134 for surprise.

한편, 본 발명에 따른 아바타 얼굴 생성 시스템은, 기쁨, 슬픔, 화남, 놀람의 표정이미지를 보정한 보정이미지를 생성할 수 있는 표정보정부를 더 포함한다. On the other hand, the avatar face generation system according to the present invention further includes a facial expression correction unit capable of generating a corrected image obtained by correcting facial expression images of joy, sadness, anger, and surprise.

표정보정부는, 촬영부(103), 디스플레이부(102), 특징추출부(120) 및 보정이미지생성부를 포함한다. The facial expression correction unit includes a photographing unit 103, a display unit 102, a feature extraction unit 120, and a corrected image generation unit.

촬영부(103)는, 사용자를 촬영한다. The photographing unit 103 photographs the user.

디스플레이부(102)는, 추출된 표정이미지를 디스플레이한다. The display unit 102 displays the extracted facial expression image.

이때, 촬영부(103)와 디스플레이부(102)는, 사용자단말기(100)의 촬영모듈과 디스플레이모듈일 수 있다. At this time, the photographing unit 103 and the display unit 102 may be a photographing module and a display module of the user terminal 100 .

특징추출부(120)는, 디스플레이되는 표정이미지에 따라 사용자가 짓는 얼굴표정을 촬영부(103)로부터 인식하고, 인식하는 얼굴표정에서 입과 눈을 포함하는 얼굴특징데이터를 추출한다. The feature extraction unit 120 recognizes facial expressions made by the user from the photographing unit 103 according to the displayed facial expression images, and extracts facial feature data including the mouth and eyes from the recognized facial expressions.

보정이미지생성부는, 특징추출부(120)가 추출한 얼굴특징데이터에 따라 표정이미지를 보정하여 보정이미지를 생성한다. 이에 따라, 제1표정이미지(131)는 제1보정이미지, 제2표정이미지(132)는 제2보정이미지, 제3표정이미지(133)는 제3보정이미지, 제4표정이미지(134)는 제4보정이미지로 생성되고, 이미지변경부(170)는 표정이미지 대신 보정이미지를 변경한다. The corrected image generation unit generates a corrected image by correcting the facial expression image according to the facial feature data extracted by the feature extraction unit 120 . Accordingly, the first facial expression image 131 is the first corrected image, the second facial expression image 132 is the second corrected image, the third facial expression image 133 is the third corrected image, and the fourth facial expression image 134 is A fourth corrected image is generated, and the image changing unit 170 changes the corrected image instead of the facial expression image.

여기서, 표정추출부(130)는, 기 설정된 표정왜곡설정값으로 인상이미지(111)의 입과 눈을 왜곡시켜 표정이미지를 추출하기 때문에 사용자의 실제 표정과 다르게 추출하여 표정이미지가 어색할 수 있다. Here, since the facial expression extraction unit 130 extracts a facial expression image by distorting the mouth and eyes of the impression image 111 with a preset facial expression distortion setting value, the facial expression image may be awkward because it is extracted differently from the user's actual facial expression. .

즉, 표정보정부는, 상술한 어색함을 없앨 수 있도록, 추출한 표정이미지를 실제 표정으로부터 입과 눈을 인식하고, 추출한 얼굴특징데이터로 표정이미지를 보정하는 것이다. That is, the facial expression correction unit recognizes the mouth and eyes of the extracted facial expression image from the actual facial expression, and corrects the facial expression image with the extracted facial feature data so as to eliminate the above-mentioned awkwardness.

더 구체적으로 설명하면, 디스플레이부(102)는, 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나의 표정이미지를 디스플레이한다. More specifically, the display unit 102 displays any one of the first facial expression images 131 to the fourth facial expression images 134 .

이때, 사용자는, 디스플레이되는 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나 표정이미지를 따라 표정을 짓는다. At this time, the user makes a facial expression according to any one of the displayed first facial expression images 131 to fourth facial expression images 134 .

여기서, 특징인식부는, 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나 표정이미지가 디스플레이되는 동안, 사용자가 짓는 얼굴표정으로부터 얼굴특징데이터를 각각 추출할 수 있다.Here, the feature recognition unit may extract facial feature data from facial expressions made by the user while any one of the first facial expression images 131 to the fourth facial expression images 134 is displayed.

즉, 제1표정이미지(131)가 디스플레이되면, 사용자는 제1표정이미지(131)를 따라서 기쁨표정을 짓는다. 여기서, 사용자는 제1표정이미지(131)를 따라해서 입꼬리를 올리고, 눈을 가늘게 하는 기쁨표정을 짓는다. That is, when the first facial expression image 131 is displayed, the user makes a happy facial expression according to the first facial expression image 131 . Here, the user imitates the first expression image 131, raises the corners of his mouth, and makes a happy expression by narrowing his eyes.

이때, 보정이미지생성부는, 디스플레이되는 제1표정이미지(131) 내지 제4표정이미지(134)마다 추출된 얼굴특징데이터에 따라 눈과 입을 보정한다. At this time, the corrected image generator corrects the eyes and mouth according to the facial feature data extracted for each of the first to fourth facial expression images 131 to 134 displayed.

예를 들어, 제1표정이미지(131)에서 입꼬리 간격보다 얼굴특징데이터에서 추출한 입꼬리 간격이 더 길면, 얼굴특징데이터에서 추출한 입꼬리 간격에 대응하도록 제1표정이미지(131)에서 입꼬리 간격을 늘려 보정하는 것이다. 또한, 제1표정이미지(131)에서 가늘게 표현된 눈보다, 얼굴특징데이터에서 추출한 눈이 더 크다면, 얼굴특징데이터에서 추출한 눈크기에 대응하도록 제1표정이미지(131)에서 눈 크기를 크게 보정하는 것이다.For example, if the mouth-tail interval extracted from the facial feature data is longer than the mouth-tail interval in the first expression image 131, the mouth-tail interval is increased in the first expression image 131 to correspond to the mouth-tail interval extracted from the facial feature data and corrected. will be. In addition, if the eyes extracted from the facial feature data are larger than the eyes expressed as thin in the first expression image 131, the size of the eyes in the first expression image 131 is greatly corrected to correspond to the size of the eyes extracted from the facial feature data is to do

이와 같이, 실제 표정에 대응하도록 표정이미지를 보정함으로써, 어색함을 줄이고, 콘텐츠(210)에서 자신의 얼굴과 최대한 유사한 감정이미지를 볼 수 있다. In this way, by correcting the facial expression image to correspond to the actual facial expression, awkwardness can be reduced, and an emotional image similar to one's own face can be seen in the content 210 as much as possible.

또한, 콘텐츠(210)가 재생되는 동안, 표정이미지가 변경될 때 더 자연스럽게 변경되도록 할 수 있다. In addition, while the content 210 is being reproduced, when the facial expression image is changed, it can be changed more naturally.

예를 들어, 제1표정이미지(131)에서 제2표정이미지(132)로 즉시 변경되는 것이 아니라, 실제 기쁨표정에서 슬픔표정으로 변화하는 얼굴특징 변화모습을 제1표정이미지(131)와 제2표정이미지(132) 사이에 보여주는 것이다. 이에 따라, 표정이미지가 또 다른 표정이미지로 변화하는 얼굴특징 변화모습도 함께 보여줌에 따라, 자연스럽게 표정이미지를 변경시켜 자연스러운 콘텐츠(210)를 재생시킬 수 있다. 또한, 표정이미지 대신 기 보정된 보정이미지가 변경될 때는, 기 보정된 보정이미지가 또 다른 표정이미지로 변화하는 사이에 얼굴특징 변화모습을 함께 보여줄 수 있다. For example, instead of immediately changing from the first expression image 131 to the second expression image 132, the change in facial features from a happy expression to a sad expression is displayed between the first expression image 131 and the second expression image 132. It is shown between the facial expression images 132. Accordingly, as the expression image changes to another facial expression image, and the facial feature change is also shown, the natural content 210 can be reproduced by naturally changing the expression image. In addition, when a pre-corrected corrected image is changed instead of a facial expression image, while the previously corrected corrected image is changed to another facial expression image, a change in facial features may be shown together.

이를 위해, 디스플레이부(102)는, 제1표정이미지(131) 내지 제4표정이미지(134) 중 어느 하나의 변경전 표정이미지에서 나머지 중 어느 하나의 변경후 표정이미지로 변경될 수 있는 경우의 수에 따라 표정이미지를 변경하되, 변경전 표정이미지에서 변경후 표정이미지를 오버랩하면서 일정시간동안 변경시킨다. To this end, the display unit 102, in the case where one of the first expression images 131 to the fourth expression images 134 can be changed from the expression image before change to the expression image after any one of the remaining changes. The facial expression image is changed according to the number, but the facial expression image before the change is changed for a certain period of time while overlapping the expression image after the change.

여기서, 변경전 표정이미지에서 변경후 표정이미지로 변경되는 경우의 수는, 제1표정이미지(131)에서 제2 내지 제4표정이미지(134) 중 어느 하나로 각각 변경되는 제1 내지 제3의 경우, 제2표정이미지(132)에서 제1, 제3 및 제4표정이미지(134) 중 어느 하나로 각각 변경되는 제4 내지 제6의 경우, 제3표정이미지(133)에서 제1, 제2 및 제4표정이미지(134) 중 어느 하나로 각각 변경되는 제7 내지 제9의 경우, 제4표정이미지(134)에서, 제1 내지 제3표정이미지(133) 중 어느 하나로 각각 변경되는 제10 내지 제12의 경우를 포함하여 총 12개의 경우를 나타낸다. Here, the number of cases in which the expression image before change is changed to the expression image after change is the first to third cases in which the first expression image 131 is changed to one of the second to fourth expression images 134, respectively. , In the case of the 4th to 6th expressions that are respectively changed from the second expression image 132 to any one of the first, third and fourth expression images 134, the first, second and third expressions in the third expression image 133 In the case of the 7th to 9th expressions, which are each changed to one of the fourth facial expression images 134, the 10th to 9th expressions, respectively, which are changed to any one of the first to third facial expression images 133 in the fourth facial expression image 134. A total of 12 cases including 12 cases are shown.

특징인식부는, 제1 내지 제12의 경우마다 사용자의 얼굴표정에서 얼굴특징이 변화하는 특징변화데이터를 더 추출한다. 이때, 특징변화데이터는 변경 전에서 후까지 연속되는 영상데이터로 이루어질 수 있다. 즉, 특징인식부는, 제1표정이미지(131)에서 제2표정이미지(132)를 따라 짓는 사용자의 얼굴표정에서 얼굴특징이 변화하는 특징변화데이터를 추출함에 따라, 각 경우마다 제1 내지 제12 특정변화데이터를 추출한다. The feature recognizing unit further extracts feature change data in which a facial feature changes from the user's facial expression in each of the first to twelfth cases. At this time, the feature change data may consist of continuous image data from before to after the change. That is, the feature recognition unit extracts feature change data in which facial features change from the facial expressions of the user made along the second expression image 132 from the first expression image 131, and the first to twelfth for each case. Extract specific change data.

보정이미지생성부는, 어느 하나의 표정이미지가 다른 표정이미지로 변경되는 경우에 해당되는 특징변화데이터를 통해 표정이미지가 변화하는 표현동영상을 각 경우마다 제1 내지 제12 표현동영상을 생성할 수 있다. The correction image generator may generate first to twelfth expression videos in each case of an expression video in which a facial expression image changes through feature change data corresponding to a case in which one facial expression image is changed to another facial expression image.

그리고, 이미지변경부(170)는, 제1표정이미지(131) 내지 제4표정이미지(134)를 번갈아가며 변경하는 경우마다, 경우에 대응하는 표현동영상을 변경전 표정이미지와 변경후 표정이미지 사이에 재생되도록 한다. Then, the image changing unit 170, whenever the first facial expression image 131 to the fourth facial expression image 134 is alternately changed, the expression video corresponding to the case is placed between the expression image before change and the expression image after change. to be played on

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. 더불어, 상술하는 과정에서 기술된 구성의 작동순서는 반드시 시계열적인 순서대로 수행될 필요는 없으며, 각 구성 및 단계의 수행 순서가 바뀌어도 본 발명의 요지를 충족한다면 이러한 과정은 본 발명의 권리범위에 속할 수 있음은 물론이다.Those skilled in the art to which the present invention pertains will understand that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The scope of the present invention is indicated by the scope of the claims to be described later rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof are construed as being included in the scope of the present invention. It should be. In addition, the operation sequence of the components described in the above process does not necessarily have to be performed in a time-series order, and even if the execution sequence of each configuration and step is changed, if the gist of the present invention is satisfied, these processes will fall within the scope of the present invention. Of course you can.

100 : 사용자단말기 101 : 애플리케이션
102 : 디스플레이부 103 : 촬영부
110 : 얼굴추출부 111 : 인상이미지
112 : 영역추출부 113 : 영역편집부
114 : 확장부 115 : 축소부
116 : 영역조절도구 117 : 도구제어부
120 : 특징추출부 130 : 표정추출부
131 : 제1표정이미지 132 : 제2표정이미지
133 : 제3표정이미지 134 : 제4표정이미지
135 : 기본이미지 140 : 커스텀부
141 : 색상표시부 142 : 상단표시부
143 : 하단표시부 144 : 일괄표시부
145 : 기본표정설정부 150 : 콘텐츠제공부
160 : 콘텐츠재생부 170 : 이미지변경부
200 : 서버 210 : 콘텐츠
211 : 캐릭터 100: user terminal 101: application
102: display unit 103: shooting unit
110: face extraction unit 111: impression image
112: region extraction unit 113: region editing unit
114: expansion part 115: contraction part
116: area adjustment tool 117: tool control unit
120: feature extraction unit 130: expression extraction unit
131: first expression image 132: second expression image
133: 3rd facial expression image 134: 4th facial expression image
135: basic image 140: custom part
141: color display unit 142: top display unit
143: lower display unit 144: collective display unit
145: basic facial expression setting unit 150: content providing unit
160: content playback unit 170: image change unit
200: server 210: content
211: character

Claims (10)

얼굴을 포함하는 기본이미지로부터 얼굴에 대응하는 얼굴 인상영역으로 이루어진 인상이미지를 추출하는 얼굴추출부;
기 설정된 표정왜곡설정값을 이용하여 상기 인상영역을 왜곡시켜 왜곡표정을 포함하는 표정이미지를 추출하는 표정추출부; 및
상기 인상이미지와 표정이미지를 포함하는 감정이미지를 변경하는 커스텀부;를 포함하고,
상기 커스텀부는,
상기 감정이미지를 어느 하나의 색상으로 표시하는 색상표시부와,
상기 감정이미지에 기 설정된 문양을 표시하는 문양표시부를 포함하는 아바타 얼굴 생성 시스템.
a face extraction unit which extracts an impression image consisting of a face impression area corresponding to the face from a basic image including the face;
a facial expression extraction unit distorting the impression area using a preset facial expression distortion setting value to extract a facial expression image including a distorted facial expression; and
A custom unit for changing the emotion image including the impression image and the facial expression image;
The custom part,
A color display unit for displaying the emotion image in one color;
Avatar face generation system comprising a pattern display unit for displaying a preset pattern on the emotional image.
 제1항에 있어서,
상기 얼굴추출부는,
상기 기본이미지에서 얼굴에 해당하는 라인을 기준으로 얼굴 인상영역을 추출하는 영역추출부와,
추출된 상기 얼굴 인상영역의 크기 편집이 가능하도록 하는 영역편집부와,
상기 영역편집부에 의해 크기가 편집된 얼굴 인상영역으로 이루어진 인상이미지를 저장하는 영역저장부를 포함하는 아바타 얼굴 생성 시스템.
According to claim 1,
The face extraction unit,
an area extraction unit for extracting a face impression area based on a line corresponding to a face in the basic image;
a region editing unit enabling size editing of the extracted face impression region;
and a region storage unit for storing an impression image composed of a face impression region whose size has been edited by the region editing unit.
 제2항에 있어서,
상기 영역편집부는, 추출된 얼굴 인상영역 크기를 확장가능한 확장부와, 축소가능한 축소부 및 상기 확장부와 축소부에서 얼굴 인상영역의 크기를 조절할 수 있는 영역조절도구를 제어하는 도구제어부를 포함하는 아바타 얼굴 생성 시스템.
According to claim 2,
The area editing unit includes an expansion unit capable of expanding the size of the extracted face impression area, a reduction unit capable of being reduced, and a tool control unit controlling a region adjusting tool capable of adjusting the size of the face impression area in the expansion unit and the reduction unit. Avatar face generation system.
 삭제delete 제1항에 있어서,
상기 문양표시부는, 상기 감정이미지의 상단에 문양을 표시하는 상단표시부와, 하단에 문양을 표시하는 하단표시부를 포함하고,
상기 상단표시부는, 상기 감정이미지의 이마에 표시하고,
상기 하단표시부는, 상기 감정이미지의 양쪽 볼 중 어느 하나 이상의 볼에 표시하는 것을 특징으로 하는 아바타 얼굴 생성 시스템.
According to claim 1,
The pattern display unit includes an upper display unit displaying a pattern on top of the emotion image and a lower display unit displaying a pattern on the lower side,
The upper display unit is displayed on the forehead of the emotional image,
Avatar face generation system, characterized in that the lower display unit is displayed on one or more of the cheeks of both sides of the emotion image.
 제1항에 있어서,
상기 커스텀부는,
상기 색상표시부가 표시하는 색상의 투명도를 조절가능한 투명조절부를 더 포함하고,
상기 색상표시부는, 상기 투명조절부로 조절된 투명도를 갖는 색상을 상기 감정이미지에 오버랩하여 표시하는 것을 특징으로 하는 아바타 얼굴 생성 시스템.
According to claim 1,
The custom part,
Further comprising a transparency control unit capable of adjusting the transparency of the color displayed by the color display unit,
The avatar face generation system, characterized in that the color display unit overlaps and displays a color having transparency adjusted by the transparency control unit on the emotion image.
 제1항에 있어서,
하나 이상의 콘텐츠를 제공하는 콘텐츠제공부;
상기 콘텐츠를 재생하고, 상기 감정이미지를 포함하는 캐릭터를 표시하는 콘텐츠재생부; 및
상기 콘텐츠가 재생되는 동안, 상기 감정이미지를 번갈아가며 변경하는 이미지변경부를 더 포함하는 아바타 얼굴 생성 시스템.
According to claim 1,
Contents provider for providing one or more contents;
a content playback unit that reproduces the content and displays a character including the emotion image; and
The avatar face generation system further comprising an image changing unit for alternatingly changing the emotion image while the content is being reproduced.
 제7항에 있어서,
사용자를 촬영하는 촬영부와,
추출된 표정이미지를 디스플레이하는 디스플레이부와,
디스플레이되는 표정이미지에 따라 사용자가 짓는 얼굴표정을 촬영부로부터 인식하고, 인식하는 얼굴표정에서 입과 눈을 포함하는 얼굴특징데이터를 추출하는 특징추출부 및
상기 특징추출부가 추출한 얼굴특징데이터에 따라 상기 표정이미지를 보정하여 보정이미지를 생성하는 보정이미지생성부를 포함하는 표정보정부;를 더 포함하는 아바타 얼굴 생성 시스템.
According to claim 7,
A photographing unit for photographing a user;
A display unit for displaying the extracted facial expression image;
A feature extraction unit for recognizing a facial expression made by a user from a photographing unit according to a displayed facial expression image and extracting facial feature data including mouth and eyes from the recognized facial expression; and
The avatar face generation system further comprising a facial expression correction unit including a correction image generation unit generating a correction image by correcting the expression image according to the facial feature data extracted by the feature extraction unit.
 제8항에 있어서,
상기 표정이미지는, 기쁨을 표현하는 제1표정이미지, 슬픔을 표현하는 제2표현미지, 화남을 표현하는 제3표정이미지 및 놀람을 표현하는 제4표정이미지를 포함하고,
상기 디스플레이부는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나의 표정이미지를 디스플레이하고,
사용자는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나 표정이미지를 따라 표정을 짓고,
상기 제1표정이미지 내지 제4표정이미지 중 어느 하나 표정이미지가 디스플레이되는 동안, 사용자가 짓는 얼굴표정으로부터 얼굴특징데이터를 각각 추출하는 특징인식부를 포함하고,
상기 보정이미지생성부는, 디스플레이되는 제1표정이미지 내지 제4표정이미지마다 추출된 얼굴특징데이터에 따라 눈과 입을 보정하여 보정이미지를 생성하는 것을 특징으로 하는 아바타 얼굴 생성 시스템.
According to claim 8,
The facial expression image includes a first expression image expressing joy, a second expression image expressing sadness, a third expression image expressing anger, and a fourth expression image expressing surprise,
The display unit displays any one of the first to fourth facial expression images,
The user makes a facial expression according to any one of the first to fourth facial expression images,
A feature recognition unit for extracting facial feature data from facial expressions made by a user while any one of the first to fourth facial expression images is displayed,
The avatar face generation system, characterized in that the correction image generation unit generates a correction image by correcting the eyes and mouth according to the facial feature data extracted for each of the first to fourth expression images to be displayed.
 제9항에 있어서,
상기 디스플레이부는, 상기 제1표정이미지 내지 제4표정이미지 중 어느 하나의 변경전 표정이미지에서 나머지 중 어느 하나의 변경후 표정이미지로 변경될 수 있는 제1 내지 제12 경우에 따라 표정이미지를 변경하되, 변경전 표정이미지에서 변경후 표정이미지를 오버랩하면서 일정시간동안 변경시키고,
상기 특징인식부는, 상기 제1 내지 제12 경우마다 사용자의 얼굴표정에서 얼굴특징이 변화하는 특징변화데이터를 더 추출하되, 각 경우에 대응하는 제1 내지 제12 특징변화데이터를 추출하고,
상기 특징변화데이터는, 표정이미지의 변경전에서 변경후까지 연속되는 영상데이터로 이루어지고,
상기 보정이미지생성부는, 어느 하나의 표정이미지가 다른 표정이미지로 변경되는 각 경우에 해당되는 특징변화데이터를 통해 표정이 변화하는 제1 내지 제12 표현동영상을 생성하고,
상기 이미지변경부가 상기 제1표정이미지 내지 제4표정이미지를 번갈아가며 변경하는 경우마다, 경우에 대응하는 표현동영상을 변경전 표정이미지와 변경후 표정이미지 사이에 재생되도록 하는 것을 특징으로 하는 아바타 얼굴 생성 시스템.
According to claim 9,
The display unit changes the facial expression image according to the first to twelfth cases that can be changed from a facial expression image before any one of the first to fourth facial expression images to a facial expression image after any one of the remaining changes, , The expression image before change is changed for a certain period of time while overlapping the expression image after change,
The feature recognition unit further extracts feature change data in which facial features change from the user's facial expression for each of the first to twelfth cases, and extracts first to twelfth feature change data corresponding to each case,
The feature change data is composed of continuous image data from before the change of the expression image to after the change,
The correction image generation unit generates first to twelfth expression videos in which facial expressions change through feature change data corresponding to each case in which one facial expression image is changed to another facial expression image,
Characterized in that, whenever the image changing unit alternately changes the first to fourth expression images, an expression video corresponding to the case is reproduced between the expression image before change and the expression image after change. system.
KR1020210167851A 2021-11-30 2021-11-30 System for creating face avatar KR102553432B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210167851A KR102553432B1 (en) 2021-11-30 2021-11-30 System for creating face avatar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210167851A KR102553432B1 (en) 2021-11-30 2021-11-30 System for creating face avatar

Publications (2)

Publication Number Publication Date
KR20230080543A KR20230080543A (en) 2023-06-07
KR102553432B1 true KR102553432B1 (en) 2023-07-10

Family

ID=86761235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210167851A KR102553432B1 (en) 2021-11-30 2021-11-30 System for creating face avatar

Country Status (1)

Country Link
KR (1) KR102553432B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101681501B1 (en) * 2016-06-28 2016-12-01 (주) 키글 System and method for creating face avatar

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101170338B1 (en) * 2009-09-05 2012-08-02 에스케이플래닛 주식회사 Method For Video Call And System thereof
KR20140065762A (en) * 2012-11-21 2014-05-30 토리인 주식회사 System for providing character video and method thereof
KR101629219B1 (en) 2014-05-23 2016-06-13 정성 An elevator monitor that restricts access through face recognition
KR102565755B1 (en) * 2018-02-23 2023-08-11 삼성전자주식회사 Electronic device for displaying an avatar performed a motion according to a movement of a feature point of a face and method of operating the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101681501B1 (en) * 2016-06-28 2016-12-01 (주) 키글 System and method for creating face avatar

Also Published As

Publication number Publication date
KR20230080543A (en) 2023-06-07

Similar Documents

Publication Publication Date Title
CN107154069B (en) Data processing method and system based on virtual roles
US20210264139A1 (en) Creating videos with facial expressions
US8988436B2 (en) Training system and methods for dynamically injecting expression information into an animated facial mesh
US20200020173A1 (en) Methods and systems for constructing an animated 3d facial model from a 2d facial image
KR101514327B1 (en) Method and apparatus for generating face avatar
KR101306221B1 (en) Method and apparatus for providing moving picture using 3d user avatar
CN111530086B (en) Method and device for generating expression of game role
CN112188304A (en) Video generation method, device, terminal and storage medium
US20140267342A1 (en) Method of creating realistic and comic avatars from photographs
US20180143741A1 (en) Intelligent graphical feature generation for user content
KR20140065762A (en) System for providing character video and method thereof
KR102553432B1 (en) System for creating face avatar
KR101681501B1 (en) System and method for creating face avatar
CN114026524B (en) Method, system, and computer-readable medium for animating a face
Flanagan The bride stripped bare to her data: information flow+ digibodies
CN116824020A (en) Image generation method and device, apparatus, medium, and program
US20220165024A1 (en) Transforming static two-dimensional images into immersive computer-generated content
CN111899321A (en) Method and device for showing expression of virtual character
Xu et al. A novel MG 2D animation design method under the perspective of convergence media using intelligent design technology
CN113794799A (en) Video processing method and device
WO2018018076A1 (en) Creating videos with facial expressions
WO2023130715A1 (en) Data processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
KR100965622B1 (en) Method and Apparatus for making sensitive character and animation
Agnoli Race and the Animated Bodyscape: Constructing and Ascribing a Racialized Asian Identity in Avatar and Korra
Yang Feasibility and Application of Gal Game on Virtual Reality

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant