KR20220080576A - System and method for generating avatar character - Google Patents

System and method for generating avatar character Download PDF

Info

Publication number
KR20220080576A
KR20220080576A KR1020200169812A KR20200169812A KR20220080576A KR 20220080576 A KR20220080576 A KR 20220080576A KR 1020200169812 A KR1020200169812 A KR 1020200169812A KR 20200169812 A KR20200169812 A KR 20200169812A KR 20220080576 A KR20220080576 A KR 20220080576A
Authority
KR
South Korea
Prior art keywords
image
dimensional
model
user
unit
Prior art date
Application number
KR1020200169812A
Other languages
Korean (ko)
Inventor
박윤진
Original Assignee
주식회사 라이브메이커스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라이브메이커스 filed Critical 주식회사 라이브메이커스
Priority to KR1020200169812A priority Critical patent/KR20220080576A/en
Publication of KR20220080576A publication Critical patent/KR20220080576A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 아바타 캐릭터 생성 시스템 및 방법에 관한 것으로서, 본 발명에 따른 아바타 캐릭터 생성 시스템은 사용자의 2차원 이미지를 추출하는 2차원 이미지 추출부; 3차원의 모델 다수 개가 저장되는 3차원 모델 저장부; 상기 2차원 이미지 추출부에서 추출된 사용자 2차원 이미지를 상기 3차원 모델 저장부에 저장된 3차원 모델 중 하나의 표면에 반영하는 2차원 이미지 반영부; 및 상기 2차원 이미지 반영부에서 3차원 모델의 표면에 반영되어 만들어진 3차원 표면 모델을 추출하는 표면 모델 추출부;를 포함한다.
이에 따라, 2차원 얼굴 이미지로부터 3차원의 아바타 캐릭터를 신속하고 용이하게 생성하는 것이 가능하다.The present invention relates to a system and method for generating an avatar character, and the system for generating an avatar character according to the present invention comprises: a two-dimensional image extractor for extracting a two-dimensional image of a user; a three-dimensional model storage unit for storing a plurality of three-dimensional models; a two-dimensional image reflection unit for reflecting the user's two-dimensional image extracted from the two-dimensional image extracting unit on one surface of the three-dimensional model stored in the three-dimensional model storage unit; and a surface model extraction unit for extracting a 3D surface model created by being reflected on the surface of the 3D model by the 2D image reflection unit.
Accordingly, it is possible to quickly and easily generate a three-dimensional avatar character from a two-dimensional face image.

Description

아바타 캐릭터 생성 시스템 및 방법{System and method for generating avatar character}{System and method for generating avatar character}

본 발명은 아바타 캐릭터 생성 시스템 및 방법에 관한 것으로서, 보다 상세하게는 2차원 얼굴 이미지로부터 3차원의 아바타 캐릭터를 신속하고 용이하게 생성하는 것이 가능한 아바타 캐릭터 생성 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for generating an avatar character, and more particularly, to a system and method for generating an avatar character capable of quickly and easily generating a three-dimensional avatar character from a two-dimensional face image.

얼굴은 다른 신체 부위에 비해 굴곡이 심하며 미묘한 변화에도 사람이 쉽게 차이를 느끼는 부분이기 때문에, 얼굴을 3차원으로 모델링하는 것은 쉽지 않다.It is not easy to model the face in three dimensions because the face is curved compared to other body parts and is a part where people can easily feel the difference even in subtle changes.

얼굴 모델의 생성은 용도에 따라 크게 두 방향으로 볼 수 있다. 첫 번째, 영화 등에 사용되는 고품질의 얼굴 모델로, 각종 3차원 모델링 툴을 이용하여 생성될 수 있다. 3차원 모델링 툴에 의해 생성되는 얼굴 모델은 정교하지만 애니메이션을 구현하기 위한 일반적인 모델 변형 방법을 사용하기 때문에 실시간 처리에 문제가 있다. 두 번째, 게임 등에 사용되는 단순화된 얼굴 모델로, 실시간 애니메이션에 중점을 둔 경우이다.The creation of a face model can be largely viewed in two directions depending on its use. First, it is a high-quality face model used in movies, etc., and can be generated using various 3D modeling tools. The face model generated by the 3D modeling tool is sophisticated, but there is a problem in real-time processing because it uses a general model transformation method to implement animation. The second is a simplified face model used in games, etc., focusing on real-time animation.

그러나 두 가지 경우 모두 얼굴을 모델링하는 과정에서 많은 단계들을 직접 사람이 조정해야 하며, 모델러의 역량에 의해 생성된 얼굴 모델의 품질과 애니메이션시에 발생하는 추가 변형 사항들이 달라지게 된다.However, in both cases, many steps must be manually adjusted in the process of modeling a face, and the quality of the face model created by the modeler's capabilities and additional deformations that occur during animation are different.

한편, 컴퓨터나 스마트폰으로 게임을 플레이하는 경우, 보통 게임에서 제공하는 캐릭터를 선택하여 플레이하는데, 최근 각종 분야에서 커스터마이징이 유행하고 있어 게임 분야에서도 캐릭터에 커스터마이징을 도입할 필요성이 있다.On the other hand, when a game is played with a computer or a smartphone, a character provided in the game is usually selected and played. Recently, customization is popular in various fields, so it is necessary to introduce customization to the character in the game field as well.

게임 캐릭터에서 캐릭터의 특징을 가장 잘 나타낼 수 있는 부분은 얼굴인데 상기한 바와 같이 얼굴을 모델링하는 것이 쉽지 않아 캐릭터의 커스터마이징을 위한 새로운 방법이 필요하다.In a game character, the part that can best represent the character's characteristics is the face, and as described above, it is not easy to model the face, so a new method for character customization is needed.

KRKR 10-2009-006415310-2009-0064153 AA

따라서, 본 발명의 목적은 이와 같은 종래의 문제점을 해결하기 위한 것으로서, 신속하고 용이하게 커스터마이징된 캐릭터를 생성하는 것이 가능한 아바타 캐릭터 생성 시스템 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a system and method for generating an avatar character capable of quickly and easily generating a customized character, in order to solve the problems of the related art.

본 발명이 해결하고자 하는 과제는 위에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 목적은, 본 발명에 따라, 사용자의 2차원 이미지를 추출하는 2차원 이미지 추출부; 3차원의 모델 다수 개가 저장되는 3차원 모델 저장부; 상기 2차원 이미지 추출부에서 추출된 사용자 2차원 이미지를 상기 3차원 모델 저장부에 저장된 3차원 모델 중 하나의 표면에 반영하는 2차원 이미지 반영부; 및 상기 2차원 이미지 반영부에서 3차원 모델의 표면에 반영되어 만들어진 3차원 표면 모델을 추출하는 표면 모델 추출부;를 포함하는 아바타 캐릭터 생성 시스템에 의해 달성된다.The above object, according to the present invention, a two-dimensional image extraction unit for extracting a two-dimensional image of the user; a three-dimensional model storage unit for storing a plurality of three-dimensional models; a two-dimensional image reflection unit for reflecting the user's two-dimensional image extracted from the two-dimensional image extracting unit on one surface of the three-dimensional model stored in the three-dimensional model storage unit; and a surface model extraction unit for extracting a 3D surface model created by being reflected on the surface of the 3D model by the 2D image reflection unit;

상기 2차원 이미지 반영부는, 사용자 2차원 이미지의 일부분을 늘이거나 축소하여 3차원 모델에 반영할 수 있다.The two-dimensional image reflecting unit may extend or reduce a portion of the user's two-dimensional image and reflect it on the three-dimensional model.

상기 2차원 이미지 반영부는, 특징점을 기준으로 사용자 2차원 이미지의 일부분을 늘이거나 축소할 수 있다.The two-dimensional image reflecting unit may extend or reduce a portion of the user's two-dimensional image based on the feature point.

본 발명에 의한 아바타 캐릭터 생성 시스템은, 3차원 모델의 표면 중 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성하는 히든 이미지 생성부를 더 구비할 수 있다.The system for generating an avatar character according to the present invention may further include a hidden image generating unit that generates an image of a portion of the surface of the 3D model that does not appear in the user's 2D image.

상기 히든 이미지 생성부는, 사용자 2차원 이미지의 대칭 이미지를 통해 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성할 수 있다.The hidden image generating unit may generate an image of a portion that does not appear in the user's 2D image through the symmetrical image of the user's 2D image.

상기 히든 이미지 생성부는, 기 설정된 3차원 표면 이미지가 저장된 3차원 표면 이미지 저장부를 구비하여, 상기 3차원 표면 이미지 저장부에 저장된 기 설정 3차원 표면 이미지를 통해 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성할 수 있다.The hidden image generating unit includes a three-dimensional surface image storage unit storing a preset three-dimensional surface image, and an image of a portion that does not appear in the user's two-dimensional image through the preset three-dimensional surface image stored in the three-dimensional surface image storage unit can create

본 발명에 의한 아바타 캐릭터 생성 시스템은, 상기 표면 이미지 추출부에서 추출된 3차원 표면 모델로부터 2차원 또는 3차원의 캐릭터를 생성하는 캐릭터 생성부를 더 구비할 수 있다.The avatar character generating system according to the present invention may further include a character generating unit for generating a two-dimensional or three-dimensional character from the three-dimensional surface model extracted by the surface image extracting unit.

본 발명의 또 다른 실시예에 의하면, 사용자의 2차원 이미지를 추출하는 2차원 이미지 추출단계; 상기 2차원 이미지 추출단계에서 추출된 사용자 2차원 이미지를 3차원 모델의 표면에 반영하는 2차원 이미지 반영단계; 및 상기 2차원 이미지 반영단계에서 사용자 2차원 이미지가 3차원 모델의 표면에 반영되어 만들어진 3차원 표면 모델을 추출하는 표면 모델 추출단계;를 포함하는 아바타 캐릭터 생성 방법이 제공된다.According to another embodiment of the present invention, a two-dimensional image extraction step of extracting a two-dimensional image of the user; a two-dimensional image reflection step of reflecting the user's two-dimensional image extracted in the two-dimensional image extraction step on the surface of the three-dimensional model; and a surface model extraction step of extracting a three-dimensional surface model created by reflecting a user's two-dimensional image on the surface of the three-dimensional model in the two-dimensional image reflection step;

본 발명에 의한 아바타 캐릭터 생성 방법은, 상기 2차원 이미지 반영단계와 상기 표면 모델 추출단계 사이에서 진행되는 것으로서, 3차원 모델의 표면 중 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성하는 히든 이미지 생성단계를 더 포함할 수 있다.The method for generating an avatar character according to the present invention proceeds between the step of reflecting the two-dimensional image and the step of extracting the surface model, and generates a hidden image of a surface of the three-dimensional model that does not appear in the user's two-dimensional image. It may include further steps.

본 발명에 의한 아바타 캐릭터 생성 방법은, 상기 표면 모델 추출단계 후에 진행되는 것으로서, 상기 표면 모델 추출단계에서 추출된 3차원 표면 모델로부터 2차원 또는 3차원의 캐릭터를 생성하는 캐릭터 생성단계를 더 포함할 수 있다.The method for generating an avatar character according to the present invention proceeds after the step of extracting the surface model, and may further include a step of creating a character of generating a two-dimensional or three-dimensional character from the three-dimensional surface model extracted in the step of extracting the surface model. can

본 발명에 의한 아바타 캐릭터 생성 시스템은 하나의 2차원 이미지를 3차원 모델의 표면에 반영하는 단순한 과정을 통해 사용자의 아이덴터티가 반영된 3차원 표면 모델을 생성하는 것이 가능하여, 커스터마이징된 아바타 캐릭터를 매우 신속하고 용이하게 만들 수 있다. The avatar character creation system according to the present invention makes it possible to create a three-dimensional surface model reflecting the user's identity through a simple process of reflecting one two-dimensional image on the surface of the three-dimensional model, so that a customized avatar character can be created very quickly. and can be made easily.

이렇게 만들어진 3차원 표면 모델은 특정 사용자와 다른 사용자를 구분하기에는 충분한 아이덴터티를 가질 수 있다.The 3D surface model created in this way may have sufficient identity to distinguish a specific user from other users.

본 발명에 의한 아바타 캐릭터 생성 시스템을 구성하는 2차원 이미지 반영부에서 사용자 2차원 이미지의 일부분을 늘이거나 축소하여 3차원 모델에 반영하는 경우, 그리고 본 발명에 의한 아바타 캐릭터 생성 시스템이 히든 이미지 생성부를 구비하는 경우에는 보다 사실적인 아바타 캐릭터를 만드는 것이 가능하다.When the two-dimensional image reflection unit constituting the avatar character creation system according to the present invention extends or reduces a portion of the user's two-dimensional image and reflects it in the three-dimensional model, and the avatar character creation system according to the present invention includes a hidden image generating unit If equipped, it is possible to create a more realistic avatar character.

도 1은 본 발명에 의한 아바타 캐릭터 생성 시스템의 개략적인 구성도,
도 2는 본 발명에 의한 아바타 캐릭터 생성 시스템을 구성하는 3차원 모델 저장부에 관한 설명도,
도 3 및 도 4는 본 발명에 의한 아바타 캐릭터 생성 시스템을 구성하는 히든 이미지 생성부에 관한 설명도,
도 5는 본 발명에 의한 아바타 캐릭터 생성 방법의 순서도이다.1 is a schematic configuration diagram of an avatar character creation system according to the present invention;
2 is an explanatory view of a three-dimensional model storage unit constituting an avatar character creation system according to the present invention;
3 and 4 are explanatory views of a hidden image generating unit constituting the avatar character generating system according to the present invention;
5 is a flowchart of a method for generating an avatar character according to the present invention.

이하에서는 본 발명의 구체적인 실시예에 대하여 도면을 참고하여 자세하게 설명하도록 한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings.

도 1에는 본 발명에 의한 아바타 캐릭터 생성 시스템(1)의 개략적인 구성도가 도시되어 있다.1 is a schematic configuration diagram of an avatar character creation system 1 according to the present invention.

본 발명에 의한 아바타 캐릭터 생성 시스템(1)은 사용자 인터페이스부(미도시), 2차원 이미지 추출부(10), 3차원 모델 저장부(20), 2차원 이미지 반영부(30) 및 표면 모델 추출부(40)를 포함한다.The avatar character creation system 1 according to the present invention includes a user interface unit (not shown), a two-dimensional image extraction unit 10, a three-dimensional model storage unit 20, a two-dimensional image reflection unit 30, and a surface model extraction unit. part 40 .

사용자 인터페이스부는 본 발명에 의한 아바타 캐릭터 생성 시스템(1)과 사용자를 연결하는 부분으로, 사용자에게 선택에 필요한 정보를 제공하고 사용자의 명령을 입력받는다.The user interface unit is a part that connects the avatar character creation system 1 according to the present invention to the user, and provides the user with information necessary for selection and receives the user's command.

2차원 이미지 추출부(10)에서는 사용자의 2차원 이미지를 하나 추출한다. 사용자 2차원 이미지는 사용자의 얼굴 이미지일 수도 있고, 전신 이미지일 수도 있다.The two-dimensional image extraction unit 10 extracts one two-dimensional image of the user. The user's two-dimensional image may be a face image of the user or a full body image.

2차원 이미지 추출부(10)는 예를 들어, 스마트폰이나 노트북 등의 카메라에 접근하여 사용자 2차원 이미지를 얻거나 스마트폰 등의 메모리에 접근하여 사용자 2차원 이미지를 얻을 수 있으며, 사용자에 의해 선택될 수 있다.The two-dimensional image extraction unit 10 may, for example, obtain a user two-dimensional image by accessing a camera such as a smart phone or a laptop computer, or obtain a user two-dimensional image by accessing a memory such as a smart phone, by the user can be selected.

3차원 모델 저장부(20)에는 3차원 모델 다수 개가 저장된다. 도 2에는 3차원 모델의 예시가 도시되어 있다. 3차원 모델 저장부(20)에 저장되는 3차원 모델은 표면이 민무늬로서 입체적인 형태만을 갖는다. 3차원 모델은 사람의 얼굴이나 전신을 형상화하거나 동물의 얼굴이나 전신을 형상화한 것일 수 있으며, 사람 얼굴이나 전신의 3차원 모델은 얼굴형, 성별, 체형별로 다양하게 저장되어 있을 수 있다.The three-dimensional model storage unit 20 stores a plurality of three-dimensional models. 2 shows an example of a three-dimensional model. The three-dimensional model stored in the three-dimensional model storage unit 20 has only a three-dimensional shape with a smooth surface. The 3D model may be a shape of a human face or a whole body, or an animal's face or a whole body, and the 3D model of a human face or whole body may be stored in various ways for each face type, gender, and body type.

2차원 이미지 반영부(30)에서는 2차원 이미지 추출부(10)에서 추출된 사용자 2차원 이미지를 3차원 모델 저장부(20)에 저장된 3차원 모델 중 사용자가 선택한 한 모델의 표면에 반영한다. 즉, 사용자 2차원 이미지는 3차원 모델의 굴곡을 가지는 표면을 덮어 3차원 모델의 표면에 모양을 형성한다.The two-dimensional image reflection unit 30 reflects the user's two-dimensional image extracted by the two-dimensional image extracting unit 10 on the surface of one model selected by the user among the three-dimensional models stored in the three-dimensional model storage unit 20 . That is, the user's 2D image covers the curved surface of the 3D model to form a shape on the surface of the 3D model.

표면 모델 추출부(40)는 2차원 이미지 반영부(30)에서 3차원 모델의 표면에 반영되어 만들어진 3차원 표면 모델을 추출한다. 3차원 표면 모델은 2차원 이미지가 3차원 모델의 표면 굴곡에 맞추어 변형된 것으로서, 표면만을 가지는 쉘(shell) 형태의 3차원 모델이다. 이러한 3차원 표면 모델은 일반적인 3차원 모델과 마찬가지로 여러 각도에서 볼 수 있고, 사용자 2차원 이미지가 반영되어 만들어진 것이므로 사용자의 아이덴터티(identity)를 갖는다.The surface model extraction unit 40 extracts a 3D surface model created by being reflected on the surface of the 3D model by the 2D image reflection unit 30 . The 3D surface model is a 3D model in the form of a shell in which a 2D image is deformed according to the surface curvature of the 3D model, and has only a surface. This three-dimensional surface model can be viewed from various angles like a general three-dimensional model, and has the identity of the user because it is created by reflecting the user's two-dimensional image.

이처럼 본 발명에 의한 아바타 캐릭터 생성 시스템(1)은 하나의 2차원 이미지를 3차원 모델의 표면에 반영하는 단순한 과정을 통해 사용자의 아이덴터티가 반영된 3차원 표면 모델을 생성하는 것이 가능하여, 커스터마이징된 아바타 캐릭터를 매우 신속하고 용이하게 만들 수 있다.As described above, the avatar character creation system 1 according to the present invention makes it possible to generate a 3D surface model reflecting the user's identity through a simple process of reflecting one 2D image on the surface of the 3D model, so that the customized avatar can be created. You can create characters very quickly and easily.

이렇게 만들어진 3차원 표면 모델은 영화 등에 사용되는 3차원 모델에 비하여 정확성은 떨어질 수 있지만, 특정 사용자와 다른 사용자를 구분하기에는 충분한 아이덴터티를 가질 수 있기 때문에 게임 상에서 움직이는 특정 사용자의 아바타 캐릭터로 사용하기에 적합하다.Although the 3D surface model created in this way may have lower accuracy than the 3D model used in movies, etc., it can have an identity sufficient to distinguish a specific user from other users, so it is suitable for use as an avatar character of a specific user moving in the game. do.

2차원 이미지 반영부(30)는 사용자 2차원 이미지의 일부분을 늘이거나 축소하여 3차원 모델에 반영할 수 있다.The two-dimensional image reflecting unit 30 may extend or reduce a portion of the user's two-dimensional image and reflect it on the three-dimensional model.

사용자 2차원 이미지와 3차원 모델은 차원이 다르기 때문에 사용자 2차원 이미지를 완벽하게 3차원 모델의 표면에 반영하는 것은 쉽지 않다. 따라서, 사용자 2차원 이미지의 일부분을 늘이거나 축소하여 사용자 2차원 이미지가 보다 사실적으로 3차원 모델에 반영되게 할 수 있다.Since the user 2D image and the 3D model have different dimensions, it is not easy to perfectly reflect the user 2D image on the surface of the 3D model. Accordingly, by increasing or reducing a portion of the user's 2D image, the user's 2D image can be reflected in the 3D model more realistically.

예를 들어, 2차원 이미지 반영부(30)는 특징점을 기준으로 사용자 2차원 이미지의 일부분을 늘이거나 축소할 수 있다. 특징점은 예를 들어, 눈, 코, 입 등의 부분이 될 수 있다. 특징점을 기준으로 사용자 2차원 이미지의 일부분을 늘이거나 축소하면, 사용자의 아이덴터티를 가장 잘 나타내는 특징점 부분이 이미지를 늘이거나 축소하는 과정에서 변형될 가능성이 적으므로, 이미지를 늘이거나 축소하면서 사용자의 아이덴터티가 손상되는 것을 방지할 수 있다.For example, the 2D image reflecting unit 30 may increase or decrease a portion of the user 2D image based on the feature point. The feature point may be, for example, an eye, a nose, a mouth, or the like. If a part of the user's two-dimensional image is stretched or reduced based on the feature point, the feature point part that best represents the user's identity is less likely to be deformed in the process of stretching or reducing the image, so the user's identity while stretching or reducing the image can be prevented from being damaged.

사용자 2차원 이미지에서 눈, 코, 입 등의 위치는 인공지능 학습 모델에 의해 파악될 수 있다. 또는, 얼굴 이미지에서 명암 변화를 통해 눈, 코, 입 등의 위치를 파악하는 것도 가능하다.The positions of the eyes, nose, mouth, etc. in the user's two-dimensional image may be identified by an artificial intelligence learning model. Alternatively, it is also possible to determine the positions of the eyes, nose, and mouth by changing the contrast in the face image.

3차원 모델에는 3차원 모델의 표면 상에서 눈, 코, 입 등의 위치, 얼굴의 경계에 관한 데이터가 포함될 수 있다.The 3D model may include data regarding positions of eyes, nose, mouth, etc. on the surface of the 3D model, and boundary of the face.

본 발명에 의한 아바타 캐릭터 생성 시스템(1)은 히든 이미지 생성부(50)를 더 구비할 수 있다.The avatar character generating system 1 according to the present invention may further include a hidden image generating unit 50 .

히든 이미지 생성부(50)는 3차원 모델의 표면 중 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성한다. 예를 들어, 사용자 2차원 이미지가 사용자의 정면 이미지인 경우에는 사용자의 후면과 측면 이미지를 생성하고, 사용자 2차원 이미지가 사용자의 일측면 이미지인 경우에는 사용자의 반대 측면 이미지를 생성한다.The hidden image generating unit 50 generates an image of a portion of the surface of the 3D model that is not displayed in the user's 2D image. For example, when the user's 2D image is the front image of the user, the user's back and side images are generated, and when the user's 2D image is the user's one side image, the opposite side image of the user is generated.

이러한 히든 이미지 생성부(50)에 의해 3차원 표면 모델은 모든 면을 갖는 완전한 형태의 3차원 모델이 될 수 있다.The 3D surface model may be a complete 3D model having all surfaces by the hidden image generating unit 50 .

히든 이미지 생성부(50)는 사용자 2차원 이미지에서 얼굴의 각도를 판단하는 각도 판단부(미도시)를 구비하여, 각도 판단부에서 판단된 얼굴의 각도에 따라 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성할 수 있다.The hidden image generating unit 50 includes an angle determination unit (not shown) for determining the angle of the face in the user's two-dimensional image, and according to the angle of the face determined by the angle determination unit, the portion that does not appear in the user's two-dimensional image You can create an image.

예를 들어, 각도 판단부는 도 3에 도시되어 있는 바와 같이 얼굴 부분이 대칭을 이루는지 여부를 통해 얼굴의 각도를 판단할 수 있다. 즉, 얼굴 부분이 대칭을 이루는 경우에는 사용자 2차원 이미지가 얼굴의 정면을 나타낸 이미지인 것으로 판단하고, 얼굴 부분이 대칭을 이루지 않는 경우에는 사용자 2차원 이미지가 얼굴의 측면을 나타내는 이미지인 것으로 판단할 수 있다.For example, the angle determining unit may determine the angle of the face based on whether the face part is symmetrical as shown in FIG. 3 . That is, if the face part is symmetrical, it is determined that the user's 2D image is an image representing the front of the face, and if the face part is not symmetrical, it is determined that the user's 2D image is an image representing the side of the face. can

각도 판단부에서 사용자 2차원 이미지가 얼굴의 측면을 나타낸 이미지인 것으로 판단하면, 도 4의 (a)에 도시되어 있는 바와 같이, 사용자 2차원 이미지의 대칭 이미지를 통해 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성할 수 있다.When the angle determination unit determines that the user's 2D image is an image showing the side of the face, as shown in FIG. image can be created.

그리고 각도 판단부에서 사용자 2차원 이미지가 얼굴의 정면을 나타낸 이미지인 것으로 판단하면, 도 4의 (b)에 도시되어 있는 바와 같이, 3차원 표면 이미지 저장부(51)를 통해 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성할 수 있다. 3차원 표면 이미지 저장부(51)에는 기 설정된 다수 각도의 3차원 표면 이미지가 저장되어, 2차원 이미지에서 나타나지 않은 부분을 3차원 표면 이미지 저장부(51)에서 해당 위치를 표현한 이미지로 대체하는 것이 가능하다.And if the angle determining unit determines that the user's 2D image is an image showing the front of the face, as shown in FIG. You can create an image of a part that is not shown. In the three-dimensional surface image storage unit 51, a three-dimensional surface image of a plurality of preset angles is stored, and replacing a part that does not appear in the two-dimensional image with an image expressing the corresponding position in the three-dimensional surface image storage unit 51 is It is possible.

3차원 표면 이미지 저장부(51)의 이미지는 사용자를 표현한 이미지는 아니지만, 특정 사용자의 아이덴터티에 크게 영향을 주지 않는 부분에 관한 이미지이므로, 이를 사용하더라도 사용자의 아이덴터티는 유지될 수 있다.Although the image of the three-dimensional surface image storage unit 51 is not an image expressing the user, it is an image of a part that does not significantly affect the identity of a specific user, so even if it is used, the identity of the user can be maintained.

히든 이미지 생성부(50)에서 생성된 이미지는 3차원 모델에서 사용자 2차원 이미지가 반영되지 않은 부분의 표면에 반영된다.The image generated by the hidden image generating unit 50 is reflected on the surface of the portion where the user 2D image is not reflected in the 3D model.

각도 판단부는 인공지능 학습 모델을 통해 사용자 2차원 이미지에서 얼굴의 각도를 판단할 수도 있고, 얼굴 상에 나타난 눈, 코, 입 등의 수나 위치를 통해 얼굴의 각도를 판단할 수도 있다.The angle determining unit may determine the angle of the face in the user's two-dimensional image through the AI learning model, or may determine the angle of the face through the number or position of eyes, nose, and mouth that appear on the face.

본 발명에 의한 아바타 캐릭터 생성 시스템(1)은 캐릭터 생성부(60)를 더 포함할 수 있다.The avatar character generating system 1 according to the present invention may further include a character generating unit 60 .

캐릭터 생성부(60)는 표면 이미지 추출부에서 추출된 3차원 표면 모델로부터 2차원 또는 3차원의 캐릭터를 생성한다. 이렇게 생성된 캐릭터는 사용자가 플레이하는 게임 상에서 움직이는 3차원 캐릭터로 사용되거나 사용자 프로필에서 사용자의 사진을 대신하는 2차원 캐릭터로 사용될 수 있다.The character generator 60 generates a two-dimensional or three-dimensional character from the three-dimensional surface model extracted by the surface image extraction unit. The character generated in this way may be used as a moving 3D character in a game played by the user, or may be used as a 2D character in place of the user's picture in the user profile.

본 발명에 의한 아바타 캐릭터 생성 시스템(1)은 상기한 것과 같은 구성 외에도 사용자 2차원 이미지의 명암, 색상 등을 조정하는 이미지 조정부(미도시), 2차원 이미지 반영부(30)에서 사용되는 인공지능 학습 모델을 생성하는 제1 인공지능 학습부(미도시), 각도 판단부에서 사용되는 인공지능 학습 모델을 생성하는 제2 인공지능 학습부(미도시), 그리고 2차원 이미지 추출부(10), 3차원 모델 저장부(20), 2차원 이미지 반영부(30) 및 표면 모델 추출부(40) 등을 제어하는 제어부(미도시)를 더 구비할 수 있다.In addition to the above-described configuration, the avatar character creation system 1 according to the present invention includes an image adjustment unit (not shown) that adjusts the contrast, color, etc. of a user's two-dimensional image, artificial intelligence used in the two-dimensional image reflection unit 30 A first artificial intelligence learning unit (not shown) for generating a learning model, a second artificial intelligence learning unit (not shown) for generating an artificial intelligence learning model used in the angle determination unit, and a two-dimensional image extraction unit (10); A control unit (not shown) for controlling the 3D model storage unit 20 , the 2D image reflection unit 30 , and the surface model extraction unit 40 may be further provided.

이하에서는 본 발명에 의한 아바타 캐릭터 생성 방법에 대하여 설명하도록 한다. 본 발명에 의한 아바타 캐릭터 생성 방법에 대해 설명하면서 상기한 아바타 캐릭터 생성 시스템(1)의 설명시 언급한 부분에 대해서는 자세한 설명을 생략할 수 있다.Hereinafter, a method for generating an avatar character according to the present invention will be described. While describing the method for generating an avatar character according to the present invention, detailed descriptions of parts mentioned in the description of the avatar character generating system 1 may be omitted.

도 5에는 본 발명에 의한 아바타 캐릭터 생성 방법의 순서도가 도시되어 있다.5 is a flowchart of a method for generating an avatar character according to the present invention.

본 발명에 의한 아바타 캐릭터 생성 방법은 2차원 이미지 추출단계(S10), 2차원 이미지 반영단계(S20) 및 3차원 표면 모델 추출단계(S40)를 포함한다.The method for generating an avatar character according to the present invention includes a two-dimensional image extraction step (S10), a two-dimensional image reflection step (S20), and a three-dimensional surface model extraction step (S40).

2차원 이미지 추출단계(S10)에서는 사용자의 2차원 이미지를 하나 추출한다. 본 단계에서는 사용자의 스마트폰 등으로부터 사용자의 얼굴이나 전신의 이미지를 추출할 수 있다.In the two-dimensional image extraction step (S10), one two-dimensional image of the user is extracted. In this step, an image of the user's face or whole body may be extracted from the user's smartphone or the like.

2차원 이미지 반영단계(S20)에서는, 2차원 이미지 추출단계(S10)에서 추출된 사용자 2차원 이미지를 3차원 모델의 표면에 반영한다. 3차원 모델은 다양하게 준비될 수 있으며, 이 중 사용자에 의해 선택된 3차원 모델에 사용자 2차원 이미지가 반영된다.In the two-dimensional image reflection step (S20), the user's two-dimensional image extracted in the two-dimensional image extraction step (S10) is reflected on the surface of the three-dimensional model. The 3D model may be prepared in various ways, and the user's 2D image is reflected in the 3D model selected by the user among them.

3차원 모델에 사용자 2차원 이미지를 반영할 때, 사용자 2차원 이미지는 눈, 코, 입 등의 특징점을 기준으로 늘어나거나 축소되어 3차원 모델의 표면에 사실적으로 반영될 수 있다.When the user 2D image is reflected in the 3D model, the 2D user image may be increased or reduced based on feature points such as eyes, nose, and mouth to be realistically reflected on the surface of the 3D model.

표면 모델 추출단계(S40)에서는, 2차원 이미지 반영단계(S20)에서 사용자 2차원 이미지가 3차원 모델의 표면에 반영되어 만들어진 3차원 표면 모델을 추출한다.In the surface model extraction step (S40), the user's two-dimensional image is reflected on the surface of the three-dimensional model in the two-dimensional image reflection step (S20) to extract a three-dimensional surface model made.

이렇게 추출되는 3차원 표면 모델은 하나의 2차원 이미지를 3차원 모델의 표면에 반영하여 단순하게 만들어질 수 있으면서도 사용자의 아이덴터티를 반영하는 것이 가능하다.The extracted three-dimensional surface model can be made simply by reflecting one two-dimensional image on the surface of the three-dimensional model, and it is possible to reflect the identity of the user.

본 발명에 의한 아바타 캐릭터 생성 방법은 히든 이미지 생성단계(S30)를 더 포함할 수 있다.The method for generating an avatar character according to the present invention may further include a hidden image generating step (S30).

히든 이미지 생성단계(S30)는 2차원 이미지 반영단계(S20)와 표면 모델 추출단계(S40) 사이에 진행되는 것으로서, 3차원 모델의 표면 중 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성한다.The hidden image generating step (S30) is performed between the two-dimensional image reflection step (S20) and the surface model extraction step (S40), and an image of a portion of the surface of the three-dimensional model that does not appear in the user's two-dimensional image is generated.

사용자 2차원 이미지가 얼굴의 측면을 나타낸 이미지인 경우에는 사용자 2차원 이미지의 대칭 이미지를 통해 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성할 수 있고, 사용자 2차원 이미지가 얼굴의 정면을 나타낸 이미지인 경우에는 기 설정된 다수 각도의 3차원 표면 이미지 중 2차원 이미지에서 나타나지 않은 부분을 찾음으로써 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성할 있다.When the user's 2D image is an image showing the side of the face, an image of a part not shown in the user's 2D image can be generated through the symmetrical image of the user's 2D image, and the user's 2D image is an image showing the front of the face In the case of , an image of a portion not appearing in the user's two-dimensional image may be generated by finding a portion that does not appear in the two-dimensional image among the three-dimensional surface images of a plurality of preset angles.

이에 따라, 표면 모델 추출단계(S40)에서 추출되는 3차원 표면 모델이 모든 면을 갖는 완전한 형태의 3차원 모델이 될 수 있다.Accordingly, the three-dimensional surface model extracted in the surface model extraction step S40 may become a three-dimensional model of a complete form having all surfaces.

본 발명에 의한 아바타 캐릭터 생성 방법은 캐릭터 생성단계(S50)를 더 포함할 수 있다. 캐릭터 생성단계(S50)는 표면 모델 추출단계(S40) 후에 진행되는 것으로서, 3차원 표면 모델 추출단계(S40)에서 추출된 3차원 표면 모델로부터는 2차원 또는 3차원의 캐릭터를 생성한다. 이렇게 생성된 캐릭터는 게임 등에서 사용자를 대신하는 아바타 캐릭터로 사용될 수 있다.The method for generating an avatar character according to the present invention may further include a character creation step (S50). The character creation step (S50) proceeds after the surface model extraction step (S40), and a two-dimensional or three-dimensional character is generated from the three-dimensional surface model extracted in the three-dimensional surface model extraction step (S40). The character created in this way may be used as an avatar character on behalf of a user in a game or the like.

본 발명에 의한 아바타 캐릭터 생성 시스템(1) 및 방법은 하나 또는 다수의 하드웨어를 통해 구현되거나 하나 또는 다수의 소프트웨어를 통해 구현될 수 있다. 또는 하드웨어와 소프트웨어를 통해 구현될 수도 있다.The avatar character creation system 1 and method according to the present invention may be implemented through one or more hardware or may be implemented through one or more software. Alternatively, it may be implemented through hardware and software.

본 발명의 권리범위는 상술한 실시예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.The scope of the present invention is not limited to the above-described embodiments, but may be implemented in various types of embodiments within the scope of the appended claims. Without departing from the gist of the present invention claimed in the claims, it is considered to be within the scope of the description of the claims of the present invention to various extents that can be modified by any person skilled in the art to which the invention pertains.

1 : 아바타 캐릭터 생성 시스템
10 : 2차원 이미지 추출부 20 : 3차원 모델 저장부
30 : 2차원 이미지 반영부 40 : 표면 모델 추출부
50 : 히든 이미지 생성부 51 : 3차원 표면 이미지 저장부
60 : 캐릭터 생성부1: Avatar Character Creation System
10: 2D image extraction unit 20: 3D model storage unit
30: two-dimensional image reflection unit 40: surface model extraction unit
50: hidden image generating unit 51: 3D surface image storage unit
60: character creation unit

Claims (10)

사용자의 2차원 이미지를 추출하는 2차원 이미지 추출부;
3차원의 모델 다수 개가 저장되는 3차원 모델 저장부;
상기 2차원 이미지 추출부에서 추출된 사용자 2차원 이미지를 상기 3차원 모델 저장부에 저장된 3차원 모델 중 하나의 표면에 반영하는 2차원 이미지 반영부; 및
상기 2차원 이미지 반영부에서 3차원 모델의 표면에 반영되어 만들어진 3차원 표면 모델을 추출하는 표면 모델 추출부;를 포함하는 아바타 캐릭터 생성 시스템.
a two-dimensional image extraction unit for extracting a two-dimensional image of a user;
a three-dimensional model storage unit for storing a plurality of three-dimensional models;
a two-dimensional image reflection unit for reflecting the user's two-dimensional image extracted from the two-dimensional image extracting unit on one surface of the three-dimensional model stored in the three-dimensional model storage unit; and
and a surface model extraction unit for extracting a 3D surface model created by being reflected on the surface of the 3D model by the 2D image reflection unit.
 제1항에 있어서,
상기 2차원 이미지 반영부는, 사용자 2차원 이미지의 일부분을 늘이거나 축소하여 3차원 모델에 반영하는 것을 특징으로 하는 아바타 캐릭터 생성 시스템.
According to claim 1,
The 2D image reflection unit extends or reduces a portion of the 2D image of the user and reflects it on the 3D model.
 제2항에 있어서,
상기 2차원 이미지 반영부는, 특징점을 기준으로 사용자 2차원 이미지의 일부분을 늘이거나 축소하는 것을 특징으로 하는 아바타 캐릭터 생성 시스템.
3. The method of claim 2,
The two-dimensional image reflecting unit increases or decreases a portion of the user's two-dimensional image based on the feature point.
 제1항에 있어서,
3차원 모델의 표면 중 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성하는 히든 이미지 생성부를 더 구비하는 것을 특징으로 하는 아바타 캐릭터 생성 시스템.
According to claim 1,
The avatar character creation system, characterized in that it further comprises a hidden image generator for generating an image of a portion of the surface of the three-dimensional model that does not appear in the user's two-dimensional image.
 제4항에 있어서,
상기 히든 이미지 생성부는, 사용자 2차원 이미지의 대칭 이미지를 통해 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성하는 것을 특징으로 하는 아바타 캐릭터 생성 시스템.
5. The method of claim 4,
The avatar character generation system, characterized in that the hidden image generating unit generates an image of a part that does not appear in the user's 2D image through the symmetrical image of the user's 2D image.
 제4항에 있어서,
상기 히든 이미지 생성부는, 기 설정된 3차원 표면 이미지가 저장된 3차원 표면 이미지 저장부를 구비하여,
상기 3차원 표면 이미지 저장부에 저장된 기 설정 3차원 표면 이미지를 통해 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성하는 것을 특징으로 하는 아바타 캐릭터 생성 시스템.
5. The method of claim 4,
The hidden image generating unit includes a 3D surface image storage unit in which a preset 3D surface image is stored,
An avatar character creation system, characterized in that the image of a part that does not appear in the user's two-dimensional image is generated through a preset three-dimensional surface image stored in the three-dimensional surface image storage unit.
 제1항에 있어서,
상기 표면 이미지 추출부에서 추출된 3차원 표면 모델로부터 2차원 또는 3차원의 캐릭터를 생성하는 캐릭터 생성부를 더 구비하는 것을 특징으로 하는 아바타 캐릭터 생성 시스템.
According to claim 1,
The avatar character creation system according to claim 1, further comprising a character generator for generating a two-dimensional or three-dimensional character from the three-dimensional surface model extracted by the surface image extractor.
 사용자의 2차원 이미지를 추출하는 2차원 이미지 추출단계;
상기 2차원 이미지 추출단계에서 추출된 사용자 2차원 이미지를 3차원 모델의 표면에 반영하는 2차원 이미지 반영단계; 및
상기 2차원 이미지 반영단계에서 사용자 2차원 이미지가 3차원 모델의 표면에 반영되어 만들어진 3차원 표면 모델을 추출하는 표면 모델 추출단계;를 포함하는 아바타 캐릭터 생성 방법.
A two-dimensional image extraction step of extracting a two-dimensional image of the user;
a two-dimensional image reflection step of reflecting the user's two-dimensional image extracted in the two-dimensional image extraction step on the surface of the three-dimensional model; and
and a surface model extraction step of extracting a 3D surface model created by reflecting the user 2D image on the surface of the 3D model in the 2D image reflection step.
 제8항에 있어서,
상기 2차원 이미지 반영단계와 상기 표면 모델 추출단계 사이에서 진행되는 것으로서,
3차원 모델의 표면 중 사용자 2차원 이미지에서 나타나지 않은 부분의 이미지를 생성하는 히든 이미지 생성단계를 더 포함하는 것을 특징으로 하는 아바타 캐릭터 생성 방법.
9. The method of claim 8,
As proceeds between the two-dimensional image reflection step and the surface model extraction step,
The method for generating an avatar character, comprising the step of generating a hidden image of generating an image of a portion of the surface of the three-dimensional model that is not shown in the user's two-dimensional image.
 제8항에 있어서,
상기 표면 모델 추출단계 후에 진행되는 것으로서, 상기 표면 모델 추출단계에서 추출된 3차원 표면 모델로부터 2차원 또는 3차원의 캐릭터를 생성하는 캐릭터 생성단계를 더 포함하는 것을 특징으로 하는 아바타 캐릭터 생성 방법.
9. The method of claim 8,
The method for generating an avatar character, which is performed after the surface model extraction step, further comprising a character creation step of generating a two-dimensional or three-dimensional character from the three-dimensional surface model extracted in the surface model extraction step.
KR1020200169812A 2020-12-07 2020-12-07 System and method for generating avatar character KR20220080576A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200169812A KR20220080576A (en) 2020-12-07 2020-12-07 System and method for generating avatar character

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200169812A KR20220080576A (en) 2020-12-07 2020-12-07 System and method for generating avatar character

Publications (1)

Publication Number Publication Date
KR20220080576A true KR20220080576A (en) 2022-06-14

Family

ID=81980085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200169812A KR20220080576A (en) 2020-12-07 2020-12-07 System and method for generating avatar character

Country Status (1)

Country Link
KR (1) KR20220080576A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039026A1 (en) * 2022-08-18 2024-02-22 슈퍼랩스 주식회사 Method, computer device, and computer program for generating multi-angle image-based 3d avatar
KR102652652B1 (en) 2022-11-29 2024-03-29 주식회사 일루니 Apparatus and method for generating avatar

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064153A (en) 2007-12-15 2009-06-18 한국전자통신연구원 Method and apparatus for creating 3d face model by using multi-view image information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064153A (en) 2007-12-15 2009-06-18 한국전자통신연구원 Method and apparatus for creating 3d face model by using multi-view image information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039026A1 (en) * 2022-08-18 2024-02-22 슈퍼랩스 주식회사 Method, computer device, and computer program for generating multi-angle image-based 3d avatar
KR102652652B1 (en) 2022-11-29 2024-03-29 주식회사 일루니 Apparatus and method for generating avatar

Similar Documents

Publication Publication Date Title
US11270489B2 (en) Expression animation generation method and apparatus, storage medium, and electronic apparatus
US11074748B2 (en) Matching meshes for virtual avatars
CN110807836B (en) Three-dimensional face model generation method, device, equipment and medium
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
US20200020173A1 (en) Methods and systems for constructing an animated 3d facial model from a 2d facial image
AU2022203653A1 (en) Real-time visual feedback for user positioning with respect to a camera and a display
US8289317B2 (en) Automatic 3D modeling
US8537155B2 (en) Image processing apparatus and method
Bourguignon et al. Drawing for illustration and annotation in 3D
US20120218262A1 (en) Animation of photo-images via fitting of combined models
US6816159B2 (en) Incorporating a personalized wireframe image in a computer software application
JP2011159329A (en) Automatic 3d modeling system and method
KR20220080576A (en) System and method for generating avatar character
CN114863533A (en) Digital human generation method and device and storage medium
CN114202615A (en) Facial expression reconstruction method, device, equipment and storage medium
CN114904268A (en) Virtual image adjusting method and device, electronic equipment and storage medium
Widanagamaachchi et al. 3D face reconstruction from 2D images
JP5920858B1 (en) Program, information processing apparatus, depth definition method, and recording medium
KR20230134832A (en) A Method For Creating realistic shape Model
KR20220054955A (en) Device, method and computer program for replacing user face with another face
KR20200134623A (en) Apparatus and Method for providing facial motion retargeting of 3 dimensional virtual character
US20230237611A1 (en) Inference model construction method, inference model construction device, recording medium, configuration device, and configuration method
Chalas et al. Generation of variable human faces from 3D scan dataset
Sattar et al. Gamer's facial cloning for online interactive games
CN117253278A (en) Method and system for automatically generating user in-universe 3D image

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment