KR20040007921A - Animation Method through Auto-Recognition of Facial Expression - Google Patents

Animation Method through Auto-Recognition of Facial Expression Download PDF

Info

Publication number
KR20040007921A
KR20040007921A KR1020020040538A KR20020040538A KR20040007921A KR 20040007921 A KR20040007921 A KR 20040007921A KR 1020020040538 A KR1020020040538 A KR 1020020040538A KR 20020040538 A KR20020040538 A KR 20020040538A KR 20040007921 A KR20040007921 A KR 20040007921A
Authority
KR
South Korea
Prior art keywords
facial expression
change
feature point
change amount
amount
Prior art date
Application number
KR1020020040538A
Other languages
Korean (ko)
Inventor
김호성
Original Assignee
(주)아이엠에이테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이엠에이테크놀로지 filed Critical (주)아이엠에이테크놀로지
Priority to KR1020020040538A priority Critical patent/KR20040007921A/en
Publication of KR20040007921A publication Critical patent/KR20040007921A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Abstract

PURPOSE: An animation method through automatic recognition of face expression is provided to animate change in face expression in real time without expensive equipment by realizing face expression animation of a 2D or 3d model changing in real time. CONSTITUTION: A picture camera takes a photograph of face expression(S100). A face area is searched(S101). Characteristic points are granted to eyes, a nose, a mouth, and eye brows of the searched face area(S102). Each change amount of the characteristic point is processed as data according to change in the face expression(S103). The characteristic points and control points according to change amount of the characteristic points are applied to a predetermined 2D(Dimensional) or 3D model(S104).

Description

얼굴표정 자동인식을 통한 애니메이션 방법{Animation Method through Auto-Recognition of Facial Expression}Animation Method through Auto-Recognition of Facial Expression}

본 발명은 얼굴표정 자동인식을 통한 애니메이션 방법에 관한 것으로서, 특히 화상카메라를 통해 촬영된 얼굴영역에 대해 특징점들을 부여하고, 상기 특징점들의 변화량을 보간법(Interpolation)을 이용해 계산하여 데이터화함으로써, 실시간으로변화하는 2D 혹은 3D 모델의 얼굴표정 애니메이션을 구현하기 위한 얼굴표정 자동인식을 통한 애니메이션 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an animation method through automatic facial expression recognition, and in particular, by assigning feature points to a face region photographed through an image camera, and calculating the amount of change of the feature points using interpolation to make data, thereby changing in real time. The present invention relates to an animation method through automatic facial expression recognition for realizing facial expression animation of a 2D or 3D model.

일반적으로, 종래의 2D 혹은 3D 모델의 얼굴표정 애니메이션 방법은 옵티컬 마커(Optical Marker)라고 하는 발광체를 애니메이션 하고자 하는 얼굴에 부착한 후, 고속의 적외선 카메라로 촬영한 영상으로부터 상기 옵티컬 마커의 변화만을 추출해 내어 얼굴표정 데이터를 얻게 되고, 상기와 같이 얻어진 데이터를 3차원 모델에 적용시켜서 3차원 모델의 얼굴표정이 애니메이션 되는 것이다.In general, the facial expression animation method of the conventional 2D or 3D model attaches a light emitter called an optical marker to a face to be animated, and extracts only the change of the optical marker from an image taken by a high-speed infrared camera. The facial expression data is obtained, and the facial expression of the three-dimensional model is animated by applying the data obtained as described above to the three-dimensional model.

그러나, 상기 옵티컬 마커를 사용한 종래의 얼굴표정 애니메이션 방법은 장비가 복잡하고, 세밀한 얼굴표정 데이터를 얻기 위해 다수의 옵티컬 마커를 부착해야 하며, 고가의 애니메이션 제작비용이 드는 문제점이 있었다. 또한, 고가의 장비로 인해 일반인들이 상기 옵티컬 마커를 이용하여 자신의 얼굴표정을 애니메이션하기에는 현실적으로 어려운 문제가 있기 때문에 그 활용성에 제약이 있었다.However, in the conventional facial expression animation method using the optical marker, the equipment is complicated, and a plurality of optical markers need to be attached to obtain detailed facial expression data, and there is a problem in that expensive animation production costs are required. In addition, due to the expensive equipment, there is a limitation in its use because there is a problem that is difficult for the general public to animate their facial expressions using the optical marker.

상기한 문제점들을 해결하기 위한 본 발명의 목적은, 화상카메라를 통해 촬영된 얼굴영역에 대해 특징점들을 부여하고, 상기 특징점들의 변화량을 보간법을 이용해 데이터화하여 실시간으로 변화하는 2D 혹은 3D 모델의 얼굴표정 애니메이션을 구현함으로써, 고가의 장비없이 간단한 화상카메라만을 이용한 프로그램을 통해 실시간으로 얼굴표정 변화를 애니메이션할 수 있는 얼굴표정 자동인식을 통한 애니메이션 방법을 제공하는데 있다.Summary of the Invention An object of the present invention for solving the above problems is to assign feature points to a face region photographed through an image camera, and to express facial expression animation of a 2D or 3D model that changes in real time by interpolating the amount of change of the feature points. The present invention provides an animation method through automatic facial expression recognition that can animate facial expression changes in real time through a program using only a simple image camera without expensive equipment.

도 1은 본 발명의 일 실시예에 따른 얼굴표정 자동인식을 통한 애니메이션 방법을 나타내는 예시도이다.1 is an exemplary view showing an animation method through automatic facial expression recognition according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 얼굴표정 자동인식을 통한 애니메이션 방법을 나타내는 흐름도이다.2 is a flowchart illustrating an animation method through automatic facial expression recognition according to an embodiment of the present invention.

도 3은 상기 도 2의 데이터화된 특징점의 변화량을 적용하는 단계를 구체적으로 나타내는 흐름도이다.FIG. 3 is a flowchart specifically illustrating a step of applying a change amount of the dataized feature points of FIG. 2.

도 4a 및 도 4b는 본 발명의 일 실시예에 따른 얼굴표정 자동인식을 통한 애니메이션 방법에서 특징점의 변화량을 데이터화하는 과정의 일 예를 나타내는 그래프이다.4A and 4B are graphs illustrating an example of a process of data-forming a change amount of a feature point in an animation method through automatic facial expression recognition according to an embodiment of the present invention.

상기 목적을 달성하기 위한 본 발명에 따른 얼굴표정 자동인식을 통한 애니메이션 방법은, 화상카메라를 통해 촬영되는 얼굴영역을 탐색하는 단계, 상기 탐색된 얼굴영역에 특징점을 부여하는 단계, 상기 특징점의 변화량이 입력되면 상기 변화량을 데이터화하는 단계 및 상기 특징점과 그 변화량에 따른 제어점이 기설정된 2D 혹은 3D 모델에 상기 데이터화된 변화량을 적용하는 단계를 포함하여 이루어진다.In accordance with an aspect of the present invention, there is provided an animation method through automatic facial expression recognition, the method including: searching for a face area photographed through an image camera, assigning a feature point to the searched face area, and a change amount of the feature point. And inputting the change amount into data, and applying the data change amount to a predetermined 2D or 3D model.

상기 데이터화된 변화량을 적용하는 단계는, 상기 특징점 및 제어점이 기설정된 2D 혹은 3D 모델을 로딩하는 단계, 상기 데이터화된 특징점의 변화량이 전송되면 상기 기설정된 제어점에 의해 상기 특징점의 변화량을 제어하여 출력하는 단계 및 상기 특징점의 변화량이 전송되지 않으면 상기 로딩된 모델의 초기화 얼굴표정을 출력하는 단계를 포함하는 것이 바람직하다.The step of applying the data-formed change amount may include loading the predetermined 2D or 3D model of the feature point and the control point, and if the change amount of the data-formed feature point is transmitted, controlling and outputting the change amount of the feature point by the preset control point. And if the amount of change of the feature point is not transmitted, outputting an initialization facial expression of the loaded model.

상기 데이터화된 변화량은 시간에 대한 백터함수값인 것이 바람직하다.The data change amount is preferably a vector function value with respect to time.

이하 본 발명에 따른 얼굴표정 자동인식을 통한 애니메이션 방법의 바람직한 일 실시예를 첨부한 도면을 참조로 상세히 설명한다.Hereinafter, a preferred embodiment of an animation method through automatic facial expression recognition according to the present invention will be described in detail with reference to the accompanying drawings.

도 1 및 도 2는 본 발명의 일 실시예에 따른 얼굴표정 자동인식을 통한 애니메이션 방법을 나타내는 예시도 및 흐름도이다. 즉, 도면에서 나타낸 바와 같이, 본 발명에 따른 얼굴표정 애니메이션 방법은, 우선 화상카메라를 통해 얼굴표정을 촬영하여(S100) 얼굴영역을 탐색하고(S101), 상기 탐색된 얼굴영역내의 눈, 코, 입, 눈썹 등에 대해 특징점을 부여한다(S102). 그리고, 얼굴표정이 변화함에 따라 상기 특징점의 변화량을 데이터화하여(S103) 상기 특징점 및 상기 특징점의 변화량에 따른 제어점이 기설정된 2D 혹은 3D 모델에 적용함으로써(S104), 실시간으로 변화하는2D 혹은 3D 모델의 얼굴표정 애니메이션을 구현하는 것이다.1 and 2 are exemplary views and flowcharts showing an animation method through automatic facial expression recognition according to an embodiment of the present invention. That is, as shown in the figure, the facial expression animation method according to the present invention, by first photographing the facial expression through the image camera (S100) to search for the face region (S101), eyes, nose, Feature points are given to the mouth, eyebrows, and the like (S102). As the facial expression changes, the change amount of the feature point is converted into data (S103), and the control point corresponding to the feature point and the change amount of the feature point is applied to a preset 2D or 3D model (S104), thereby changing in real time. Is to implement facial expression animation.

상기 데이터화된 특징점의 변화량을 적용하는 단계(S104)는 도 3에 도시된 바와 같이, 상기 특징점 및 상기 특징점의 변화량에 따라 변화될 제어점이 기설정된 2D 혹은 3D 모델을 로딩하고(S200), 상기 데이터화된 특징점의 변화량이 전송되는지 확인하여(S201), 전송되면 상기 기설정된 제어점에 의해 상기 특징점의 변화량을 제어하여 출력하는(S202) 것으로 이루어진다. 만약, 상기 특징점의 변화량이 전송되지 않으면 상기 로딩된 모델의 초기화 얼굴표정 애니메이션을 출력하는 것이 바람직하다(S203).Applying the change amount of the data feature point (S104), as shown in Figure 3, the control point to be changed in accordance with the feature point and the change amount of the feature point loads a predetermined 2D or 3D model (S200), the data Check whether the change amount of the feature point is transmitted (S201), and if so, by controlling the change amount of the feature point by the predetermined control point and outputs (S202). If the change amount of the feature point is not transmitted, it is preferable to output an initialization facial expression animation of the loaded model (S203).

도 4a 및 도 4b는 상기 특징점의 변화량을 데이터화하는 과정의 일 예을 나타내는 그래프이다. 즉, 도 4a에서처럼, 화상카메라를 통해 촬영되는 사용자의 얼굴영역 중 입술에 특징점(m1~ m4)이 부여되고, 상기 사용자의 얼굴표정 변화에 따라 입술의 움직임이 변하면 도 4b에 도시된 바와 같이, 상기 특징점(m1~ m4)의 변화량이 발생한다. 상기 특징점(m1~ m4)의 변화량은 위치(방향)를 갖는 백터값으로 데이터화되어 PC 등 사용자 시스템의 데이터 메모리에 임시저장되고, 상기 특징점(m1~ m4) 및 그 변화량에 따른 제어점(m1′~ m4′)이 기설정된 2D 모델의 로딩시에 상기 데이터화된 변화량이 적용되어 실시간으로 화상카메라를 통해 입력되는 사용자 입술의 움직임에 따라 변하는 2D 모델의 얼굴표정 애니메이션을 구현할 수 있다.4A and 4B are graphs illustrating an example of a process of dataizing the amount of change of the feature point. That is, as shown in FIG. 4A, when the feature points m 1 to m 4 are applied to the lips of the face area of the user photographed through the image camera, and the movement of the lips changes according to the change of the facial expression of the user, as shown in FIG. 4B. Similarly, the amount of change in the feature points m 1 to m 4 occurs. The change amount of the feature points m 1 to m 4 is converted into a vector value having a position (direction) and temporarily stored in a data memory of a user system such as a PC, and the control point according to the feature points m 1 to m 4 and the change amount thereof. (m 1 ′ to m 4 ′) may be applied to the 2D model of loading the preset 2D model to implement the facial expression animation of the 2D model that changes according to the movement of the user's lips input through the image camera in real time. .

만약, 상기 부여되는 특징점들의 개수가 많아지면 좀 더 자연스럽고 세밀한 움직임을 표현할 수도 있지만, 데이터 메모리의 용량을 많이 차지하고 메모리 액세스 시간도 길어지므로 적정 개수의 특징점이 부여되는 것이 바람직하다.If the number of the feature points is increased, more natural and detailed movements may be expressed. However, since a large amount of data memory is used and a memory access time is long, an appropriate number of feature points is preferably provided.

상기한 방식은 얼굴영역내의 눈, 코, 눈썹, 얼굴 윤곽선 등에도 동일하게 적용될 수 있으며, 도 4a 및 도 4b에서는 2개의 축(2D)상에 특징점들이 부여되어 데이터화하는 과정을 나타내었으나, Z축 방향의 변위를 추가하여 특징점의 변화량을 3차 벡터값으로 데이터화하여 저장하고, 이를 3D 모델에 적용함으로써 실시간으로 변하는 3D 모델의 얼굴표정 애니메이션을 구현할 수도 있음은 자명한 것이다.The above-described method may be equally applied to eyes, nose, eyebrows, facial contours, etc. in the face region. In FIG. 4A and FIG. 4B, the feature points are given on two axes 2D to represent a process of data formation. It is obvious that the facial expression animation of the 3D model that changes in real time may be realized by adding the displacement of the direction and storing the change of the feature point as a cubic vector value and applying it to the 3D model.

또한, 상기 화상카메라를 통해 촬영되는 얼굴영역내의 특징점의 변화량은 보간법을 통해 계산될 수 있다. 상기 보간법은 다수의 특징점을 통해 표현되는 얼굴표정으로부터 중간단계를 근사하여 얼굴표정 애니메이션을 생성하는 기법으로서, 기하학적인 구조를 근사시키는 모양 보간법(Shape Interpolation), 시간에 따라 영상을 근사시키는 키프레임 보간법(Key Frame Interpolation) 등 다양한 공지된 방법이 있다.In addition, the amount of change of the feature point in the face region photographed by the image camera may be calculated through interpolation. The interpolation method is a method of generating a facial expression animation by approximating an intermediate step from facial expressions expressed through a plurality of feature points. Shape interpolation to approximate geometric structure, and keyframe interpolation to approximate image over time There are various known methods such as (Key Frame Interpolation).

이하, 본 발명에 따른 얼굴표정 자동인식을 통한 애니메이션 방법에서 보간법이 적용되는 과정의 일 실시예를 상세히 설명한다.Hereinafter, an embodiment of a process in which interpolation is applied in an animation method through automatic facial expression recognition according to the present invention will be described in detail.

우선, 화상카메라를 통해 실시간으로 입력되는 동화상으로부터 일정시간 간격으로 정지화상을 추출해내고, 상기 정지화상에서 탐색된 얼굴영역내에 특징점들을 부여하여 제 1 데이터 메모리에 임시저장해둔다. 그리고, 일정시간(예, 0.1초 ~ 1초)이 경과한 후 입력되는 동화상으로부터 정지화상을 추출하여 상기 탐색된 얼굴영역내에 특징점들을 부여하고 제 2 데이터 메모리에 임시저장한 후, 상기 제 1 데이터메모리와 제 2 데이터 메모리에 임시저장된 특징점들을 비교하여 도 4a 및 도 4b에서 전술한 바와 같이 그 변화량을 계산하고 데이터화한다. 이 때, 상기 변화량은 시간에 대한 백터함수값으로 근사하여 나타난다. 그런 다음, 상기 특징점이 기설정된 2D 혹은 3D 모델을 로딩하여 상기 데이터화된 특징점의 변화량을 적용함으로써 얼굴표정 애니메이션을 구현하는 것이다.First, a still image is extracted from the moving image input in real time through the image camera at predetermined time intervals, and feature points are provided in the face area searched in the still image and temporarily stored in the first data memory. After the predetermined time (for example, 0.1 second to 1 second) has elapsed, a still image is extracted from the inputted moving image, the feature points are provided in the searched face region, and temporarily stored in a second data memory. Comparing feature points temporarily stored in the memory and the second data memory, the amount of change is calculated and dataized as described above with reference to FIGS. 4A and 4B. At this time, the change amount is approximated by a vector function value with respect to time. Then, the feature point is loaded with a preset 2D or 3D model to implement the facial expression animation by applying the amount of change of the data feature point.

상기한 방법을 위한 시스템 장치는 통상의 PC와 같이 공지된 사용자 시스템을 통해 구현될 수 있는 것이므로 이하에서 상세한 설명 또는 도면은 생략한다.The system device for the above method may be implemented through a known user system such as a conventional PC, and thus the detailed description or drawings will be omitted below.

전술한 바와 같이 본 발명의 일 실시예에 의하면, 고가의 장비없이 간단한 화상카메라만을 이용한 프로그램을 통해 실시간으로 상기 화상카메라를 통해 입력되는 얼굴표정 변화를 애니메이션할 수 있다. 따라서, 본 발명의 일 실시예에 따른 얼굴표정 애니메이션 방법은 캐릭터, 아바타 등 2D 혹은 3D 영상 모델의 워핑, 텍스쳐 맵핑 등 다양한 애니메이션 기법에 적용할 수 있고, 인터넷을 통한 화상채팅시 아바타 등의 실시간 얼굴표정 변화에 활용할 수도 있다.As described above, according to an exemplary embodiment of the present invention, the facial expression change input through the image camera may be animated in real time through a program using only a simple image camera without expensive equipment. Accordingly, the facial expression animation method according to an embodiment of the present invention can be applied to various animation techniques such as warping and texture mapping of a 2D or 3D image model such as a character and an avatar, and real-time face such as an avatar during an image chat through the Internet. It can also be used to change facial expressions.

이상에서 살펴본 바와 같이 본 발명의 일 실시예에 따른 얼굴표정 자동인식을 통한 애니메이션 방법에 의하면, 화상카메라를 통해 촬영된 얼굴영역에 대해 특징점들을 부여하고, 상기 특징점들의 변화량을 보간법을 이용해 데이터화하여 실시간으로 변화하는 2D 혹은 3D 모델의 얼굴표정 애니메이션을 구현함으로써, 고가의 장비없이도 간단한 화상카메라만을 이용한 프로그램을 통해 실시간으로 얼굴표정 변화를 애니메이션할 수 있는 효과가 있다.As described above, according to the animation method through automatic facial expression recognition according to an embodiment of the present invention, the feature points are assigned to the face area photographed through the image camera, and the amount of change of the feature points is converted into data using interpolation in real time. By implementing the facial expression animation of the 2D or 3D model to be changed, it is possible to animate the facial expression change in real time through a program using a simple image camera without expensive equipment.

이상에서 본 발명은 기재된 구체예에 대해서만 상세히 설명하였지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.Although the present invention has been described in detail only with respect to the described embodiments, it will be apparent to those skilled in the art that various modifications and variations are possible within the technical spirit of the present invention, and such modifications and modifications belong to the appended claims.

Claims (3)

화상카메라를 통해 촬영되는 얼굴영역을 탐색하는 단계;Searching for a face region photographed through an image camera; 상기 탐색된 얼굴영역에 특징점을 부여하는 단계;Assigning a feature point to the searched face region; 상기 특징점의 변화량이 입력되면 상기 변화량을 데이터화하는 단계; 및Converting the change amount into data when the change amount of the feature point is input; And 상기 특징점과 그 변화량에 따른 제어점이 기설정된 2D 혹은 3D 모델에 상기 데이터화된 변화량을 적용하는 단계;Applying the data amount of change to a preset 2D or 3D model based on the feature point and the control point according to the amount of change; 를 포함하여 이루어지는 얼굴표정 자동인식을 통한 애니메이션 방법.Animation method through automatic facial expression recognition, including. 제 1 항에 있어서,The method of claim 1, 상기 데이터화된 변화량을 적용하는 단계는,Applying the data-formed change amount, 상기 특징점 및 제어점이 기설정된 2D 혹은 3D 모델을 로딩하는 단계;Loading the predetermined 2D or 3D model with the feature point and the control point; 상기 데이터화된 특징점의 변화량이 전송되면 상기 기설정된 제어점에 의해 상기 특징점의 변화량을 제어하여 출력하는 단계; 및Controlling and outputting a change amount of the feature point by the preset control point when the change amount of the dataed feature point is transmitted; And 상기 특징점의 변화량이 전송되지 않으면 상기 로딩된 모델의 초기화 얼굴표정을 출력하는 단계;Outputting an initialization facial expression of the loaded model if the amount of change of the feature point is not transmitted; 를 포함하는 것을 특징으로 하는 상기 얼굴표정 자동인식을 통한 애니메이션 방법.Animation method through the facial expression automatic recognition comprising a. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2, 상기 데이터화된 변화량은 시간에 대한 백터함수값인 것을 특징으로 하는 상기 얼굴표정 자동인식을 통한 애니메이션 방법.And the data change amount is a vector function value with respect to time.
KR1020020040538A 2002-07-12 2002-07-12 Animation Method through Auto-Recognition of Facial Expression KR20040007921A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020020040538A KR20040007921A (en) 2002-07-12 2002-07-12 Animation Method through Auto-Recognition of Facial Expression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020040538A KR20040007921A (en) 2002-07-12 2002-07-12 Animation Method through Auto-Recognition of Facial Expression

Publications (1)

Publication Number Publication Date
KR20040007921A true KR20040007921A (en) 2004-01-28

Family

ID=37317194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020040538A KR20040007921A (en) 2002-07-12 2002-07-12 Animation Method through Auto-Recognition of Facial Expression

Country Status (1)

Country Link
KR (1) KR20040007921A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896065B1 (en) * 2007-12-17 2009-05-07 한국전자통신연구원 Method for producing 3d facial animation
KR100940862B1 (en) * 2007-12-17 2010-02-09 한국전자통신연구원 Head motion tracking method for 3d facial model animation from a video stream
KR100988323B1 (en) * 2008-07-24 2010-10-18 포항공과대학교 산학협력단 Method and apparatus of recognizing detailed facial expression using facial expression information amplification
WO2012053867A1 (en) * 2010-10-21 2012-04-26 Samsung Electronics Co., Ltd. Method and apparatus for recognizing an emotion of an individual based on facial action units
US9239948B2 (en) 2012-07-17 2016-01-19 Samsung Electronics Co., Ltd. Feature descriptor for robust facial expression recognition
CN106331880A (en) * 2016-09-09 2017-01-11 腾讯科技（深圳）有限公司 Information processing method and information processing system
CN112614213A (en) * 2020-12-14 2021-04-06 杭州网易云音乐科技有限公司 Facial expression determination method, expression parameter determination model, medium and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166272A (en) * 1997-08-13 1999-03-09 Sony Corp Processor and processing method for image or voice and record medium
KR20000037591A (en) * 1998-12-01 2000-07-05 정선종 Method for 3 dimensional facial expression animation using digital video image
US6272231B1 (en) * 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
JP2001229400A (en) * 2000-02-15 2001-08-24 Sharp Corp Image processor, image processing method and recording medium with image processing program recorded therein

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166272A (en) * 1997-08-13 1999-03-09 Sony Corp Processor and processing method for image or voice and record medium
US6272231B1 (en) * 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
KR20000037591A (en) * 1998-12-01 2000-07-05 정선종 Method for 3 dimensional facial expression animation using digital video image
JP2001229400A (en) * 2000-02-15 2001-08-24 Sharp Corp Image processor, image processing method and recording medium with image processing program recorded therein

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896065B1 (en) * 2007-12-17 2009-05-07 한국전자통신연구원 Method for producing 3d facial animation
KR100940862B1 (en) * 2007-12-17 2010-02-09 한국전자통신연구원 Head motion tracking method for 3d facial model animation from a video stream
US8259102B2 (en) 2007-12-17 2012-09-04 Electronics And Telecommunications Research Institute Method and system for producing 3D facial animation
KR100988323B1 (en) * 2008-07-24 2010-10-18 포항공과대학교 산학협력단 Method and apparatus of recognizing detailed facial expression using facial expression information amplification
WO2012053867A1 (en) * 2010-10-21 2012-04-26 Samsung Electronics Co., Ltd. Method and apparatus for recognizing an emotion of an individual based on facial action units
US8879854B2 (en) 2010-10-21 2014-11-04 Samsung Electronics Co., Ltd Method and apparatus for recognizing an emotion of an individual based on facial action units
US9239948B2 (en) 2012-07-17 2016-01-19 Samsung Electronics Co., Ltd. Feature descriptor for robust facial expression recognition
CN106331880A (en) * 2016-09-09 2017-01-11 腾讯科技（深圳）有限公司 Information processing method and information processing system
CN112614213A (en) * 2020-12-14 2021-04-06 杭州网易云音乐科技有限公司 Facial expression determination method, expression parameter determination model, medium and device
CN112614213B (en) * 2020-12-14 2024-01-23 杭州网易云音乐科技有限公司 Facial expression determining method, expression parameter determining model, medium and equipment

Similar Documents

Publication Publication Date Title
US20210390767A1 (en) Computing images of head mounted display wearer
CN110515452B (en) Image processing method, image processing device, storage medium and computer equipment
US10860838B1 (en) Universal facial expression translation and character rendering system
JP7342008B2 (en) Mesh mates for virtual avatars
US9786084B1 (en) Systems and methods for generating computer ready animation models of a human head from captured data images
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
Cao et al. Real-time facial animation with image-based dynamic avatars
US11551405B2 (en) Computing images of dynamic scenes
US20190122411A1 (en) Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images
Pighin et al. Synthesizing realistic facial expressions from photographs
US11557076B2 (en) Computer generated hair groom transfer tool
JP4284664B2 (en) Three-dimensional shape estimation system and image generation system
US9196074B1 (en) Refining facial animation models
KR20180121494A (en) Method and system for real-time 3D capture and live feedback using monocular cameras
CN113628327B (en) Head three-dimensional reconstruction method and device
CN111652123B (en) Image processing and image synthesizing method, device and storage medium
US10964083B1 (en) Facial animation models
JP2011159329A (en) Automatic 3d modeling system and method
WO2019098872A1 (en) Method for displaying a three-dimensional face of an object, and device for same
KR20040007921A (en) Animation Method through Auto-Recognition of Facial Expression
Costigan et al. Facial retargeting using neural networks
KR101780496B1 (en) Method for producing 3D digital actor image based on character modelling by computer graphic tool
Mattos et al. 3D linear facial animation based on real data
KR20200029968A (en) Modeling method of automatic character facial expression using deep learning technology
RU2703327C1 (en) Method of processing a two-dimensional image and a user computing device thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application