KR100300966B1 - Chatting system using animated avatars and method thereof - Google Patents
Chatting system using animated avatars and method thereof Download PDFInfo
- Publication number
- KR100300966B1 KR100300966B1 KR1019990027246A KR19990027246A KR100300966B1 KR 100300966 B1 KR100300966 B1 KR 100300966B1 KR 1019990027246 A KR1019990027246 A KR 1019990027246A KR 19990027246 A KR19990027246 A KR 19990027246A KR 100300966 B1 KR100300966 B1 KR 100300966B1
- Authority
- KR
- South Korea
- Prior art keywords
- chat
- face model
- network
- facial
- session
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000008921 facial expression Effects 0.000 claims abstract description 77
- 230000014509 gene expression Effects 0.000 claims abstract description 24
- 230000001815 facial effect Effects 0.000 claims abstract description 12
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Abstract
본 발명은 컴퓨터 네트워크를 이용한 채팅 시스템 중 3차원 얼굴 애니메이션 기술에 의한 채팅 시스템 및 그 방법에 관한 것으로, 본 발명에 의한 애니메이션 채팅 시스템은 네트워크; 네트워크에 접속되고, 채팅 세션에 참가할 때 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 네트워크를 통해 전송하고, 채팅 세션에 참가한 이후에는 표정에 관한 패러미터를 네트워크를 통해 전송하고, 네트워크를 통해 전송된 다른 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 사용하여 다른 사용자의 얼굴을 합성하여 사용자에게 디스플레이하는 다수의 채팅 클라이언트; 및 네트워크에 접속되고, 채팅 세션에 참가하는 채팅 클라이언트들로부터 네트워크를 통해 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 전송받고, 같은 채팅 세션 내에 있는 모든 채팅 클라이언트들에 전송하여 채팅세션을 관리하는 채팅 서버를 포함한다.The present invention relates to a chat system and method using a three-dimensional facial animation technology of the chat system using a computer network, the animation chat system according to the present invention includes a network; When connected to the network, the 3D vertex position information and texture image data of the face model representing the user when joining the chat session is transmitted through the network, and after joining the chat session, parameters about the expression are transmitted through the network. A plurality of chat clients for synthesizing and displaying the faces of other users to the user using parameters related to three-dimensional vertex position information, texture image data, and facial expressions of the face model representing other users transmitted through the network; And receive from the chat clients connected to the network and participating in the chat session, parameters related to the 3D vertex position information, texture image data and facial expression of the face model via the network, to all chat clients in the same chat session. And a chat server for managing the chat session.
본 발명에 의하면, 텍스트만으로는 의미전달이 어려움 경우 3차원 얼굴 애니메이션을 통하여 좀 더 분명하게 의미전달을 할 수 있으며, 3차원 얼굴 애니메이션을 위해 최초 세션 형성 이후에는 표정에 관한 패러미터만을 전송함으로써 네트워크 및 시스템의 부하를 줄일 수 있다.According to the present invention, if it is difficult to convey meaning with text alone, it is possible to more clearly convey meaning through 3D face animation.After the initial session is formed for 3D face animation, only the parameters related to the expression are transmitted to the network and the system. Can reduce the load.
Description
본 발명은 컴퓨터 네트워크를 이용한 채팅 시스템에 관한 것으로서, 특히 3차원 얼굴 애니메이션 기술에 의한 채팅 시스템 및 그 방법에 관한 것이다.The present invention relates to a chat system using a computer network, and more particularly to a chat system and a method using a three-dimensional facial animation technology.
인터넷 사용자들이 급증함에 따라, 컴퓨터 네트워크를 이용한 채팅 이용자들이 기하급수적으로 증가하고 있다. 그런데, 이와같은 채팅 이용자들은 단순한 텍스트 기반의 채팅에 만족하지 아니하고, 점차 멀티미디어 채팅을 위한 서비스를 강력히 요구하고 있다. 이에 따라, 멀티미디어 자원 중 하나인 애니메이션 기능에 3차원 얼굴 애니메이션 기술을 도입한 새로운 방식의 채팅 시스템이 제안되고 있다.As the number of Internet users surges, the number of chat users using computer networks is increasing exponentially. However, such chat users are not satisfied with simple text-based chat, but are increasingly demanding services for multimedia chat. Accordingly, a new chat system has been proposed in which a three-dimensional face animation technique is introduced into an animation function, which is one of multimedia resources.
이와 같은 새로운 방식의 기존의 채팅 시스템으로는 미국 마이크로소프트사의 미국특허(미국특허번호 5880731, 'Use of avatars with automatic gesturing and bounded interaction in on-line chat session', 1995)가 있다. 상기한 바와 같은 기존의 채팅 시스템은 2차원의 비트맵 이미지들로부터 사용자가 자신이 원하는 아바타(avatar)를 선정하고, 비트맵 데이터 시퀀스를 이용하여 스크립트(script) 방식으로 정의된 애니메이션을 실행시키는 방식이다.An existing chat system of this new type is US Patent (US Patent No. 5880731, 'Use of avatars with automatic gesturing and bounded interaction in on-line chat session', 1995). The existing chat system as described above selects an avatar desired by the user from two-dimensional bitmap images, and executes an animation defined by a script method using a bitmap data sequence. to be.
기존의 방식에 의하면, 다음과 같은 문제점이 있다. 첫째, 기존의 방식에서는 사용자들이 채팅 사업자가 제공하는 아바타들 중에서 자신을 대표하는 모델을 선정하는데, 여러 사용자들이 동일한 아바타를 선정함으로써 아바타에 의해 사용자들이 식별되지 않는 경우도 있다. 둘째, 기존의 방식에서는 아바타의 표정이 바뀜에 따라 비트맵 데이터 시퀀스를 전송하여야 하므로, 전송시간이 많이 걸린다. 셋째, 기존 방식에서는 2차원 비트맵 데이터 시퀀스를 사용하여 애니메이션함으로써 정교한 애니메이션을 제공하기 어렵다.According to the existing method, there are the following problems. First, in the conventional method, users select a model representing themselves from among avatars provided by a chat operator. In some cases, users are not identified by avatars because several users select the same avatar. Second, in the conventional method, since the bitmap data sequence needs to be transmitted as the avatar's facial expression is changed, it takes a lot of transmission time. Third, in the conventional method, it is difficult to provide sophisticated animation by animate using a two-dimensional bitmap data sequence.
본 발명은 상기의 문제점을 해결하기 위하여 창작된 것으로서, 사용자 자신을 대표하는 얼굴 모델을 사용자가 스스로 자유롭게 만들어 자신만의 임의의 얼굴 모델을 이용하여 채팅에 참여할 수 있고, 3차원 얼굴 애니메이션을 도입하되 데이터 전송속도나 대역폭에 제한을 적게 받는 애니메이션 채팅 시스템 및 그 방법을 제공함을 목적으로 한다.The present invention was created in order to solve the above problems, the user can freely create a face model representing the user himself to participate in the chat using his or her own arbitrary face model, to introduce a three-dimensional face animation An object of the present invention is to provide an animation chat system and a method thereof, which are less limited in data transmission speed or bandwidth.
도 1은 본 발명에 의한 애니메이션 채팅 시스템을 포함한 일반적인 채팅 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of a general chat system including an animation chat system according to the present invention.
도 2는 본 발명에 의한 애니메이션 채팅 시스템의 일실시예에서의 채팅 클라이언트의 구성도이다.2 is a block diagram of a chat client in an embodiment of an animation chat system according to the present invention.
도 3은 본 발명에 의한 애니메이션 채팅 시스템의 일실시예에서의 채팅 서버의 구성도이다.3 is a block diagram of a chat server in an embodiment of an animation chat system according to the present invention.
도 4a 내지 도 4e는 도 2의 얼굴모델 생성기에서 3차원 얼굴 모델을 생성하는 과정을 설명하기 위한 도면들이다.4A through 4E are diagrams for describing a process of generating a 3D face model in the face model generator of FIG. 2.
도 5는 도 2의 표정생성기에서 표정 입력 사용자 인터페이스 화면을 예시한 도면이다.FIG. 5 is a diagram illustrating a facial expression input user interface screen in the facial expression generator of FIG. 2.
도 6은 본 발명에 의한 애니메에션 채팅시 채팅 클라이언트의 화면을 예시한 도면이다.6 is a diagram illustrating a screen of a chat client during the animation chat according to the present invention.
도 7a 및 도 7b는 본 발명에 의한 1대1 애니메이션 채팅시 채팅 클라이언트 화면을 예시한 도면이다.7A and 7B are diagrams illustrating a chat client screen during a one-to-one animation chat according to the present invention.
상기 목적을 달성하기 위하여 본 발명에 의한 애니메이션 채팅 시스템의 일실시예는 네트워크; 상기 네트워크에 접속되고, 채팅 세션에 참가할 때 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 상기 네트워크를 통해 전송하고, 채팅 세션에 참가한 이후에는 표정에 관한 패러미터를 상기 네트워크를 통해 전송하고, 상기 네트워크를 통해 전송된 다른 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 사용하여 다른 사용자의 얼굴을 합성하여 사용자에게 디스플레이하는 다수의 채팅 클라이언트; 및 상기 네트워크에 접속되고, 채팅 세션에 참가하는 채팅 클라이언트들로부터 상기 네트워크를 통해 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 전송받고, 같은 채팅 세션 내에 있는 모든 채팅 클라이언트들에 전송하여 채팅세션을 관리하는 채팅 서버를 포함한다.One embodiment of the animation chat system according to the present invention to achieve the above object is a network; After connecting to the network and transmitting the 3D vertex position information and texture image data of the face model representing the user when participating in the chat session, and after joining the chat session, the parameter about the expression is transmitted through the network. A plurality of chat clients for transmitting and synthesizing and displaying the faces of other users to the user using parameters related to three-dimensional vertex position information, texture image data, and facial expression of the face model representing the other user transmitted through the network; And all the chat clients in the same chat session, receiving from the chat clients connected to the network and participating in the chat session, parameters about the 3D vertex position information, texture image data and facial expression of the face model via the network. It includes a chat server to manage the chat session sent to.
상기 애니메이션 채팅 시스템의 일실시예에서 상기 채팅 클라이언트는 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 항목으로 하여 저장한 얼굴 모델 데이터베이스; 표정에 관한 패러미터를 항목으로 하여 저장한 표정 데이터베이스; 상기 채팅 서버로부터 전송받은 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 이용하여 채팅 세션 내에 있는 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션하는 얼굴 합성기; 및 상기 네트워크를 통해 상기 채팅 서버와의 정보교환을 관리하는 네트워크 관리자를 구비함을 특징으로 한다.In an embodiment of the animation chat system, the chat client includes: a face model database storing three-dimensional vertex position information and texture image data of a face model representing a user as items; A facial expression database stored with parameters relating to facial expressions as an item; A face synthesizer that animates the expression of the face model representing the users in the chat session using parameters related to the 3D vertex position information, the texture image data, and the expression of the face model received from the chat server; And a network manager managing information exchange with the chat server through the network.
또한, 상기 채팅 클라이언트는 기저장된 기본 얼굴모델 위치정보 및 사용자로부터 입력받은 2차원 얼굴 이미지를 이용하여 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 생성하는 얼굴모델 생성기; 및 사용자로부터 표정에 관한 자료를 입력받기 위한 표정 입력 사용자 인터페이스를 구비하고, 입력받은 표정에 관한 자료에 의해 표정에 관한 패러미터를 생성하는 표정 생성기를 더 구비함을 특징으로 한다.The chat client may further include: a face model generator for generating three-dimensional vertex position information and texture image data of a face model using previously stored basic face model position information and a two-dimensional face image received from a user; And a facial expression input user interface for inputting data regarding facial expressions from a user, and further comprising an facial expression generator for generating a parameter regarding facial expressions based on the input facial expression data.
상기 다른 목적을 달성하기 위하여, 본 발명에 의한 네트워크에 연결된 채팅 서버 및 다수의 채팅 클라이언트를 구비한 채팅 시스템에서 3차원 얼굴모델을 애니메이션하기 위한 데이터를 전송하는 방법의 일실시예는 (a) 채팅 세션에 접속하기 위한 채팅 클라이언트가 사용자를 대표하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 상기 채팅 서버로 전송하는 단계; (b) 상기 채팅 서버가 채팅 세션 내의 다른 모든 채팅 클라이언트들에 상기 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 전송하고, 상기 채팅 세션에 접속하기 위한 채팅 클라이언트에 채팅 세션 내의 다른 모든 채팅 클라이언트들의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 전송하는 단계; (c) 채팅 세션에 접속이 이루어지면, 각 채팅 클라이언트는 상기 채팅 서버를 통해 다른 채팅 클라이언트로 표정에 관한 패러미터를 반복적으로 전송함으로써, 각 채팅 클라이언트가 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션하도록 하는 단계를 포함한다.In order to achieve the above object, an embodiment of the method for transmitting data for animate a three-dimensional face model in a chat system having a chat server and a plurality of chat clients connected to the network according to the present invention (a) chat Transmitting, by the chat client for accessing the session, 3D vertex position information and texture image data of the face model representing the user to the chat server; (b) the chat server sends the three-dimensional vertex location information and texture image data to all other chat clients in the chat session, and sends users of all other chat clients in the chat session to the chat client for accessing the chat session. Transmitting 3D vertex position information and texture image data of representative face models; (c) When a chat session is established, each chat client repeatedly sends parameters relating to facial expressions through the chat server to other chat clients so that each chat client animate the facial expressions of the face models representing each user. It includes a step.
상기 3차원 얼굴모델을 애니메이션하기 위한 데이터를 전송하는 방법의 일실시예에 있어서, 상기 (c) 단계는 (c1) 각 채팅 클라이언트에 구비된 표정 데이터베이스의 내용에서 각 사용자가 원하는 표정에 관한 패러미터를 찾아 채팅 서버로 전송하는 단계; (c2) 채팅 서버가 채팅 세션 내의 다른 모든 채팅 클라이언트들에 상기 표정에 관한 패러미터를 전송하는 단계; 및 (c3) 각 채팅 클라이언트는 상기 표정에 관한 패러미터를 전송받고, 미리 전송받은 채팅 세션 내의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 이용하여 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션하도록 하는 단계를 포함함을 특징으로 한다.In an embodiment of the method for transmitting data for animating the 3D face model, the step (c) may include (c1) a parameter relating to a desired expression of each user in the contents of an expression database provided in each chat client. Find and send to the chat server; (c2) the chat server sending a parameter relating to the expression to all other chat clients in the chat session; And (c3) each chat client receives the parameter about the facial expression and uses the 3D vertex position information and texture image data of the face models representing the users in the previously received chat session. And a step of animating the facial expression.
상기 3차원 얼굴모델을 애니메이션하기 위한 데이터를 전송하는 방법의 일실시예에 있어서, 상기 (c) 단계는 (c1) 각 채팅 클라이언트에 구비된 표정 데이터베이스의 각 항목에 대응하는 기본어휘를 채팅 문자열에 포함시켜 채팅 서버로 전송하는 단계; (c2) 채팅 서버가 채팅 세션 내의 다른 모든 채팅 클라이언트들에 상기채팅 문자열을 전송하는 단계; 및 (c3) 각 채팅 클라이언트는 전송받은 채팅 문자열에 포함된 기본어휘 추출한 후 추출된 기본어휘를 키로 하여 표정 데이터베이스에서 대응하는 표정에 관한 패러미터를 조회하고, 미리 전송받은 채팅 세션 내의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 이용하여 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션하도록 하는 단계를 포함함을 특징으로 한다.In an embodiment of the method for transmitting data for animating the three-dimensional face model, step (c) includes (c1) a basic vocabulary corresponding to each item of the facial expression database provided in each chat client in a chat string. Including and transmitting to the chat server; (c2) a chat server sending the chat string to all other chat clients in a chat session; And (c3) each chat client extracts a basic vocabulary included in the received chat string, queries parameters related to the corresponding expression in the facial expression database using the extracted basic vocabulary as a key, and represents a face representing the users in the previously transmitted chat session. And animating an expression of a face model expressing each user by using three-dimensional vertex position information of the models and texture image data.
이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1에 의하면, 본 발명에 의한 애니메이션 채팅 시스템의 일실시예는 네트워크, 다수의 채팅 클라이언트 및 채팅 서버를 포함하여 구성된다.1, an embodiment of an animation chat system according to the present invention comprises a network, a plurality of chat clients and a chat server.
네트워크는 일반적인 온라인 네트워크 또는 공중전화교환망(PSTN)으로 이루어진다.The network consists of a typical online network or public switched telephone network (PSTN).
각 채팅 클라이언트는 네트워크를 통해 채팅 서버에 접속되고, 채팅 세션에 최초 참가할 때에는 그 채팅 클라이언트의 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 네트워크를 통해 채팅 서버에 전송하고, 채팅 세션에 참가한 이후에는 표정에 관한 패러미터를 네트워크를 통해 전송한다. 각 채팅 클라이언트는 네트워크를 통해 전송된 다른 사용자를 표현하는 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 사용하여 다른 사용자의 얼굴을 합성하여 사용자에게 디스플레이한다.Each chat client is connected to a chat server through a network. When a chat session is first joined, the 3D vertex position information and texture image data of the face model representing the user of the chat client are transmitted to the chat server through the network. After joining the session, parameters about facial expressions are sent over the network. Each chat client synthesizes and displays another user's face to the user using parameters related to three-dimensional vertex position information, texture image data, and facial expression of a face model representing another user transmitted over a network.
채팅 서버는 네트워크를 통해 다수의 채팅 클라이언트에 접속되고, 채팅 세션에 참가하는 채팅 클라이언트들로부터 네트워크를 통해 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 전송받고, 이들을 같은 채팅 세션 내에 있는 모든 채팅 클라이언트들에 전송함으로써 채팅세션을 관리한다.The chat server is connected to a number of chat clients via a network and receives from the chat clients participating in the chat session parameters over the network about the 3D vertex position, texture image data and facial expressions of the face model, and chats them together. Manage chat sessions by sending them to all chat clients in the session.
도 2에 의하면, 도 1의 각 채팅 클라이언트는 얼굴 모델 생성기(23), 얼굴 모델 데이터베이스(20), 얼굴 모델 관리자(26), 표정 생성기(24), 표정 데이터베이스(21), 표정 관리자(27), 얼굴 합성기(25) 및 네트워크 관리자(22)를 구비한다.Referring to FIG. 2, each chat client of FIG. 1 includes a face model generator 23, a face model database 20, a face model manager 26, an expression generator 24, an expression database 21, and an expression manager 27. , A face synthesizer 25 and a network manager 22.
얼굴 모델 생성기(23)는 미리 저장된 기본 얼굴모델 위치정보(geometry) 및 사용자로부터 입력받은 2차원 얼굴 이미지를 이용하여 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 생성한다. 즉, 얼굴 모델 생성기(23)는 사용자로부터 임의의 2차원 얼굴 이미지 1장(얼굴 정면) 또는 2장(얼굴 정면, 얼굴 측면) 또는 3장(얼굴 정면, 얼굴 좌측면, 얼굴 우측면)을 입력장치(28)를 통해 입력받고, 이들을 이용하여 기본 얼굴 모델의 위치정보를 변형하여 새로운 얼굴 모델을 생성한다.The face model generator 23 generates the 3D vertex position information and the texture image data of the face model using the pre-stored basic face model geometry and the 2D face image received from the user. That is, the face model generator 23 inputs one arbitrary two-dimensional face image (face front) or two (face front, face side) or three (face front, face left side, face right side) from the user. Input via (28), and by using them to modify the position information of the basic face model to create a new face model.
얼굴 모델 데이터베이스(20)는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 항목으로 하여 저장한 데이터베이스이다.The face model database 20 is a database storing three-dimensional vertex position information and texture image data of the face model as items.
얼굴 모델 관리자(26)은 얼굴 모델 생성기(23)에 의해 생성된 새로운 얼굴 모델을 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 항목으로 하여 데이터베이스화하고, 이에 대한 편집, 삽입, 조회 기능을 제공한다. 또한, 얼굴 모델 관리자(26)는 채팅 서버(30)로부터 네트워크 관리자(22)를 통해 전송받았거나 얼굴 모델 데이터베이스(20)에서 조회한 얼굴 모델의 3차원 꼭지점 위치정보및 텍스쳐 이미지 데이터를 얼굴 합성기(25)에 전달한다.The face model manager 26 makes a new face model generated by the face model generator 23 into a database by using three-dimensional vertex position information and texture image data of the face model, and edits, inserts, and retrieves functions thereof. to provide. In addition, the face model manager 26 receives the 3D vertex position information and texture image data of the face model received from the chat server 30 through the network manager 22 or viewed in the face model database 20. 25) to pass.
표정 생성기(24)는 사용자로부터 표정에 관한 자료를 입력장치(28)로부터 입력받기 위한 표정 입력 사용자 인터페이스를 구비하고, 입력받은 표정에 관한 자료에 의해 사용자 자신만의 개성을 지닌 표정에 관한 패러미터를 생성한다. 표정 생성기(24)에서 생성하는 패러미터는 얼굴 동작 코딩 시스템(Facial Action Coding System : FACS)의 동작 단위(Action Unit : AU) 방식에 따른 패러미터임이 바람직하다.The facial expression generator 24 has a facial expression input user interface for inputting data on facial expressions from the user from the input device 28, and provides parameters related to facial expressions having its own personality based on the input facial expression data. Create The parameter generated by the facial expression generator 24 is preferably a parameter according to an action unit (AU) method of a facial action coding system (FACS).
표정 데이터베이스(21)는 표정에 관한 패러미터를 항목으로 하여 저장한 데이터베이스이다.The facial expression database 21 is a database that stores parameters related to facial expressions as items.
표정 관리자(27)는 기본 표정들과 함께 표정 생성기(24)에 의해 생성된 표정 패러미터를 항목으로 하여 데이터베이스화하고, 이에 대한 편집, 삽입, 조회 기능을 제공한다. 한편, 표정 관리자(27)는 사람의 감정을 표현하는 기본 어휘와 표정 데이터베이스(21) 간의 상관관계를 이용하여 또한, 표정 관리자(27)는 채팅 서버(30)로부터 네트워크 관리자(22)전송받았거나 표정 데이터베이스(21)에서 조회한 표정에 관한 패러미터를 얼굴 합성기(25)로 전달한다.The facial expression manager 27 makes a database of facial expression parameters generated by the facial expression generator 24 along with the basic facial expressions, and provides functions for editing, inserting, and inquiring about the facial expressions. On the other hand, the facial expression manager 27 uses the correlation between the basic vocabulary expressing a person's emotion and the facial expression database 21, and the facial expression manager 27 is also received from the chat server 30 by the network manager 22. The parameters related to the facial expressions inquired by the facial expression database 21 are transmitted to the facial synthesizer 25.
얼굴 합성기(25)는 얼굴 모델 관리자(26) 및 표정 관리자(27)로부터 전달받은 얼굴 모델들의의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 이용하여 채팅 세션 내에 있는 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션한다.The face synthesizer 25 expresses users in a chat session using parameters related to three-dimensional vertex position information, texture image data, and facial expressions of the face models received from the face model manager 26 and the facial expression manager 27. Animates the facial model's facial expressions.
네트워크 관리자(22)는 네트워크를 통해 채팅 서버(30)와의 정보교환을 관리한다.The network manager 22 manages the exchange of information with the chat server 30 via the network.
도면에는 도시되어 있지 않지만, 본 발명에 의한 애니메이션 채팅 시스템의 일실시예에 포함된 각 채팅 클라이언트는 필요한 경우(특히, 1:1 채팅의 경우) 음성도 같이 들을 수 있도록, 텍스트 데이터를 음성으로 변환하는 텍스트/음성 변환기(Text To Speech : TTS) 및 텍스트/음성 변환기에 의해 변환된 음성에 따라 채팅 세션 내에 있는 사용자들을 표현하는 얼굴 모델의 입술형태를 변환시키는 립싱크부를 더 구비할 수 있다.Although not shown in the drawing, each chat client included in an embodiment of the animation chat system according to the present invention converts text data into voice so that voice can be heard as needed (particularly in case of 1: 1 chat). The apparatus may further include a lip-sync unit for converting a lip shape of a face model representing users in a chat session according to a voice converted by a text to speech (TTS) and a text / voice converter.
도 3에 의하면, 채팅 서버(30)는 네트워크 관리자(31) 및 채팅 세션 관리자(32)를 구비한다.According to FIG. 3, the chat server 30 includes a network manager 31 and a chat session manager 32.
네트워크 관리자(31)는 채팅 세션에 참가하는 채팅 클라이언트들로부터 네트워크를 통해 얼굴 모델의 3차원 꼭지점 위치정보, 텍스쳐 이미지 데이터 및 표정에 관한 패러미터를 전송받고, 이들을 같은 채팅 세션 내에 있는 모든 채팅 클라이언트들에 전송한다. 그리고, 채팅 세션 관리자(32)는 채팅 세션에 참가하고자 하는 채팅 클라이언트와의 채팅 세션의 설정/해제 등을 관리한다.The network manager 31 receives parameters from the chat clients participating in the chat session about the 3D vertex position information, texture image data and facial expression of the face model through the network, and sends them to all chat clients in the same chat session. send. The chat session manager 32 manages the setting / cancellation of the chat session with the chat client which is to participate in the chat session.
이하에서, 도 1 내지 도 3에 도시된 채팅 시스템에서 본 발명에 의한 3차원 얼굴모델을 애니메이션하기 위한 데이터 전송과정의 일실시예를 설명한다.Hereinafter, an embodiment of a data transmission process for animation of a 3D face model according to the present invention in the chat system shown in FIGS. 1 to 3 will be described.
네트워크에 연결된 채팅 서버 및 다수의 채팅 클라이언트를 구비한 채팅 시스템에서 3차원 얼굴모델을 애니메이션하기 위한 데이터를 전송하는 방법에 있어서,In a chat system having a chat server connected to a network and a plurality of chat clients, a method for transmitting data for animating a three-dimensional face model,
먼저, 각 채팅 클라이언트에서 얼굴 모델 생성기(23)는 미리 저장된 기본 얼굴모델 위치정보(geometry) 및 사용자로부터 입력받은 2차원 얼굴 이미지를 이용하여 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 생성하고, 얼굴 모델 관리자(26)는 생성된 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 항목으로 하는 얼굴 모델 데이터베이스(20)를 구성한다.First, in each chat client, the face model generator 23 generates three-dimensional vertex position information and texture image data of the face model using the pre-stored basic face model geometry and the two-dimensional face image received from the user. The face model manager 26 configures the face model database 20 having the generated three-dimensional vertex position information and texture image data as items.
이때, 기본 얼굴모델의 위치정보는 도 4a에 도시된 3차원 기본 얼굴 와이어프레임(wireframe), 도 4b에 도시된 기본 얼굴 정면 윤곽선 및 기본 얼굴 측면 윤곽선 등을 포함한다. 한편, 도 4c는 도 4b의 기본 얼굴 정면 윤곽선을 사용자로부터 입력받은 임의의 2차원 정면 얼굴 이미지에 정합시킨 도면이고, 도 4d는 기본 얼굴 측면 윤곽선을 사용자로부터 입력받은 2차원 측면 얼굴 이미지에 정합시킨 도면이다. 그리고, 도 4e는 도 4c 및 도 4d의 이미지들과 도 4a의 기본 얼굴 와이어프레임을 이용하여 3차원 얼굴을 합성한 결과를 도시한 것이다.In this case, the location information of the basic face model includes a three-dimensional basic face wireframe shown in FIG. 4A, a basic face front outline, a basic face side outline, and the like shown in FIG. 4B. 4C is a diagram in which the basic face front contour of FIG. 4B is matched to an arbitrary two-dimensional front face image received from a user, and FIG. 4D is a diagram of matching the basic face side contour to a two-dimensional side face image received from a user. Drawing. 4E illustrates a result of synthesizing a 3D face using the images of FIGS. 4C and 4D and the basic face wireframe of FIG. 4A.
또한, 각 채팅 클라이언트에서 표정 생성기(24)는 사용자로부터 표정에 관한 자료를 입력장치(28)로부터 입력받기 위하여 도 5에 예시된 바와 같은 표정 입력 사용자 인터페이스를 구비하고, 입력받은 표정에 관한 자료에 의해 표정에 관한 패러미터를 생성하고, 표정 관리자(27)는 표정에 관한 패러미터를 항목으로 하는 표정 데이터베이스(21)를 구성한다.In addition, in each chat client, the facial expression generator 24 is provided with an facial expression input user interface as illustrated in FIG. 5 in order to receive data regarding facial expressions from the user from the input device 28. By generating a parameter relating to the facial expression, the facial expression manager 27 constructs the facial expression database 21 having the parameter relating to the facial expression as an item.
이후, 채팅 세션에 접속하기 위한 채팅 클라이언트는 그 사용자를 대표하는 얼굴 모델의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 채팅 서버로 전송한다. 그러면, 채팅 서버는 채팅 세션 내의 다른 모든 채팅 클라이언트들에 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 전송하고, 채팅 세션에 접속하고자 하는채팅 클라이언트에 채팅 세션 내의 다른 모든 채팅 클라이언트들의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 전송한다.Thereafter, the chat client for accessing the chat session transmits the 3D vertex position information and the texture image data of the face model representing the user to the chat server. The chat server then sends three-dimensional vertex location information and texture image data to all other chat clients in the chat session, and a face model representing users of all other chat clients in the chat session to the chat client wishing to access the chat session. 3D vertex position information and texture image data are transmitted.
채팅 세션에 접속이 이루어지면, 각 채팅 클라이언트는 채팅 서버를 통해 다른 채팅 클라이언트로 표정에 관한 패러미터를 반복적으로 전송함으로써, 각 채팅 클라이언트가 도 6에 도시된 바와 같이 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션하도록 한다.When a chat session is established, each chat client repeatedly sends parameters related to facial expressions through the chat server to other chat clients, whereby each chat client expresses a facial model representing each user as shown in FIG. Let's animate
각 채팅 클라이언트에서 표정 변화를 위해 인터페이스하는 과정은 다음과 같은 세가지 방법들 중에서 한 가지 이상의 방법들을 중복하여 사용할 수 있다.The interface for changing facial expressions in each chat client may overlap one or more of the following three methods.
첫째 방법에서는, 각 채팅 클라이언트에 구비된 표정 데이터베이스의 내용에서 각 사용자가 원하는 표정에 관한 패러미터를 찾아 채팅 서버로 전송하면, 채팅 서버가 채팅 세션 내의 다른 모든 채팅 클라이언트들에 그 표정에 관한 패러미터를 전송한다. 그러면, 각 채팅 클라이언트는 그 표정에 관한 패러미터를 전송받고, 미리 전송받은 채팅 세션 내의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터를 이용하여 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션한다.In the first method, the parameters of the facial expression database included in each chat client are found and transmitted to the chat server. The chat server transmits parameters about the facial expression to all other chat clients in the chat session. do. Then, each chat client receives the parameter about the expression and expresses the facial model representing each user by using the 3D vertex position information and the texture image data of the face models representing the users in the previously transmitted chat session. To animate.
둘째 방법에서는, 각 채팅 클라이언트에 구비된 표정 데이터베이스의 각 항목에 대응하는 기본어휘를 채팅 문자열에 포함시켜 채팅 서버로 전송하면, 채팅 서버가 채팅 세션 내의 다른 모든 채팅 클라이언트들에 그 채팅 문자열을 전송한다. 그러면, 각 채팅 클라이언트는 전송받은 채팅 문자열에서 감정을 표현하는 기본어휘를 추출하고 추출된 기본어휘를 키(key)로 하여 표정 데이터베이스(21)에서 대응하는 표정에 관한 패러미터를 조회한다. 이후, 미리 전송받은 채팅 세션 내의 사용자들을 대표하는 얼굴 모델들의 3차원 꼭지점 위치정보와 텍스쳐 이미지 데이터에 조회된 표정에 관한 패러미터를 이용하여 각 사용자들을 표현하는 얼굴 모델의 표정을 애니메이션한다.In the second method, a basic vocabulary corresponding to each item of the facial expression database included in each chat client is included in the chat string and transmitted to the chat server, and the chat server transmits the chat string to all other chat clients in the chat session. . Then, each chat client extracts a basic vocabulary expressing emotions from the received chat string and inquires a parameter about a corresponding expression in the facial expression database 21 using the extracted basic vocabulary as a key. Thereafter, the facial model representing each user is animated by using the 3D vertex position information of the face models representing the users in the chat session received in advance and parameters related to the expressions queried in the texture image data.
셋째 방법에서는 표정들 간의 감정적 상관관계를 통한 강도(intensity) 변화를 이용하여 표정변화를 애니메이션하도록 한다.In the third method, the expression change is animated by using the intensity change through the emotional correlation between the expressions.
이와 같은 3가지 방법들이 모두 포함되는 경우에는 첫번째 방법이 가장 높은 우선순위를 갖도록하는 것이 바람직하다.If all three methods are included, it is desirable to make the first method have the highest priority.
한편, 도 7a 및 도 7b에 도시된 바와 같은 1:1 채팅의 경우, 3차원 얼굴 모델의 표정 애니메이션과 함께 텍스트/음성 변환기를 이용하여 음성도 같이 들을 수도 있으며, 립싱크부를 구비하여 채팅 세션 내에 있는 상대방 사용자 얼굴 모델의 입술형태를 발성에 대응하여 변환시킬 수 있다.Meanwhile, in the case of 1: 1 chat as shown in FIGS. 7A and 7B, the voice may be heard using a text / voice converter together with the facial expression animation of the 3D face model, and the lip sync unit may be used to listen to the voice. The lip shape of the counterpart user's face model may be converted in response to speech.
본 발명에 의하면, 텍스트만으로는 의미전달이 어려움 경우 3차원 얼굴 애니메이션을 통하여 좀 더 분명하게 의미전달을 할 수 있으며, 3차원 얼굴 애니메이션을 위해 최초 세션 형성 이후에는 표정에 관한 패러미터만을 전송함으로써 네트워크 및 시스템의 부하를 줄일 수 있다.According to the present invention, if it is difficult to convey meaning with text alone, it is possible to more clearly convey meaning through 3D face animation.After the initial session is formed for 3D face animation, only the parameters related to the expression are transmitted to the network and the system. Can reduce the load.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990027246A KR100300966B1 (en) | 1999-07-07 | 1999-07-07 | Chatting system using animated avatars and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990027246A KR100300966B1 (en) | 1999-07-07 | 1999-07-07 | Chatting system using animated avatars and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010009080A KR20010009080A (en) | 2001-02-05 |
| KR100300966B1 true KR100300966B1 (en) | 2001-11-01 |
Family
ID=19599921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990027246A KR100300966B1 (en) | 1999-07-07 | 1999-07-07 | Chatting system using animated avatars and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100300966B1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100345310B1 (en) * | 1999-08-13 | 2002-07-25 | 주식회사 케이티 | System and method for multimedia chatting service |
| KR100372929B1 (en) * | 1999-11-25 | 2003-02-20 | 김관회 | Method for making user's own image in chatting site |
| KR100797465B1 (en) * | 2001-02-22 | 2008-01-24 | 엘지전자 주식회사 | System for video chatting, user terminal and method for the same |
| KR20030085212A (en) * | 2002-04-29 | 2003-11-05 | 주식회사 엔씨소프트 | System and method for providing real-time chating service having animation effect on chating text |
| KR100471594B1 (en) * | 2002-11-26 | 2005-03-10 | 엔에이치엔(주) | Method for Providing Data Communication Service in Computer Network by using User-Defined Emoticon Image and Computer-Readable Storage Medium for storing Application Program therefor |
| CN111991808A (en) * | 2020-07-31 | 2020-11-27 | 完美世界(北京)软件科技发展有限公司 | Face model generation method and device, storage medium and computer equipment |
-
1999
- 1999-07-07 KR KR1019990027246A patent/KR100300966B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010009080A (en) | 2001-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104780093B (en) | Expression information processing method and processing device during instant messaging | |
| US7091976B1 (en) | System and method of customizing animated entities for use in a multi-media communication application | |
| US6990452B1 (en) | Method for sending multi-media messages using emoticons | |
| US20180157901A1 (en) | Method and system for incorporating contextual and emotional visualization into electronic communications | |
| US7035803B1 (en) | Method for sending multi-media messages using customizable background images | |
| CN110286756A (en) | Method for processing video frequency, device, system, terminal device and storage medium | |
| CN110400251A (en) | Method for processing video frequency, device, terminal device and storage medium | |
| US20020194006A1 (en) | Text to visual speech system and method incorporating facial emotions | |
| JP2001230801A (en) | Communication system and its method, communication service server and communication terminal | |
| US20020007276A1 (en) | Virtual representatives for use as communications tools | |
| US20060077205A1 (en) | Computer-implemented chat system having dual channel communications and self-defining product structures | |
| JP2005505847A (en) | Rich communication via the Internet | |
| JP2003248841A (en) | Virtual television intercom | |
| KR100733772B1 (en) | Method and system for providing lip-sync service for mobile communication subscriber | |
| US7671861B1 (en) | Apparatus and method of customizing animated entities for use in a multi-media communication application | |
| KR100300966B1 (en) | Chatting system using animated avatars and method thereof | |
| Lokesh et al. | Computer Interaction to human through photorealistic facial model for inter-process communication | |
| KR20060104980A (en) | System and method for interlocking process between emoticon and avatar | |
| KR20030026506A (en) | System and method for interlocking process between emoticon and avatar | |
| Morishima et al. | Face-to-face communicative avatar driven by voice | |
| KR20010017865A (en) | Method Of Visual Communication On Speech Translating System Based On Avatar | |
| JP2001357414A (en) | Animation communicating method and system, and terminal equipment to be used for it | |
| KR100559287B1 (en) | Chat system and method using animation of graphic images | |
| KR20110012707A (en) | 3dimensional contents production system and web to phone transmission method | |
| KR20230120940A (en) | method for executing video chatting between 3D avatars of rendering an user's facial expression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130522 Year of fee payment: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20140522 Year of fee payment: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20150522 Year of fee payment: 15 |
|
| FPAY | Annual fee payment |
Payment date: 20160520 Year of fee payment: 16 |
|
| FPAY | Annual fee payment |
Payment date: 20170518 Year of fee payment: 17 |
|
| FPAY | Annual fee payment |
Payment date: 20180517 Year of fee payment: 18 |
|
| FPAY | Annual fee payment |
Payment date: 20190520 Year of fee payment: 19 |
|
| EXPY | Expiration of term |