KR20230120940A - method for executing video chatting between 3D avatars of rendering an user's facial expression - Google Patents
method for executing video chatting between 3D avatars of rendering an user's facial expression Download PDFInfo
- Publication number
- KR20230120940A KR20230120940A KR1020220017816A KR20220017816A KR20230120940A KR 20230120940 A KR20230120940 A KR 20230120940A KR 1020220017816 A KR1020220017816 A KR 1020220017816A KR 20220017816 A KR20220017816 A KR 20220017816A KR 20230120940 A KR20230120940 A KR 20230120940A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- chatting
- facial expression
- avatar
- avatars
- Prior art date
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title abstract description 21
- 238000009877 rendering Methods 0.000 title description 2
- 230000014509 gene expression Effects 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/50—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
본 발명은 사용자의 얼굴 영상을 분석하여 표정 데이터를 추출하고, 이 표정 데이터를 3D 아바타에 투영시켜 사용자의 표정이 그대로 동기화된 3D 아바타를 이용한 실시간 화상 채팅 방법에 관한 것이다. The present invention relates to a real-time video chatting method using a 3D avatar in which a user's facial expression is synchronized as it is by analyzing a user's face image to extract facial expression data and projecting the facial expression data onto a 3D avatar.
Description
본 발명은 화상 채팅 시스템에 관한 것으로서, 보다 상세하게는 채팅시에 인공지능을 이용하여 사용자의 얼굴 표정을 렌더링한 3D 아바타들을 생성하고, 이 3D 아바타를 사용자 대신에 채팅 화면상에 출력시켜 채팅하는 방법에 관한 것이다. The present invention relates to a video chatting system, and more particularly, generates 3D avatars in which a user's facial expression is rendered using artificial intelligence during chatting, and displays the 3D avatars on a chatting screen instead of a user for chatting It's about how.
최근 들어 유무선 인터넷의 발달에 따라 유무선 인터넷을 통한 전자 상거래가 급속히 증가하고 있고, 유무선 인터넷의 상거래 증가와 사용자의 폭발적인 증가로 인하여 유무선 인터넷 컨텐츠 제공자는 다양한 커뮤니티를 제공하여 사용자들을 끌어들이려고 노력하고 있다. 일반적으로 채팅, 메신저, 단문서비스 등이 서비스 되고 있고, 특히 최근에는 아바타를 이용하여 다양한 기능을 추가하고 있다. Recently, with the development of wired and wireless Internet, e-commerce through wired and wireless Internet is rapidly increasing. Due to the increase in commerce on wired and wireless Internet and the explosive increase in users, wired and wireless Internet content providers are trying to attract users by providing various communities. . In general, chatting, messenger, short message service, etc. are being serviced, and in particular, various functions are being added using avatars recently.
이 아바타의 의미를 한번 되새겨 보면, 아바타(AVATA)란 '가상사회(VIRTUAL COMMUNITY)에서 자신의 분신을 의미하는 시각적 이미지'란 뜻을 가지고 있는 분신, 화신을 뜻하는 말로, 사이버공간에서 사용자의 역할을 대신하는 애니메이션 캐릭터이다. 그 어원을 자세하게 살펴보면 원래 아바타는 산스크리트 '아바따라 (avataara)'에서 유래한 말이다. 아바따라는 '내려오다'라는 뜻을 지닌 동사'아바뜨르'의 명사형으로, '신이 지상에 강림함 또는 지상에 강림한 신의 화신'을 뜻한다. 산스크리트 '아바따라'는 힌디어에서 '아바따르'로 발음되는데 '아바타'는 힌디어'아바따르'에서 맨 끝의 '르'발음이 탈락된 형태이다. 고대 인도에서 땅으로 내려온 신의 화신을 지칭하는 말이었으나, 인터넷시대가 열리면서 3차원이나 가상현실게임 또는 웹에서의 채팅 등에서 자기 자신을 나타내는 그래픽 아이콘을 가리킨다. 아바타는 그래픽 위주의 가상사회에서 자신을 대표하는 가상육체라고 할 수 있다. 현재 아바타가 이용되는 분야는 채팅이나 온라인게임 외에도 사이버 쇼핑몰, 가상교육, 가상오피스 등으로 확대되었고, 최근 가장 각광받는 분야는 온라인 채팅서비스로, 아이콘 채팅, 3차원 그래픽 채팅 등의 아바타를 이용한 채팅서비스가 도입되었다. 기존의 아바타는 2차원으로 된 그림이 대부분이었다. 머드게임이나 온라인채팅에 등장하는 아바타는 가장 초보적인 수준이었고 이러한 현실감이 떨어지는 문제점을 보완하여 등장한 것이 3차원 아바타다. 3차원 아바타는 입체감과 현실감을 함께 지닌 것이 장점이다. 아바타는 현실세계와 가상공간을 이어주며, 익명과 실명의 중간 정도에 존재하는데 과거 네티즌들은 사이버공간의 익명성에 매료되었지만 이제는 자신을 표현하려는 욕구를 느끼게 되어 이 두가지를 모두 충족시켜주는 아바타가 생겼다. 대부분의 게임이나 채팅서비스에는 주로 몇가지의 캐릭터를 조합하거나 이미 완성된 아바타를 제공하지만 그래픽 기술이 향샹되면서 서비스 제공자가 이미 만들어 놓은 기성품을 이용하는 것이 아니라 문자 ID처럼 사용자가 자신만의 개성있는 아바타를 직접 만들 수 있는 나만의 아바타도 등장하였다.If you look back on the meaning of this avatar, AVATA is a word that means 'a visual image that means one's alter ego in a virtual community', an incarnation, and a user's role in cyberspace. It is an animation character that replaces . If you look closely at its etymology, the original avatar is derived from the Sanskrit word 'avataara'. Abbatara is the noun form of the verb 'abhatre', which means 'to descend', and means 'the descent of a god to the earth or the incarnation of a god who has descended to the earth'. 'Avatar' in Sanskrit is pronounced as 'Avatar' in Hindi, but 'Avatar' is a form in which the pronunciation of 'le' at the end is eliminated from 'Avatar' in Hindi. It used to refer to the incarnation of a god who came down to earth from ancient India, but with the advent of the Internet era, it refers to a graphic icon that represents oneself in 3D or virtual reality games or chatting on the web. An avatar is a virtual body that represents oneself in a graphic-oriented virtual society. Currently, the fields where avatars are used have expanded to cyber shopping malls, virtual education, and virtual offices in addition to chatting and online games. has been introduced Existing avatars were mostly two-dimensional pictures. Avatars appearing in mud games or online chatting were at the most rudimentary level, and 3D avatars appeared to compensate for the lack of realism. The advantage of a 3D avatar is that it has both a three-dimensional effect and a sense of reality. Avatar connects the real world and virtual space, and exists in the middle of anonymity and blindness. In the past, netizens were fascinated by the anonymity of cyberspace, but now they feel the desire to express themselves, and there is an avatar that satisfies both. Most games or chat services usually combine several characters or provide ready-made avatars, but with the improvement of graphic technology, rather than using ready-made products made by service providers, users can create their own unique avatars like text IDs. You can also create your own avatar.
이러한 아바타를 생성시켜서 유무선 인터넷 상에서 이용하는 다양한 방법들이 제안되었는데, 그중 하나가 '사용자만의 독립적 3차원 캐릭터 인터페이스(특허문헌 1)'가 있다. 하지만 이 방법은 단순히 아바타를 이용하여 구현할 수 있는 다양한 인터페이스를 제안하는 데 그치고 있고 상세한 기술적 수단이 제시되지 않았다는 문제점이 있었다. Various methods of generating such avatars and using them on the wired/wireless Internet have been proposed, and one of them is 'user's own independent 3D character interface (Patent Document 1)'. However, this method has a problem in that it merely proposes various interfaces that can be implemented using avatars, and detailed technical means are not presented.
또 다른 방법으로는 '사용자 맞춤형 에이전트, 그것을 이용한 서비스 방법 및 시스템(특허문헌 2)'이 있다. 이 방법은 사용자가 설정한 가격에 상응하는 이미지를 에이전트 서버로부터 제공받아 상기 이미지를 이용하여 자신에게 맞는 에이전트를 생성할 수 있는 방법으로 사용자의 다양한 동작이 가능할려면 일정가격을 지불하고 동작이미지를 제공받는 것과 사용자를 대변할 만한 지식을 가지고 있지 않다는 문제점이 있었다. Another method is 'a user-customized agent, a service method and system using it (Patent Document 2)'. In this method, an image corresponding to the price set by the user is provided from the agent server, and an agent suitable for the user can be created using the image. There was a problem that it did not have the knowledge to represent the receiver and the user.
또 다른 방법으로는 아바타를 이용하여 전자쇼핑을 하는 기술로 '다수의 가상 캐릭터를 적용한 전자상거래 시스템 및 그것을 이용한 전자상거래 방법(특허문헌 3)'이 있다. 이 방법은 다수의 캐릭터가 동시에 웹사이트에 접속하여 웹사이트상에 형성된 다수의 가상 상점을 쇼핑하면서 특정상품에 대한 의견 및 정보를 문자, 음성채팅을 통하여 공유할 수 있는 방법으로 가입자에게 유리한 정보를 제공할 수 있는 장점이 있다. 하지만 아바타가 아무런 영역지식이나 능력이 없고, 또한 가상 쇼핑몰이 구축된 웹사이트에 접속을 해야만 하는 문제점이 있었다. As another method, there is an 'e-commerce system applying a plurality of virtual characters and an e-commerce method using the same (Patent Document 3)' as a technology for electronic shopping using an avatar. This method is a method in which multiple characters access the website at the same time and share opinions and information on a specific product through text and voice chatting while shopping at multiple virtual stores formed on the website, providing information advantageous to subscribers. There are advantages it can offer. However, there was a problem in that the avatar had no domain knowledge or ability and had to access the website where the virtual shopping mall was built.
최근에는, 아바타의 몸 동작을 제어하는 것을 넘어서 아바타의 얼굴 표정을 제어하여 풍부한 표현이 가능하도록 하는 기술들에 대한 필요성이 대두되고 있다. 예를 들어, 온라인 대화 시스템에서는 아바타의 몸 동작보다 아바타의 얼굴 표정과 입술 움직임을 제어하는 것이 더 효과적으로 사용자의 의도를 상대방에게 전달할 수 있을 것이다. Recently, there is a growing need for technologies that enable rich expressions by controlling facial expressions of avatars beyond controlling body motions of avatars. For example, in an online conversation system, controlling an avatar's facial expression and lip movement rather than an avatar's body motion will more effectively convey the user's intention to the other party.
특허문헌 4는 사용자의 음성에 따른 실시간 입모양을 생성하고 사용자의 감정에 부합하는 얼굴움직임을 생성하여, 가상현실 상에서 현실감 있는 대화를 제공할 수 있는 3D아바타의 표정 구현 방법 및 프로그램을 제안한다.Patent Document 4 proposes a method and program for implementing facial expressions of 3D avatars that can provide realistic conversation in virtual reality by generating real-time mouth shapes according to the user's voice and facial movements that match the user's emotions.
예를 들어, 특허문헌 4는 컴퓨터가 사용자의 발화데이터를 수신하여, 음성인식을 통해 문장데이터를 생성하는 단계로서, 상기 문장데이터는 하나 이상의 글자데이터를 포함하는, 문장데이터 생성단계; 각각의 글자데이터를 발음기호를 적용하는 단계; 각각의 발음기호에 상응하는 입모양데이터를 로드하는 단계; 및 하나 이상의 입모양데이터를 발음 순서대로 적용하여 3D아바타의 표정 애니메이션을 생성하는 단계를 포함한다. 이로 인해, 아바타의 얼굴 표정을 사용자의 실제 얼굴 표정과 유사하게 표현함으로써 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있다.For example, Patent Document 4 includes a step of receiving speech data of a user by a computer and generating sentence data through voice recognition, wherein the sentence data includes one or more character data; applying phonetic symbols to each character data; loading mouth shape data corresponding to each phonetic symbol; and generating a facial expression animation of the 3D avatar by applying one or more mouth shape data in the order of pronunciation. For this reason, the avatar's facial expression can be expressed more naturally and delicately by expressing the avatar's facial expression similarly to the user's actual facial expression.
본 발명은 기존의 화상 채팅에 비해서 좀더 재미와 흥미를 불어 넣을 수 있도록 사용자 표정을 3D 아바타를 통해서 구현할 수 있는 새로운 기술을 제안하는 것을 주요한 기술적 과제로 한다. A major technical task of the present invention is to propose a new technology that can implement a user's facial expression through a 3D avatar so as to bring more fun and interest than conventional video chatting.
상술한 목적을 달성하기 위한 본 발명의 화상 채팅 방법은, 채팅 어플리케이션이 설치된 복수의 사용자 단말과 이 복수의 사용자 단말간의 인스턴트 메시징 서비스를 매개하는 채팅 시스템이 네트워크를 경유하여 접속되어 있는 환경에서, 상기 채팅 시스템에서, 제 1 사용자 단말로부터 채팅 메시지와 더불어 사용자의 얼굴 영상 데이터를 수신하는 단계; 상기 사용자의 얼굴 영상 데이터를 딥러닝 AI로 분석하여 표정 데이터를 추출하는 단계; 상기 채팅 메시지와 상기 표정 데이터를 채팅 상대방의 제 2 사용자 단말로 전송하는 단계; 상기 제 2 사용자 단말에서, 상기 채팅 어플리케이션을 이용하여 상기 표정 데이터를 미리 설정되어 있는 3D 아바타에 투영시켜 사용자의 표정이 렌더링된 3D 아바타를 생성하는 단계; 상기 채팅 어플리케이션의 대화창에 상기 사용자의 표정이 렌더링된 3D 아바타와 상기 채팅 메시지를 표시하는 단계를 포함하는 것을 특징으로 한다. A video chatting method of the present invention for achieving the above object is provided in an environment in which a plurality of user terminals installed with chatting applications and a chatting system that mediates an instant messaging service between the plurality of user terminals are connected via a network, In a chatting system, receiving face image data of a user together with a chatting message from a first user terminal; extracting facial expression data by analyzing the user's face image data with deep learning AI; Transmitting the chatting message and the facial expression data to a second user terminal of a chatting partner; In the second user terminal, generating a 3D avatar in which a user's expression is rendered by projecting the facial expression data onto a preset 3D avatar using the chatting application; and displaying a 3D avatar in which the expression of the user is rendered and the chatting message in a chat window of the chatting application.
본 발명의 화상 채팅에 따르면, 기존의 화상채팅에 비해 더 큰 재미와 흥미를 불어넣을 수 있어서 가상 친목 모임 등 다양한 곳에서 활용될 수 있다. 또한, 사용자의 표정이 체화된 3D 아바타를 메타버스 플랫폼에 탑재함으로써 가상현실 플랫폼의 세계를 확장하는 것이 가능하다.According to the video chatting of the present invention, it can bring more fun and interest than conventional video chatting, so it can be used in various places such as virtual social gatherings. In addition, it is possible to expand the world of the virtual reality platform by loading a 3D avatar in which the user's expression is embodied into the metaverse platform.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술되는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 발명의 바람직한 일 실시예에 따른 화상 채팅 시스템의 개요도이다.
도 2는 사용자의 얼굴 영상으로부터 표정 데이터를 추출하여 3D 아바타에 투영시킨 상태를 나타내는 도면이다.
도 3은 본 발명의 화상 채팅 방법에 따라 채팅창에 사용자의 표정이 그대로 투영된 3D 아바타가 표시된 상태로 서로 채팅을 교환하는 상태를 도시한다. The following drawings attached to this specification illustrate preferred embodiments of the present invention, and together with the detailed description of the present invention serve to further understand the technical idea of the present invention, the present invention is the details described in such drawings should not be construed as limited to
1 is a schematic diagram of a video chatting system according to a preferred embodiment of the present invention.
2 is a diagram illustrating a state in which facial expression data is extracted from a user's face image and projected onto a 3D avatar.
3 illustrates a state in which chatting is exchanged with each other in a state in which a 3D avatar in which a user's expression is projected as it is is displayed in a chatting window according to the video chatting method of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다. Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and scope of the present invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, process, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, processes, operations, components, parts, or combinations thereof is not precluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings in the context of the related art, and unless explicitly defined in this application, they should not be interpreted in ideal or excessively formal meanings. don't
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.The terms or words used in this specification and claims should not be construed as being limited to ordinary or dictionary meanings, and the inventors may appropriately define the concept of terms in order to explain their invention in the best way. Based on the principle that there is, it should be interpreted as meaning and concept consistent with the technical spirit of the present invention. In addition, unless there is another definition in the technical terms and scientific terms used, they have meanings commonly understood by those of ordinary skill in the art to which this invention belongs, and the gist of the present invention is described in the following description and accompanying drawings. Descriptions of well-known functions and configurations that may be unnecessarily obscure are omitted. The drawings introduced below are provided as examples to sufficiently convey the spirit of the present invention to those skilled in the art. Accordingly, the present invention may be embodied in other forms without being limited to the drawings presented below. Also, like reference numerals denote like elements throughout the specification. It should be noted that like elements in the drawings are indicated by like numerals wherever possible.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 첨부된 도면은 축척에 의하여 도시되지 않았으며, 각 도면의 동일한 참조 번호는 동일한 구성 요소를 지칭한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The accompanying drawings are not drawn to scale, and like reference numbers in each drawing indicate like elements.
도 1은 본 발명의 바람직한 일 실시예에 따른 화상 채팅 시스템의 개요도이다. 1 is a schematic diagram of a video chatting system according to a preferred embodiment of the present invention.
도 1을 참조하면, 본 발명에 따른 화상 채팅 시스템은, 유,무선 네트워크(104)를 통해 사용자 단말들(110 내지 130)에 채팅 메시징 서비스를 제공하는 채팅 서버(210)를 포함한다. 이러한 채팅 서비스는 사용자 단말들(110 내지 130)에 설치된 채팅 어플리케이션(미도시)을 통해 상기 채팅 서버(210)로부터 제공된다. Referring to FIG. 1 , a video chatting system according to the present invention includes a chatting server 210 that provides a chatting messaging service to user terminals 110 to 130 through a wired or wireless network 104 . This chatting service is provided from the chatting server 210 through a chatting application (not shown) installed in the user terminals 110 to 130 .
본 발명의 일 실시예에 따르면, 채팅 서버(210)는 사용자 단말들(110 내지 130)의 사용자 간에 인스턴트 메시징 세션 내에서 대화가 진행되는 동안, 사용자를 표상하는 3D 아바타를 채팅 화면상에 표시한다. According to an embodiment of the present invention, the chatting server 210 displays a 3D avatar representing the user on the chatting screen while a conversation is progressing within the instant messaging session between users of the user terminals 110 to 130. .
상기 채팅 서버(210)는 자체적으로 3D 아바타를 생성하고, 이 3D 아바타에 사용자의 표정을 렌더링하는 도구를 둘 수도 있으나, 사용자의 얼굴 영상으로부터 표정 데이터를 추출하기 위한 별도의 표정 추출 서버(220)와 연동되어 협업할 수 있다. The chat server 210 may generate a 3D avatar itself and put a tool for rendering the user's expression on the 3D avatar, but a separate expression extraction server 220 for extracting expression data from the user's face image can be linked and collaborated with.
본 발명의 일 실시예에 따르면, 채팅 서버(210)는 사용자 단말들(110 내지 130)의 사용자 간에 인스턴트 메시징 세션 내에서 대화가 진행되는 동안 상기 표정 추출 서버(220)로부터 전송되는 사용자의 표정 데이터를 채팅 메시지와 함께 교신한다. According to an embodiment of the present invention, the chatting server 210 transmits the user's facial expression data from the facial expression extraction server 220 during a conversation between users of the user terminals 110 to 130 within an instant messaging session. with chat messages.
상기 사용자 단말(110 내지 130)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 사용자 단말(110 내지 130)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 사용자 단말(110 내지 130)은 무선 또는 유선 통신 방식을 이용하여 네트워크(104)를 통해 다른 단말들 및/또는 채팅 서버(210)와 통신할 수 있다.The user terminals 110 to 130 may be fixed terminals implemented as computer devices or mobile terminals. Examples of the user terminals 110 to 130 include a smart phone, a mobile phone, a navigation device, a computer, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), and a tablet PC. . For example, the user terminals 110 to 130 may communicate with other terminals and/or the chat server 210 through the network 104 using a wireless or wired communication method.
통신 방식은 제한되지 않으며, 네트워크(104)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식 뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(104)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(104)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.The communication method is not limited, and short-distance wireless communication between devices as well as a communication method utilizing a communication network (eg, a mobile communication network, a wired Internet, a wireless Internet, and a broadcasting network) that the network 104 may include may also be included. For example, the network 104 may include a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), and a broadband network (BBN). It may include one or more arbitrary networks among networks such as , Internet, and the like. In addition, the network 104 may include any one or more of network topologies including a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, and the like. Not limited.
채팅 서버(210)는 사용자 단말(110 내지 130)과 네트워크(104)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 일례로, 채팅 서버(210)는 네트워크(104)를 통해 접속한 사용자 단말(110 내지 130)의 다수의 사용자로 하여금 1개의 채팅방에 참여할 수 있도록 하고, 참여된 사용자들 간에 소통할 수 있는 여건을 제공 한다.The chat server 210 may be implemented as a computer device or a plurality of computer devices that communicate with the user terminals 110 to 130 through the network 104 to provide commands, codes, files, content, services, and the like. For example, the chatting server 210 allows a plurality of users of the user terminals 110 to 130 accessed through the network 104 to participate in one chat room, and provides conditions for communication between the participating users. to provide.
본 발명에 따른 표정 추출 서버(220)는 사용자 단말(110 내지 130)에 설치된 카메라를 통해 촬영된 사용자의 얼굴 영상을 채팅 서버(210)로부터 전달받고, 이 얼굴 영상을 딥러닝 AI(인공지능 표정추출모델)로 분석하여 표정 데이터를 추출한다. 그리고, 이렇게 추출된 표정 데이터를 채팅 서버(210)에 전달한다. The facial expression extraction server 220 according to the present invention receives a user's facial image captured through a camera installed in the user terminals 110 to 130 from the chatting server 210, and transmits the facial image to a deep learning AI (artificial intelligence facial expression). extraction model) to extract facial expression data. Then, the extracted facial expression data is transmitted to the chatting server 210 .
채팅 서버(210)는 표정 추출 서버(220)로부터 전달받은 사용자의 표정 데이터를 채팅 메시지와 함께 상대방의 사용자 단말(110 내지 130)에 전송한다. The chatting server 210 transmits the user's facial expression data received from the facial expression extraction server 220 to the other party's user terminals 110 to 130 together with a chatting message.
이때, 채팅 서버(210)는 표정 추출 서버(220)로부터 전달받은 사용자의 표정 데이터를 미리 설정된 사용자의 3D 아바타에 투영시켜 표정이 표현된 3D 아바타를 생성하고, 이 3D 아바타를 채팅 메시지와 함께 상대방의 사용자 단말(110 내지 130)에 전송할 수도 있고, 또는 표정 추출 서버(220)로부터 전달받은 사용자의 표정 데이터를 채팅 메시지와 함께 상대방의 사용자 단말(110 내지 130)에 전송하고, 사용자 단말(110 내지 130)의 채팅 어플리케이션에서 미리 설정된 3D 아바타에 상기 표정 데이터를 투영시켜 표정이 표현된 3D 아바타를 생성하고, 이를 채팅 메시지와 함께 채팅창에 표시할 수도 있다. At this time, the chat server 210 projects the user's facial expression data received from the facial expression extraction server 220 onto a preset 3D avatar of the user to generate a 3D avatar expressing the facial expression, and sends the 3D avatar to the other party along with the chatting message. may be transmitted to the user terminals 110 to 130, or the user's facial expression data received from the facial expression extraction server 220 is transmitted together with a chat message to the user terminals 110 to 130 of the other party, and the user terminals 110 to 130 In the chatting application of 130), the facial expression data may be projected onto a preset 3D avatar to generate a 3D avatar expressing a facial expression, and the chatting message may be displayed in the chatting window.
데이터 부하를 줄인다는 측면에서는 채팅 서버(210)에서 표정 데이터만을 사용자 단말(110 내지 130)에 전송하는 방식이 보다 바람직하다. In terms of reducing data load, a method of transmitting only facial expression data from the chatting server 210 to the user terminals 110 to 130 is more preferable.
도 2는 사용자의 얼굴 영상으로부터 표정 데이터를 추출하여 3D 아바타에 투영시킨 상태를 나타내는 도면이다. 2 is a diagram illustrating a state in which facial expression data is extracted from a user's face image and projected onto a 3D avatar.
도면에 도시된 바와 같이, 본 발명에 따르면 3D 아바타에는 사용자의 표정이 실시간으로 그대로 반영되어 표현될 수 있다. 따라서, 채팅 상대방은 채팅 메시지와 더불어 사용자의 표정을 아바타를 통해서 파악할 수 있기 때문에 메시지의 배경에 숨어 있는 뉘앙스까지 파악할 수 있게 된다. As shown in the drawing, according to the present invention, the user's facial expression can be reflected and expressed in real time on the 3D avatar. Therefore, since the chatting party can grasp the user's facial expression through the avatar along with the chatting message, it is possible to grasp the nuance hidden in the background of the message.
도 3은 본 발명의 화상 채팅 방법에 따라 채팅창에 사용자의 표정이 그대로 투영된 3D 아바타가 표시된 상태로 서로 채팅을 교환하는 상태를 도시한다. 3 illustrates a state in which chatting is exchanged with each other in a state in which a 3D avatar in which a user's facial expression is projected as it is is displayed in a chatting window according to the video chatting method of the present invention.
이때, 목소리도 사운드의 Pitch, Envelope등을 조절하여 다양하게 재미있는 스타일로 변조하여 상대방에게 들리도록 처리하는 것이 바람직하다. At this time, it is desirable to modulate the voice in various interesting styles by adjusting the pitch, envelope, etc. of the sound so that the other party can hear it.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.Although the present invention has been described above with limited examples and drawings, the present invention is not limited thereto and will be described below and the technical spirit of the present invention by those skilled in the art to which the present invention belongs. Of course, various modifications and variations are possible within the scope of the claims.
110,120,130 : 사용자 단말, 104 : 네트워크, 210 : 채팅 서버, 220 : 표정 추출 서버110,120,130: user terminal, 104: network, 210: chat server, 220: expression extraction server
Claims (1)
상기 채팅 시스템에서,
제 1 사용자 단말로부터 채팅 메시지와 더불어 사용자의 얼굴 영상 데이터를 수신하는 단계;
상기 사용자의 얼굴 영상 데이터를 딥러닝 AI로 분석하여 표정 데이터를 추출하는 단계;
상기 채팅 메시지와 상기 표정 데이터를 채팅 상대방의 제 2 사용자 단말로 전송하는 단계;
상기 제 2 사용자 단말에서,
상기 채팅 어플리케이션을 이용하여 상기 표정 데이터를 미리 설정되어 있는 3D 아바타에 투영시켜 사용자의 표정이 렌더링된 3D 아바타를 생성하는 단계;
상기 채팅 어플리케이션의 대화창에 상기 사용자의 표정이 렌더링된 3D 아바타와 상기 채팅 메시지를 표시하는 단계를 포함하는 것을 특징으로 하는 화상 채팅 방법. In an environment in which a plurality of user terminals with chat applications installed and a chat system that mediates an instant messaging service between the plurality of user terminals are connected via a network,
In the chat system,
Receiving face image data of a user together with a chatting message from a first user terminal;
extracting facial expression data by analyzing the user's facial image data with deep learning AI;
Transmitting the chatting message and the facial expression data to a second user terminal of a chatting partner;
In the second user terminal,
generating a 3D avatar in which a user's expression is rendered by projecting the facial expression data onto a preset 3D avatar using the chatting application;
and displaying a 3D avatar in which the expression of the user is rendered and the chatting message in a chat window of the chatting application.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220017816A KR20230120940A (en) | 2022-02-10 | 2022-02-10 | method for executing video chatting between 3D avatars of rendering an user's facial expression |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220017816A KR20230120940A (en) | 2022-02-10 | 2022-02-10 | method for executing video chatting between 3D avatars of rendering an user's facial expression |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230120940A true KR20230120940A (en) | 2023-08-17 |
Family
ID=87800521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220017816A KR20230120940A (en) | 2022-02-10 | 2022-02-10 | method for executing video chatting between 3D avatars of rendering an user's facial expression |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230120940A (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010091446A (en) | 2000-03-15 | 2001-10-23 | 신성균 | Electric commercial system and method by using of virtual character |
| KR20030021525A (en) | 2001-09-06 | 2003-03-15 | 유주성 | Technology of Personal Community Based 3D Character Interface |
| KR100424145B1 (en) | 2001-03-22 | 2004-03-24 | (주)우리랑월드 | User-based agent, a chatting method using it and system thereof |
| KR20170062089A (en) | 2015-11-27 | 2017-06-07 | 주식회사 매니아마인드 | Method and program for making the real-time face of 3d avatar |
-
2022
- 2022-02-10 KR KR1020220017816A patent/KR20230120940A/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010091446A (en) | 2000-03-15 | 2001-10-23 | 신성균 | Electric commercial system and method by using of virtual character |
| KR100424145B1 (en) | 2001-03-22 | 2004-03-24 | (주)우리랑월드 | User-based agent, a chatting method using it and system thereof |
| KR20030021525A (en) | 2001-09-06 | 2003-03-15 | 유주성 | Technology of Personal Community Based 3D Character Interface |
| KR20170062089A (en) | 2015-11-27 | 2017-06-07 | 주식회사 매니아마인드 | Method and program for making the real-time face of 3d avatar |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4199665B2 (en) | Rich communication via the Internet | |
| Salem et al. | Designing a non-verbal language for expressive avatars | |
| Coleman | Hello avatar: rise of the networked generation | |
| Kolko | Representing bodies in virtual space: The rhetoric of avatar design | |
| US20170013236A1 (en) | System and method for interactive animations for enhanced and personalized video communications | |
| CN107085495B (en) | Information display method, electronic equipment and storage medium | |
| JP2001230801A (en) | Communication system and its method, communication service server and communication terminal | |
| WO2014028409A1 (en) | System and method for increasing clarity and expressiveness in network communications | |
| KR20030039019A (en) | Medium storing a Computer Program with a Function of Lip-sync and Emotional Expression on 3D Scanned Real Facial Image during Realtime Text to Speech Conversion, and Online Game, Email, Chatting, Broadcasting and Foreign Language Learning Method using the Same | |
| US11752433B2 (en) | Online gaming platform voice communication system | |
| CN115857704A (en) | Exhibition system based on metauniverse, interaction method and electronic equipment | |
| KR102078209B1 (en) | Avatar visual conversion apparatus expressing text message into V-moji and message conversion method | |
| DiPaola et al. | A 3D virtual environment for social telepresence | |
| CN114979682A (en) | Multi-anchor virtual live broadcasting method and device | |
| Shin et al. | Immersive Avatar Creation Techniques for “Another Me” in Metaverse | |
| KR20140017959A (en) | Mobile messenger service providing method with cartoon form for smart device | |
| KR20230120940A (en) | method for executing video chatting between 3D avatars of rendering an user's facial expression | |
| KR20060104980A (en) | System and method for interlocking process between emoticon and avatar | |
| KR100736541B1 (en) | System for unification personal character in online network | |
| Malewitz | " Some new dimension devoid of hip and bone": Remediated Bodies and Digital Posthumanism in Gary Shteyngart's Super Sad True Love Story | |
| KR20030026506A (en) | System and method for interlocking process between emoticon and avatar | |
| Birmingham | A comparative analysis of nonverbal communication in online multi-user virtual environments | |
| Naper | Conversation in a multimodal 3D virtual environment | |
| Hrisca | Online Communication and Body Language | |
| Connolly et al. | Queerness in the Digital Age: A Scholarly Roundtable |