KR20110020131A - System and method for delivering feeling during video call - Google Patents
System and method for delivering feeling during video call Download PDFInfo
- Publication number
- KR20110020131A KR20110020131A KR1020090077866A KR20090077866A KR20110020131A KR 20110020131 A KR20110020131 A KR 20110020131A KR 1020090077866 A KR1020090077866 A KR 1020090077866A KR 20090077866 A KR20090077866 A KR 20090077866A KR 20110020131 A KR20110020131 A KR 20110020131A
- Authority
- KR
- South Korea
- Prior art keywords
- avatar
- terminal
- facial expression
- video call
- counterpart
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
본 발명은 영상통화기술에 관한 것으로, 더욱 상세하게는 영상통화 중 사용자 단말기에 표시되는 상대방의 표정 변화를 감지하고, 감지한 표정 변화에 따라 아바타를 동작시켜 상대방의 감정상태를 사용자에게 전달하는 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법에 관한 것이다.The present invention relates to a video call technology, and more particularly, to detect a change in the facial expression of the other party displayed on the user terminal during a video call, and to operate the avatar according to the detected facial expression change to transmit the emotional state of the other party to the user. The present invention relates to an emotional delivery system and method through facial expression recognition of a counterpart during a call.
음성통화 위주의 통화패턴에서 고속정보통신이 현실화되면서 통신단말기를 통한 영상통화기술이 주목을 받고 있다. 또한 영상통화가 가능한 통신단말기(이하, ‘영상통화 단말기’라 함)의 보급이 확대되면서 영상통화의 빈도수가 날로 증가하고 있는 추세이다.As high-speed information communication is realized in voice call-oriented call patterns, video call technology through communication terminals is attracting attention. In addition, as the spread of communication terminals capable of video calls (hereinafter referred to as 'video call terminals') is increasing, the frequency of video calls is increasing day by day.
영상통화 단말기는 영상통화 중 상대방의 영상을 화면에 표시하고, 상대방의 음성을 출력하기 때문에, 단순히 음성만으로 통화를 하는 것에 비해서 영상통화자 간에 서로의 감정상태를 쉽게 교환할 수 있다.Since the video call terminal displays the video of the other party on the screen and outputs the voice of the other party, the video call terminal can easily exchange each other's emotional states with each other as compared with simply making a voice call.
하지만 여전히 사용자는 영상통화 중 상대방의 감정상태를 표정이나 목소리만으로 전달받으므로, 상대방의 다양한 감정상태를 정확히 영상통화 단말기를 통하 여 사용자에게 전달하는 데는 한계가 있다. 그리고 현재의 영상통화는 단순히 상대방의 영상을 보면서 통화를 수행하는 데 그치고 있기 때문에, 영상통화자의 다양한 요구를 충족시키면서 영상통화자의 흥미를 유발하여 영상통화의 사용을 확대하는 데도 한계가 있다.However, since the user is still receiving the emotional state of the other party only through the facial expression or voice during the video call, there is a limit in accurately transmitting the various emotional states of the other party to the user through the video call terminal. In addition, since the current video call is merely to perform the call while watching the video of the other party, there is a limit to expanding the use of the video call by inducing interest of the video call while satisfying various needs of the video caller.
따라서 본 발명의 목적은 영상통화를 통하여 상대방의 다양한 감정상태를 정확히 사용자에게 전달할 수 있는 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법을 제공하는 데 있다.Accordingly, it is an object of the present invention to provide an emotion delivery system and method through facial expression recognition of a counterpart during a video call capable of accurately transmitting various emotion states of the counterpart to a user through a video call.
본 발명의 다른 목적은 영상통화자의 흥미를 유발시켜 영상통화의 사용을 확대할 수 있는 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법을 제공하는 데 있다.Another object of the present invention is to provide an emotion delivery system and method through facial expression recognition of a counterpart during a video call that can induce interest of the video caller and thereby expand the use of the video call.
상기 목적을 달성하기 위하여, 본 발명은 영상통화 중 상대방에 대응되는 아바타를 상대방의 영상과 함께 화면에 표시하고, 상대방의 표정을 감지하고, 감지한 표정에 따라 아바타를 동작시켜 상대방의 감정상태를 사용자에게 전달하는 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법을 제공한다.In order to achieve the above object, the present invention displays the avatar corresponding to the counterpart on the screen along with the video of the counterpart, detects the facial expression of the counterpart, operates the avatar according to the detected facial expression to control the emotional state of the counterpart. It provides a system and method for emotion delivery through the facial recognition of the other party during the video call to the user.
본 발명은 통신망 및 아바타 제공서버를 포함하여 구성되는 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템을 제공한다. 상기 통신망은 발신 단말기와 착신 단말기 간의 영상통화를 제어한다. 상기 아바타 제공서버는 상기 통신망을 매개로 상기 발신 단말기와 착신 단말기 간에 영상통화가 개시되면, 상기 통신망을 통하여 상기 발신 단말기 또는 착신 단말기로 상대방에 대응하는 아바타를 전송하고, 상기 아바타를 수신한 단말기의 상대방 단말기로부터 영상데이터를 수신하고, 상기 수신한 영상데이터에서 상기 상대방이 특정 표정을 취하는 지를 모니터링 하고, 상기 모니터링 중 상기 특정 표정을 감지하면 상기 감지한 특정 표정에 대응되게 상기 아바타를 동작시킬 수 있는 아바타 실행코드를 상기 아바타를 수신한 단말기로 전송한다.The present invention provides a system for transmitting emotions through facial expression recognition of a counterpart during a video call including a communication network and an avatar providing server. The communication network controls a video call between the calling terminal and the called terminal. When the video call is initiated between the calling terminal and the called terminal through the communication network, the avatar providing server transmits an avatar corresponding to the other party to the calling terminal or the called terminal through the communication network, and receives the avatar. Receiving the image data from the other terminal, and monitors whether the other party takes a specific facial expression from the received image data, and if the specific facial expression is detected during the monitoring can operate the avatar corresponding to the detected specific facial expression The avatar execution code is transmitted to the terminal that receives the avatar.
본 발명은 또한, 송수신부 및 제어부를 포함하여 구성되는 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템의 아바타 제공서버를 제공한다. 상기 송수신부는 통신망을 매개로 발신 단말기 또는 착신 단말기와 통신을 수행한다. 그리고 상기 제어부는 상기 통신망을 매개로 상기 발신 단말기와 착신 단말기 간에 영상통화가 개시되면, 상기 통신망을 통하여 상기 발신 단말기 또는 착신 단말기로 상대방에 대응하는 아바타를 전송하고, 상기 아바타를 수신한 단말기의 상대방 단말기로부터 영상데이터를 수신하고, 상기 수신한 영상데이터에서 상기 상대방이 특정 표정의 취하는 지를 모니터링하고, 상기 모니터링 중 상기 특정 표정을 감지하면 상기 감지한 특정 표정에 대응되게 상기 아바타를 동작시킬 수 있는 아바타 실행코드를 상기 아바타를 수신한 단말기로 전송한다.The present invention also provides an avatar providing server of the emotion delivery system through the facial recognition of the other party during a video call comprising a transceiver and a controller. The transceiver performs communication with a calling terminal or a called terminal via a communication network. When the video call is initiated between the calling terminal and the called terminal through the communication network, the controller transmits the avatar corresponding to the other party to the calling terminal or the called terminal through the communication network, and then receives the avatar. An avatar capable of receiving image data from a terminal, monitoring whether the counterpart takes a specific facial expression from the received image data, and if the specific facial expression is detected during the monitoring, operating the avatar corresponding to the detected specific facial expression The execution code is transmitted to the terminal that receives the avatar.
본 발명은 또한, 통신부, 카메라부, 표시부 및 단말제어부를 포함하여 구성되는 영상통화 단말기를 제공한다. 상기 통신부는 상대방 단말기와 영상통화를 수행한다. 상기 카메라부는 영상통화 중 사용자를 촬영한다. 상기 표시부는 상기 통신부를 통하여 수신한 상대방의 영상데이터를 표시한다. 그리고 상기 단말제어부는 상기 통신부를 통하여 상기 상대방 단말기와 영상통화를 개시하면, 상기 상대방에 대응하는 아바타와 상기 상대방 단말기로부터 수신한 영상데이터와 함께 상기 표시부에 표시하고, 상기 수신한 영상데이터에서 상기 상대방이 특정 표정을 취하는 지 를 모니터링하고, 상기 모니터링 중 상기 특정 표정을 감지하면 상기 감지한 특정 표정에 대응되게 상기 아바타를 동작시킨다.The present invention also provides a video call terminal including a communication unit, a camera unit, a display unit, and a terminal control unit. The communication unit performs a video call with the counterpart terminal. The camera unit photographs a user during a video call. The display unit displays the image data of the other party received through the communication unit. When the terminal controller initiates a video call with the counterpart terminal through the communication unit, the terminal controller displays the avatar along with the avatar corresponding to the counterpart and the image data received from the counterpart terminal, and displays the counterpart in the received image data. It monitors whether to take a specific facial expression, and if the specific facial expression is detected during the monitoring, the avatar is operated to correspond to the detected specific facial expression.
본 발명은 또한, 통신망을 매개로 발신 단말기와 착신 단말기 간에 영상 호 경로를 설정하여 영상통화가 개시되면, 아바타 제공서버가 상기 통신망을 통하여 상기 발신 단말기 또는 착신 단말기로 상대방에 대응하는 아바타를 전송하는 아바타 전송 단계, 상기 아바타 제공서버가 상기 통신망을 통하여 상기 아바타를 수신한 단말기의 상대방 단말기로부터 영상데이터를 수신하는 수신 단계, 상기 아바타 제공서버가 상기 수신한 영상데이터에서 상기 상대방이 특정 표정을 취하는 지를 모니터링하는 모니터링 단계, 상기 아바타 제공서버가 상기 모니터링 중 특정 표정을 감지하면 상기 감지한 특정 표정에 대응되게 상기 아바타를 동작시킬 수 있는 아바타 실행코드를 상기 아바타를 수신한 단말기로 전송하는 아바타 실행코드 전송 단계를 포함하는 영상통화 중 상대방의 표정 인식을 통한 감정 전달 방법을 제공한다.The present invention also establishes a video call path between a calling terminal and a called terminal through a communication network, and when a video call is initiated, the avatar providing server transmits an avatar corresponding to the other party to the calling terminal or the called terminal through the communication network. An avatar transmission step, the avatar providing server receiving image data from the counterpart terminal of the terminal that has received the avatar through the communication network, and whether the avatar providing server has a specific facial expression in the received image data; In the monitoring step of monitoring, when the avatar providing server detects a specific facial expression during the monitoring, an avatar execution code for transmitting an avatar execution code for operating the avatar corresponding to the detected specific facial expression to the terminal receiving the avatar Containing steps Of the call and provide the emotional delivery method through other's facial expression recognition.
본 발명은 또한, 사용자 단말기가 상대방 단말기와 영상 호 경로를 설정하여 영상통화를 개시하면, 상기 상대방에 대응하는 아바타와 상기 상대방 단말기로부터 수신한 영상데이터를 함께 표시하는 표시 단계, 상기 사용자 단말기가 상기 수신한 영상데이터에서 상기 상대방이 특정 표정을 취하는 지를 모니터링하는 모니터링 단계, 상기 모니터링 중 특정 표정을 감지하면, 상기 사용자가 단말기가 상기 감지한 특정 표정에 대응되게 상기 아바타를 동작시키는 동작 단계를 포함하는 영상통화 중 상대방의 표정 인식을 통한 감정 전달 방법을 제공한다.The present invention also provides a display step of displaying the video data received from the counterpart terminal and the avatar corresponding to the counterpart when the user terminal sets up a video call path with the counterpart terminal. A monitoring step of monitoring whether the counterpart takes a specific facial expression in the received image data, and if the specific facial expression is detected during the monitoring, operating the avatar in response to the specific facial expression detected by the terminal; Provides a method of transmitting emotions through facial expression recognition of a video call.
본 발명에 따르면, 사용자 단말기는 상대방 단말기와 영상 호 경로가 설정되면 화면에 아바타를 호출하여 수신한 상대방의 영상과 함께 표시하고, 화면에 표시된 상대방의 영상에서 상대방의 감정상태와 관련된 특정 표정을 감지하고, 감지한 특정 표정에 따라 아바타를 동작시키기 때문에, 아바타를 통하여 상대방의 감정상태를 사용자에게 효과적으로 전달할 수 있다.According to the present invention, when the video call path with the counterpart terminal is set, the user terminal calls the avatar on the screen and displays the received video along with the received counterpart's image, and detects a specific facial expression related to the emotional state of the counterpart from the counterpart's video displayed on the screen. Since the avatar is operated according to the detected specific facial expression, the emotional state of the other party can be effectively transmitted to the user through the avatar.
본 발명에 따른 감정 전달 시스템은 아바타 설정 모드에서 사용자 또는 상대방이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행코드를 선택받아 설정할 수 있기 때문에, 영상통화자의 다양한 요구를 충족시키면서 영상통화자의 흥미를 유발하여 영상통화의 사용을 확대할 수 있다. 또한 사용자는 영상통화 단말기를 통하여 상대방의 표정 변화에 대응하는 아바타의 모습이나 행동 방식을 아바타 실행코드의 선택을 통하여 직접 설정할 수 있기 때문에, 사용자의 개성을 추구하면서 보다 흥미롭게 상대방과 영상통화를 사용할 수 있는 환경을 제공할 수 있다.Since the emotion delivery system according to the present invention can select and set an avatar or an avatar execution code of a field that the user or the other party likes or is interested in in the avatar setting mode, satisfying various needs of the video caller and causing interest of the video caller. Extend the use of video calls. In addition, the user can directly set the appearance or behavior of the avatar corresponding to the change of facial expression of the other party through the video call terminal by selecting the avatar execution code, so that the user can use the video call with the other party more interestingly while pursuing the user's personality. Can provide an environment that
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, with reference to the accompanying drawings will be described in detail an embodiment of the present invention.
여기서 '아바타'는 단말기 사용자의 감정상태를 대신하여 표현하는 그래픽 컨텐츠로서, 애니메이션 캐릭터, 동영상, 정지영상, UCC(User Created Contents), 이모티콘, 플래시(flash), 영상과 진동이 조합된 햅틱 컨텐츠 등을 포함한다.Here, 'Avatar' is a graphic content that represents the emotional state of the terminal user, such as animated characters, video, still images, UCC (User Created Contents), emoticons, flash, haptic content combined with video and vibration, etc. It includes.
본 발명의 제1 실시예에 따른 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템(100)에 대해서 도 1 및 도 2를 참조하여 설명하면 다음과 같다. 여기서 도 1은 본 발명의 제1 실시예에 따른 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템(100)을 보여주는 블록도이다. 도 2는 도 1의 발신 단말기(20)의 구성을 보여주는 블록도이다.Referring to FIGS. 1 and 2, the
제1 실시예에 따른 영상통화 중 감정 전달 시스템(100; 이하 '감정 전달 시스템'이라 함)은 영상통화 중 상대방이 취하는 특정 표정에 대응하는 아바타를 출력하여 사용자에게 상대방의 감정상태를 전달한다. 즉 영상통화 중 사용자가 취하는 표정은 사용자의 감정상태와 관련되기 때문에, 제1 실시예에 따른 감정 전달 시스템(100)은 영상통화 중 사용자가 특정 표정을 취하면 특정 표정에 대응하는 상대방의 감정상태를 표현할 수 있는 아바타를 사용자 단말기의 화면에 출력시킴으로써 사용자에게 상대방의 감정상태를 전달할 수 있다.The emotional delivery system 100 (hereinafter, referred to as an 'emotional delivery system') of a video call according to the first embodiment outputs an avatar corresponding to a specific facial expression taken by the other party during a video call and transmits the emotional state of the other party to the user. That is, since the facial expressions taken by the user during the video call are related to the emotional state of the user, the
제1 실시예에 따른 감정 전달 시스템(100)은 통신망(10)을 매개로 연결되어 영상통화를 수행하는 영상통화 단말기(20,40)를 포함하여 구성되며, 영상통화 단말기(20,40)는 발신 단말기(20) 및 착신 단말기(40)를 포함한다.
통신망(10)은 발신 단말기(20)와 착신 단말기(40) 사이의 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행한다. 통신망(10)은 IP를 통하여 대용량 데이터의 송수신 서비스 및 끊김없는 데이터 서비스를 제공하는 IP망으로, IP를 기반으로 서로 다른 망을 통합한 IP망 구조인 ALL-IP망일 수 있다. 또한 통신망(10)은 유선통신망, 이동통신망, WiBro(Wireless Broadband)망, HSDPA(High-Speed Downlink Packet Access)망, 위성통신망 중에 하나일 수 있다.The
통신망(10)은 호제어기(14)와 위치등록기(16)를 포함하여 구성된다.The
호제어기(14)는 호 및 세션처리에 관련된 기능을 담당하는 부분으로서, CSCF(Call State Control Function) 또는 MSC(Mobile Switching Center) 중에 하나일 수 있다. 특히 CSCF로 구현된 호제어기(14)는 인입호에 대한 게이트웨이로서의 기능, 호 제어 기능, SPD(Serving Profile Database) 기능, 주소 처리 기능 등을 수행한다.The
위치등록기(16)는 가입자의 마스터 데이터베이스로서, 가입자와 관련된 서비스의 마스터 목록을 유지하거나 가입자의 위치정보에 대한 관리를 수행함으로써 엑세스 수단을 추적하는 역할을 담당한다. 위치등록기(16)는 가입자가 가입한 부가서비스 가입정보를 저장한다. 위치등록기(16)로는 HLR(Home Location Register) 또는 All-IP망에서 가입자 정보 관리를 수행하는 HSS(Home Subscriber Server) 중에 하나일 수 있다.The
그리고 발신 단말기(20)와 착신 단말기(40)는 통신망(10)을 매개로 서로 간에 영상통화를 수행한다. 영상통화 단말기(20,40)는 상대방 단말기와 영상통화를 개시하면, 상대방 단말기로부터 수신한 영상데이터와 상대방이 취하는 표정에 따라 동작하는 아바타를 화면에 표시한다. 이때 영상통화 단말기(20,40)는 통신망(10)을 통하여 영상통화가 가능한 유무선 통신단말기로서, 이동통신단말기, 유선통신단말기, 인터넷전화기 등을 포함한다.In addition, the
이와 같이 영상통화 단말기(20,40)는 상대방 단말기로부터 수신한 상대방 영상과 함께, 상대방이 취하는 표정에 따라 동작하는 아바타를 화면에 표시하기 때문 에, 사용자는 아바타를 통하여 상대방의 감정상태를 알 수 있다.As such, the
제1 실시예에 따른 감정 전달 시스템(100)의 발신 단말기(20) 및 착신 단말기(40)는 동일한 구성을 갖기 때문에, 도 2에 도시된 발신 단말기(20)의 구성을 중심으로 설명하면 다음과 같다. 발신 단말기(20)는 통신부(21), 입력부(22), 저장부(23), 카메라부(24), 출력부(25,26) 및 단말제어부(27)를 포함한다.Since the
통신부(21)는 통신망(10)을 매개로 착신 단말기(40)와의 영상통화를 위한 데이터를 송수신한다. 통신부(21)는 단말제어부(27)의 제어에 따라 착신 단말기(40)로부터 상대방의 영상데이터를 수신하고, 카메라부(24)로 촬영된 사용자의 영상데이터를 착신 단말기(40)로 전송한다.The
입력부(22)는 발신 단말기(20)의 조작을 위한 복수의 키를 제공하며, 사용자의 키선택에 따른 선택 신호를 발생하여 단말제어부(27)에 전달한다. 사용자는 입력부(22)를 통해 영상통화 요청 신호를 입력할 수 있다. 입력부(22)로는 키패드, 터치패드와 같은 포인팅 장치, 터치스크린(touch screen) 등의 입력장치가 사용될 수 있다.The
저장부(23)는 발신 단말기(20)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다. 저장부(23)는 영상통화 중 상대방이 취하는 특정 표정에 따라 아바타를 동작시키는 실행프로그램을 저장한다. 저장부(23)는 상대방에 대응되게 설정한 아바타와, 아바타를 동작시키는 아바타 실행코드를 저장한다. 이때 저장부(23)는 상대방의 단말정보에 매칭하여 아바타를 저장할 수 있다. 아바타는 사용자의 선택 신호에 따라 상대방의 단말정보에 매칭하여 설정된 아바타와, 디폴트로 설정된 일반 아바타를 포함한다. 디폴트로 설정된 일반 아바타는 사용자가 설정한 상대방 이외의 사람과 영상통화를 수행할 경우에 사용될 수 있다.The
이때 특정 표정은 상대방이 취하는 표정 중 사용자의 감정상태와 관련된 표정이다. 예컨대 특정 표정은 웃는 표정, 우는 표정, 생각하는 표정, 싫은 표정, 좋아하는 표정, 놀란 표정 등을 포함할 수 있다. 아바타 실행코드는 상대방이 취하는 특정 표정에 매핑된다. 즉 아바타 실행코드는 전술한 특정 표정에 대응하는 감정을 행동으로 표현하도록 아바타를 동작시킨다. 저장부(23)는 특정 표정과 아바타 실행코드를 매칭하여 매핑 테이블로 저장할 수 있다. 예컨대 좋아하는 표정에 매칭된 아바타 실행코드는 웃으면서 펄쩍펄쩍 뛰는 행동을 하도록 아바타를 동작시킨다.In this case, the specific facial expression is an expression related to the emotional state of the user among the facial expressions taken by the counterpart. For example, the specific facial expression may include a smiling facial expression, a crying facial expression, a thinking facial expression, a disgusting facial expression, a favorite facial expression, a surprised facial expression, and the like. The avatar executable code is mapped to a specific facial expression taken by the opponent. That is, the avatar execution code operates the avatar to express the emotion corresponding to the specific facial expression described above as an action. The
또한 아바타 실행코드는 상대방이 취하는 표정에 대응되게 아바타의 표정과 행동을 변형시키는 실행코드일 수 있다. 예컨대 상대방의 웃는 표정을 취하면, 아바타 또한 상대방의 표정과 동일하게 웃는 표정을 취한다.In addition, the avatar executable code may be executable code that modifies the facial expression and behavior of the avatar to correspond to the facial expression taken by the counterpart. For example, when the smiling face of the other person is taken, the avatar also takes the same smiling face as the other face.
카메라부(24)는 통신부(21)를 통해 전송하기 위한 사용자(발신자)의 영상데이터를 획득한다. 즉 카메라부(24)는 입력부(22)를 통한 영상통화의 승낙에 따라 사용자의 영상을 촬영하여 영상데이터를 획득한다. 이때 카메라부(24)는 이미지 센서, 신호처리부 및 영상처리부를 포함하여 구성될 수 있다. 이미지 센서는 촬영한 영상의 광신호를 아날로그 신호로 변환한다. 신호처리부는 아날로그 신호를 디지털 신호로 변환한다. 그리고 영상처리부는 신호처리부를 통해 입력되는 영상신호를 처리하여 영상데이터를 획득하며, 획득된 영상데이터를 통신부(21)나 표시부(25)를 통해 출력하거나 저장부(23)에 저장한다. 또한 영상처리부는 통신부(21)를 통해 입력되는 상대방(착신자)의 영상데이터를 처리하여 표시부(25)를 통해 출력하거나 저장부(23)에 저장한다.The
출력부(25,26)는 표시부(25)와 음원처리부(26)를 포함한다. 출력부(25,26)는 진동을 발생시키는 진동발생부를 더 포함할 수 있다.The
표시부(25)는 발신 단말기(20)에서 실행되는 각종 기능 메뉴를 비롯하여 저장부(23)에 저장된 정보를 표시한다. 표시부(25)는 단말제어부(27)의 제어에 따라 상대방의 영상 또는 아바타를 표시한다. 표시부(25)로는 LCD(Liquid Crystal Display)나 터치 스크린이 사용될 수 있다. 터치 스크린은 표시 장치와 입력 장치로서의 역할을 동시에 수행한다.The
음원처리부(26)는 단말제어부(27)의 제어에 따라 마이크(MIC)로 입력되는 음성을 디지털화하여 음성정보를 획득하고, 통신부(21)를 통해 수신된 음성정보를 복조하여 스피커(SPK)를 통해 출력한다.The
그리고 단말제어부(27)는 발신 단말기(20)의 전반적인 제어 동작을 수행하는 마이크로프로세서(microprocessor)이다. 특히 단말제어부(27)는 영상통화 중 상대방의 표정 인식을 통한 아바타 출력을 제어한다.In addition, the
단말제어부(27)는 아바타 설정 모드에서 상대방에 대응하는 아바타와, 설정된 아바타를 동작시키는 아바타 실행코드를 설정할 수 있다. 아바타 및 아바타 실행코드는 일반, 날씨, 스포츠(골프, 농구, 야구 등) 등 사용자의 관심분야나 취미 등에 따라 다양하게 분류되어 제공될 수 있다. 사용자는 아바타 설정 모드에서 자 신 또는 상대방이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행코드를 선택하여 설정할 수 있다.The
예컨대 상대방의 특정 표정에 따라 매핑된 아바타 실행코드는 아바타를 표1과 같이 동작시킬 수 있다. 이때 특정 표정은 웃는 표정, 우는 표정, 놀란 표정으로 한정하여 설명하였지만 이에 한정되는 것은 아니다. 또한 각각의 특정 표정에 따른 아바타의 동작 또한 이에 한정되는 것은 아니다.For example, the avatar execution code mapped according to the specific expression of the counterpart may operate the avatar as shown in Table 1. In this case, the specific expression has been described as being limited to a smiling face, a crying face, or a surprised face, but is not limited thereto. In addition, the operation of the avatar according to each specific facial expression is not limited thereto.
터트림Avatar crying
Turm
크게 뜸Avatar eyes
Large moxibustion
날씨에 산책함Avatar is sunny
Strolling in the weather
번개가 침Avatar head up
Lightning strikes
홀컵에 들어가 좋아함The ball put by the avatar
I like the hole cup
빠져 울음을 터트림Avatar tee shot in water
I burst out and cry
아바타가 깜짝 놀람The tee shot is hole-in-one
Avatar is surprised
성공함Avatar is on three point shot
Succeeded
빼앗김Avatar hit the ball
Deprived
블락슛을 당함Avatar shot
Blocked
한편 별도로 아바타 실행코드를 설정하지 않는 경우, 단말제어부(27)는 디폴트로 설정된 아바타 실행코드를 사용할 수 있다. 예컨대 일반 항목이 디폴트로 설정될 수 있다.Meanwhile, if the avatar execution code is not separately set, the
단말제어부(27)는 착신 단말기(40)와 영상통화를 개시하면, 착신 단말기(40)로부터 수신한 영상데이터와 상대방에 대응하는 아바타를 표시부(25)에 표시한다. 단말제어부(27)는 수신한 영상데이터에서 상대방이 특정 표정을 취하는 지를 모니터링한다. 그리고 단말제어부(27)는 모니터링 중 특정 표정을 감지하면, 특정 표정에 대응되게 아바타를 동작시킨다.When the
이때 단말제어부(27)는 아바타를 저장부(23)에서 호출하거나 발신 단말기(40)로부터 수신하여 표시부(25)에 표시한다. 착신 단말기(40)와 영상통화를 개시하면, 단말제어부(27)는 상대방에 대응하는 아바타가 저장부(23)에 설정되어 있는 지를 확인한다. 확인 결과 설정되어 있으면, 단말제어부(40)는 설정된 아바타를 호출한다. 확인 결과 미설정되어 있으면, 단말제어부(27)는 저장부(23)에 저장된 일반 아바타를 호출하거나 발신 단말기(40)로 아바타를 요청하여 수신할 수 있다. 그리고 단말제어부(27)는 호출하거나 수신한 아바타를 표시부(23)에 표시한다.At this time, the
단말제어부(27)는 수신한 영상데이터에서 상대방의 표정을 다음과 같이 모니터링할 수 있다. 즉 단말제어부(27)는 수신한 영상데이터를 분석하여 상대방의 얼굴 영상을 추출하고, 추출한 얼굴 영상에서 관심영역을 추출한다. 그리고 단말제어부(27)는 추출한 관심영역의 위치 변화를 추적하여 상대방의 표정을 감지한다. 이때 단말제어부(27)는 감지한 표정이 저장부(23)에 기 저장된 특정 표정에 포함되는 지를 판단한다. 단말제어부(27)는 수신한 영상의 배경에서 상대방(객체) 영상을 분리하기 위해서, 예컨대 PCA(principal component analysis)를 통해 adaboost로 객체의 형태를 추출할 수 있다. 단말제어부(27)는 추적한 관심영역에 따른 상대방의 연속적 또는 불연속적인 표정을 감지한다. 여기서 adaboost는 객체의 형태를 추출하기 위한 학습 알고리듬으로, Yoav Freund and Robert E. Schapire 에 의한 "A decision-theoretic generalization of on-line learning and an application to boosting", In Computational Learning Theory: Eurocolt '95, pp. 23-37, Springer-Verlag, 1995에 자세히 기재되어 있다.The
관심영역은 영상통화 중인 상대방의 감정상태를 사용자에게 전달할 수 있는 얼굴구성요소로서, 예컨대 눈, 눈썹, 미간, 코 및 입 중에 적어도 하나를 포함한다. 단말제어부(27)는 다음과 같이 관심영역을 추출하여 상대방의 표정을 감지할 수 있다. 즉 단말제어부(27)는 수신한 영상데이터에서 상대방의 얼굴 영상을 추출한다. 예컨대 얼굴 영상은 PCA, FDA(Fisher Discriminarnt Analysis), ICA(Independent Component Analysis) 중에 하나를 이용하여 추출할 수 있다. 단말제어부(27)는 추출한 얼굴 영상에서 얼굴구성요소들을 추출한다. 예컨대 얼굴구성요소들은 adaboost 또는 SVM(Support Vector Machine)를 이용하여 추출한다. 그리고 단말제어부(27)는 추출한 얼굴구성요소들의 위치변화로부터 상대방의 얼굴 표정 변화를 감지할 수 있다.The ROI is a face component that can convey the emotional state of the counterpart during a video call to the user, and includes at least one of an eye, an eyebrow, a brow, a nose, and a mouth. The
단말제어부(27)는 모니터링 중 특정 표정을 감지하면, 감지한 특정 표정에 대응하는 아바타 실행코드를 저장부(23)에서 추출한다. 그리고 단말제어부(27)는 추출한 아바타 실행코드에 따라 아바타를 동작시켜 상대방의 감정 상태를 표시할 수 있다. 이때 단말제어부(27)는 추적한 관심영역과 특정 표정의 관심영역의 위치값을 비교하여 일치하는 특정 표정이 있는 지를 모니터링한다.When the
한편 단말제어부(27)는 추적한 관심영역에 대응되게 아바타의 관심영역을 변형시킬 수 있는 아바타 실행코드를 추출하고, 추출한 아바타 실행코드에 따라 아바타를 동작시켜 상대방의 감정 상태를 표시할 수 있다.Meanwhile, the
그리고 단말제어부(27)는 상대방 영상과 아바타를 표시부(25)에 표시할 때, 상대방 영상에 중첩하여 표시하거나 PIP(Picture In Picture) 형태로 표시할 수 있다. 예컨대 단말제어부(27)가 모니터링 중 상대방의 좋아하는 표정을 감지하면, 좋아하는 표정에 매칭된 아바타 실행코드를 저장부(23)에 추출한다. 단말제어부(27)는 아바타 실행코드에 따라 웃으면서 펄쩍펄쩍 뛰는 행동을 하도록 아바타를 동작시킨다.In addition, when the
이와 같이 제1 실시예에 따른 감정 전달 시스템(100)의 영상통화 단말기(20,40)는 상대방 단말기와 영상 호 경로가 설정되면 화면에 아바타를 호출하여 상대방 영상과 함께 표시한 후, 상대방의 감정상태와 관련된 특정 표정을 취하는 지를 모니터링하고, 모니터링 중 감지한 특정 표정에 따라 아바타를 동작시키기 때문에, 아바타를 통하여 상대방의 감정상태를 사용자에게 효과적으로 전달할 수 있다.As described above, when the
제1 실시예에 따른 감정 전달 시스템(100)의 감정 전달 방법에 대해서 도 1 내지 도 5를 참조하여 설명하면 다음과 같다. 여기서 도 3은 본 발명의 제1 실시예에 따른 영상통화 중 상대방의 표정 인식을 통한 감정 전달 방법에 따른 흐름도이다. 도 4는 도 3의 아바타 표시 단계에 따른 상세 흐름도이다. 그리고 도 5는 도 3의 표정 변화 감지 단계에 따른 상세 흐름도이다.The emotion delivery method of the
먼저 S51단계에서 발신 단말기(20)가 영상 호를 발신하면, S53단계에서 통신망(10)은 이를 수신하여 착신 단말기(40)로 영상 호 착신을 요청한다. 즉, 발신 단말기(20)가 영상 호를 발신하면, 호제어기(14)는 위치등록기(16)로 발신 및 착신 단말기(20,40)의 가입자 정보(위치 정보 및 부가 서비스 정보)를 요청한다. 호제어기(14)는 수신한 가입자 정보를 토대로 라우팅 정보를 획득한다. 호제어기(14)는 획득한 라우팅 정보를 이용하여 착신 단말기(40)로 영상 호 착신을 요청한다.First, when the calling
한편 S51단계를 수행하기 전에, 발신 단말기(20)는 입력부(22)를 통한 사용자의 선택 신호에 따라 아바타 설정 모드에서 상대방에 대응하는 아바타와, 설정된 아바타를 동작시키는 아바타 실행코드를 설정할 수 있다. 사용자는 아바타 설정 모드에서 자신 또는 상대방이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행코드를 선택하여 설정할 수 있다.Meanwhile, before performing step S51, the calling
다음으로 S55단계에서 착신 단말기(40)가 영상 호에 대한 수락을 통신망(10)으로 전송하면, S57단계에서 통신망(10)은 발신 단말기(20)와 착신 단말기(40) 간에 영상통화를 위한 영상 호 경로를 설정한다. 즉 호제어기(14)는 착신 단말기(40)를 페이징하여 착신을 요청하고, 착신 단말기(40)가 착신 요청에 대하여 호를 수락하면, 호제어기(14)는 발신 단말기(20)와 착신 단말기(40) 간에 영상 호 경로를 설정한다.Next, when the called terminal 40 transmits the acceptance of the video call to the
이와 같이 발신 단말기(20)와 착신 단말기(40) 간에 영상 호 경로가 설정된 후, S59단계에서 설정된 영상 호 경로를 통해 발신 단말기(20)와 착신 단말기(40)는 영상통화를 수행하게 된다. 즉 발신 단말기(20)와 착신 단말기(40)는 서로 자신의 영상이 포함된 영상데이터를 교환하면서 음성통화를 수행한다.As such, after the video call path is set between the calling
S59단계에 따라 영상통화가 개시되면, S70단계에서 발신 단말기(20)는 착신 단말기(40)의 사용자(상대방)에 대응하는 아바타를 표시부(25)에 표시한다. S70단계를 도 4를 참조하여 구체적으로 설명하면 다음과 같다. 먼저 S71단계에서 발신 단말기(20)는 상대방에 대응되게 아바타가 저장부(23)에 설정되어 있는 지를 확인한다. S71단계의 확인 결과 설정되어 있으면, S72단계에서 발신 단말기(20)는 설정된 아바타를 저장부(23)에서 호출한다.When the video call is started in step S59, the calling
S71단계의 확인 결과 설정되어 있지 않으면, S73단계에서 발신 단말기(20)는 아바타 요청 신호가 입력되는 지의 여부를 다시 판단한다. S73단계의 판단 결과 입력되지 않은 경우, S74단계에서 발신 단말기(20)는 저장부(23)에 저장된 일반 아바타를 호출한다. S73단계의 판단 결과 입력된 경우, S75단계에서 발신 단말기(20)는 착신 단말기(40)로 아바타를 요청하여 수신한다. 이때 착신 단말기(40)에서 전송하는 아바타는 현재 설정된 영상 호 경로를 통하여 발신 단말기(20)로 전송되거나, 별도의 SMS(short Message Service) 또는 SMS(Multimedia Message Service)와 같은 메시지 서비스 채널을 통하여 발신 단말기(20)로 전송될 수 있다.If the check result of step S71 is not set, in step S73 the calling
그리고 S76단계에서 발신 단말기(20)는 호출하거나 수신한 아바타와, 착신 단말기(40)로부터 수신한 영상데이터를 함께 표시부(23)에 표시한다. 이때 발신 단말기(20)는 영상데이터와 아바타를 표시부(25)에 표시할 때, 영상데이터와 아바타를 중첩하여 표시하거나 PIP 형태로 표시할 수 있다.In operation S76, the calling
한편 제1 실시예에서는 S71단계의 확인 결과 설정되어 있지 않으면, 사용자 입력에 따라 S73단계 내지 S75단계를 수행하는 예를 개시하였지만 이에 한정되는 것은 아니다. 예컨대 S71단계의 확인 결과 설정되어 있지 않으면, S74단계에서 발신 단말기(20)는 저장부(23)에 저장된 일반 아바타를 호출할 수 있다. 또는 S71단계의 확인 결과 설정되어 있지 않으면, S75단계에서 발신 단말기(20)는 착신 단말기(40)로 아바타를 요청하여 수신할 수 있다.Meanwhile, in the first exemplary embodiment, an example in which steps S73 to S75 are performed according to a user input unless the check result of step S71 is set is not limited thereto. For example, if the check result of step S71 is not set, the calling
다음으로 S80단계에서 발신 단말기(20)는 수신한 영상에서 상대방이 특정 표정을 취하는 지를 모니터링한다.. S80단계를 도 5를 참조하여 구체적으로 설명하면 다음과 같다. 먼저 S81단계에서 발신 단말기(20)는 수신한 영상데이터에서 상대방의 얼굴 영상을 추출한다. 다음으로 S83단계에서 발신 단말기(20)는 추출한 얼굴 영상에서 관심영역을 추출한다. 그리고 S85단계에서 발신 단말기(20)는 추출한 관심영역의 변화를 추적하여 상대방의 표정을 감지한다. 예컨대 수신한 영상데이터는 복수의 프레임 영상 데이터를 포함하며, 일정 시간에 수신되는 영상데이터에 포함된 복수의 프레임 영상 데이터에서 일정 수의 영상데이터를 캡쳐하고, 캡쳐한 영상데이터에서 상대방 영상을 추출한 후 얼굴 영상을 추출할 수 있다. 즉 단말제어부(27)는 수신한 영상데이터에서 상대방의 얼굴 영상을 PCA, FDA, ICA 중에 하나를 이용하여 추출할 수 있다. 단말제어부(27)는 추출한 얼굴 영상에서 눈, 눈썹, 입, 코 등의 관심 영역을 adaboost 또는 SVM을 이용하여 추출한다. 그리고 단말제어부(27)는 추출한 관심 영역의 위치변화로부터 상대방의 표정 변화를 감지할 수 있다.Next, in step S80, the calling
다음으로 S87단계에서 발신 단말기(20)는 감지한 표정이 저장부(23)에 기 저장된 특정 표정에 포함되는 지의 여부를 판단한다. 즉 발신 단말기(20)가 추출한 관심영역의 변화를 추적하여 상대방이 특정 표정을 취하는 지를 모니터링한다. 예컨대 발신 단말기(20)는 감지한 표정에 포함된 관심영역과 기 저장된 특정 표정의 관심영역을 비교하여 일치하는 특정 표정이 있는 지의 여부로 S87단계를 수행할 수 있다.Next, in step S87, the calling
S87단계의 판단 결과 기 저장된 특정 표정에 포함되지 않는 경우, 발신 단말기(20)는 S81단계부터 다시 수행한다.If the determination result of step S87 is not included in the pre-stored specific facial expression, the calling
S87단계의 판단 결과 기 저장된 특정 표정에 포함되는 경우, S90단계에서 발신 단말기(20)는 감지한 표정 변화에 대응되게 아바타를 동작시킨다. 즉 모니터링 중 특정 표정을 감지하면, 발신 단말기(20)는 특정 표정에 대응하는 아바타 실행코드를 저장부(23)에서 추출한다. 또는 발신 단말기(20)는 추적한 관심영역에 대응되게 아바타의 관심영역을 변형시킬 수 있는 아바타 실행코드를 저장부(23)에서 추출할 수도 있다. 그리고 발신 단말기(20)는 추출한 아바타 실행코드에 따라 화면에 표시된 아바타를 동작시켜 상대방의 감정을 아바타를 통하여 사용자에게 전달한다. 예컨대 아바타는 화면에 표시될 때, 상대방 영상에 중첩되어 표시되거나 PIP 형태로 표시될 수 있다. 따라서 발신 단말기(20)의 사용자는 출력되는 아바타를 통하여 착신 단말기(40) 사용자의 감정상태를 쉽게 알 수 있다.If the determination result in step S87 is included in the pre-stored specific facial expression, in step S90 the calling
한편 제1 실시예에 따른 감정 전달 방법에서는 발신 단말기(20)에 아바타를 표시하여 착신 단말기(40) 사용자의 감정 상태를 발신 단말기(20) 사용자에게 전달하는 예를 개시하였지만, 반대로 착신 단말기(20)에 아바타를 표시하여 발신 단말기(20) 사용자의 감정 상태를 착신 단말기(40) 사용자에게 전달할 수도 있다.Meanwhile, in the emotion transmitting method according to the first embodiment, an example of transmitting an emotion state of the user of the called terminal 40 to the user of the calling
한편 제1 실시예에 따른 감정 전달 시스템(100)은 발신 단말기(20) 또는 착신 단말기(40)가 저장부(23)에 저장된 아바타를 호출하여 표시하고, 상대방의 표정 변화에 대응되게 아바타를 동작시키는 예를 개시하였지만 이에 한정되는 것은 아니다. 즉 도 6에 도시된 바와 같이, 발신 단말기(20) 또는 착신단말기(40)는 상대방에 대응하는 아바타를 아바타 제공서버(30)를 통하여 수신하여 표시할 수 있다.Meanwhile, the
본 발명의 제2 실시예에 따른 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템(200)은, 도 6에 도시된 바와 같이, 통신망(10)을 매개로 연결된 발신 단말기(20), 아바타 제공서버(30) 및 착신 단말기(40)를 포함하여 구성된다.In the video call according to the second embodiment of the present invention, the
발신 단말기(20)와 착신 단말기(40)는 통신망(10)의 통신망(10)을 매개로 서로 간에 영상통화를 수행한다. 발신 단말기(20) 또는 착신 단말기(40)는 통신망(10)을 통하여 아바타 제공서버(30)로부터 상대방의 표정에 따른 감정이 반영된 아바타를 수신하여 표시한다. The calling
통신망(10)은 통신망(10)을 통한 발신 단말기(20), 아바타 제공서버(30) 및 착신 단말기(40) 사이의 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행한다. 특히 통신망(10)은 발신 단말기(20)로부터 영상 호를 수신하면, 발신 단말기(20)와 착신 단말기(30) 간의 영상통화를 위한 영상 호 경로를 설정한다. 설정된 영상 호 경로를 통하여 영상통화가 개시되면, 통신망(10)은 상대방의 표정에 따른 감정이 반영된 아바타를 아바타 제공서버(30)로부터 수신하여 영상통화 단말기(20,40)로 전송한다.The
그리고 아바타 제공서버(30)는 통신망(10)을 매개로 발신 단말기(20) 및 착신 단말기(30)와 통신을 수행한다. 영상통화가 개시되면, 아바타 제공서버(30)는 통신망(10)을 통하여 발신 단말기(20) 또는 착신 단말기(40)로 상대방에 대응하는 아바타를 전송한다. 아바타 제공서버(30)는 아바타를 수신한 단말기의 상대방 단말기로부터 영상데이터를 수신하고, 수신한 영상데이터에서 상대방이 특정 표정을 취하는 지를 모니터링하고, 모니터링 중 감지한 특정 표정에 대응되게 아바타를 동작시킨다. 따라서 사용자는 아바타의 표정이나 행동 등의 상태를 통하여 상대방의 감정상태를 알 수 있다.The
특히 제2 실시예에 따른 아바타 제공서버(30)는 송수신부(31), 데이터베이스부(33) 및 제어부(35)를 포함하여 구성된다.In particular, the
송수신부(31)는 통신망(10)을 매개로 발신 단말기(20) 및 착신 단말기(40)와 통신을 수행한다. 송수신부(31)는 제어부(35)의 제어에 따라 통신망(10)으로부터 아바타 요청을 수신하고, 통신망(10)으로 요청한 아바타를 전송한다. 그리고 송수신부(31)는 제어부(35)의 제어에 따라 통신망(10)으로 아바타 실행코드를 전송한다.The
데이터베이스부(33)는 발신 단말기(20) 또는 착신 단말기(40)를 포함하는 영상통화 단말기 사용자가 취하는 특정 제스처에 대응하는 아바타를 저장한다. 또한 데이터베이스부(33)는 영상통화 단말기(20,40)의 사용자에 의해 설정된 아바타와, 아바타를 동작시키는 아바타 실행코드를 저장한다. 사용자는 상대방에 대응되게 아바타를 설정할 수 있다. 아바타는 사용자의 선택 신호에 따라 상대방의 단말정보에 매칭하여 설정된 아바타와, 디폴트로 설정된 일반 아바타를 포함한다. 디폴트로 설정된 일반 아바타는 사용자가 설정한 상대방 이외의 사람과 영상통화를 수행할 경우에 사용될 수 있다.The
그리고 제어부(35)는 아바타 제공서버(30)의 전반적인 제어 동작을 수행한다. 특히 제어부(35)는 영상통화 중 상대방의 표정 인식을 통한 사용자 단말기로의 아바타 전송을 제어한다.In addition, the
제어부(35)는 아바타 설정 모드에서, 영상통화 단말기(20,40)를 통한 사용자의 선택 신호에 따라 상대방에 대응하는 아바타를 설정하고, 설정된 아바타를 동작시키는 아바타 실행코드를 설정할 수 있다. 이때 제어부(35)에 의한 아바타 및 아바타 실행코드의 설정은 도 2의 단말제어부(23)에 의한 설정 방식과 동일한 방식으로 수행될 수 있기 때문에, 상세한 설명은 생략한다.In the avatar setting mode, the
제어부(35)는 통신망(10)을 매개로 발신 단말기(20)와 착신 단말기(40) 간에 영상통화가 개시되면, 통신망(10)을 통하여 발신 단말기(20) 또는 착신 단말기(40)로 상대방에 대응하는 아바타를 전송한다. 제어부(35)는 아바타를 수신한 단말기의 상대방 단말기로부터 영상데이터를 수신하고, 수신한 영상데이터에서 상대방이 특정 표정을 취하는 지를 모니터링한다. 제어부(35)는 모니터링 중 특정 표정을 감지하면, 특정 표정에 대응되게 아바타를 동작시킬 수 있는 아바타 실행코드를 상대방 단말기로 전송한다.When the video call is started between the calling
이때 아바타는 상대방이 취한 특정 표정에 대응하는 설정된 행동 방식으로 동작할 수 있다. 특정 표정에 대응되게 서로 다른 아바타가 설정될 수도 있고, 동일한 아바타에 대해서 행동 방식을 다르게 설정할 수도 있다.In this case, the avatar may operate in a set action manner corresponding to a specific facial expression taken by the counterpart. Different avatars may be set to correspond to specific facial expressions, or different behaviors may be set for the same avatar.
제어부(35)는 아바타를 데이터베이스부(33)에서 호출하거나 상대방 단말기로부터 수신하여 사용자 단말기로 전송한다. 즉 영상통화가 개시되면, 제어부(35)는 상대방에 대응하는 아바타가 데이터베이스부(33)에 설정되어 있는 지를 확인한다. 확인 결과 설정되어 있으면, 제어부(35)는 설정된 아바타를 호출한다. 확인 결과 미설정되어 있으면, 제어부(35)는 데이터베이스부(33)에 저장된 일반 아바타를 호출하거나 상대방 단말기로 아바타를 요청하여 수신할 수 있다. 그리고 제어부(35)는 호출하거나 수신한 아바타를 사용자 단말기로 전송한다. 이때 제어부(35)는 아바타를 현재 설정된 영상 호 경로 또는 별도의 메시지 서비스 채널을 통하여 사용자 단말기로 전송한다.The
제어부(35)는 수신한 영상데이터에서 상대방이 취하는 표정을 다음과 같이 모니터링할 수 있다. 즉 제어부(35)는 수신한 영상데이터를 분석하여 상대방의 얼굴 영상을 추출하고, 추출한 얼굴 영상에서 관심영역을 추출한다. 그리고 제어부(35)는 추출한 관심영역의 위치 변화를 추적하여 상대방의 표정을 감지한다. 예컨대 제어부(35)는 수신한 영상데이터에서 상대방의 얼굴 영상을 PCA, FDA, ICA 중에 하나를 이용하여 추출할 수 있다. 제어부(35)는 추출한 얼굴 영상에서 눈, 눈썹, 입, 코 등의 관심 영역을 adaboost 또는 SVM을 이용하여 추출한다. 그리고 제어부(35)는 추출한 관심영역의 위치변화로부터 상대방의 표정 변화를 감지할 수 있다. 제어부(35)는 추적한 관심영역에 따른 상대방의 연속적 또는 불연속적인 표정을 감지한다.The
제어부(35)는 모니터링 중 특정 표정을 감지하면, 특정 표정에 대응하는 아바타 실행코드를 데이터베이스부(33)에서 추출한다. 제어부(35)는 추출한 아바타 실행코드를 사용자 단말기로 전송하여 아바타를 동작시킨다. 이때 제어부(35)는 추적한 관심영역과 특정 표정의 관심영역의 위치값을 비교하여 일치하는 특정 표정이 있는 지를 모니터링할 수 있다. 제어부(35)는 아바타 실행코드를 현재 설정된 영상 호 경로 또는 별도의 메시지 서비스 채널을 통하여 전송할 수 있다.If the
한편 제어부(35)는 추적한 관심영역에 대응되게 아바타의 관심영역을 변형시킬 수 있는 아바타 실행코드를 추출하여 사용자 단말기로 전송할 수 있다.On the other hand, the
제2 실시예에 따른 감정 전달 시스템(200)의 감정 전달 방법에 대해서 도 6 및 도 7을 참조하여 설명하면 다음과 같다. 여기서 도 7은 본 발명의 제2 실시예에 따른 영상통화 중 상대방의 표정 인식을 통한 감정 전달 방법에 따른 흐름도이다.The emotion delivery method of the
먼저 S51단계 내지 S59단계까지는 도 3의 감정 전달 방법과 동일하게 진행되기 때문에 상세한 설명은 생략하고, S59단계 이후부터 설명하면 다음과 같다. 한편 S51단계를 수행하기 전에, 아바타 제공서버(30)는 발신 단말기(20)를 통한 사용자의 선택 신호에 따라 아바타 설정 모드에서 상대방에 대응하는 아바타와, 설정된 아바타를 동작시키는 아바타 실행코드를 설정할 수 있다. 사용자는 아바타 설정 모드에서 자신 또는 상대방이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행코드를 선택하여 설정할 수 있다.First, since steps S51 to S59 proceed in the same manner as in the emotion transmitting method of FIG. 3, a detailed description thereof will be omitted and will be described after step S59. Meanwhile, before performing step S51, the
다음으로 S59단계에 따라 영상통화가 개시되면, S61단계에서 통신망(10)은 발신 단말기(20)로 전송할 아바타를 아바타 제공서버(30)로 요청한다. 다음으로 S63단계에서 아바타 제공서버(30)는 데이터베이스부(33)에서 발신 단말기(20) 또는 착신 단말기(40) 사용자에 의해 설정된 아바타를 추출하여 통신망(10)으로 전송한다. 이때 아바타는 착신 단말기(40) 사용자에 대응되게 설정된 아바타일 수 있다. 아바타 제공서버(30)는 아바타를 현재 설정된 영상 호 경로 또는 별도의 메시지 서비스 채널을 통하여 전송할 수 있다.Next, when the video call is started in step S59, the
다음으로 S65단계에서 통신망(10)은 수신한 상대방 영상과 아바타를 발신 단말기(20)로 전송한다. S76단계에서 발신 단말기(20)는 수신한 상대방 영상과 아바타를 화면에 표시한다.In operation S65, the
한편 S67단계에서 통신망(10)은 착신 단말기(40)로부터 수신한 상대방 영상을 아바타 제공서버(30)로 전송한다.In operation S67, the
다음으로 S80단계에서 아바타 제공서버(30)는 수신한 영상에서 상대방이 특정 표정을 취하는 지를 모니터링한다.. S80단계를 도 5를 참조하여 구체적으로 설명하면 다음과 같다. 먼저 S81단계에서 아바타 제공서버(30)는 수신한 영상데이터에서 상대방의 얼굴 영상을 추출한다. 다음으로 S83단계에서 아바타 제공서버(30)는 추출한 얼굴 영상에서 관심영역을 추출한다. 그리고 S85단계에서 아바타 제공서버(30)는 추출한 관심영역의 변화를 추적하여 상대방의 표정을 감지한다. 예컨대 수신한 영상데이터는 복수의 프레임 영상 데이터를 포함하며, 일정 시간에 수신되는 영상데이터에 포함된 복수의 프레임 영상 데이터에서 일정 수의 영상데이터를 캡쳐하고, 캡쳐한 영상데이터에서 상대방 영상을 추출한 후 얼굴 영상을 추출할 수 있다. 즉 제어부(35)는 수신한 영상데이터에서 상대방의 얼굴 영상을 PCA, FDA, ICA 중에 하나를 이용하여 추출할 수 있다. 제어부(35)는 추출한 얼굴 영상에서 눈, 눈썹, 입, 코 등의 관심 영역을 adaboost 또는 SVM을 이용하여 추출한다. 그리고 제어부(35)는 추출한 관심 영역의 위치변화로부터 상대방의 표정 변화를 감지할 수 있다.Next, in step S80, the
다음으로 S87단계에서 아바타 제공서버(30)는 감지한 표정이 데이터베이스부(33)에 기 저장된 특정 표정에 포함되는 지의 여부를 판단한다. 즉 아바타 제공서버(30)가 추출한 관심영역의 변화를 추적하여 상대방이 특정 표정을 취하는 지를 모니터링한다. 예컨대 아바타 제공서버(30)는 감지한 표정에 포함된 관심영역과 기 저장된 특정 표정의 관심영역을 비교하여 일치하는 특정 표정이 있는 지의 여부로 S87단계를 수행할 수 있다.Next, in step S87, the
S87단계의 판단 결과 기 저장된 특정 표정에 포함되지 않는 경우, 아바타 제공서버(30)는 S81단계부터 다시 수행한다.If the determination result in step S87 is not included in the pre-stored specific facial expression, the
S87단계의 판단 결과 기 저장된 특정 표정에 포함되는 경우, S91단계에서 아바타 제공서버(30)는 감지한 표정 변화에 대응하는 아바타 실행코드를 데이터베이스부(33)에서 추출한다. 또는 아바타 제공서버(30)는 추적한 관심영역에 대응되게 아바타의 관심영역을 변형시킬 수 있는 아바타 실행코드를 데이터베이스부(33)에서 추출할 수도 있다.If the determination result in step S87 is included in the previously stored specific facial expression, in step S91, the
다음으로 S93단계에서 아바타 제공서버(30)는 추출한 아바타 실행코드를 통신망(10)으로 전송한다. 이어서 S95단계에서 통신망(10)은 수신한 아바타 실행코드를 발신 단말기(20)로 전달한다. 이때 아바타 제공서버(30)는 아바타 실행코드를 현재 설정된 영상 호 경로 또는 별도의 메시지 서비스 채널을 통하여 발신 단말기(20)로 전송할 수 있다.Next, in step S93, the
그리고 S97단계에서 발신 단말기(20)는 수신한 아바타 실행코드에 따라 화면에 표시된 아바타를 동작시켜 상대방의 감정을 아바타를 통하여 사용자에게 전달한다. 예컨대 아바타는 화면에 표시될 때, 상대방 영상에 중첩되어 표시되거나 PIP 형태로 표시될 수 있다. 따라서 발신 단말기(20)의 사용자는 출력되는 아바타를 통하여 착신 단말기(40) 사용자의 감정상태를 쉽게 알 수 있다.In operation S97, the calling
한편 제2 실시예에 따른 감정 전달 방법에서는 아바타 제공서버(30)가 발신 단말기(20)로 착신 단말기(40) 사용자의 감정 상태를 표현하는 아바타를 제공하는 예를 개시하였지만, 반대로 착신 단말기(40)로 발신 단말기(20) 사용자의 감정 상태를 표현하는 아바타를 제공할 수도 있다. 또는 착신 및 발신 단말기에 상대방의 감정 상태를 표현하는 아바타를 각각 제공할 수도 있다.Meanwhile, in the emotion transmitting method according to the second embodiment, an example in which the
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the specification and drawings are merely presented specific examples to aid understanding, and are not intended to limit the scope of the present invention. In addition to the embodiments disclosed herein, it is apparent to those skilled in the art that other modifications based on the technical idea of the present invention may be implemented.
본 발명은 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법에 관한 것으로, 영상통화 단말기는 영상통화 중 상대방에 대응하는 아바타를 상대방의 영상과 함께 화면에 표시하고, 상대방 단말기로부터 수신한 영상데이터를 분석하여 감지한 상대방의 특정 표정에 대응하게 아바타를 동작시킴으로써, 단말기 사용자는 영상통화를 수행하면서 상대방의 감정상태를 아바타를 통하여 빠르고 정확하게 인식할 수 있다. 사용자는 영상통화 중 사용할 아바타를 자신이 직접 설정하여 사용할 수 있기 때문에 영상통화자의 다양한 요구를 충족시키면서 영상통화자의 흥미를 유발하여 영상통화의 사용을 확대할 수 있고, 또한 사용자는 아바타의 모습이나 행동 방식을 직접 설정할 수 있기 때문에 사용자의 개성을 추구하면서 보다 흥미롭게 영상통화를 사용할 수 있는 환경을 제공할 수 있다.The present invention relates to a system and a method for transmitting emotions by recognizing a facial expression of a counterpart during a video call, wherein the video call terminal displays an avatar corresponding to the counterpart along with the video of the counterpart on a screen and receives an image received from the counterpart terminal. By operating the avatar in response to the specific facial expression of the counterpart by analyzing the data, the terminal user can quickly and accurately recognize the emotional state of the counterpart through the avatar while performing a video call. Since the user can directly set and use the avatar to be used during the video call, the user can expand the use of the video call by inducing interest of the video call while satisfying the various needs of the video caller. Since the method can be set directly, it can provide an environment in which a video call can be used more interestingly while pursuing the user's personality.
도 1은 본 발명의 제1 실시예에 따른 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템을 보여주는 블록도이다.1 is a block diagram illustrating an emotion transmission system through facial recognition of a counterpart during a video call according to the first embodiment of the present invention.
도 2는 도 1의 발신 단말기의 구성을 보여주는 블록도이다.FIG. 2 is a block diagram illustrating a configuration of a calling terminal of FIG. 1.
도 3은 본 발명의 제1 실시예에 따른 영상통화 중 상대방의 표정 인식을 통한 감정 전달 방법에 따른 흐름도이다.3 is a flowchart illustrating a method of transmitting emotions through facial expression recognition of a counterpart during a video call according to the first embodiment of the present invention.
도 4는 도 3의 아바타 표시 단계에 따른 상세 흐름도이다.4 is a detailed flowchart of the avatar display step of FIG. 3.
도 5는 도 3의 표정 변화 감지 단계에 따른 상세 흐름도이다.FIG. 5 is a detailed flowchart according to the facial expression change detection step of FIG. 3.
도 6은 본 발명의 제2 실시예에 따른 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템을 보여주는 블록도이다.FIG. 6 is a block diagram illustrating an emotion transmission system through facial expression recognition of a counterpart during a video call according to the second embodiment of the present invention.
도 7은 본 발명의 제2 실시예에 따른 영상통화 중 상대방의 표정 인식을 통한 감정 전달 방법에 따른 흐름도이다.7 is a flowchart illustrating a method of transmitting emotions through facial expression recognition of a counterpart during a video call according to the second embodiment of the present invention.
* 도면의 주요 부분에 대한 설명 *Description of the Related Art [0002]
10 : 통신망10: communication network
20 : 발신 단말기20: calling terminal
30 : 아바타 제공서버30: avatar providing server
40 : 착신 단말기40: called terminal
100, 200 : 감정 전달 시스템100, 200: emotional delivery system
Claims (23)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090077866A KR20110020131A (en) | 2009-08-21 | 2009-08-21 | System and method for delivering feeling during video call |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090077866A KR20110020131A (en) | 2009-08-21 | 2009-08-21 | System and method for delivering feeling during video call |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20110020131A true KR20110020131A (en) | 2011-03-02 |
Family
ID=43929524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090077866A KR20110020131A (en) | 2009-08-21 | 2009-08-21 | System and method for delivering feeling during video call |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20110020131A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101306221B1 (en) * | 2011-09-23 | 2013-09-10 | (주) 어펙트로닉스 | Method and apparatus for providing moving picture using 3d user avatar |
KR20140092837A (en) * | 2011-12-15 | 2014-07-24 | 엘지전자 주식회사 | Haptic transmission method and mobile terminal for same |
KR20190072067A (en) * | 2017-12-15 | 2019-06-25 | 주식회사 하이퍼커넥트 | Terminal and server providing a video call service |
JP2019122034A (en) * | 2017-12-28 | 2019-07-22 | ハイパーコネクト インコーポレイテッド | Terminal providing video call service |
KR20210149674A (en) * | 2019-03-13 | 2021-12-09 | 주식회사 케이티 | User device, call relay server and method for enabling video call with avatar |
WO2024096390A1 (en) * | 2022-11-03 | 2024-05-10 | 삼성전자 주식회사 | Method and device for performing media call service |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100395491B1 (en) * | 1999-08-16 | 2003-08-25 | 한국전자통신연구원 | Method Of Visual Communication On Speech Translating System Based On Avatar |
KR20040106844A (en) * | 2003-06-11 | 2004-12-18 | 이응주 | System and method for offer physiognomy information and the other sex information using on-line analysis face physiognomy |
KR100700872B1 (en) * | 2006-02-07 | 2007-03-29 | 엘지전자 주식회사 | Method for displaying 3 dimension private character image of mobile terminal and the mobile terminal thereof |
KR20080079403A (en) * | 2007-02-27 | 2008-09-01 | (주)케이티에프테크놀로지스 | A terminal for image communication and method of embodying lip-synch to an avatar in the same |
KR20080085313A (en) * | 2007-03-19 | 2008-09-24 | 엘지전자 주식회사 | Method for controlling image, and terminal therefor |
KR20090001202A (en) * | 2007-06-29 | 2009-01-08 | 삼성전자주식회사 | Digital picture frame |
-
2009
- 2009-08-21 KR KR1020090077866A patent/KR20110020131A/en not_active Application Discontinuation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100395491B1 (en) * | 1999-08-16 | 2003-08-25 | 한국전자통신연구원 | Method Of Visual Communication On Speech Translating System Based On Avatar |
KR20040106844A (en) * | 2003-06-11 | 2004-12-18 | 이응주 | System and method for offer physiognomy information and the other sex information using on-line analysis face physiognomy |
KR100700872B1 (en) * | 2006-02-07 | 2007-03-29 | 엘지전자 주식회사 | Method for displaying 3 dimension private character image of mobile terminal and the mobile terminal thereof |
KR20080079403A (en) * | 2007-02-27 | 2008-09-01 | (주)케이티에프테크놀로지스 | A terminal for image communication and method of embodying lip-synch to an avatar in the same |
KR20080085313A (en) * | 2007-03-19 | 2008-09-24 | 엘지전자 주식회사 | Method for controlling image, and terminal therefor |
KR20090001202A (en) * | 2007-06-29 | 2009-01-08 | 삼성전자주식회사 | Digital picture frame |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101306221B1 (en) * | 2011-09-23 | 2013-09-10 | (주) 어펙트로닉스 | Method and apparatus for providing moving picture using 3d user avatar |
KR20140092837A (en) * | 2011-12-15 | 2014-07-24 | 엘지전자 주식회사 | Haptic transmission method and mobile terminal for same |
US9678570B2 (en) | 2011-12-15 | 2017-06-13 | Lg Electronics Inc. | Haptic transmission method and mobile terminal for same |
KR20190072067A (en) * | 2017-12-15 | 2019-06-25 | 주식회사 하이퍼커넥트 | Terminal and server providing a video call service |
US10949654B2 (en) | 2017-12-15 | 2021-03-16 | Hyperconnect, Inc. | Terminal and server for providing video call service |
JP2019122034A (en) * | 2017-12-28 | 2019-07-22 | ハイパーコネクト インコーポレイテッド | Terminal providing video call service |
US10560659B2 (en) | 2017-12-28 | 2020-02-11 | Hyperconnect, Inc. | Terminal for providing video call service |
US10939071B2 (en) | 2017-12-28 | 2021-03-02 | Hyperconnect, Inc. | Terminal for providing video call service |
KR20210149674A (en) * | 2019-03-13 | 2021-12-09 | 주식회사 케이티 | User device, call relay server and method for enabling video call with avatar |
WO2024096390A1 (en) * | 2022-11-03 | 2024-05-10 | 삼성전자 주식회사 | Method and device for performing media call service |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11503377B2 (en) | Method and electronic device for processing data | |
US11425315B2 (en) | Video communications method and apparatus, terminal, and computer-readable storage medium | |
CN107835464B (en) | Video call window picture processing method, terminal and computer readable storage medium | |
KR101205189B1 (en) | System and method for delivering feeling during video call | |
KR101170338B1 (en) | Method For Video Call And System thereof | |
US8466950B2 (en) | Method and apparatus for video call in a mobile terminal | |
US10142588B2 (en) | Information-processing device, communication system, storage medium, and communication method | |
US20040235531A1 (en) | Portable terminal, and image communication program | |
KR20110020131A (en) | System and method for delivering feeling during video call | |
CN107231470B (en) | Image processing method, mobile terminal and computer readable storage medium | |
US20100098341A1 (en) | Image recognition device for displaying multimedia data | |
KR20130022434A (en) | Apparatus and method for servicing emotional contents on telecommunication devices, apparatus and method for recognizing emotion thereof, apparatus and method for generating and matching the emotional contents using the same | |
CN110602401A (en) | Photographing method and terminal | |
KR20210060196A (en) | Server, method and user device for providing avatar message service | |
CN108683850A (en) | A kind of shooting reminding method and mobile terminal | |
KR20110041065A (en) | System, server, terminal and method for delivering haptic contents during video call | |
KR101274471B1 (en) | System and method for emotion transmitting during video communication | |
KR101179465B1 (en) | Video call system and method for delivering feeling of far end talker | |
CN113873270A (en) | Game live broadcast method, device, system, electronic equipment and storage medium | |
KR101337229B1 (en) | System, Haptic Server and Method for Providing of Emotional State of User In Video Telephony | |
CN111914785B (en) | Method, device and storage medium for improving definition of face image | |
KR102058190B1 (en) | Apparatus for providing character service in character service system | |
CN106896917B (en) | Method and device for assisting user in experiencing virtual reality and electronic equipment | |
KR101189052B1 (en) | System and method for delivering feeling during video call | |
CN111835617A (en) | User head portrait adjusting method and device and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |