KR102044241B1 - 영상 통화 서비스를 제공하는 단말 - Google Patents

영상 통화 서비스를 제공하는 단말 Download PDF

Info

Publication number
KR102044241B1
KR102044241B1 KR1020170182781A KR20170182781A KR102044241B1 KR 102044241 B1 KR102044241 B1 KR 102044241B1 KR 1020170182781 A KR1020170182781 A KR 1020170182781A KR 20170182781 A KR20170182781 A KR 20170182781A KR 102044241 B1 KR102044241 B1 KR 102044241B1
Authority
KR
South Korea
Prior art keywords
user
terminal
icon information
video call
expression
Prior art date
Application number
KR1020170182781A
Other languages
English (en)
Other versions
KR20190080377A (ko
Inventor
안상일
최희민
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Priority to KR1020170182781A priority Critical patent/KR102044241B1/ko
Priority to EP18211782.0A priority patent/EP3506626A1/en
Priority to JP2018236646A priority patent/JP6691199B2/ja
Priority to US16/223,770 priority patent/US10560659B2/en
Publication of KR20190080377A publication Critical patent/KR20190080377A/ko
Application granted granted Critical
Publication of KR102044241B1 publication Critical patent/KR102044241B1/ko
Priority to US16/733,439 priority patent/US10939071B2/en

Links

Images

Classifications

    • H04M1/72522—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H04M1/72583—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

단말에서, 사용자의 표정에 대응되는 아이콘 정보를 이용하는 영상 통화 서비스를 제공하는 방법을 수행할 수 있도록 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션을 개시한다.

Description

영상 통화 서비스를 제공하는 단말{TERMINAL PROVIDING A VIDEO CALL SERVICE}
사용자의 표정에 대응되는 아이콘 정보를 이용하는 영상 통화 서비스를 제공하는 단말에 관한 것이다.
과학 기술의 발전에 따라, 대부분의 사람들이 스마트 폰, 태블릿 PC와 같은 단말을 보유하게 되었다. 이와 같은 단말은 영상을 촬영하고, 재생할 수 있으며, 다른 단말과 통신을 수행하여 정보를 주고받거나, 영상 통화(video call)를 지원할 수 있다.
한편, 영상 통화를 기반으로 하는 다양한 종류의 영상 통화 서비스가 존재한다. 예를 들어, 랜덤 영상 채팅 서비스는 랜덤 영상 채팅 서비스 이용 요청을 한 사용자의 단말을 랜덤 영상 채팅 서비스를 이용하는 사용자들 중 무작위로 선정된 사용자의 단말과 연결시켜주는 서비스이다.
영상 통화를 수행하는 상호 간 표정을 많이 짓도록 유도하여, 사용자들 간의 영상 통화가 좋은 분위기에서 이루어질 수 있도록, 사용자의 표정에 대응되는 아이콘 정보를 이용하는 영상 통화 서비스를 제공하는 단말을 제공하는 것이다.
제 1 측면에 따른 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션은, 제 1 단말에서, 제 1 사용자의 상기 제 1 단말과 영상 통화의 상대방인 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 단계; 상기 제 1 사용자를 촬영한 제 1 영상 스트림에서 상기 제 1 사용자의 표정을 검출하는 단계; 상기 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성하는 단계; 및 상기 생성된 아이콘 정보를 상기 제 2 단말에 전송하는 단계;를 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 한다.
제 2 측면에 따른 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션은, 제 1 단말에서, 제 1 사용자의 상기 제 1 단말과 영상 통화의 상대방인 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 단계; 상기 제 2 단말로부터 수신된, 상기 제 2 사용자를 촬영한 제 2 영상 스트림에서 상기 제 2 사용자의 표정을 검출하는 단계; 상기 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성하는 단계; 및 상기 생성된 아이콘 정보를 상기 제 1 단말의 화면에 디스플레이하는 단계;를 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 한다.
제 3 측면에 따른 프로세서에 의해 실행 가능한 명령어들이 저장된 비일시적 컴퓨터 판독 가능 저장매체는, 제 1 사용자의 상기 제 1 단말과 영상 통화의 상대방인 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 명령어들; 상기 제 1 사용자를 촬영한 제 1 영상 스트림에서 상기 제 1 사용자의 표정을 검출하는 명령어들; 상기 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성하는 명령어들; 및 상기 생성된 아이콘 정보를 상기 제 2 단말에 전송하는 명령어들;을 포함할 수 있다.
제 4 측면에 따른 프로세서에 의해 실행 가능한 명령어들이 저장된 비일시적 컴퓨터 판독 가능 저장매체는, 제 1 사용자의 제 1 단말과 영상 통화의 상대방인 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 명령어들; 상기 제 2 단말로부터 수신된, 상기 제 2 사용자를 촬영한 제 2 영상 스트림에서 상기 제 2 사용자의 표정을 검출하는 명령어들; 상기 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성하는 명령어들; 및 상기 생성된 아이콘 정보를 상기 제 1 단말의 화면에 디스플레이하는 명령어들;을 포함할 수 있다.
도 1은 영상 통화 서비스가 제공되는 환경을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 단말의 구성을 나타낸 블록도이다.
도 3은 일 실시예에 따른 영상 통화 서비스를 제공하는 서버의 구성을 나타낸 블록도이다.
도 4는 일 실시예에 따라 제 1 단말에서 제 1 사용자의 표정에 대응되는 아이콘 정보를 제 2 단말에 전송하고, 제 2 단말로부터 수신된 아이콘 정보에 기초하여 서버로부터 보상받는 과정를 설명하기 위한 도면이다.
도 5는 일 실시예에 따라 제 1 단말에서 제 1 사용자의 표정에 대응되는 아이콘 정보를 제 2 단말에 전송하고, 제 1 단말에서 전송된 아이콘 정보에 기초하여 서버로부터 보상받는 과정를 설명하기 위한 도면이다.
도 6은 일 실시예에 따라 제 1 단말에서 수신된 아이콘 정보와 전송된 아이콘 정보가 동일한 경우, 제 1 단말이 보너스 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따라 제 1 단말에서 검출된, 제 1 사용자의 표정과 제 2 사용자의 표정이 동일한 경우, 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따라 제 1 단말에서 검출된, 제 1 사용자의 표정과 제 1 사용자의 소정의 음성이 매칭되는 경우, 제 1 단말이 보너스 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 9는 일 실시예에 따라 제 1 단말에서 제 1 사용자의 표정을 연속적으로 검출 시 표정 강도에 따라 보너스 아이콘 정보를 생성하여 제 2 단말에 전송하는 과정을 설명하기 위한 도면이다.
도 10은 일 실시예에 따라 제 1 단말에서 미션 아이콘 정보와 동일한 아이콘 정보가 생성된 경우, 제 1 단말이 보너스 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 11은 일 실시예에 따라 제 1 단말에서 제 2 사용자의 표정에 대응되는 아이콘 정보를 제 1 단말에서 디스플레이하고, 제 1 단말에서 디스플레이된 아이콘 정보에 기초하여 서버로부터 보상받는 과정를 설명하기 위한 도면이다.
도 12는 일 실시예에 따라 제 1 단말에서 검출된, 제 2 사용자의 표정과 제 1 사용자의 표정이 동일한 경우, 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 13은 일 실시예에 따라 제 1 단말에서 검출된, 제 2 사용자의 표정과 제 1 사용자의 소정의 음성이 매칭되는 경우, 제 1 단말이 보너스 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 14는 일 실시예에 따라 제 1 단말에서 제 2 사용자의 표정을 연속적으로 검출 시 표정 강도에 따라 보너스 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 15는 일 실시예에 따라 제 1 단말에서 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성하여 영상 통화 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 16은 다른 실시예에 따라 제 1 단말에서 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성하여 영상 통화 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 이하에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.
한편, 본 명세서에서 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 다른 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들 더 포함할 수도 있다는 것을 의미한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용되는 '아이콘 정보'라는 용어는 아이콘의 종류 및/또는 아이콘의 개수를 의미할 수 있다.
본 실시예들은 사용자의 표정에 대응되는 아이콘 정보를 이용하는 영상 통화 서비스를 제공하는 단말에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 영상 통화 서비스가 제공되는 환경을 설명하기 위한 도면이다.
영상 통화 서비스는 복수의 사용자들이 각자의 단말을 이용하여 자신의 영상을 상대방에게 전송하고 상대방의 영상을 수신함으로써 의사를 주고받을 수 있는 서비스를 의미한다. 영상 통화 서비스를 이용하는 사용자들은 각자의 단말을 통해, 영상과 음성을 주고받을 수 있으며, 채팅 기능을 통해 텍스트를 주고받을 수도 있다. 영상 통화 서비스를 이용하려는 사용자는 상대방을 직접 지정하거나, 영상 통화 서비스를 제공하는 서버에서 랜덤으로 또는 소정의 방식에 따라 상대방을 지정해줌으로써, 상대방과 영상 통화 서비스를 이용할 수 있다.
도 1을 참조하면, 단말(100)이 통신망을 통해 영상 통화 서비스를 제공하는 서버(200)와 연결되어 있다. 서버(200)는 복수의 사용자들이 각자의 단말(100)을 이용하여 영상 통화 서비스를 이용할 수 있도록 도와주는 각종 프로그램 또는 애플리케이션과 데이터를 저장할 수 있다. 영상 통화 서비스를 제공하는 서버(200)는 근거리 통신 및 원격지 통신을 모두 수행할 수 있다. 영상 통화 서비스를 제공하는 서버(200)는 통신망을 통해 복수의 단말(100)들과 연결될 수 있다. 단말(100)은 영상 통화 서비스를 제공하는 서버(200)와의 연결에 이용될 수 있는 다양한 종류의 사용자 단말이 될 수 있다. 예를 들어, 단말(100)은 영상 통화 서비스를 제공하는 서버(200)와 통신을 수행할 수 있는 장치로서, 스마트 왓치와 같은 웨어러블 장치, 스마트 폰, 태블릿 PC, 랩톱 컴퓨터와 같은 모바일 장치, 데스크톱 컴퓨터와 같은 스테이셔너리(satationary) 장치 등이 될 수 있다. 또한, 단말(100)은 영상 통화 서비스를 통해 연결되는 사용자들 간 영상 통화가 이루어질 수 있도록, 영상을 촬영하고 재생할 수 있는, 영상 통화를 지원하는 영상 통화 장치일 수 있다.
도 2는 일 실시예에 따른 단말(100)의 구성을 나타낸 블록도이다.
도 2를 참고하면, 단말(100)은 메모리(110), 프로세서(120), 사용자 인터페이스(130), 통신 인터페이스(140), 및 음성 및 영상 입력부(150)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(110)는 소프트웨어 또는 프로그램을 저장할 수 있다. 예를 들어, 메모리(110)는 애플리케이션, 애플리케이션 프로그래밍 인터페이스(API) 등과 같은 프로그램 및 다양한 종류의 데이터를 저장할 수 있다. 메모리(110)는 프로세서(120)에 의해 실행 가능한 명령어들을 저장할 수 있다.
프로세서(120)는 메모리(110)에 저장된 명령어들을 실행할 수 있다. 프로세서(120)는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 및 데이터를 이용하거나, 또는 새로운 프로그램, 컨텐츠, 및 데이터를 메모리(110)에 저장할 수도 있다.
프로세서(120)는 메모리(110)에 액세스하여, 메모리(110)에 저장된 O/S를 이용하여 부팅을 수행할 수 있다. 프로세서(120)는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다. 예를 들어, 프로세서(120)는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 및 데이터를 이용하여, 디스플레이(136)에 소정의 화면을 표시할 수 있다. 프로세서(120)는 디스플레이(136)의 일 영역에 대한 사용자 조작이 이루어지면, 사용자의 조작에 대응되는 제어 동작을 수행할 수 있다.
프로세서(120)는 그래픽 처리에 특화된 GPU(Graphic Processing Unit)를 포함할 수 있다. GPU는 단말(100)의 부팅이 완료되면, 디스플레이(136)의 영역에 사용자 인터페이스 화면을 디스플레이한다. 구체적으로는, GPU는 컨텐츠, 아이콘, 및 메뉴 등과 같은 다양한 객체를 포함하는 영상 통화 레이아웃이 표시된 화면을 생성할 수 있다. GPU는 화면의 영상 통화 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 및 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, GPU는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU에서 생성된 화면은 디스플레이(136)로 제공되어, 디스플레이(136)의 각 영역에 각각 표시될 수 있다.
한편, 프로세서(120)는 비디오 프로세서와 오디오 프로세서를 포함할 수 있다. 프로세서(120)는 비디오 프로세서와 오디오 프로세서를 제어하여, 통신 인터페이스(140)를 통해 수신된 영상 스트림 또는, 메모리(110)에 저장된 영상 스트림에 포함된 비디오 데이터 또는 오디오 데이터를 처리할 수 있다.
사용자 인터페이스(130)는 입력부(131)와 출력부(135)를 포함할 수 있다.
입력부(131)는 사용자로부터 다양한 명령어를 입력받을 수 있다. 입력부(131)는 키패드(132), 터치 패널(133) 및 펜 인식 패널(134) 중 적어도 하나를 포함할 수 있다.
키패드(132)는 단말(100)의 본체 외관의 전면부나 측면부, 또는 배면부 등의 다양한 영역에 형성된 기계적 버튼, 및 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.
터치 패널(133)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(133)이 표시 패널과 결합하여 터치 스크린을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 및 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다.
펜 인식 패널(134)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(134)은, 예로, EMR(Electromagnetic Radiation) 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 펜 인식 패널(134)은 그리드 구조를 가지는 전자 유도 코일 센서와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부를 포함하여 구성될 수 있다.
출력부(135)는 디스플레이(136), 및 스피커(137)를 포함할 수 있다.
디스플레이(136)는 표시 패널 및 표시 패널을 제어하는 컨트롤러를 포함할 수 있다. 표시 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), 및 PDP(Plasma Display Panel) 등과 같은 다양한 방식으로 구현될 수 있다. 표시 패널은 유연하게(flexible) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이(136)는 입력부(131)의 터치 패널(133)과 결합되어 터치 스크린으로 제공될 수 있다.
스피커(137)는 오디오 데이터에 기초하여 소리를 출력할 수 있다. 예를 들어, 스피커(137)는 영상 스트림에 포함된 오디오 데이터에 따라, 사용자의 음성을 출력할 수 있다.
통신 인터페이스(140)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스(140)는 와이파이 칩, 블루투스 칩, NFC 칩, 및 무선통신 칩 중 적어도 하나를 포함할 수 있다. 프로세서(120)는 통신 인터페이스(140)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다.
와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. NFC 칩은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 무선 통신 칩은 IEEE(Institute of Electrical and Electronics Engineers), 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution), 및 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
음성 및 영상 입력부(150)는 마이크(151)와 카메라(153)를 포함할 수 있다. 마이크(151)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환할 수 있다. 프로세서(120)는 마이크(151)를 통해 입력되는 사용자 음성을 영상 통화에 이용하거나, 오디오 데이터로 변환하여 메모리(110)에 저장할 수 있다. 카메라(153)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬영할 수 있다. 카메라(153)는 단말(100)의 전면 또는 후면에 위치한 카메라 모듈일 수 있다. 프로세서(120)는 마이크(151)를 통해 입력되는 음성과 카메라(153)에 의해 촬영되는 영상을 이용하여, 영상 통화를 위한 영상 스트림을 생성할 수 있다.
한편, 단말(100)은 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 프로세서(120)는 카메라(153)를 활성화시켜 사용자를 촬영하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우, 프로세서(120)는 마이크(151)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행할 수 있다.
전술한 단말(100)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 단말(100)은 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 단말(100)은 전술한 구성요소들 중 적어도 하나를 이용하여, 다음과 같은 동작을 수행할 수 있다.
도 3은 일 실시예에 따른 영상 통화 서비스를 제공하는 서버(200)의 구성을 나타낸 블록도이다.
도 3을 참조하면, 영상 통화 서비스를 제공하는 서버(200)는 메모리(210), 프로세서(220), 스토리지(230), 및 통신 인터페이스(240)을 포함한다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다. 도 3의 블록도의 각 구성요소는 영상 통화 서비스를 제공하는 서버(200)의 구현 방식에 따라 분리, 추가, 또는 생략될 수 있다. 즉, 구현 방식에 따라 하나의 구성요소가 2 이상의 구성요소로 세분화되거나, 2 이상의 구성요소가 하나의 구성요소로 합쳐질 수도 있고, 일부 구성요소가 더 추가되거나 제거될 수 있다.
메모리(210)는 프로세서(220)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(210)는 소프트웨어 또는 프로그램을 저장할 수 있다.
프로세서(220)는 메모리(210)에 저장된 명령어들을 실행할 수 있다. 프로세서(220)는 영상 통화 서비스를 제공하는 서버(200)의 전반적인 동작을 제어할 수 있다. 프로세서(220)는 통신 인터페이스(240)를 통해 수신되는 정보 및 요청 사항을 획득하고, 수신되는 정보를 스토리지(230)에 저장할 수 있다. 또한, 프로세서(220)는 수신되는 정보를 가공할 수 있다. 예를 들어, 프로세서(220)는 단말(100)로부터 수신되는 정보로부터 영상 통화 서비스에 이용되는 정보를 생성하거나, 수신되는 정보들을 관리하기 위한 가공행위를 수행하여, 스토리지(230)에 저장할 수 있다. 또한, 프로세서(220)는 단말(100)로부터 획득된 요청 사항에 대한 응답으로써, 스토리지(230)에 저장된 정보를 이용하여, 통신 인터페이스(240)를 통해 단말(100)에 영상 통화 서비스를 제공하기 위한 정보를 전송할 수 있다.
스토리지(230)는 영상 통화 서비스를 제공하는 서버(200)가 영상 통화 서비스를 제공하기 위해 필요한 각종 소프트웨어 및 정보들을 저장할 수 있다. 예를 들어, 스토리지(230)는 영상 통화 서비스를 제공하는 서버(200)에서 실행되는 프로그램, 애플리케이션, 및 영상 통화 서비스에 이용되는 각종 데이터를 저장할 수 있다.
스토리지(230)는 영상 통화 서비스를 이용하는 사용자별 개인 정보를 데이터베이스화하여 저장 및 관리할 수 있다. 스토리지(230)는 영상 통화 서비스를 제공하는 서버(200)에 접속하기 위한 계정별로 사용자의 신상 정보와 영상 통화 서비스에 이용되는 다양한 정보 등을 저장할 수 있다.
통신 인터페이스(240)는 단말(100)을 포함한 외부 기기와 통신을 수행할 수 있다. 예를 들어, 영상 통화 서비스를 제공하는 서버(200)는 단말(100)로부터 영상 통화 서비스 개시 요청, 및 영상 통화 서비스 환경을 갖추기 위한 설정 정보에 대한 요청 등을 수신하고, 단말(100)의 요청에 대한 응답으로, 영상 통화 서비스와 관련된 정보들을 제공할 수 있다.
영상 통화 서비스를 제공하는 서버(200)는 영상 통화 서비스를 이용하는 사용자가 지은 표정에 대응되는 아이콘 정보를 통신 인터페이스(240)를 통해 수신할 수 있다. 영상 통화 서비스를 제공하는 서버(200)의 스토리지(230)는 영상 통화 서비스를 이용하는 복수의 사용자들 각각의 사용자의 계정별로, 복수 종류의 아이콘 정보를 저장할 수 있다.
누적 아이콘 정보는 단말(100)로부터 수신된 아이콘 정보를 누적한 형태의 정보일 수 있다. 아이콘 정보는 제 1 사용자를 촬영한 제 1 영상 스트림 또는 제 2 사용자를 촬영한 제 2 영상 스트림에서 영상 통화 서비스를 이용하는 사용자의 표정을 검출하고, 검출된 사용자의 표정에 대응되는 아이콘을 나타내는 정보일 수 있다.
신상 정보는 영상 통화 서비스를 이용하는 사용자의 국적, 이름, 성별, 관심사 등의 개인 정보를 포함할 수 있다.
가상 재화(virtual property) 정보는 영상 통화 서비스를 이용하는 사용자가 유료로 제공되는 부가 서비스를 이용하기 위한 가상 재화일 수 있다. 예를 들어, 사용자가 원하는 조건의 상대방과 영상 통화 매칭을 하기 위해서는 사용자는 소정의 가상 재화를 지불하여야 한다. 가상 재화는 사용자가 직접 구매할 수도 있고, 사용자가 획득한 사용자의 계정에 대응되는 누적 아이콘 정보를 가상 재화로 교환 받을 수도 있다. 이때, 영상 통화 서비스를 제공하는 서버(200)는 아이콘 정보의 종류에 따라 가중치를 달리하여, 사용자의 계정에 대응되는 누적 아이콘 정보로부터 가상 재화를 계산할 수 있다.
한편, 영상 통화 서비스를 제공하는 서버(200)는 누적 아이콘 정보 또는 가상 재화 정보를 통신 인터페이스(240)를 통해 단말(100)에 전송할 수 있다.
도 4는 일 실시예에 따라 제 1 단말(100-1)에서 제 1 사용자의 표정에 대응되는 아이콘 정보를 제 2 단말(100-2)에 전송하고, 제 2 단말(100-2)로부터 수신된 아이콘 정보에 기초하여 서버(200)로부터 보상받는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 제 1 사용자와 영상 통화의 상대방인 제 2 사용자는 각각 제 1 단말(100-1)과 제 2 단말(100-2)을 통해 영상 통화를 할 수 있다. 제 1 단말(100-1)과 제 2 단말(100-2)에는 영상 통화 서비스 제공자 측에서 제공한 영상 통화 서비스를 실행하기 위한 애플리케이션이 설치되어 있을 수 있다. 제 1 단말(100-1)과 제 2 단말(100-2)은 영상 통화 서비스를 실행하기 위한 애플리케이션을 실행하여, 영상 통화 서비스를 제공하는 서버(200)에 연결될 수 있고, 서버(200)에서 제공하는 영상 통화 서비스를 받을 수 있다. 제 1 단말(100-1)과 제 2 단말(100-2)은 각각 서버(200)로부터 제공받은 영상 통화 서비스를 제 1 사용자 및 제2 사용자에게 제공할 수 있다.
제 1 단말(100-1)은 영상 통화 서비스를 제공하는 서버(200)에 영상 통화 서비스의 이용 요청을 전송할 수 있다. 영상 통화 서비스를 제공하는 서버(200)는 제 1 단말(100-1)의 영상 통화 서비스의 이용 요청에 응답하여, 영상 통화의 상대방인 제 2 사용자의 제 2 단말(100-2)과 영상 통화가 이루어질 수 있도록, 영상 통화에 요구되는 정보들을 제 1 단말(100-1)에 제공할 수 있다. 영상 통화 서비스를 제공하는 서버(200)는 제 1 단말(100-1)의 영상 통화 서비스의 이용 요청에 따라, 영상 통화의 상대방을 랜덤으로 선정하거나, 소정의 규칙에 따라 선정하거나, 제 1 사용자가 지정한 상대방으로 선정할 수 있다. 제 1 사용자의 제 1 단말(100-1)과 제 2 사용자의 제 2 단말(100-2)은 영상 통화를 위해 상호 간에 영상 통화 세션을 수립할 수 있다.
제 1 단말(100-1)과 제 2 단말(100-2) 간의 영상 통화 세션이 수립되면, 제 1 사용자를 촬영한 제 1 영상 스트림은 제 1 단말(100-1)에서 제 2 단말(100-2)에 전송되고, 제 2 사용자를 촬영한 제 2 영상 스트림은 제 2 단말(100-2)에서 제 1 단말(100-1)에 전송될 수 있다. 제 1 단말(100-1)은 제 2 단말로부터 제 2 영상 스트림을 수신하고, 제 2 단말(100-2)은 제 1 단말로부터 제 1 영상 스트림을 수신할 수 있다. 제 1 단말(100-1)은 제 1 사용자를 촬영한 제 1 영상 스트림 또는 제 2 단말로부터 수신된, 제 2 사용자를 촬영한 제 2 영상 스트림을 획득할 수 있다. 제 2 단말(100-2)은 제 2 사용자를 촬영한 제 2 영상 스트림 또는 제 1 단말로부터 수신된, 제 1 사용자를 촬영한 제 1 영상 스트림을 획득할 수 있다.
제 1 단말(100-1)은 제 2 영상 스트림에 기초하여 제 2 사용자의 영상을 제 1 단말(100-1)의 화면에 디스플레이할 수 있고, 제 1 영상 스트림에 기초하여 제 1 사용자의 영상을 제 2 사용자의 영상이 디스플레이되는 화면 영역의 일부 영역에 디스플레이할 수 있다. 제 2 단말(100-2)은 제 1 영상 스트림에 기초하여 제 1 사용자의 영상을 제 2 단말(100-2)의 화면에 디스플레이할 수 있고, 제 2 영상 스트림에 기초하여 제 2 사용자의 영상을 제 1 사용자의 영상이 디스플레이되는 화면 영역의 일부 영역에 디스플레이할 수 있다. 도 4에 도시된 바와 같이, 제 1 단말(100-1)은 제 1 단말(100-1)의 화면에 제 2 사용자의 영상을 디스플레이함과 동시에 제 1 사용자의 영상을 제 1 단말(100-1)의 화면의 일부 영역에 제 2 사용자의 영상보다 더 작은 사이즈로 디스플레이할 수 있다. 제 2 단말(100-2)은 제 2 단말(100-2)의 화면에 제 1 사용자의 영상을 디스플레이함과 동시에 제 2 사용자의 영상을 제 2 단말(100-2)의 화면의 일부 영역에 제 1 사용자의 영상보다 더 작은 사이즈로 디스플레이할 수 있다.
제 1 단말(100-1)과 제 2 단말(100-2) 각각의 동작 및 애플리케이션 상의 기능은 동일하므로, 이하에서는, 제 1 단말(100-1)을 중심으로 설명하고, 제 2 단말(100-2)에 대한 설명은 생략한다.
제 1 단말(100-1)과 제 2 단말(100-2)에서 상호 간 영상 통화 서비스가 실행되면, 제 1 단말(100-1)은 제 1 사용자를 촬영한 제 1 영상 스트림에서 제 1 사용자의 표정을 검출할 수 있다.
표정은 사용자가 얼굴을 통해 눈, 눈썹, 코, 입, 이마, 및 볼 등을 움직임으로써 자신의 생각을 나타내는 것이다. 예를 들어, 표정은 눈을 크게 뜨기, 눈을 감기, 입 꼬리 올리기, 입을 벌리기, 입술을 내밀기, 및 윙크 하기 등의 다양한 동작 중 적어도 하나의 동작에 따라 얼굴에 나타나는 움직임이 될 수 있다. 사용자는 표정을 지음으로써, 자신의 의사를 상대방에게 전달하거나, 상대방에게 반응을 유도할 수 있다. 사용자가 우호적이거나 긍정적인 표정을 지으면 상대방과 영상 통화의 분위기도 우호적이거나 긍정적으로 가져갈 수 있다.
도 4를 참조하면, 제 1 단말(100-1)은 제 2 사용자가 미소 짓는 영상을 제 1 단말(100-1)의 화면에 디스플레이하고, 제 1 사용자가 웃음 짓는 영상을 제 2 사용자의 영상이 디스플레이되는 화면 영역의 좌측 하단 영역에 디스플레이하고 있다. 제 1 단말(100-1)은 제 1 사용자를 촬영한 제 1 영상 스트림에서 제 1 사용자의 웃는 표정을 검출할 수 있다. 제 1 단말(100-1)은 제 1 영상 스트림에서 제 1 사용자의 얼굴에 있는 특징점에 기초하여, 제 1 영상 스트림에서 제 1 사용자의 표정을 검출할 수 있다. 제 1 단말(100-1)은 실시간 또는 소정의 시간 간격으로 제 1 사용자의 표정을 연속적으로 검출할 수 있다.
제 1 단말(100-1)은 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성할 수 있다. 표정 각각은 대응되는 아이콘 정보가 있을 수 있다. 아이콘 정보는 사용자의 표정과 닮은꼴로 그 표정을 직관적으로 묘사하거나, 표정에 대응되는 이모션 정보를 나타내는 그림이나 기호일 수 있다. 예를 들어, 이모션 정보는 기쁨, 행복, 즐거움, 만족, 미소, 웃음, 윙크, 긍정, 및 좋음(수용) 등이 될 수 있다. 예를 들어, 아이콘 정보는 사용자의 표정에 대응되는 형상이나 모양의 그림을 포함하거나, 이모션 정보를 표현하는 기호 또는 문자를 포함할 수 있다.
도 4를 참조하면, 제 1 단말(100-1)은 검출된 제 1 사용자의 웃는 표정에 대응되는 '웃는 얼굴 아이콘(laughing face icon)'이라는 아이콘 정보를 제 1 사용자의 상대방인 제 2 사용자의 제 2 단말(100-2)에 전송할 수 있다. 제 1 사용자가 지은 표정은 제 2 사용자의 태도나 행위에 대한 응답일 수 있으므로, 제 1 영상 스트림에서 제 1 사용자의 표정이 검출되면, 검출된 표정을 유발한 제 2 사용자에게 아이콘 정보가 전송되는 것이다. 제 2 사용자에게 제 1 사용자의 표정에 대응되는 아이콘 정보로 피드백을 줌으로써, 영상 통화를 하는 사용자들 간 긍정적인 대화 및 긍정적인 분위기가 유도될 수 있다. 한편, 제 2 단말(100-2)에 전송된 아이콘 정보에 따라, '웃는 얼굴 아이콘'이 제 2 단말(100-2)에서 제 1 영상 스트림이 디스플레이되는 영역에 중첩하여 디스플레이될 수 있다. 제 2 단말(100-2)은 수신된 아이콘 정보를 포함한 제 2 사용자의 아이콘 정보를 영상 통화 서비스를 제공하는 서버(200)에 전송할 수 있다. 제 2 사용자의 아이콘 정보는 제 2 사용자가 획득한 아이콘에 대한 정보로서, 아이콘의 종류 및/또는 아이콘의 개수를 포함할 수 있다. 제 2 단말(100-2)은 제 2 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다. 즉, 제 2 사용자는 제 1 사용자가 웃는 표정을 짓게 한 것에 대한 보상으로서 영상 통화 서비스에 이용 가능한 가상 재화를 받을 수 있다.
도 4를 참조하면, 제 1 단말(100-1)은 제 2 사용자를 촬영한 제 2 영상 스트림에서 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 제 2 단말(100-2)로부터 수신할 수 있다. 예를 들어, 제 2 사용자의 표정에 대응되는 아이콘 정보는 '스마일 얼굴 아이콘'일 수 있다. 제 1 단말(100-1)은 제 2 단말(100-2)로부터 수신된 아이콘 정보를 포함한 제 1 사용자의 아이콘 정보를 서버(200)에 전송할 수 있다. 제 1 사용자의 아이콘 정보는 제 1 사용자가 획득한 아이콘에 대한 정보로서, 아이콘의 종류 및/또는 아이콘의 개수를 포함할 수 있다. 제 1 단말(100-1)은 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보 정보를 서버(200)로부터 수신할 수 있다. 제 1 사용자는 제 2 사용자가 미소 짓는 표정을 짓게 한 것에 대한 보상으로서 영상 통화 서비스에 이용 가능한 가상 재화를 받을 수 있다.
이상에서 도 4를 참조하여 설명한 내용과 동일한 내용에 대해서는 이하 실시예들에서는 그 설명을 생략한다.
도 5는 일 실시예에 따라 제 1 단말(100-1)이 제 1 사용자의 표정에 대응되는 아이콘 정보를 제 2 단말(100-2)에 전송하고, 제 1 단말(100-1)에서 전송된 아이콘 정보에 기초하여 서버(200)로부터 보상받는 과정을 설명하기 위한 도면이다.
도 5의 일 실시예는 서버(200)로부터 보상받는 과정에서 도 4의 일 실시예와 차이점이 있다.
도 5를 참조하면, 제 1 단말(100-1)은 제 2 단말(100-2)에 전송된 아이콘 정보를 포함한 제 1 사용자의 아이콘 정보를 영상 통화 서비스를 제공하는 서버(200)에 전송할 수 있다. 제 1 단말(100-1)은 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다. 즉, 도 4와 달리, 도 5는 제 1 사용자가 웃는 표정을 지은 것에 대한 보상을 영상 통화 서비스에 이용 가능한 가상 재화로 받게 하여, 영상 통화 서비스를 이용하는 사용자가 표정을 자주 짓도록 유도하는 것이다.
도 6은 일 실시예에 따라 제 1 단말(100-1)에서 수신된 아이콘 정보와 전송된 아이콘 정보가 동일한 경우, 제 1 단말(100-1)이 보너스 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 제 1 단말(100-1)은 제 1 사용자를 촬영한 제 1 영상 스트림에서 검출된 제 1 사용자의 표정에 대응되는 '스마일 아이콘'을 아이콘 정보로 생성하여, 제 2 단말(100-2)에 전송할 수 있다. 제 2 단말(100-2)은 제 2 사용자를 촬영한 제 2 영상 스트림에서 검출된 제 2 사용자의 표정에 대응되는 '스마일 아이콘'을 아이콘 정보로서 생성하여, 제 1 단말(100-1)에 전송할 수 있다.
제 1 단말(100-1)은 제 2 사용자를 촬영한 제 2 영상 스트림에서 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 제 2 단말(100-2)로부터 수신할 수 있다. 제 1 단말(100-1)은 제 2 단말(100-2)로부터 수신된 아이콘 정보와 제 2 단말(100-2)에 전송된 아이콘 정보가 동일한 경우, 제 1 사용자의 아이콘 정보를 갱신할 수 있다. 예를 들어, 제 1 단말(100-1)은 보너스 아이콘 정보를 생성할 수 있다. '보너스 아이콘 정보'는 소정의 조건을 만족할 때 사용자가 별도로 또는 연속하여 추가로 획득하는 아이콘의 종류 및/또는 아이콘의 개수를 의미할 수 있다. 제 1 단말(100-1)은 화면의 일부 영역에 생성된 보너스 아이콘 정보를 디스플레이할 수 있다. 제 2 단말(100-2)은 제 1 사용자를 촬영한 제 1 영상 스트림에서 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 제 1 단말(100-1)로부터 수신할 수 있다. 제 2 단말(100-2)은 제 1 단말(100-1)로부터 수신된 아이콘 정보와 제 1 단말(100-1)에 전송된 아이콘 정보가 동일한 경우, 제 2 사용자의 아이콘 정보를 갱신할 수 있다. 예를 들어, 제 2 단말(100-2)은 보너스 아이콘 정보를 생성할 수 있다. 제 2 단말(100-2)은 화면의 일부 영역에 생성된 보너스 아이콘 정보를 디스플레이할 수 있다.
제 1 단말(100-1)은 제 1 사용자가 획득한, 아이콘 정보 및 보너스 아이콘 정보에 기초하여 갱신된 제 1 사용자의 아이콘 정보를 서버(200)에 전송할 수 있다. 갱신된 제 1 사용자의 아이콘 정보는 아이콘의 종류 및/또는 아이콘의 종류 별로 아이콘의 개수와 보너스 아이콘의 개수가 합산된 개수를 포함할 수 있다. 제 1 단말(100-1)은, 갱신된 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다. 보너스 아이콘 정보가 추가로 획득된 만큼, 가상 재화가 추가로 지급되므로, 제 1 사용자는 더 많은 보상을 받을 수 있다.
제 2 단말(100-2)은 제 2 사용자가 획득한, 아이콘 정보 및 보너스 아이콘 정보에 기초하여 갱신된 제 2 사용자의 아이콘 정보를 서버(200)에 전송할 수 있다. 갱신된 제 2 사용자의 아이콘 정보는 아이콘의 종류 및/또는 아이콘의 종류 별로 아이콘의 개수와 보너스 아이콘의 개수가 합산된 개수를 포함할 수 있다. 제 2 단말(100-2)은, 갱신된 제 2 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다. 보너스 아이콘 정보가 추가로 획득된 만큼, 가상 재화 정보도 추가로 지급되므로, 제 2 사용자는 더 많은 보상을 받을 수 있다.
도 7은 일 실시예에 따라 제 1 단말(100-1)에서 검출된, 제 1 사용자의 표정과 제 2 사용자의 표정이 동일한 경우, 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 제 1 단말(100-1)은 제 1 사용자를 촬영한 제 1 영상 스트림에서 제 1 사용자의 표정을 검출하고, 제 2 단말(100-2)로부터 수신된, 제 2 사용자를 촬영한 제 2 영상 스트림에서 제 2 사용자의 표정을 검출할 수 있다. 제 1 단말(100-1)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정과 제 2 영상 스트림에서 검출된 제 2 사용자의 표정이 동일한 경우, 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성할 수 있다. 도 7에 도시된 바와 같이, 제 1 단말(100-1)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정과 제 2 영상 스트림에서 검출된 제 2 사용자의 표정이 '미소 짓는 표정'으로 동일하므로, '미소 짓는 표정'에 대응되는 '스마일 아이콘'을 아이콘 정보로 생성하여, 제 2 단말(100-2)에 전송할 수 있다.
제 2 단말(100-2)은 제 2 사용자를 촬영한 제 2 영상 스트림에서 제 2 사용자의 표정을 검출하고, 제 1 단말(100-1)로부터 수신된, 제 1 사용자를 촬영한 제 1 영상 스트림에서 제 1 사용자의 표정을 검출할 수 있다. 제 2 단말(100-2)은 제 2 영상 스트림에서 검출된 제 2 사용자의 표정과 제 1 영상 스트림에서 검출된 제 1 사용자의 표정이 동일한 경우, 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성할 수 있다. 도 7에 도시된 바와 같이, 제 2 단말(100-2)은 제 2 영상 스트림에서 검출된 제 2 사용자의 표정과 제 1 영상 스트림에서 검출된 제 1 사용자의 표정이 '미소 짓는 표정'으로 동일하므로, '미소 짓는 표정'에 대응되는 '스마일 아이콘'을 아이콘 정보로 생성하여, 제 1 단말(100-1)에 전송할 수 있다.
도 8은 일 실시예에 따라 제 1 단말(100-1)에서 검출된, 제 1 사용자의 표정과 제 1 사용자의 소정의 음성이 매칭되는 경우, 제 1 단말(100-1)이 보너스 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 제 1 단말(100-1)은 제 1 사용자의 음성을 입력받을 수 있다. 제 1 단말(100-1)은 제 1 영상 스트림에서 제 1 사용자의 표정을 검출할 뿐만 아니라, 제 1 사용자의 음성에서 소정의 음성을 검출할 수 있다. 소정의 음성은 각 표정에 대응하여 미리 매칭되어 있을 수 있다. 예를 들어, 제 1 단말(100-1)은 '웃는 표정'에 대해서는 'hehe' 또는 'HaHa' 등과 같은 음성이 검출되는지 제 1 사용자의 음성으로부터 확인할 수 있다.
제 1 단말(100-1)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정과 제 1 사용자의 음성에서 검출된 소정의 음성이 매칭되는 경우, 제 1 사용자의 아이콘 정보를 갱신할 수 있다. 예를 들어, 제 1 단말(100-1)은 보너스 아이콘 정보를 생성할 수 있다. 도 7에 도시되 바와 같이, 제 1 단말(100-1)은 제 1 영상 스트림에서 제 1 사용자의 '웃는 표정'을 검출하고, 'hehe'라는 소정의 음성과 매칭 여부를 확인한 후, '웃는 표정'과 'hehe'라는 소정의 음성이 매칭되면, 보너스 아이콘 정보를 생성할 수 있다. 제 1 단말(100-1)은 화면의 일부 영역에 생성된 보너스 아이콘 정보를 디스플레이할 수 있다.
제 1 단말(100-1)은 제 1 사용자가 획득한, 아이콘 정보 및 보너스 아이콘 정보에 기초하여 갱신된 제 1 사용자의 아이콘 정보를 서버(200)에 전송할 수 있다. 갱신된 제 1 사용자의 아이콘 정보는 아이콘의 종류 및/또는 아이콘의 종류 별로 아이콘의 개수와 보너스 아이콘의 개수가 합산된 개수를 포함할 수 있다. 제 1 단말(100-1)은, 갱신된 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다. 보너스 아이콘 정보가 추가로 누적된 만큼, 가상 재화 정보도 추가로 지급되므로, 제 1 사용자는 더 많은 보상을 받을 수 있다.
도 9는 일 실시예에 따라 제 1 단말(100-1)에서 제 1 사용자의 표정을 연속적으로 검출 시 표정 강도에 따라 보너스 아이콘 정보를 생성하여 제 2 단말(100-2)에 전송하는 과정을 설명하기 위한 도면이다.
도 9를 참조하면, 제 1 단말(100-1)은 제 1 영상 스트림에서 제 1 사용자의 표정을 연속적으로 검출할 수 있다. 도 9에 도시된 바와 같이, 제 1 단말(100-1)은 제 1 영상 스트림에서 제 1 사용자의 '웃는 표정'을 검출한 후 제 1 사용자의 '박장대소하는 표정'을 연속적으로 검출할 수 있다. 제 1 단말(100-1)은 표정의 강도가 더 높은 '박장대소하는 표정'이 검출되었을 때, 표정의 강도가 더 낮은 '웃는 표정'이 검출되었을 때 보다, 더 많은 아이콘 정보를 생성하여 제 2 단말(100-2)에 전송할 수 있다.
예를 들어, 제 1 단말(100-1)은 제 1 사용자의 무표정과 '웃는 표정' 또는 '박장대소하는 표정'과 같이 검출된 표정에서 서로 대응되는 특징점들 간의 거리차에 대응하는 값과 임계치를 비교하여 표정의 강도를 인식할 수 있다. 이때, 임계치는 적어도 하나 이상일 수 있다. 제 1 단말(100-1)은 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 인식된 표정의 강도에 기초하여 갱신할 수 있다.
예를 들어, 제 1 단말(100-1)은 제 1 사용자의 '웃는 표정'에 대응되는 아이콘 정보, 예를 들어, 웃는 얼굴 아이콘을 제 2 단말(100-2)에 전송할 수 있다. 이후, 제 1 단말(100-1)은 제 1 사용자의 '박장대소하는 표정'에 대응되는 아이콘 정보, 예를 들어, 웃는 얼굴 아이콘을 제 2 단말(100-2)에 전송할 수 있다. 이때, 제 1 단말(100-1)은 웃는 얼굴 아이콘을 '박장대소하는 표정'의 강도에 기초하여 갱신하고, 갱신된 웃는 얼굴 아이콘을 보너스 아이콘 정보로서 제 2 단말(100-2)에 추가로 전송할 수 있다. 제 1 단말(100-1)은 제 1 사용자가 웃는 표정일 때 웃는 얼굴 아이콘에 대한 아이콘 정보를 제 2 단말(100-2)에 전송하고, 제 1 사용자가 박장대소하는 표정일 때, 웃는 얼굴 아이콘에 대한 아이콘 정보뿐만 아니라 보너스 아이콘 정보도 제 2 단말(100-2)에 전송할 수 있다.
제 2 단말(100-2)은 제 2 사용자가 획득한, 아이콘 정보 및 보너스 아이콘 정보에 기초하여 갱신된 제 2 사용자의 아이콘 정보를 서버(200)에 전송할 수 있다. 갱신된 제 2 사용자의 아이콘 정보는 아이콘의 종류 및/또는 아이콘의 종류 별로 아이콘의 개수와 보너스 아이콘의 개수가 합산된 개수를 포함할 수 있다. 제 2 단말(100-2)은, 갱신된 제 2 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다. 보너스 아이콘 정보가 추가로 누적된 만큼, 가상 재화 정보도 추가로 지급되므로, 제 1 사용자에게 표정의 강도가 높은 특정 표정을 짓게 한 제 2 사용자는 더 많은 보상을 받을 수 있다.
도 10은 일 실시예에 따라 제 1 단말(100-1)에서 미션 아이콘 정보와 동일한 아이콘 정보가 생성된 경우, 제 1 단말(100-1)이 보너스 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 10을 참조하면, 제 1 단말(100-1)은 제 1 단말(100-1)의 화면에 미션 아이콘 정보를 디스플레이할 수 있다. 도 10에 도시된 바와 같이 '웃는 얼굴 아이콘'을 미션 아이콘 정보로 하여, 제 1 단말(100-1)의 화면에 디스플레이할 수 있다.
제 1 단말(100-1)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보와 디스플레이된 미션 아이콘 정보가 동일한 경우, 제 1 사용자의 아이콘 정보를 갱신할 수 있다. 예를 들어, 제 1 단말(100-1)은 보너스 아이콘 정보를 생성할 수 있다. 도 10에 도시된 바와 같이, 제 1 단말(100-1)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정에 대응되는 '웃는 얼굴 아이콘'을 아이콘 정보로 생성한 경우, 미션 아이콘 정보와 동일하므로, 미션 성공에 따른 보너스 아이콘 정보를 생성할 수 있다. 제 1 단말(100-1)은 화면의 일부 영역에 생성된 보너스 아이콘 정보를 디스플레이할 수 있다.
제 1 단말(100-1)은 제 1 사용자가 획득한, 아이콘 정보 및 보너스 아이콘 정보에 기초하여 갱신된 제 1 사용자의 아이콘 정보를 서버(200)에 전송할 수 있다. 갱신된 제 1 사용자의 아이콘 정보는 아이콘의 종류 및/또는 아이콘의 종류 별로 아이콘의 개수와 보너스 아이콘의 개수가 합산된 개수를 포함할 수 있다. 제 1 단말(100-1)은, 갱신된 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다. 보너스 아이콘 정보가 추가로 누적된 만큼, 가상 재화 정보도 추가로 지급되므로, 제 1 사용자는 더 많은 보상을 받을 수 있다.
도 11은 일 실시예에 따라 제 1 단말(100-1)에서 제 2 사용자의 표정에 대응되는 아이콘 정보를 제 1 단말(100-1)에서 디스플레이하고, 제 1 단말(100-1)에서 디스플레이된 아이콘 정보에 기초하여 서버(200)로부터 보상받는 과정을 설명하기 위한 도면이다.
도 11을 참조하면, 제 1 단말(100-1)과 제 2 단말(100-2)에서 상호 간 영상 통화 서비스가 실행되면, 제 1 단말(100-1)은 제 2 단말(100-2)로부터 수신된, 제 2 사용자를 촬영한 제 2 영상 스트림에서 제 2 사용자의 표정을 검출할 수 있다.
도 11을 참조하면, 제 1 단말(100-1)은 제 2 사용자가 미소 짓는 영상을 제 1 단말(100-1)의 화면에 디스플레이하고, 제 1 사용자가 웃음 짓는 영상을 제 2 사용자의 영상이 디스플레이되는 화면 영역의 좌측 하단 영역에 디스플레이하고 있다. 제 1 단말(100-1)은 제 2 사용자를 촬영한 제 2 영상 스트림에서 제 2 사용자의 미소 짓는 표정을 검출할 수 있다. 제 1 단말(100-1)은 제 2 영상 스트림에서 제 2 사용자의 얼굴에 있는 특징점에 기초하여, 제 2 영상 스트림에서 제 2 사용자의 표정을 검출할 수 있다. 제 1 단말(100-1)은 실시간 또는 소정의 시간 간격으로 제 2 사용자의 제스쳐를 연속적으로 검출할 수 있다.
제 1 단말(100-1)은 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성할 수 있다.
도 11을 참조하면, 제 1 단말(100-1)은 검출된 제 2 사용자의 미소 짓는 표정에 대응되는 '스마일 아이콘'이라는 아이콘 정보를 제 1 단말(100-1)의 화면에 디스플레이할 수 있다. 제 2 사용자가 취한 제스처는 제 1 사용자의 태도나 행위에 대한 응답이므로, 제 2 영상 스트림에서 제 2 사용자의 제스처가 검출되면, 검출된 제스처를 유발한 제 1 사용자에게 디스플레이 되는 것이다. 제 1 단말(100-1)은 제 1 단말(100-1)에서 생성된 아이콘 정보를 제 2 영상 스트림이 디스플레이되는 영역에 중첩하여 디스플레이할 수 있다. 아이콘 정보가 제 2 영상 스트림에서 검출된 제 2 사용자의 표정에 기초하여 제 1 단말(100-1)에서 생성되므로, 제 1 사용자에게 제 2 사용자의 표정에 대응되는 아이콘 정보로 피드백을 줌으로써, 영상 통화를 하는 사용자들 간 긍정적인 대화 및 긍정적인 제스처가 유도될 수 있다. 도 11을 참조하면, 제 2 사용자의 미소 짓는 표정에 대응되는 '스마일 아이콘'이라는 아이콘 정보가 제 1 단말(100-1)에서 생성됨에 따라, '스마일 아이콘'이 제 1 단말(100-1)에서 제 2 영상 스트림이 디스플레이되는 영역에 중첩하여 디스플레이될 수 있다. 이에 따라, 제 1 사용자는 영상 통화의 상대방인 제 2 사용자가 미소 짓는 표정을 하여, 미소 짓는 표정에 대응되는 아이콘 정보를 획득하였음을 알 수 있다.
제 1 단말(100-1)은 제 1 단말(100-1)에서 디스플레이된 아이콘 정보를 포함한 제 1 사용자의 아이콘 정보를 영상 통화 서비스를 제공하는 서버(200)에 전송할 수 있다. 제 1 단말(100-1)은 제 1 사용자의 아이콘 정보를 제 1 사용자의 계정에 대응시켜 영상 통화 서비스를 제공하는 서버(200)에 전송할 수 있다. 도 11에 도시된 바와 같이, 제 1 단말(100-1)은 제 2 영상 스트림에서 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 영상 통화 서비스를 제공하는 서버(200)에 전송할 수 있다. 제 1 단말(100-1)은 디스플레이된 아이콘 정보를 포함한 제 1 사용자의 아이콘 정보를 영상 통화 서비스를 제공하는 서버(200)에 전송할 수 있다. 제 1 단말(100-1)은 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화를 서버(200)로부터 수신할 수 있다.
한편, 도 11을 참조하면, 제 1 사용자가 웃는 경우, 제 2 단말(100-2)이 제 1 사용자를 촬영한 제 1 영상 스트림에서 제 1 사용자의 웃는 표정을 검출하고, 웃는 표정에 대응되는 '웃는 얼굴 아이콘'이라는 아이콘 정보를 생성하여 제 2 단말(100-2)의 화면에 디스플레이할 수 있다. 제 1 사용자의 웃는 표정에 대응되는 '웃는 얼굴 아이콘'이라는 아이콘 정보는 제 2 단말(100-2)에서 제 1 영상 스트림이 디스플레이되는 영역에 중첩하여 디스플레이될 수 있다. 이에 따라, 제 2 사용자는 제 1 사용자가 웃는 표정을 하여, 웃는 표정에 대응되는 아이콘 정보를 획득하였음을 알 수 있다. 제 2 단말(100-2)은 제 2 단말(100-2)의 화면에 디스플레이된 아이콘 정보를 포함한 제 2 사용자의 아이콘 정보를 영상 통화 서비스를 제공하는 서버(200)에 전송할 수 있다. 제 2 단말(100-2)은 제 2 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화를 서버(200)로부터 수신할 수 있다. 즉, 제 2 사용자는 제 1 사용자가 웃는 표정을 짓게 한 것에 대한 보상으로서 영상 통화 서비스에 이용 가능한 가상 재화를 받을 수 있다.
도 12는 일 실시예에 따라 제 1 단말(100-1)에서 검출된, 제 2 사용자의 표정과 제 1 사용자의 표정이 동일한 경우, 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 12를 참조하면, 제 1 단말(100-1)은 제 1 사용자를 촬영한 제 1 영상 스트림에서 제 1 사용자의 표정을 검출하고, 제 2 단말(100-2)로부터 수신된, 제 2 사용자를 촬영한 제 2 영상 스트림에서 제 2 사용자의 표정을 검출할 수 있다. 제 1 단말(100-1)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정과 제 2 영상 스트림에서 검출된 제 2 사용자의 표정이 동일한 경우, 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성할 수 있다. 도 12에 도시된 바와 같이, 제 1 단말(100-1)은 제 2 영상 스트림에서 검출된 제 2 사용자의 표정과 제 1 영상 스트림에서 검출된 제 1 사용자의 표정이 '미소 짓는 표정'으로 동일하므로, '미소 짓는 표정'에 대응되는 '스마일 아이콘'을 아이콘 정보로 생성하여, 생성된 아이콘 정보를 제 1 단말(100-1)의 화면에 디스플레이할 수 있다.
제 2 단말(100-2)은 제 2 사용자를 촬영한 제 2 영상 스트림에서 제 2 사용자의 표정을 검출하고, 제 1 단말(100-1)로부터 수신된, 제 1 사용자를 촬영한 제 1 영상 스트림에서 제 1 사용자의 표정을 검출할 수 있다. 제 2 단말(100-2)은 제 2 영상 스트림에서 검출된 제 2 사용자의 표정과 제 1 영상 스트림에서 검출된 제 1 사용자의 표정이 동일한 경우, 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성할 수 있다. 도 12에 도시된 바와 같이, 제 2 단말(100-2)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정과 제 2 영상 스트림에서 검출된 제 2 사용자의 표정이 '미소 짓는 표정'으로 동일하므로, '미소 짓는 표정'에 대응되는 '스마일 아이콘'을 아이콘 정보로 생성하여, 생성된 아이콘 정보를 제 2 단말(100-2)의 화면에 디스플레이할 수 있다.
도 13은 일 실시예에 따라 제 1 단말(100-1)에서 검출된, 제 2 사용자의 표정과 제 1 사용자의 소정의 음성이 매칭되는 경우, 제 1 단말(100-1)이 보너스 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 13을 참조하면, 제 1 단말(100-1)은 제 1 사용자의 음성을 입력받을 수 있다. 제 1 단말(100-1)은 제 1 사용자의 음성에서 소정의 음성을 검출할 수 있다. 소정의 음성은 상대방의 각 표정에 대응하여 미리 매칭되어 있을 수 있다. 예를 들어, 제 1 단말(100-1)은 제 2 사용자의 '미소 짓는 표정'에 대해서는 'hehe' 또는 'HaHa' 등과 같은 제 1 사용자의 음성이 검출되는지 입력되는 제 1 사용자의 음성으로부터 확인할 수 있다.
제 1 단말(100-1)은 제 2 영상 스트림에서 검출된 제 2 사용자의 표정과 입력된 제 1 사용자의 음성에서 검출된 소정의 음성이 매칭되는 경우, 제 1 사용자의 아이콘 정보를 갱신할 수 있다. 예를 들어, 제 1 단말(100-1)은 보너스 아이콘 정보를 생성할 수 있다. 도 13에 도시되 바와 같이, 제 1 단말(100-1)은 제 2 영상 스트림에서 제 2 사용자의 '미소 짓는 표정'을 검출하고, 제 1 사용자의 'hehe'라는 소정의 음성과 매칭 여부를 확인한 후, '미소 짓는 표정'과 'hehe'라는 소정의 음성이 매칭되면, 보너스 아이콘 정보를 생성할 수 있다. 제 1 단말(100-1)은 화면의 일부 영역에 생성된 보너스 아이콘 정보를 디스플레이할 수 있다.
제 1 단말(100-1)은 제 1 사용자가 획득한, 아이콘 정보 및 보너스 아이콘 정보에 기초하여 갱신된 제 1 사용자의 아이콘 정보를 서버(200)에 전송할 수 있다. 갱신된 제 1 사용자의 아이콘 정보는 아이콘의 종류 및/또는 아이콘의 종류 별로 아이콘의 개수와 보너스 아이콘의 개수가 합산된 개수를 포함할 수 있다. 제 1 단말(100-1)은, 갱신된 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다. 보너스 아이콘 정보가 추가로 누적된 만큼, 가상 재화 정보도 추가로 지급되므로, 제 1 사용자는 더 많은 보상을 받을 수 있다.
도 14는 일 실시예에 따라 제 1 단말(100-1)에서 제 2 사용자의 표정을 연속적으로 검출 시 표정 강도에 따라 보너스 아이콘 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 14를 참조하면, 제 1 단말(100-1)은 제 2 영상 스트림에서 제 2 사용자의 표정을 연속적으로 검출할 수 있다. 도 14에 도시된 바와 같이, 제 1 단말(100-1)은 제 2 영상 스트림에서 제 2 사용자의 '웃는 표정'을 검출한 후 제 2 사용자의 '박장대소하는 표정'을 연속적으로 검출할 수 있다. 제 1 단말(100-1)은 표정의 강도가 더 높은 '박장대소하는 표정'이 검출되었을 때, 표정의 강도가 더 낮은 '웃는 표정'이 검출되었을 때 보다, 더 많은 아이콘 정보를 생성할 수 있다.
예를 들어, 제 1 단말(100-1)은 제 2 사용자의 무표정과 '웃는 표정' 또는 '박장대소하는 표정'과 같이 검출된 표정에서 서로 대응되는 특징점들 간의 거리차에 대응하는 값과 임계치를 비교하여 표정의 강도를 인식할 수 있다. 이때, 임계치는 적어도 하나 이상일 수 있다. 제 1 단말(100-1)은 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 인식된 표정의 강도에 기초하여 갱신할 수 있다.
예를 들어, 제 1 단말(100-1)은 제 2 사용자의 '웃는 표정'에 대응되는 아이콘 정보, 예를 들어, 웃는 얼굴 아이콘을 제 1 단말(100-1)에 디스플레이 할 수 있다. 이후, 제 1 단말(100-1)은 제 2 사용자의 '박장대소하는 표정'에 대응되는 아이콘 정보, 예를 들어, 웃는 얼굴 아이콘을 제 1 단말(100-1)에 디스플레이할 수 있다. 이때, 제 1 단말(100-1)은 웃는 얼굴 아이콘을 '박장대소하는 표정'의 강도에 기초하여 갱신하고, 갱신된 웃는 얼굴 아이콘을 보너스 아이콘 정보로서 추가로 디스플레이할 수 있다. 제 1 단말(100-1)은 제 2 사용자가 웃는 표정일 때 웃는 얼굴 아이콘에 대한 아이콘 정보를 제 1 단말(100-1)에 디스플레이하고, 제 2 사용자가 박장대소하는 표정일 때, 웃는 얼굴 아이콘에 대한 아이콘 정보뿐만 아니라 보너스 아이콘 정보도 제 1 단말(100-1)에 디스플레이할 수 있다.
제 1 단말(100-1)은 제 1 사용자가 획득한, 아이콘 정보 및 보너스 아이콘 정보에 기초하여 갱신된 제 1 사용자의 아이콘 정보를 서버(200)에 전송할 수 있다. 갱신된 제 1 사용자의 아이콘 정보는 아이콘의 종류 및/또는 아이콘의 종류 별로 아이콘의 개수와 보너스 아이콘의 개수가 합산된 개수를 포함할 수 있다. 제 1 단말(100-1)은, 갱신된 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다. 보너스 아이콘 정보가 추가로 누적된 만큼, 가상 재화 정보도 추가로 지급되므로, 제 1 사용자는 더 많은 보상을 받을 수 있다.
도 15는 일 실시예에 따라 제 1 단말(100-1)에서 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성하여 영상 통화 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
블록 1510에서, 제 1 단말(100-1)은 제 1 사용자의 제 1 단말(100-1)과 영상 통화의 상대방인 제 2 사용자의 제 2 단말(100-2) 간의 영상 통화 세션을 수립할 수 있다.
블록 1520에서, 제 1 단말(100-1)은 제 1 사용자를 촬영한 제 1 영상 스트림에서 제 1 사용자의 표정을 검출할 수 있다. 제 1 단말(100-1)은 제 1 영상 스트림에서 제 1 사용자의 얼굴에 있는 특징점에 기초하여, 제 1 영상 스트림에서 제 1 사용자의 표정을 검출할 수 있다. 제 1 단말(100-1)은 실시간 또는 소정의 시간 간격으로 제 1 사용자의 표정을 연속적으로 검출할 수 있다.
블록 1530에서, 제 1 단말(100-1)은 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성할 수 있다.
블록 1540에서, 제 1 단말(100-1)은 생성된 아이콘 정보를 제 2 단말(100-2)에 전송할 수 있다.
또한, 제 1 단말(100-1)은 다양한 방식으로 아이콘 정보를 생성할 수 있다. 예를 들어, 제 1 단말(100-1)은 제 2 단말(100-2)로부터 수신된 아이콘 정보와 제 2 단말(100-2)에 전송된 아이콘 정보가 동일한 경우, 보너스 아이콘 정보를 생성할 수 있다. 다른 예를 들어, 제 1 단말(100-1)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정과 제 2 영상 스트림에서 검출된 제 2 사용자의 표정이 동일한 경우, 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성할 수 있다. 또 다른 예를 들어, 제 1 단말(100-1)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정과 입력된 제 1 사용자의 음성에서 검출된 소정의 음성이 매칭되는 경우, 보너스 아이콘 정보를 생성할 수 있다. 또 다른 예를 들어, 제 1 단말(100-1)은 제 1 사용자의 무표정과 제 1 사용자의 검출된 표정에서 서로 대응되는 특징점들 간의 거리차에 대응하는 값과 임계치를 비교하여, 표정의 강도를 인식하고, 인식된 표정의 강도에 기초하여, 보너스 아이콘 정보를 생성할 수 있다. 또 다른 예를 들어, 제 1 단말(100-1)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보와 디스플레이된 미션 아이콘 정보가 동일한 경우, 보너스 아이콘 정보를 생성할 수 있다.
제 1 단말(100-1)은 제 1 사용자의 아이콘 정보를 이용하여 영상 통화 서비스를 제공하는 서버(200)로부터 가상 재화 정보를 수신할 수 있다. 예를 들어, 제 1 단말(100-1)은 제 2 단말(100-2)로부터 수신된 아이콘 정보를 포함한 제 1 사용자의 아이콘 정보를 영상 통화 서비스를 제공하는 서버(200)에 전송할 수 있다. 제 1 단말(100-1)은 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보 정보를 서버(200)로부터 수신할 수 있다. 다른 예를 들어, 제 1 단말(100-1)은 제 2 단말(100-2)에 전송된 아이콘 정보를 포함한 제 1 사용자의 아이콘 정보를 영상 통화 서비스를 제공하는 서버(200)에 전송할 수 있다. 제 1 단말(100-1)은 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다.
도 16은 다른 실시예에 따라 제 1 단말(100-1)에서 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성하여 영상 통화 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
블록 1610에서, 제 1 단말(100-1)은 제 1 사용자의 제 1 단말(100-1)과 영상 통화의 상대방인 제 2 사용자의 제 2 단말(100-2) 간의 영상 통화 세션을 수립할 수 있다.
블록 1620에서, 제 1 단말(100-1)은 제 2 단말(100-2)로부터 수신된, 제 2 사용자를 촬영한 제 2 영상 스트림에서 제 2 사용자의 표정을 검출할 수 있다.
블록 1630에서, 제 1 단말(100-1)은 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성할 수 있다.
블록 1640에서, 제 1 단말(100-1)은 생성된 아이콘 정보를 제 1 단말(100-1)의 화면에 디스플레이할 수 있다.
또한, 제 1 단말(100-1)은 다양한 방식으로 아이콘 정보를 생성할 수 있다. 예를 들어, 제 1 단말(100-1)은 제 1 영상 스트림에서 검출된 제 1 사용자의 표정과 제 2 영상 스트림에서 검출된 제 2 사용자의 표정이 동일한 경우, 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성할 수 있다. 다른 예를 들어, 제 1 단말(100-1)은 제 2 영상 스트림에서 검출된 제 2 사용자의 표정과 입력된 제 1 사용자의 음성에서 검출된 소정의 음성이 매칭되는 경우, 보너스 아이콘 정보를 생성할 수 있다. 또 다른 예를 들어, 제 1 단말(100-1)은 제 2 사용자의 무표정과 제 2 사용자의 검출된 표정에서 서로 대응되는 특징점들 간의 거리차에 대응하는 값과 임계치를 비교하여, 표정의 강도를 인식하고, 인식된 표정의 강도에 기초하여, 보너스 아이콘 정보를 생성할 수 있다.
제 1 단말(100-1)은 제 1 사용자의 아이콘 정보를 이용하여 영상 통화 서비스를 제공하는 서버(200)로부터 가상 재화 정보를 수신할 수 있다. 예를 들어, 제 1 단말(100-1)은 제 1 단말(100-1)에서 디스플레이된 아이콘 정보를 포함한 제 1 사용자의 아이콘 정보를 영상 통화 서비스를 제공하는 서버(200)에 전송할 수 있다. 제 1 단말(100-1)은 제 1 사용자의 아이콘 정보를 전송한 것에 대한 응답으로, 영상 통화 서비스에 이용 가능한 가상 재화 정보를 서버(200)로부터 수신할 수 있다.
상술한 영상 통화 서비스를 제공하는 방법에 관한 실시예들은 영상 통화 서비스를 제공하는 단말(100)에서, 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독가능 저장매체에 저장된 애플리케이션 형태로 제공될 수 있다. 다시 말해서, 상술한 영상 통화 서비스를 제공하는 방법에 관한 실시예들은 단말(100)로 하여금 상술한 영상 통화 서비스를 제공하는 방법의 각 단계를 실행시키기 위한 컴퓨터 판독가능 저장매체에 저장된 애플리케이션 또는 컴퓨터 프로그램 형태로 제공될 수 있다.
상술한 실시예들은 컴퓨터 또는 프로세서에 의하여 실행 가능한 명령어 또는 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 상기 명령어 및 데이터 중 적어도 하나는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있고, 프로세서나 컴퓨터가 명령어를 실행할 수 있도록 프로세서나 컴퓨터에 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 제공할 수 있는 어떠한 장치라도 될 수 있다.
이제까지 실시예들을 중심으로 살펴보았다. 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자는 개시된 실시예들이 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 발명의 범위는 전술한 실시예들의 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명의 범위에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 제 1 단말에서,
    제 1 사용자의 상기 제 1 단말과 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 단계;
    상기 제 1 사용자를 촬영한 제 1 영상 스트림에서 상기 제 1 사용자의 표정을 검출하는 단계;
    상기 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성하는 단계;
    상기 생성된 아이콘 정보를 상기 제 2 단말에 전송하는 단계; 및
    상기 제 1 사용자가 획득한 상기 제 1 사용자의 아이콘 정보를 상기 영상 통화 서비스를 제공하는 서버에 전송한 것에 대한 응답으로, 상기 영상 통화 서비스에 이용 가능한 가상 재화 정보를 상기 서버로부터 수신하는 단계;
    를 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  2. 제 1 항에 있어서,
    상기 제 2 사용자를 촬영한 제 2 영상 스트림에서 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 상기 제 2 단말로부터 수신하는 단계를 더 포함하고,
    상기 가상 재화 정보를 상기 서버로부터 수신하는 단계는,
    상기 수신된 아이콘 정보를 포함한 상기 제 1 사용자의 아이콘 정보를 상기 서버에 전송한 것에 대한 응답으로, 상기 가상 재화 정보를 상기 서버로부터 수신하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  3. 제 1 항에 있어서,
    상기 가상 재화 정보를 상기 서버로부터 수신하는 단계는,
    상기 전송된 아이콘 정보를 포함한 상기 제 1 사용자의 아이콘 정보를 상기 서버에 전송한 것에 대한 응답으로, 상기 가상 재화 정보를 상기 서버로부터 수신하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  4. 제 1 단말에서,
    제 1 사용자의 상기 제 1 단말과 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 단계;
    상기 제 1 사용자를 촬영한 제 1 영상 스트림에서 상기 제 1 사용자의 표정을 검출하는 단계;
    상기 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성하는 단계;
    상기 생성된 아이콘 정보를 상기 제 2 단말에 전송하는 단계;
    상기 제 2 사용자를 촬영한 제 2 영상 스트림에서 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 상기 제 2 단말로부터 수신하는 단계; 및
    상기 수신된 아이콘 정보와 상기 전송된 아이콘 정보가 동일한 경우, 상기 제 1 사용자의 아이콘 정보를 갱신하는 단계;
    를 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  5. 제 1 단말에서,
    제 1 사용자의 상기 제 1 단말과 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 단계;
    상기 제 1 사용자를 촬영한 제 1 영상 스트림에서 상기 제 1 사용자의 표정을 검출하는 단계;
    상기 제 2 단말로부터 수신된, 상기 제 2 사용자를 촬영한 제 2 영상 스트림에서 상기 제 2 사용자의 표정을 검출하는 단계;
    상기 검출된 제 1 사용자의 표정과 상기 검출된 제 2 사용자의 표정이 동일한 경우, 상기 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성하는 단계; 및
    상기 생성된 아이콘 정보를 상기 제 2 단말에 전송하는 단계;
    를 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  6. 제 1 항에 있어서,
    상기 제 1 사용자의 음성에서 소정의 음성을 검출하는 단계를 포함하고,
    상기 검출된 제 1 사용자의 표정과 상기 검출된 소정의 음성이 매칭되는 경우, 상기 제 1 사용자의 아이콘 정보를 갱신하는 단계;를 포함하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  7. 제 1 항에 있어서,
    상기 제 1 사용자의 표정을 검출하는 단계는,
    상기 제 1 사용자의 무표정과 상기 제 1 사용자의 상기 검출된 표정에서 서로 대응되는 특징점들 간의 거리차에 대응하는 값과 임계치를 비교하여, 표정의 강도를 인식하고,
    상기 아이콘 정보를 생성하는 단계는,
    상기 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 상기 인식된 표정의 강도에 기초하여 갱신하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  8. 제 1 단말에서,
    제 1 사용자의 상기 제 1 단말과 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 단계;
    상기 제 1 단말의 화면에 미션 아이콘 정보를 디스플레이하는 단계;
    상기 제 1 사용자를 촬영한 제 1 영상 스트림에서 상기 제 1 사용자의 표정을 검출하는 단계;
    상기 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성하는 단계; 및
    상기 생성된 아이콘 정보와 상기 디스플레이된 미션 아이콘 정보가 동일한 경우, 상기 제 1 사용자의 아이콘 정보를 갱신하는 단계;
    를 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  9. 제 1 단말에서,
    제 1 사용자의 상기 제 1 단말과 영상 통화의 상대방인 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 단계;
    상기 제 2 단말로부터 수신된, 상기 제 2 사용자를 촬영한 제 2 영상 스트림에서 상기 제 2 사용자의 표정을 검출하는 단계;
    상기 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성하는 단계;
    상기 생성된 아이콘 정보를 상기 제 1 단말의 화면에 디스플레이하는 단계; 및
    상기 제 1 사용자가 획득한 상기 제 1 사용자의 아이콘 정보를 상기 영상 통화 서비스를 제공하는 서버에 전송한 것에 대한 응답으로, 상기 영상 통화 서비스에 이용 가능한 가상 재화 정보를 상기 서버로부터 수신하는 단계;
    를 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  10. 제 9 항에 있어서,
    상기 가상 재화 정보를 상기 서버로부터 수신하는 단계는,
    상기 디스플레이된 아이콘 정보를 포함한 상기 제 1 사용자의 아이콘 정보를 상기 서버에 전송한 것에 대한 응답으로, 상기 가상 재화 정보를 상기 서버로부터 수신하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  11. 제 1 단말에서,
    제 1 사용자의 상기 제 1 단말과 영상 통화의 상대방인 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 단계;
    상기 제 2 단말로부터 수신된, 상기 제 2 사용자를 촬영한 제 2 영상 스트림에서 상기 제 2 사용자의 표정을 검출하는 단계;
    상기 제 1 사용자를 촬영한 제 1 영상 스트림에서 상기 제 1 사용자의 표정을 검출하는 단계;
    상기 검출된 제 2 사용자의 표정과 상기 검출된 제 1 사용자의 표정이 동일한 경우, 상기 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성하는 단계; 및
    상기 생성된 아이콘 정보를 상기 제 1 단말의 화면에 디스플레이하는 단계;
    를 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  12. 제 9 항에 있어서,
    상기 제 1 사용자의 음성에서 소정의 음성을 검출하는 단계를 포함하고,
    상기 검출된 제 2 사용자의 표정과 상기 검출된 소정의 음성이 매칭되는 경우, 상기 제 1 사용자의 아이콘 정보를 갱신하는 단계;를 포함하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  13. 제 9 항에 있어서,
    상기 제 2 사용자의 표정을 검출하는 단계는,
    상기 제 2 사용자의 무표정과 상기 제 2 사용자의 상기 검출된 표정에서 서로 대응되는 특징점들 간의 거리차에 대응하는 값과 임계치를 비교하여, 표정의 강도를 인식하고,
    상기 아이콘 정보를 생성하는 단계는,
    상기 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 상기 인식된 표정의 강도에 기초하여 갱신하는, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션.
  14. 제 1 사용자의 제 1 단말과 영상 통화의 상대방인 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 명령어들;
    상기 제 1 사용자를 촬영한 제 1 영상 스트림에서 상기 제 1 사용자의 표정을 검출하는 명령어들;
    상기 검출된 제 1 사용자의 표정에 대응되는 아이콘 정보를 생성하는 명령어들;
    상기 생성된 아이콘 정보를 상기 제 2 단말에 전송하는 명령어들; 및
    상기 제 1 사용자가 획득한 상기 제 1 사용자의 아이콘 정보를 상기 영상 통화 서비스를 제공하는 서버에 전송한 것에 대한 응답으로, 상기 영상 통화 서비스에 이용 가능한 가상 재화 정보를 상기 서버로부터 수신하는 명령어들;
    을 포함하는 프로세서에 의해 실행 가능한 명령어들이 저장된 비일시적 컴퓨터 판독 가능 저장매체.
  15. 제 1 사용자의 제 1 단말과 영상 통화의 상대방인 제 2 사용자의 제 2 단말 간의 영상 통화 세션을 수립하는 명령어들;
    상기 제 2 단말로부터 수신된, 상기 제 2 사용자를 촬영한 제 2 영상 스트림에서 상기 제 2 사용자의 표정을 검출하는 명령어들;
    상기 검출된 제 2 사용자의 표정에 대응되는 아이콘 정보를 생성하는 명령어들;
    상기 생성된 아이콘 정보를 상기 제 1 단말의 화면에 디스플레이하는 명령어들; 및
    상기 제 1 사용자가 획득한 상기 제 1 사용자의 아이콘 정보를 상기 영상 통화 서비스를 제공하는 서버에 전송한 것에 대한 응답으로, 상기 영상 통화 서비스에 이용 가능한 가상 재화 정보를 상기 서버로부터 수신하는 명령어들;
    을 포함하는 프로세서에 의해 실행 가능한 명령어들이 저장된 비일시적 컴퓨터 판독 가능 저장매체.
KR1020170182781A 2017-12-28 2017-12-28 영상 통화 서비스를 제공하는 단말 KR102044241B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170182781A KR102044241B1 (ko) 2017-12-28 2017-12-28 영상 통화 서비스를 제공하는 단말
EP18211782.0A EP3506626A1 (en) 2017-12-28 2018-12-11 Video call with added icon corressponding to facial expression of the user
JP2018236646A JP6691199B2 (ja) 2017-12-28 2018-12-18 映像通話サービスを提供する端末
US16/223,770 US10560659B2 (en) 2017-12-28 2018-12-18 Terminal for providing video call service
US16/733,439 US10939071B2 (en) 2017-12-28 2020-01-03 Terminal for providing video call service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170182781A KR102044241B1 (ko) 2017-12-28 2017-12-28 영상 통화 서비스를 제공하는 단말

Publications (2)

Publication Number Publication Date
KR20190080377A KR20190080377A (ko) 2019-07-08
KR102044241B1 true KR102044241B1 (ko) 2019-11-13

Family

ID=64664939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170182781A KR102044241B1 (ko) 2017-12-28 2017-12-28 영상 통화 서비스를 제공하는 단말

Country Status (4)

Country Link
US (2) US10560659B2 (ko)
EP (1) EP3506626A1 (ko)
JP (1) JP6691199B2 (ko)
KR (1) KR102044241B1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815176B1 (ko) 2016-06-03 2018-01-05 주식회사 하이퍼커넥트 중개 방법, 장치 및 시스템
KR20180133593A (ko) 2017-06-07 2018-12-17 주식회사 하이퍼커넥트 중개 방법 및 장치
US10582119B2 (en) * 2017-07-26 2020-03-03 Sony Corporation Image processing method and device for composite selfie image composition for remote users
KR102044241B1 (ko) 2017-12-28 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말
KR101979650B1 (ko) 2018-03-07 2019-05-17 주식회사 하이퍼커넥트 서버 및 그것의 동작 방법
JP7225631B2 (ja) * 2018-09-21 2023-02-21 ヤマハ株式会社 画像処理装置、カメラ装置、および画像処理方法
KR102608127B1 (ko) * 2019-04-08 2023-12-01 삼성전자주식회사 이미지 프로세싱을 수행하는 전자 장치 및 방법
KR102308636B1 (ko) 2019-08-27 2021-10-06 주식회사 하이퍼커넥트 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102329481B1 (ko) 2019-09-09 2021-11-24 주식회사 하이퍼커넥트 복수의 단말기를 중개하는 서버, 및 그것의 중개 방법
KR102455966B1 (ko) 2019-12-16 2022-10-18 주식회사 하이퍼커넥트 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102373764B1 (ko) 2020-02-21 2022-03-15 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
CN111343412B (zh) * 2020-03-31 2021-08-17 联想(北京)有限公司 一种图像处理方法及电子设备
CN111814540A (zh) * 2020-05-28 2020-10-23 维沃移动通信有限公司 信息显示方法、装置、电子设备和可读存储介质
WO2022059451A1 (ja) * 2020-09-16 2022-03-24 早紀 辻 寄付装置、寄付方法、および寄付プログラム
JP6940198B1 (ja) * 2020-09-16 2021-09-22 早紀 辻 寄付装置、寄付方法、およびコンピュータプログラム
EP4272060A1 (en) * 2020-12-31 2023-11-08 Snap Inc. Real-time video communication interface with haptic feedback
EP4272059A1 (en) * 2020-12-31 2023-11-08 Snap Inc. Electronic communication interface with haptic feedback response
EP4272063A1 (en) 2020-12-31 2023-11-08 Snap Inc. Media content items with haptic feedback augmentations
KR20230124083A (ko) * 2020-12-31 2023-08-24 스냅 인코포레이티드 햅틱 피드백 응답을 갖는 통신 인터페이스
EP4272062A1 (en) * 2020-12-31 2023-11-08 Snap Inc. Communication interface with haptic feedback response

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101533065B1 (ko) * 2008-12-01 2015-07-01 삼성전자주식회사 화상통화 중 애니메이션 효과 제공 방법 및 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138767A (ja) * 1995-11-14 1997-05-27 Fujitsu Ten Ltd 感情表現の通信装置
JP2004104424A (ja) 2002-09-09 2004-04-02 Oki Electric Ind Co Ltd データ配信システムおよびそのデータ配信方法
JP2005323340A (ja) 2004-04-07 2005-11-17 Matsushita Electric Ind Co Ltd 通信端末及び通信方法
US8373799B2 (en) * 2006-12-29 2013-02-12 Nokia Corporation Visual effects for video calls
JP5338350B2 (ja) 2009-02-06 2013-11-13 富士ゼロックス株式会社 情報処理装置及び音声補正プログラム
KR20110020131A (ko) 2009-08-21 2011-03-02 에스케이텔레콤 주식회사 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법
KR101274471B1 (ko) * 2009-08-31 2013-06-13 에스케이플래닛 주식회사 영상통화 중 감정 전달 시스템 및 방법
KR101170338B1 (ko) * 2009-09-05 2012-08-02 에스케이플래닛 주식회사 화상 통화 방법 및 시스템
KR20110030223A (ko) * 2009-09-17 2011-03-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2013222231A (ja) * 2012-04-13 2013-10-28 Nec Corp 感情共有コミュニケーション促進システム、感情共有コミュニケーション促進方法、およびプログラム
KR101376292B1 (ko) * 2012-04-30 2014-03-20 (주)티아이스퀘어 통화 중 감정 분석 서비스 제공 방법 및 장치
US9531998B1 (en) * 2015-07-02 2016-12-27 Krush Technologies, Llc Facial gesture recognition and video analysis tool
US20170310927A1 (en) * 2016-04-26 2017-10-26 Raketu Communications, Inc. System And Method For Determining And Overlaying Emotion Animation On Calls
KR102044241B1 (ko) 2017-12-28 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101533065B1 (ko) * 2008-12-01 2015-07-01 삼성전자주식회사 화상통화 중 애니메이션 효과 제공 방법 및 장치

Also Published As

Publication number Publication date
US10939071B2 (en) 2021-03-02
JP6691199B2 (ja) 2020-04-28
JP2019122034A (ja) 2019-07-22
US20190208165A1 (en) 2019-07-04
US10560659B2 (en) 2020-02-11
US20200145609A1 (en) 2020-05-07
KR20190080377A (ko) 2019-07-08
EP3506626A1 (en) 2019-07-03

Similar Documents

Publication Publication Date Title
KR102044241B1 (ko) 영상 통화 서비스를 제공하는 단말
JP6938734B2 (ja) 映像通話サービスを提供する端末及びサーバ
TWI681298B (zh) 觸碰式通訊系統和方法
KR102034838B1 (ko) 영상 통화 서비스를 제공하는 단말과 서버
US20180329209A1 (en) Methods and systems of smart eyeglasses
US10970523B2 (en) Terminal and server for providing video call service
KR20190057859A (ko) 영상통화 중에 상호작용 가능한 시각적 오브젝트를 제공하기 위한 방법, 및 이를 수행하는 상호작용 가능한 시각적 오브젝트 제공 시스템
KR102616403B1 (ko) 전자 장치 및 그의 메시지 전달 방법
KR101979650B1 (ko) 서버 및 그것의 동작 방법
US9977510B1 (en) Gesture-driven introduction system
KR102120871B1 (ko) 영상 통화 서비스를 제공하는 단말 및 서버
KR20110012491A (ko) 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법
US10554698B2 (en) Terminal and server providing video call service
KR102293416B1 (ko) 통신 장치, 서버 및 그것의 통신 방법
KR102034839B1 (ko) 영상 통화 서비스를 제공하는 단말 및 서버
KR102132341B1 (ko) 영상 통화 서비스를 제공하는 단말 및 서버
KR20120136966A (ko) 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기
CN116820279A (zh) 互动处理方法、装置及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant